얕고 넓게

[AI] GPU 모니터링 본문

IT/AI.ML

[AI] GPU 모니터링

블랙오닉스 2025. 3. 12. 23:16

2025.03.12

기본 모델 사용할 때는 몰랐는데, VectorDB, 학습 관련 뭔가를 하면 GPU가 100%로 동작한다.

답변중 사용하는 것이 아니라 갑자기 100%가 된다.

 

모니터링 필요

* nvidia-smi

GUI 가 아니라 계속 업데이트를 해줘야 한다.

https://velog.io/@claude_ssim/NVIDIA-GPU-%EB%B3%B4%EB%8A%94%EB%B2%95nvidia-smi

 

[딥러닝] NVIDIA GPU 보는법(nvidia-smi)

NVIDIA의 GPU는 많은 양의 연산을 빠르게 처리해줄 수 있기에 많은 연산량의 딥러닝을 하고자할 때 반드시 필요하다. 이를 사용하기 위해서는 nvidia에서 제공하는 GPU driver를 OS에 맞게 설치해줘야

velog.io

윈도우에 watch가 안되 아래 방법으로

while (1) {cls; nvidia-smi; sleep 1}

보기가 불편하다.

 

* glances

파이썬 기반

https://wonjaek36.github.io/2020/03/26/GPU-Monitoring.html

 

Python 기반 GPU 모니터링 앱

Deep Learning 알고리즘을 돌리기 위해서, 일반적으로 NVIDIA 그래픽 카드를 많이 활용합니다. 그리고, 학습 중에 그래픽 카드의 utilization을 관찰 하기 위해서는 보통 nvidia-smi를 많이 사용합니다.

wonjaek36.github.io

https://github.com/nicolargo/glances

 

GitHub - nicolargo/glances: Glances an Eye on your system. A top/htop alternative for GNU/Linux, BSD, Mac OS and Windows operati

Glances an Eye on your system. A top/htop alternative for GNU/Linux, BSD, Mac OS and Windows operating systems. - nicolargo/glances

github.com

 

설치

pip install 'glances[all]'

실행, web 서버의 경우 -w ( :61208)

glances -w

명령어를 못찾는다???

구글검색-> Path 추가

C:\Users\black\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.11_qbz5n2kfra8p0\LocalCache\local-packages\Python311\Scripts

된다가 아니라 에러

 black  glances -w
--- Logging error ---
Traceback (most recent call last):
  File "C:\Users\black\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.11_qbz5n2kfra8p0\LocalCache\local-packages\Python311\site-packages\docker\api\client.py", line 223, in _retrieve_server_version
    return self.version(api_version=False)["ApiVersion"]
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

python 3.9 이상이다ㅠㅠ -> 내꺼는 3.11  더 높잖아?

혹시나 싶어서 glances만 실행 -> 된다.

웹 인터페이스 안되서 검색

https://groups.google.com/g/glances-users/c/WwG4-Dx7PCg?pli=1

 

glances & windows 10

Hi, when you say the "web interface will not work", do you mean when you go to http://x.x.x.x:61208 with a web browser, nothing loads (as if glances was never started)? What does the Glances log show?  Maybe you'll see errors that will tell you what's w

groups.google.com

이건 아닌것 같고

에러중 netifaces 가 없다고 나와 pip 설치 -> Visual C++ 14.0 필요

https://visualstudio.microsoft.com/visual-cpp-build-tools/

 

Microsoft C++ Build Tools - Visual Studio

The Microsoft C++ Build Tools provides MSVC toolsets via a scriptable, standalone installer without Visual Studio. Recommended if you build C++ libraries and applications targeting Windows from the command-line (e.g. as part of your continuous integration

visualstudio.microsoft.com

2025.04.04

nvtop 있다.

https://lv99.tistory.com/59

 

nvidia-smi 대신에 nvtop을 쓰자! GPU의 htop 느낌!

nvtop은 NVIDIA GPU의 작업을 모니터링하는 툴입니다. 멀티 GPU를 처리하고, htop과 같이 익숙한 방식으로 GPU에 대한 정보를 확인할 수 있습니다. 다수의 GPU를 사용하고, 작업 상태를 확인하기 위해서

lv99.tistory.com

 

 

'IT > AI.ML' 카테고리의 다른 글

[AI] Open-WebUI Development Guide  (0) 2025.03.21
[AI] Open-WebUI 설치 방법 정리  (0) 2025.03.19
[AI] Open-WebUI + Pipeline  (0) 2025.03.08
[AI] 허깅페이스 모델 다운로드 & 변환  (0) 2025.03.08
[AI] Open-WebUI @ Python Virtual Env 정리  (0) 2025.03.08
'IT/AI.ML' Related Articles more