[AI] Ollama + Dual GPU

2025.02.10

3060 12GB x2 가 있으니 llama3.1:70b를 돌릴 수 있을까?

ollama run llama3.1:70b
Error: model requires more system memory (24.0 GiB) than is available (8.5 GiB)

검색

GitHub - turboderp/exllama: A more memory-efficient rewrite of the HF transformers implementation of Llama for use with quantized weights.

GitHub - turboderp/exllama: A more memory-efficient rewrite of the HF transformers implementation of Llama for use with quantize

 

오리지날 모델이 아니지만 정리된 표

---

docker를 이용해 뭘 하라고 한다.

Ollama Llama Multi GPU Setup | Restackio

Ollama Llama Multi GPU Setup | Restackio

 

Running Ollama with GPU Acceleration in Docker
For users who prefer Docker, Ollama can be configured to utilize GPU acceleration. Here’s how:

Install the Nvidia Container Toolkit: This toolkit is essential for enabling GPU support in Docker containers. You can find installation instructions on the Nvidia Container Toolkit GitHub page.
Pull the Ollama Docker Image: Use the following command to pull the latest Ollama image:
docker pull ollama/ollama
Run the Container with GPU Support: Start the container with the --gpus flag to allocate GPU resources:
docker run --gpus all ollama/ollama

 

어떤 글은 그냥 된다고 한다. P1000 + GTX1070에서도 비슷했던 것 같다.

시스템 메모리 증설 후 재확인 예정

---

Running Ollama on NVIDIA GPUs: A Comprehensive Guide

Running Ollama on NVIDIA GPUs: A Comprehensive Guide

nivida-smi를 실행해본다.

된다!

PS C:\Users\garam> nvidia-smi
Mon Feb 10 00:47:16 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 560.94                 Driver Version: 560.94         CUDA Version: 12.6     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                  Driver-Model | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 3060      WDDM  |   00000000:03:00.0  On |                  N/A |
| 30%   28C    P8             12W /  170W |     492MiB /  12288MiB |      2%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA GeForce RTX 3060      WDDM  |   00000000:04:00.0 Off |                  N/A |
| 30%   26C    P8             12W /  170W |       1MiB /  12288MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|    0   N/A  N/A      2680    C+G   ...siveControlPanel\SystemSettings.exe      N/A      |
|    0   N/A  N/A      3748    C+G   ...crosoft\Edge\Application\msedge.exe      N/A      |
|    0   N/A  N/A      4500    C+G   C:\Windows\explorer.exe                     N/A      |
|    0   N/A  N/A      7648    C+G   ....Search_cw5n1h2txyewy\SearchApp.exe      N/A      |
|    0   N/A  N/A      8748    C+G   ...5n1h2txyewy\ShellExperienceHost.exe      N/A      |
|    0   N/A  N/A      9320    C+G   ...crosoft\Edge\Application\msedge.exe      N/A      |
|    0   N/A  N/A     10444    C+G   ...CBS_cw5n1h2txyewy\TextInputHost.exe      N/A      |
|    0   N/A  N/A     10504    C+G   ...Gig\CU\IntelWirelessDockManager.exe      N/A      |
|    0   N/A  N/A     10948      C   ...ta\Local\Programs\Ollama\ollama.exe      N/A      |
|    0   N/A  N/A     11396    C+G   ....Search_cw5n1h2txyewy\SearchApp.exe      N/A      |
|    0   N/A  N/A     11824    C+G   ...n\132.0.2957.140\msedgewebview2.exe      N/A      |
|    1   N/A  N/A     10948      C   ...ta\Local\Programs\Ollama\ollama.exe      N/A      |
+-----------------------------------------------------------------------------------------+

 

---

당근으로 메모리 8GBx4 구매 장착 -> 검은색에만 장착

32GB, 3060 12GB x2 상태에서 

Ab 코드 뜨고 화면이 안나온다???

Ab는 CMOS에서 멈춰서 입력을 기다리는 것인데...

메모리 2개를 빼고 다시 -> 안나온다

메모리 1개만 남기고 -> 나온다

 

혹시나 싶어서 회색에 4개 장착 -> 안나온다 -> 코드 BB??

 

그래픽 카드 1개 빼고 -> 나온다

그래픽 카드 2개중 하나를 제일 바깥쪽에 -> 나온다 -> Window에서 카드 인식 안됨

...

 

마지막으로 1,2개 슬롯에 장착하고 2번에 케이블 연결 -> 화면 나오고, 윈도우에서 인식

---

한가지 이상한 것

CPUID에서 Link Width가 아까는 x8 이었는데 지금은 x16 이다.

 

Link Speed 2.5GT/s가 맞는지 확인 필요

---

PS C:\Users\garam> ollama run llama3.1:70b

Loading

 

질문에 답변중

GPU0,1 모두 VRAM 9.4/12GB 사용

CPU는 45%, GPU 사용량이 0% ???

---

PS C:\Users\garam> ollama run llama3.1:8b

 

 

답변중

 

---

GPU를 안써서 CUDA 설치하려는데 VS를 깔아야 된다.

설치하고 CUDA install을 해도 중간에 에러

CUDA 설치와 확인 방법 : 네이버 블로그

CUDA 설치와 확인 방법

 

그냥 nivida-smi를 해봤더니 

PS C:\Users\garam> nvidia-smi
Mon Feb 10 21:55:50 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 572.16                 Driver Version: 572.16         CUDA Version: 12.8     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                  Driver-Model | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 3060      WDDM  |   00000000:03:00.0 Off |                  N/A |
| 30%   29C    P8             11W /  170W |       1MiB /  12288MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA GeForce RTX 3060      WDDM  |   00000000:04:00.0  On |                  N/A |
| 30%   29C    P8             13W /  170W |     692MiB /  12288MiB |      5%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|    0   N/A  N/A            6108      C   ...al\Programs\Ollama\ollama.exe      N/A      |
|    1   N/A  N/A            5144    C+G   ...5n1h2txyewy\TextInputHost.exe      N/A      |
|    1   N/A  N/A            5464    C+G   C:\Windows\explorer.exe               N/A      |
|    1   N/A  N/A            6108      C   ...al\Programs\Ollama\ollama.exe      N/A      |
|    1   N/A  N/A            6876    C+G   ...h_cw5n1h2txyewy\SearchApp.exe      N/A      |
|    1   N/A  N/A           12420    C+G   ...ends\LeagueClientUxRender.exe      N/A      |
|    1   N/A  N/A           13044    C+G   ...crosoft\OneDrive\OneDrive.exe      N/A      |
+-----------------------------------------------------------------------------------------+

중간에 드라이버 업데이트 해서 그런가 CUDA 버전도 올라갔다.