[AI] TG Webui: 모델 다운로드, 로드, 채팅 @Windows11

2025.0812

지난번 모델을 hugginface-cli로 받은 모델은 파일 포맷 문제로 안됐고,

Qwen-Image 를 git 으로 받아던 것은 LLM이 아니라 실패했음.

TGWebui (Text-Generation-Webui) 에서 직접 다운로드

최신 모델 말고 기존에 테스트 많이 했던 LLama3.1로 테스트

 

meta-llama/Llama-3.1-8B-Instruct

Web

PowerShell 진행 상황

Downloading the model to user_data\models\meta-llama_Llama-3.1-8B-Instruct
model-00004-of-00004.safetensors:  81%|████████████████████████████████████████▌         | 903M/1.09G [05:14<01:06, 3.35MB/s]
model-00001-of-00004.safetensors:  19%|█████████▍                                        | 896M/4.63G [05:14<29:28, 2.28MB/s]
model-00003-of-00004.safetensors:  18%|█████████                                         | 854M/4.58G [05:14<24:20, 2.75MB/s]
model-00002-of-00004.safetensors:  19%|█████████▎                                        | 894M/4.66G [05:14<18:27, 3.67MB/s]

---

모델 로드는 잘된다. 문제는 CUDA를 안써서 메모리가 !

 

다시 CUDA 설치

(.venv) PS D:\Work_DELL\AI> uv pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
Resolved 13 packages in 3.20s
Uninstalled 2 packages in 2.97s
░░░░░░░░░░░░░░░░░░░░ [0/4] Installing wheels...                                                                                                    warning: Failed to hardlink files; falling back to full copy. This may lead to degraded performance.
         If the cache and target directories are on different filesystems, hardlinking may not be supported.
         If this is intentional, set `export UV_LINK_MODE=copy` or use `--link-mode=copy` to suppress this warning.
Installed 4 packages in 10.83s
 - sympy==1.14.0
 + sympy==1.13.1
 - torch==2.8.0
 + torch==2.5.1+cu121
 + torchaudio==2.5.1+cu121
 + torchvision==0.20.1+cu121

 

다시 로드

 

왼: 로드만 했을 때, 오: 질문에 답변 중

 

8bit 모드로 하면 메모리 부족??

4bit로는 성공, VRAM을 더 많이 쓴다