[AI] Ollama 설치 @Window11

2025.01.13

LLM 서버 구축 검색

https://devocean.sk.com/blog/techBoardDetail.do?ID=165685&boardType=techBlog

Ollama 를 활용해서 개인형 LLM 서버 구성하기

SLM vs LLM

SLM (Small Language Model)

• 크기: 소규모 모델로, 매개변수의 수가 적습니다.
• 용도: 빠른 응답과 저자원 환경에서의 사용에 적합합니다.
• 장점: 메모리와 연산 자원이 적게 들며, 특정 작업에 최적화될 수 있습니다.

LLM (Large Language Model)

• 크기: 대규모 모델로, 매개변수의 수가 많습니다. 일반적으로 억 단위 이상의 매개변수를 가집니다.
• 용도: 다양한 작업에서 높은 성능을 제공합니다. 예를 들어, 텍스트 생성, 언어 이해, 번역 등 광범위한 용도에 활용될 수 있습니다.
• 장점: 더 많은 데이터를 학습하여, 더 복잡하고 정교한 작업을 수행할 수 있습니다. 높은 정확도와 다중 언어 지원이 가능합니다.

 

 

Llama3.3 의 70B, 405B 차이

OLLAMA에서 제공하는 Llama 3.3 모델은 70B와 405B 두 가지 크기의 버전을 가지고 있어요. 이는 각각 70억과 405억개의 매개변수를 가지고 있어요.

• 70B 모델: 더 작은 모델로, Llama 3.1 405B 모델과 비슷한 성능을 제공하면서 저장 및 연산 요구사항이 적다는 장점이 있어요. 이 모델은 멀티언어 대화, 코드 도움, 합성 데이터 생성 등의 텍스트 기반 작업에 특화되어 있어요.
• 405B 모델: 더 큰 모델로, 복잡한 추론 작업과 높은 성능을 제공합니다. 이 모델은 Llama 3.1 405B 모델과 비교했을 때 더 많은 계산 자원을 필요로 하지만, 더 높은 성능을 제공합니다.

 

Copilot은 비슷한 서비스 없음

 

현재로서는 Copilot을 개인 서버에 설치하여 폐쇄망에서 운영하는 기능은 지원되지 않습니다. Copilot은 주로 클라우드 기반으로 작동하며, Microsoft의 인프라를 통해 제공됩니다.

 

노트북에서 가능?

제온 6코어 프로세서, 64GB 램, GTX 1070 그래픽 카드를 갖춘 시스템은 Llama 3.3 70B 모델을 실행할 수 있을 것으로 예상됩니다. 하지만 Llama 3.3 405B 모델은 더 많은 계산 자원을 필요로 하므로, 성능이 더 느릴 수 있습니다.

GTX 1070은 충분히 강력한 그래픽 카드이지만, 405B 모델을 실행하려면 프로세서와 램의 성능이 더 중요해질 수 있습니다. 70B 모델은 더 적은 자원으로도 실행 가능할 가능성이 높습니다.

 

---

다운로드

https://ollama.com/download

Download Ollama on macOS

금방 설치, 모델 설치 기능이 없다?

끝나고 나니 아래와 같은 창이 뜬다

뭔가 설치된 줄 알고 써봤는데 아니다.

llama3.3이 최신이라고 되어 있었는데 이상해서 아래의 커멘드입력

PS C:\Windows\System32> ollama run llama3.3
pulling manifest
pulling 4824460d29f2...  14% ▕████████                                                ▏ 6.1 GB/ 42 GB   12 MB/s  50m13s

42GB 다운로드 !!!

---

openwebui 설치

# Python 설치
# Python이 이미 설치되어 있다면 이 단계를 건너뛰세요.
python -m venv openwebui_env
# 가상환경 활성화
# 윈도우에서 가상환경을 활성화합니다.
.\openwebui_env\Scripts\activate
pip install open-webui
open-webui serve

4. WSL 설치 (선택 사항)

OpenWebUI를 더 효율적으로 사용하려면 Windows Subsystem for Linux (WSL)을 설치하여 Linux 환경에서 작업할 수 있습니다. WSL 설치 방법은 다음과 같습니다:

1. Windows 설정에서 "Windows 기능 켜기"를 선택합니다.
2. "Windows Subsystem for Linux"를 선택하고 "설치"를 클릭합니다.
3. 설치가 완료되면 "관리 센터"에서 "Linux 배포판"을 선택하고 설치를 완료합니다.

---

2025.01.14

아래와 같이 실행해서 물어 봤다.

ollama run llama3.3

엄청 느리다.

검새해보니 llama3 만 해도 GPT3.5 정도라고 해서 다시 3실행

ollama run llama3

다시 5GB 정도 다운 받고 실행 -> 빠르다

 

OpenWebUI 도전

.\openwebui_env\Scripts\activate
open-webui serve

서버 실행 하면 한참 후에 :8080 으로 접속 메세지가 나온다.

localhost:8080으로 접속하면 화면이 나온다.

---

Powershell에서는 안되고 Command에서만 activate후 OpenWebUI가 실행된다.

  ___                    __        __   _     _   _ ___
 / _ \ _ __   ___ _ __   \ \      / /__| |__ | | | |_ _|
| | | | '_ \ / _ \ '_ \   \ \ /\ / / _ \ '_ \| | | || |
| |_| | |_) |  __/ | | |   \ V  V /  __/ |_) | |_| || |
 \___/| .__/ \___|_| |_|    \_/\_/ \___|_.__/ \___/|___|
      |_|


v0.5.4 - building the best open-source AI user interface.

https://github.com/open-webui/open-webui

Fetching 30 files: 100%|████████████████████████████████████████████████████████████| 30/30 [00:00<00:00, 22894.67it/s]
INFO:     Started server process [41692]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8080 (Press CTRL+C to quit)