얕고 넓게

2025.04.11ChatGPT에서 학습된 모델을 사용할 수 있는 방법을 물어봤더니,Docker로 하는 방법과 text-generation-webui를 이야기 한다.Docker는 질려서 두번째 방법으로.일단 llama 파인 튜닝을 위해서 만들어 논 가상환경으로 들어가서 진행conda activate llamagit clone https://github.com/oobabooga/text-generation-webui.gitcd text-generation-webuipip install -r requirements.txt#text-generation-webui 안에 models, loras 에 모델 디렉토리를 넣는다# 실행python server.py --model llama3.1-8B --lora chec..

2025.04.10Copilot, ChatGPT 말해준 코드로 진행하다가 포기결국 지난번 따라했던 아래를 참조하여 진행https://jjaegii.tistory.com/35 KoAlpaca 데이터셋을 활용한 Llama 3.1 LoRA 기반 PEFTLlama 3.1 모델을 LoRA(Low-Rank Adaptation) 기법을 사용해 한국어 데이터셋인 KoAlpaca를 기반으로 Parameter Efficient Fine-Tuning 하는 과정을 다룬다.LoRA는 대규모 언어 모델을 적은 자원으로도 효율적으로 학습jjaegii.tistory.com일단 학습데이터를 txt에서 json으로 변환부터 했다.쭉 진행하다가 tokenizer 가 문제가 있어 일단 제외하고 학습 완료그런데 결과가 *.safetensor..

2025.04.09curl -fsSL https://ollama.com/install.sh | shsudo apt install vimsudo apt install python3-pipsudo apt install python3.12-venvpython3 -m venv venv_openwebuisource venv_openwebui/bin/activatepip install open-webuiopen-webui servesource venv_openwebui/bin/activatepip install huggingface_hubhuggingface-cli loginhuggingface-cli whoamihuggingface-cli download meta-llama/Meta-Llama-3-8B --loc..

2025.04.08지난 번 이해 못한 파인튜닝을 다시 도전.다른 블로그에서 학습용 데이터 만드는 것부터 이상했는데,Copilot에게 물어서 정리했다.QnA형태로 구성된 test.txt 파일을 이용하여 로컬에 있는 aa.gguf 모델 파인 튜닝하는 순서와 구체적인 파이썬 코드를 알려줘# Step 1: 환경 설정import transformersimport torch# 필요한 라이브러리 설치!pip install transformers datasets# Step 2: 데이터 준비def load_data(file_path): with open(file_path, 'r', encoding='utf-8') as f: lines = f.readlines() data = [{"question"..

2025.04.03윈도우에 쉽게 설치되고 관리도 쉬워서 우분투에도 Docker를 설치 했다가 망했다.특별한 내용이 없는데 하라는 대로 해도 에러가 나고...https://docs.openwebui.com/getting-started/quick-start/ ⏱️ Quick Start | Open WebUI- Admin Creation: The first account created on Open WebUI gains Administrator privileges, controlling user management and system settings.docs.openwebui.com순서대로 하는데 뭔가 이상하다.리눅스에서는 설치 위치가 /var/lib/docker로 되어 ssd 용량도 부족하다....Docke..

2025.04.01Open-WebUI 설정, 파일들에 대해 ChatGPT에 물어 봤더니 Docker기준 답변이 많다.다시 공식사이트가서 보니 Docker가 추천이라고 한다.python venv를 지우고 다시 설치해본다.venv 환경도 3GB 가 넘는다.Docker 설치 파일이 500GB , 현재 94GB 남음공시 사이트 대로 실행하면 에러만 나온다 black  docker pull ghcr.io/open-webui/open-webui:mainerror during connect: in the default daemon configuration on Windows, the docker client must be run with elevated privileges to connect: Post "http..