[AI] 허깅페이스 모델 다운로드 & 변환

2025.03.08

ETRI Eagle을 Ollama에서 돌리기 위해.

https://grip.news/archives/3000/

[LLM] 허깅페이스 모델을 OLLAMA 형식으로 변환하기 (HuggingFace model to Ollama) – GRIP.News

1. 다운로드

git,huggingface-cli가 쉬운 방법인데 로그인 문제로 python 으로 했다.

from huggingface_hub import snapshot_download
import huggingface_hub
model_id = "etri-lirs/eagle-3b-preview"
huggingface_hub.login('hf_...')
snapshot_download(repo_id=model_id, local_dir="sample", local_dir_use_symlinks=False, revision="main")

 

python download.py

짜깁기 해서 로그인 후 다운로드 완료.

 

git clone https://github.com/ggerganov/llama.cpp.git

python -m venv hf2ollama
hf2ollama/scripts/activate
..
pip install -r llama.cpp/requirements.txt
...

python llama.cpp/convert_hf_to_gguf.py -h
usage: convert_hf_to_gguf.py [-h] [--vocab-only] [--outfile OUTFILE] [--outtype {f32,f16,bf16,q8_0,auto}] [--bigendian] [--use-temp-file] [--no-lazy]
[--model-name MODEL_NAME] [--verbose] [--split-max-tensors SPLIT_MAX_TENSORS] [--split-max-size SPLIT_MAX_SIZE] [--dry-run]
[--no-tensor-first-split]
model

python llama.cpp/convert_hf_to_gguf.py sample --outfile eagle-3b-preview-q8_0.gguf --outtype q8_0

echo "from eagle-3b-preview-q8_0.gguf" > ./Modelfile
ollama create eagle-3b-preview -f ./Modelfile

변환 툴 다운로드

sample 디렉토리에 다운 받았으므로 이 위치를 지정.

필요한 python 라이브러리 설치

변환 실행

ollama에서 생성