얕고 넓게

[AI] Llama 파인튜닝 재도전 본문

IT/AI.ML

[AI] Llama 파인튜닝 재도전

블랙오닉스 2025. 1. 23. 19:39

2025.01.23

 

https://unfinishedgod.netlify.app/2024/05/24/python/

 

[Python] Llama3를 파인튜닝을 통해 나만의 데이터로 학습 및 Huggingface에 적재해보자. - 미완성의신

파인튜닝을 통해 나만의 데이터를 학습 시켜 보자. 그전에 파인튜닝에 대해 알아 봐야 하는데, 아주 간단하게 알아보자. 파인튜닝에 대한 이론들은 아직도 많은 연구가 진행되고 있기 때문에 추

unfinishedgod.netlify.app

1. 파이썬 라이브러리 설치

2. 허깅페이스 계정 만들고 토큰 받기. IP/Password 대신에 토큰으로 접속한다

3. 모델 파일을 설정 또는 다운받는 것부터 막혔다

일단 여러가지 검색하다가 확인한 내용

1. 파인튜닝전에 Llama 한국어를 학습시킨 모델이 있다

https://huggingface.co/MLP-KTLim/llama-3-Korean-Bllossom-8B

 

MLP-KTLim/llama-3-Korean-Bllossom-8B · Hugging Face

Update! [2024.08.09] Llama3.1 버전을 기반으로한 Bllossom-8B로 모델을 업데이트 했습니다. 기존 llama3기반 Bllossom 보다 평균 5%정도 성능 향상이 있었습니다.(수정중에 있습니다.) [2024.06.18] 사전학습량을 25

huggingface.co

 

2. 사용법이 3가지라고 한다

 - 파이썬에서 설정

 - *.gguf를 받는다.

 - ?

3. *.gguf로 된 파일이 필요한데 없다. 그냥 허깅페이스에서 검색하면 나온다

4. Model파일을 만든다

FROM llama-3-Korean-Bllossom-8B-Q4_K_M.gguf

5. ollama로 모델을 생성한다

ollama create model이름 -f Modelfile

 

ollama를 실행해서 테스트 해봤는데 별로다 ㅠㅠ

ollama run Model이름

https://devmeta.tistory.com/96

 

한글 더 잘하는 llama3 찾아서 ollama에 연결하기 (feat. Bllossom ELO)

최근 Bllossom 팀에서 더 많은 Data로 학습한 모델을 올려주셔서 다시 한번 테스트 해본 내용을 작성하였다. (오늘은 2024-07-10 입니다.) https://huggingface.co/MLP-KTLim/llama-3-Korean-Bllossom-8B MLP-KTLim/llama-3-K

devmeta.tistory.com

 

'IT > AI.ML' 카테고리의 다른 글

[AI] 허깅페이스 자료  (0) 2025.01.24
[AI] NLP 용어 정리  (0) 2025.01.24
[AI] Llama 버전 비교  (0) 2025.01.19
[AI] Llama 파인 튜닝  (0) 2025.01.17
[AI] Ollama 설치 @Window11  (0) 2025.01.13
'IT/AI.ML' Related Articles more