목록2025/04/10 (1)

얕고 넓게

[AI] Llama 파인튜닝 @Ubuntu

2025.04.10Copilot, ChatGPT 말해준 코드로 진행하다가 포기결국 지난번 따라했던 아래를 참조하여 진행https://jjaegii.tistory.com/35 KoAlpaca 데이터셋을 활용한 Llama 3.1 LoRA 기반 PEFTLlama 3.1 모델을 LoRA(Low-Rank Adaptation) 기법을 사용해 한국어 데이터셋인 KoAlpaca를 기반으로 Parameter Efficient Fine-Tuning 하는 과정을 다룬다.LoRA는 대규모 언어 모델을 적은 자원으로도 효율적으로 학습jjaegii.tistory.com일단 학습데이터를 txt에서 json으로 변환부터 했다.쭉 진행하다가 tokenizer 가 문제가 있어 일단 제외하고 학습 완료그런데 결과가 *.safetensor..
IT/AI.ML 2025. 4. 10. 21:10
이전 Prev 1 Next 다음