TechStudy/LLM
2024. 12. 13.
[펌] LLM 학습의 어려움
출처: https://arca.live/b/alpaca/123646567?p=1 1. 언어모델의 파인튜닝 학습은 주로 axolotl 이나 unsloth 를 써서 합니다. alpaca 소스코드들은 나온지 오래되고 위에겪으신 것처럼 문제들이 많은 편입니다. 모델과 lora 의 병합과 응용에 관련해서 제가 썼던글들 중 참고될 만한 것이 있을겁니다.https://axolotl-ai-cloud.github.io/axolotl/https://unsloth.ai/blog/contpretraininghttps://arca.live/b/alpaca/118261066 [LoRA와 MergeKit 을 이용해서 망각증상 없이 파인튜닝 시키기] 2.대규모 지식을 넣는 것은 간단한 일은 아닙니다. 왜냐하면 언어모델은 기본적으로..