Project/Personal
2024. 6. 10.
Local sLLM Chatbot
Unsloth에서 말뭉치(Corpus) 학습○ base 모델: llama-3-8b-KrBllossom - 로드 설정은 기본 Unsloth FastLanguageModel.from_pretrained()의 예제코드 값 사용 (4bit 양자화 포함) ○ peft 설정: r값을 16이 아닌 8로 설정하여 LoRA 개입을 줄이고 dropout값을 0.1로 지정하여 과적합을 방지 ○ 데이터: /home/data/의 하위 디렉토리를 전부 포함한 모든 xlsx파일의 “sentence”컬럼 → “sentecne”컬럼 외에 더 학습해야하는 컬럼이 있을 수도 있으나 편의상 해당 컬럼만 선택 → 모든 xlsx파일의 sentence컬럼을 한 파일의 한 컬럼으로 합쳐서 저장 (109955개 데이터) 파일: /home/data/..
