01
TechStudy/LLM
2024. 6. 5.
Fine-tuned model 독립 및 견고성(robust) 검증
○ 목적: LoRA로 파인튜닝한 모델을 스스로 참조하는 형태로 독립시키는 것. -> LoRA로 파인튜닝했어도 원본 모델과 merge를 함으로써 참조가 불필요하도록 모델 독립 원인: 효율적인 속도 및 연산을 위해 조절, 변경한 LoRA matrices만 저장되기 때문 ○ huggingface에 모델을 (비공개) 업로드하면 모델 독립이 자동으로 이뤄질까? -> _name_or_path에 아무 문자열이나 넣어도 정상 작동하므로 모델 독립이라 판단 가능 - 로드 시간: 약 6초 이내로 로드 완료 - 모델 작동 여부: 허깅 기반 로드이므로 답변 속도는 10초 이내로 빠름 -> 문제점: 허깅에 공개적으로 업로드했다는 것(로컬 모델 개발 목적에서..) (* 단, 허깅에 업로드한 모델은 private로 비공개 ..
