TechStudy/LLM
2024. 6. 11.
LoRA? 신 기술 MoRA를 사용해보자!
기존 LoRA의 한계점○ 전체 미세조정에 비해 성능이 떨어짐 - 텍스트 분류, 지시 조정은 우수함. 그러나 지속적 사전 훈련(pre training)을 통한 새로운 지식을 학습하고 기억하는 능력이 제한적 -> LoRA Adapter 순위가 모델 전체 순위보다 매우 작아서 새 정보를 저장하는 능력을 제한하는 것이 원인 MoRA 소개○ MoRA: LoRA의 새 정보 저장 능력을 개선하기 위해 Microsoft와 베이징 항공항천대학교 연구진이 2024년 5월 28일에 새로 공개한 새로운 PEFT 기법○ 핵심 원리: 저순위 행렬 대신 정방 행렬(square matrix)을 사용하는 PEFT- 전체 매개변수 공간에서 가능한 높은 순위에서 학습 가능한 매개변수를 사용 - 기존 모델 차원과 모라 어댑터의 입력 ..
