본문 바로가기

TechStudy/LLM

TechStudy/LLM 2024. 6. 27.
[펌글] 인스트럭트 튜닝 모델에서 데이터 뽑기
[펌글] 인스트럭트 튜닝 모델에서 데이터 뽑기 출처: https://arca.live/b/alpaca/109841866?p=1 인스트럭트 튜닝된 모델에서 데이타셋을 쏙 뽑아내는 방법 등장 - Ai 언어모델 로컬 채널Magpie: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothinghttps://arxiv.org/abs/2406.08464일단 간arca.live  Magpie: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothinghttps://arxiv.org/abs/2406.08464 일단 간증 글부터 보겠습니다 뭐라고? Llama-3-Instruct 에서 데이타셋을 추출해낸 다음에 ..
TechStudy/LLM 2024. 6. 20.
NLEP: 문제 해결에 스스로 프로그램을 만들어 해결하는 LLM
NLEP: 문제 해결에 스스로 프로그램을 만들어 해결하는 LLM 2024년 6월 14일, 대형언어모델(LLM)이 복잡한 문제를 해결할 때 기존 학습 데이터를 이용하는 대신, 자율적으로 해결 프로그램을 생성해서 해결하는 기술  https://arxiv.org/pdf/2309.10814   예를 들어 미국 역대 대통령의 생일을 알려줄 수는 있지만, 반대로 "1950년 이후에 선출된 미국 대통령 중 월요일에 태어난 사람은 누구인가"라는 질문에 취약하다.NLEP는 이 경우 사용자 질문을 해결하기 위해 LLM이 간단한 파이썬 프로그램을 생성하도록 유도한다. 이후 파이썬 인터프리터가 생성된 코드를 실행한 다음, 답을 자연어로 출력  프로그램을 통해 추론 과정을 명확히 설명할 수 있고, 모델이 잘못된 답변을 제공하는 경우 프로그램을 수정할 수 있다. 따라서 모델의 투명성도 향상 ..
TechStudy/LLM 2024. 6. 12.
고급(?) 파인튜닝 기술 Reranker https://aws.amazon.com/ko/blogs/tech/korean-reranker-rag/ 한국어 Reranker를 활용한 검색 증강 생성(RAG) 성능 올리기 | Amazon Web Services검색 증강 생성 (Retrieval-Augmented Generation, RAG)은 효율적인 데이터 검색과 대규모 언어 모델 (Large Language Model, LLM) 을 결합하여 정확하고 관련성 높은 응답을 생성하는 AI 기술로 부상했습니다. 특히aws.amazon.com  사용법 알아보려다가 일단 LLM 연구 중단함
TechStudy/LLM 2024. 6. 11.
LoRA? 신 기술 MoRA를 사용해보자!
LoRA? 신 기술 MoRA를 사용해보자! 기존 LoRA의 한계점○ 전체 미세조정에 비해 성능이 떨어짐 - 텍스트 분류, 지시 조정은 우수함. 그러나 지속적 사전 훈련(pre training)을 통한 새로운 지식을 학습하고 기억하는 능력이 제한적 -> LoRA Adapter 순위가 모델 전체 순위보다 매우 작아서 새 정보를 저장하는 능력을 제한하는 것이 원인    MoRA 소개○ MoRA: LoRA의 새 정보 저장 능력을 개선하기 위해 Microsoft와 베이징 항공항천대학교 연구진이 2024년 5월 28일에 새로 공개한 새로운 PEFT 기법○ 핵심 원리: 저순위 행렬 대신 정방 행렬(square matrix)을 사용하는 PEFT- 전체 매개변수 공간에서 가능한 높은 순위에서 학습 가능한 매개변수를 사용 - 기존 모델 차원과 모라 어댑터의 입력 ..
TechStudy/LLM 2024. 6. 7.
Unsloth 환경을 도입하고 ORPO 파인튜닝(fine-tuning)하기
Unsloth 환경을 도입하고 ORPO 파인튜닝(fine-tuning)하기 Unsloth(Unoptimized but Speeded LOssless Tuning Helper)?○ 목적: LLM 파인튜닝을 casual mask를 이용하여 더욱 빠르고 효율적으로 해주는 오픈소스 라이브러리 링크: https://github.com/unslothai/unsloth    ○ 특이사항 - 기본 오픈소스 무료 라이브러리 외에 더 좋은 성능을 광고하는 유료 라이브러리도 존재 - unsloth으로 파인튜닝한 모델은 스티커 사용 가능 (필수 아님)          Unsloth 도입 이유 및 사용 방법○ 도입 이유 - Llama3(8B)기반의 ORPO를 같이 사용 가능  - 컴퓨터 사용 자원 감소 및 시간 절약 효과 -> 기존 ORPO만 사용한 것보다 메모리 사용량을 줄이고 상대적으로 빠른 fi..
TechStudy/LLM 2024. 6. 5.
Fine-tuned model 독립 및 견고성(robust) 검증
Fine-tuned model 독립 및 견고성(robust) 검증 ○ 목적: LoRA로 파인튜닝한 모델을 스스로 참조하는 형태로 독립시키는 것. -> LoRA로 파인튜닝했어도 원본 모델과 merge를 함으로써 참조가 불필요하도록 모델 독립 원인: 효율적인 속도 및 연산을 위해 조절, 변경한 LoRA matrices만 저장되기 때문     ○ huggingface에 모델을 (비공개) 업로드하면 모델 독립이 자동으로 이뤄질까? -> _name_or_path에 아무 문자열이나 넣어도 정상 작동하므로 모델 독립이라 판단 가능 - 로드 시간: 약 6초 이내로 로드 완료 - 모델 작동 여부: 허깅 기반 로드이므로 답변 속도는 10초 이내로 빠름 -> 문제점: 허깅에 공개적으로 업로드했다는 것(로컬 모델 개발 목적에서..) (* 단, 허깅에 업로드한 모델은 private로 비공개 ..
TechStudy/LLM 2024. 6. 4.
Llama3, 그리고 ORPO
Llama3, 그리고 ORPO 4월 18일에 발매된 Meta Llama3 [MetaLlama3 주요 특징]: 새로운 아키텍처 없음. 학습 데이터 2T -> 15T 확장  토크나이저 크기 32k -> 128k 확장 종류: 8B(~2023.03), 70B(~2023.12), 400+B 모델 3가지 Llama 3 엑세스 및 사용: 올라마, docker, LM스튜디오 3 곳에서 Mac, Linux, Windows 사용자 접근 가능 LLM 파인튜닝 도구 여부: XTuner에서 Llama-3 기반의 LLaVA 모델 공개. > 라마 2는 한국어 튜닝시, 토크나이저에 한국어 토큰을 추가하는 복잡한 과정 필요 라마 3은 그냥 한국어 데이터만 추가로 학습시키면 라마 3 한국어 특화 모델 생성 가능 주의사항: 업무 활용시 llama3-   라고 꼭 앞에..
TechStudy/LLM 2024. 5. 13.
Llama3 and ORPO (리딩용)
Llama3 and ORPO (리딩용) The Odds Ratio term in ORPO is used to calculate the likelihood of a model generating an output sequence y given an input sequence x. This value indicates that the model is n times more likely to generate the sequence y than not. The odds ratio of chosen responses over rejected responses measures the model’s likelihood of generating chosen responses.The log of this odds ratio is considered becau..
728x90
반응형

티스토리툴바