본문 바로가기

TechStudy/LLM

TechStudy/LLM 2024. 12. 26.
[펌] 강화학습(Reinforcement Training)
[펌] 강화학습(Reinforcement Training) 대중에게 최초로 AI의 공포를 각인시켰던 사건들 중 하나를 꼽자면, 단연 알파고를 빼놓을 수 없을 것입니다. 또한 chatGPT 가 처음 등장할 때에도 기본적인 GPT 언어 생성모델에, 파라메터를 잔뜩 불리고 (180B) RLHF 라는 기법을 통해 사람과 대화하는 것 같은 instruction following 이라는 task 에 추가 학습시킴으로써 이제껏 보지못한 새로운 형태의 지능이 등장하는 것을 보게 되었습니다. 이러한 충격적인 기술혁명의 공통점에는 바로 강화학습이 있습니다. 오늘은 강화학습에 대해 알아볼까 합니다.  강화학습이라는 기술 자체는 꽤 오래전부터 연구되어오던 주제입니다. 하지만 2010년 대 들어서 발전한 딥러닝의 기법들+GPU 연산능력의 증가에 의해 그 실용적인 적용범위가 대폭 확장되..
TechStudy/LLM 2024. 12. 13.
[펌] LLM 학습의 어려움 출처: https://arca.live/b/alpaca/123646567?p=1  1. 언어모델의 파인튜닝 학습은 주로 axolotl 이나 unsloth 를 써서 합니다. alpaca 소스코드들은 나온지 오래되고 위에겪으신 것처럼 문제들이 많은 편입니다. 모델과 lora 의 병합과 응용에 관련해서 제가 썼던글들 중 참고될 만한 것이 있을겁니다.https://axolotl-ai-cloud.github.io/axolotl/https://unsloth.ai/blog/contpretraininghttps://arca.live/b/alpaca/118261066 [LoRA와 MergeKit 을 이용해서 망각증상 없이 파인튜닝 시키기] 2.대규모 지식을 넣는 것은 간단한 일은 아닙니다. 왜냐하면 언어모델은 기본적으로..
TechStudy/LLM 2024. 11. 15.
[문제해결] 모델 사용시 model 이름이 겹친다는 경고문 해결하기 UserWarning: Field "model_name" in HuggingFaceInferenceAPIEmbeddings has conflict with protected namespace "model_". You may be able to resolve this warning by setting model_config['protected_namespaces'] = ().      - 원인: 계속해서 업데이트되고 변화하는 langchain의 환경을 반영하지 못하는 HuggingFaceBgeEmbedding 사용  -> HuggingFaceBgeEmbedding 대신 HuggingFaceEmbedding 사용시 문제 해결! (bge 임베딩 모델 사용한다고 굳이 bge embedding 안써도 됨)
TechStudy/LLM 2024. 11. 13.
[문제해결] ChromaDB 검색의 유사도 점수가 L2 Norm으로 출력되는 이유
[문제해결] ChromaDB 검색의 유사도 점수가 L2 Norm으로 출력되는 이유 문제 상황: RAG로 검색된 DB 조회시 유사도 점수가 코사인 기준이 아닌 L2 Norm으로 출력 원인: Chroma DB로 vector를 저장할 때 기본값이 L2 Norm임        db = Chroma.from_documents(            batch,                  HuggingFaceBgeEmbeddings(model_name=embedding_model, model_kwargs={'device': 'cuda'}),               persist_directory='벡터DB 경로',            collection_metadata={"hnsw:space": "cosine"}) 해결 방법: Vector 저장할 때 collection_matadata에서 c..
TechStudy/LLM 2024. 9. 9.
[펌] 사람처럼 생각하는 자체교정 프롬프트 시스템 프롬프트You are a world-class AI system, capable of complex reasoning and reflection. Reason through the query inside tags, and then provide your final response inside tags. If you detect that you made a mistake in your reasoning at any point, correct yourself inside tags. 질문Who are you? I'll start by introducing myself and explaining my capabilities:Hello! I'm LLaMA, an AI assistant develope..
TechStudy/LLM 2024. 7. 15.
[펌] 프롬프트 엔지니어링(?)의 중요성
[펌] 프롬프트 엔지니어링(?)의 중요성 영어만 잘하는 LLM에 대해서    한국어로 물어보면 평소처럼 이런 멍멍이 소리만 하지만    # default prompt  You must think in English and answer in Korean. Divide your response into two parts: Thinking and Answer. #ResponseFormat**Thinking:**1. Translate the question into English.2. Analyze the intention of the question and decide how to respond.3. Explain your logical reasoning process in English. --- **Answer:**1. Based on the pr..
TechStudy/LLM 2024. 7. 1.
트랜스포머 구조의 비밀
트랜스포머 구조의 비밀 https://arca.live/b/alpaca/110137556?p=1 LLM 트랜스포머의 레이어들은 무슨 일들을 할까? - Ai 언어모델 로컬 채널The Remarkable Robustness of LLMs:Stages of Inference?https://arxiv.org/abs/2406.19384며칠전에 MIT에서 발표한 논문을 소개하겠습니다. 유명한 물리arca.live펌글     The Remarkable Robustness of LLMs:Stages of Inference?https://arxiv.org/abs/2406.19384 며칠전에 MIT에서 발표한 논문딥러닝 모델의 내부는 초창기에는 블랙박스라고 생각해왔지만, 지금은 연구가 활발히 진행되면서 내부의 원리들에 대한 분석들이 많이 등장하..
TechStudy/LLM 2024. 6. 27.
wandb 1회 밋업: 야놀자 EEVE 개발자 김승덕
wandb 1회 밋업: 야놀자 EEVE 개발자 김승덕 EEVE 출시된 지가 반년 이상 지났기에 도움이 될지 모르겠다는 서두로 시작한 개발자님. 근데 사진과 실물이 매우 다르시네요...      파라미터 설정의 기본이지만 잘 모르고 넘어간 경우도 많다.    Unsloth 개발자는 packing 옵션에 대해 선택의 문제라고 답변한 반면,김승덕 개발자님은 " 시간도 줄고 효과도 좋은데 굳이 좋은거 두고 왜 안씀? " 의 입장이였다.pakcing으로 인한 원본 데이터 왜곡 우려에 대해서는 원본 데이터 품질이 충분히 좋다면 걱정하지 않아도 된다는 것.그리고 이것저것 튜닝해본 결과, 하이퍼 파라미터 조정 등을 포함한  packing으로 인한 loss가 있더라도 그게 성능측면에서 크게 눈에 띄지 않는다고 함. 결국 중요한건 데이터의 질과 양         각종 튜닝가..
TechStudy/LLM 2024. 6. 27.
wandb 1회 밋업: LG유플러스 김기현 연구위원
wandb 1회 밋업: LG유플러스 김기현 연구위원 호랑이 리더보드를 wandb와 만들게된 이유는 본인이 직접 wandb를 쓰는데 그 사용량이 유독 많았고(?)그 특이점을 wandb의 아키라가 흥미롭게 보게되어 같이 협업을 하게되었다고.. 뭐 그런 카더라        LG도 AI 개발 합니다!...라는 내용    근데 그 중에서도 상담 (CS) AI 자동화 연구를 목적으로 한다고 함.통신사의 CS 데이터는 매우 크고 그 상담 직원 규모도 큼.  예전엔 법(legal) 분야을 AI로 하려했는데, 미국과 달리 한국은 문자 그대로 해석되는 내용이 아닌 경우가 있어서 어렵다고 함       데이터가 엄청난데 이 데이터에는 말 그대로 핵심 내용만 담긴 것이 아니라 불필요한 구어체" - 네네.. 아 네... 알겠습니다. 네.. 아 네... 네네.. 네!" 뭐 이런 ..
TechStudy/LLM 2024. 6. 27.
wandb 1회 밋업: intro, Chris Van Pelt, FriendliAI
wandb 1회 밋업: intro, Chris Van Pelt, FriendliAI 1회 서울 밋업에 대한 후기이자 내용 정리      도착하면 추첨을 통해 준다는 wandb 티셔츠(XL이 최대)와 간단한 식사를 준다. 참가자가 예상보다 많아 선착순으로 제공되고 이후에 못받은 사람을 고려하여 피자와 콜라도 제공되었다.      아무래도 창업자 chris는 미국인이고 이번에 한국을 처음으로 방문했다는데..번역기는 자기가 개발한 실시간 번역 AI를 쓰라고 홍보(?)하는 시간이 있었다.근데 그 홍보를 영어로 함.. (대체 왜...인지는 몰?루?) 근데 그 영어로 된 홍보를 알아들을 사람은 솔직히 저 AI 번역기가 필요없음 -> 홍보가 좀 이상한듯?  그리고 wandb 모임이 일본에서는 매달 도쿄에서 열렸기에 일본인 직원들(아키라 등)도 3명 정도 있었다.       네 그렇답니다. 근데 학생..
728x90
반응형

티스토리툴바