본문 바로가기

2024/06/20

TechStudy/SyntheticData 2024. 6. 20.
Nemotron: LLM훈련을 위한 합성데이터 생성모델
Nemotron: LLM훈련을 위한 합성데이터 생성모델 발매날짜: 2024년 6월 14일Nemotron-4 340B Instruct: 현실세계의 다양한 합성 데이터 생성 모델Nemotron-4 340B Reward: Helpfulness, correctness, coherence, complexity, verbosity 5가지 기준 고품질 필터링 모델Nemotron-4 340B Base: 기초 모델 필터모델이 참조한 데이터셋(ShareGPT기반): https://huggingface.co/datasets/nvidia/HelpSteer2 nvidia/HelpSteer2 · Datasets at Hugging FaceSure! I can help you with data analysis in a variety of ways, depending on your sp..
TechStudy/LLM 2024. 6. 20.
NLEP: 문제 해결에 스스로 프로그램을 만들어 해결하는 LLM
NLEP: 문제 해결에 스스로 프로그램을 만들어 해결하는 LLM 2024년 6월 14일, 대형언어모델(LLM)이 복잡한 문제를 해결할 때 기존 학습 데이터를 이용하는 대신, 자율적으로 해결 프로그램을 생성해서 해결하는 기술  https://arxiv.org/pdf/2309.10814   예를 들어 미국 역대 대통령의 생일을 알려줄 수는 있지만, 반대로 "1950년 이후에 선출된 미국 대통령 중 월요일에 태어난 사람은 누구인가"라는 질문에 취약하다.NLEP는 이 경우 사용자 질문을 해결하기 위해 LLM이 간단한 파이썬 프로그램을 생성하도록 유도한다. 이후 파이썬 인터프리터가 생성된 코드를 실행한 다음, 답을 자연어로 출력  프로그램을 통해 추론 과정을 명확히 설명할 수 있고, 모델이 잘못된 답변을 제공하는 경우 프로그램을 수정할 수 있다. 따라서 모델의 투명성도 향상 ..
728x90
반응형

티스토리툴바