본문 바로가기

전체 글

TechStudy/Else 2024. 7. 5.
nvidia-smi가 먹통일 때 해결하기
nvidia-smi가 먹통일 때 해결하기 nvidia-smi는 gpu가 어디서 사용되고있는지, 상태가 정상인지 확인할 수 있는 기본 명령어이다. 그런데...   nvidia-smiFailed to initialize NVML: Driver/library version mismatchNVML library version: 535.183이런식으로 출력되면 미치는거지..   근데 사실 해결방법은 간단하다. 기존 엔비디아 드라이버 버전이 구식이라 업데이트가 필요하다는 의미로, 기존 드라이버를 제거하고 업데이트를 해주면 된다. 여러 블로그에 여러가지 방법을 나열해놓았지만.. 내가 해결한 방법을 정리하고자 한다.  우선 현재 설치된 버전을 확인한다sudo lspci | grep NVIDIA  그리고 아래 명령어로 그냥 다 깔끔하게 지우자sudo syste..
TF리뷰 보호되어 있는 글입니다.
TechStudy/SyntheticData 2024. 7. 1.
[논문 리뷰] ITF-GAN: Synthetic time series dataset generation and manipulation by interpretable features
[논문 리뷰] ITF-GAN: Synthetic time series dataset generation and manipulation by interpretable features ITF: Interpretable Time SeriesFM: feature manipulation기존 합성데이터 생성 문제점: black box에서 만들어졌기에 해석이 어려움-> 시계열 연속함수 기반 두 가지 해석 기법 제시:1) ITF-FM: deep autoencoder(=AE) 조정 2) ITF-GAN: 적대적 학습 (GAN) 사용-> 해석 가능한 고품질 합성데이터 생성     $N_{head}$: 추가 노이즈 패턴에 의한 corrupted output 추정   [1] ITF-FM일반적인 생성은 총 4단계로 진행된다.1단계: ITF-AE를 주어진 데이터 안에서 훈련한다. (confident data reconstruction이 필요함)   2단계: network 가중치 $\theta$들은 고정(fr..
TechStudy/LLM 2024. 7. 1.
트랜스포머 구조의 비밀
트랜스포머 구조의 비밀 https://arca.live/b/alpaca/110137556?p=1 LLM 트랜스포머의 레이어들은 무슨 일들을 할까? - Ai 언어모델 로컬 채널The Remarkable Robustness of LLMs:Stages of Inference?https://arxiv.org/abs/2406.19384며칠전에 MIT에서 발표한 논문을 소개하겠습니다. 유명한 물리arca.live펌글     The Remarkable Robustness of LLMs:Stages of Inference?https://arxiv.org/abs/2406.19384 며칠전에 MIT에서 발표한 논문딥러닝 모델의 내부는 초창기에는 블랙박스라고 생각해왔지만, 지금은 연구가 활발히 진행되면서 내부의 원리들에 대한 분석들이 많이 등장하..
TechStudy/LLM 2024. 6. 27.
wandb 1회 밋업: 야놀자 EEVE 개발자 김승덕
wandb 1회 밋업: 야놀자 EEVE 개발자 김승덕 EEVE 출시된 지가 반년 이상 지났기에 도움이 될지 모르겠다는 서두로 시작한 개발자님. 근데 사진과 실물이 매우 다르시네요...      파라미터 설정의 기본이지만 잘 모르고 넘어간 경우도 많다.    Unsloth 개발자는 packing 옵션에 대해 선택의 문제라고 답변한 반면,김승덕 개발자님은 " 시간도 줄고 효과도 좋은데 굳이 좋은거 두고 왜 안씀? " 의 입장이였다.pakcing으로 인한 원본 데이터 왜곡 우려에 대해서는 원본 데이터 품질이 충분히 좋다면 걱정하지 않아도 된다는 것.그리고 이것저것 튜닝해본 결과, 하이퍼 파라미터 조정 등을 포함한  packing으로 인한 loss가 있더라도 그게 성능측면에서 크게 눈에 띄지 않는다고 함. 결국 중요한건 데이터의 질과 양         각종 튜닝가..
TechStudy/LLM 2024. 6. 27.
wandb 1회 밋업: LG유플러스 김기현 연구위원
wandb 1회 밋업: LG유플러스 김기현 연구위원 호랑이 리더보드를 wandb와 만들게된 이유는 본인이 직접 wandb를 쓰는데 그 사용량이 유독 많았고(?)그 특이점을 wandb의 아키라가 흥미롭게 보게되어 같이 협업을 하게되었다고.. 뭐 그런 카더라        LG도 AI 개발 합니다!...라는 내용    근데 그 중에서도 상담 (CS) AI 자동화 연구를 목적으로 한다고 함.통신사의 CS 데이터는 매우 크고 그 상담 직원 규모도 큼.  예전엔 법(legal) 분야을 AI로 하려했는데, 미국과 달리 한국은 문자 그대로 해석되는 내용이 아닌 경우가 있어서 어렵다고 함       데이터가 엄청난데 이 데이터에는 말 그대로 핵심 내용만 담긴 것이 아니라 불필요한 구어체" - 네네.. 아 네... 알겠습니다. 네.. 아 네... 네네.. 네!" 뭐 이런 ..
TechStudy/LLM 2024. 6. 27.
wandb 1회 밋업: intro, Chris Van Pelt, FriendliAI
wandb 1회 밋업: intro, Chris Van Pelt, FriendliAI 1회 서울 밋업에 대한 후기이자 내용 정리      도착하면 추첨을 통해 준다는 wandb 티셔츠(XL이 최대)와 간단한 식사를 준다. 참가자가 예상보다 많아 선착순으로 제공되고 이후에 못받은 사람을 고려하여 피자와 콜라도 제공되었다.      아무래도 창업자 chris는 미국인이고 이번에 한국을 처음으로 방문했다는데..번역기는 자기가 개발한 실시간 번역 AI를 쓰라고 홍보(?)하는 시간이 있었다.근데 그 홍보를 영어로 함.. (대체 왜...인지는 몰?루?) 근데 그 영어로 된 홍보를 알아들을 사람은 솔직히 저 AI 번역기가 필요없음 -> 홍보가 좀 이상한듯?  그리고 wandb 모임이 일본에서는 매달 도쿄에서 열렸기에 일본인 직원들(아키라 등)도 3명 정도 있었다.       네 그렇답니다. 근데 학생..
TechStudy/LLM 2024. 6. 27.
[펌글] 인스트럭트 튜닝 모델에서 데이터 뽑기
[펌글] 인스트럭트 튜닝 모델에서 데이터 뽑기 출처: https://arca.live/b/alpaca/109841866?p=1 인스트럭트 튜닝된 모델에서 데이타셋을 쏙 뽑아내는 방법 등장 - Ai 언어모델 로컬 채널Magpie: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothinghttps://arxiv.org/abs/2406.08464일단 간arca.live  Magpie: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothinghttps://arxiv.org/abs/2406.08464 일단 간증 글부터 보겠습니다 뭐라고? Llama-3-Instruct 에서 데이타셋을 추출해낸 다음에 ..
Programming/Python 2024. 6. 21.
트랜스포머 대체재 mamba? https://modulabs.co.kr/blog/introducing-mamba/ Mamba : 트랜스포머를 대체할 차세대 아키텍처의 등장트랜스포머의 대항마라 볼 수 있는 Mamba 모델이 나왔습니다. Mamba는 State Space Model을 기반으로 만들어진 아키텍쳐라 볼 수 있습니다. 비록 아직은 미흡하긴 하지만 추후에 발전의 여지가 충분히modulabs.co.kr  읽은 포스트 저장     포인트: 선택적 저장 (기존 트랜스포머는 모두 저장.. )으로 효율성을 높임
TechStudy/SyntheticData 2024. 6. 20.
Nemotron: LLM훈련을 위한 합성데이터 생성모델
Nemotron: LLM훈련을 위한 합성데이터 생성모델 발매날짜: 2024년 6월 14일Nemotron-4 340B Instruct: 현실세계의 다양한 합성 데이터 생성 모델Nemotron-4 340B Reward: Helpfulness, correctness, coherence, complexity, verbosity 5가지 기준 고품질 필터링 모델Nemotron-4 340B Base: 기초 모델 필터모델이 참조한 데이터셋(ShareGPT기반): https://huggingface.co/datasets/nvidia/HelpSteer2 nvidia/HelpSteer2 · Datasets at Hugging FaceSure! I can help you with data analysis in a variety of ways, depending on your sp..
728x90
반응형

티스토리툴바