본문 바로가기

TechStudy

TechStudy/LLM 2024. 12. 13.
[펌] LLM 학습의 어려움 출처: https://arca.live/b/alpaca/123646567?p=1  1. 언어모델의 파인튜닝 학습은 주로 axolotl 이나 unsloth 를 써서 합니다. alpaca 소스코드들은 나온지 오래되고 위에겪으신 것처럼 문제들이 많은 편입니다. 모델과 lora 의 병합과 응용에 관련해서 제가 썼던글들 중 참고될 만한 것이 있을겁니다.https://axolotl-ai-cloud.github.io/axolotl/https://unsloth.ai/blog/contpretraininghttps://arca.live/b/alpaca/118261066 [LoRA와 MergeKit 을 이용해서 망각증상 없이 파인튜닝 시키기] 2.대규모 지식을 넣는 것은 간단한 일은 아닙니다. 왜냐하면 언어모델은 기본적으로..
TechStudy/TimeSeries 2024. 12. 2.
[펌글]Time-LLM: Time Series Forecasting By Reprogramming Large Language Models
[펌글]Time-LLM: Time Series Forecasting By Reprogramming Large Language Models 원문: https://arxiv.org/abs/2310.01728v2?utm_source=pytorchkr&ref=pytorchkr Time-LLM: Time Series Forecasting by Reprogramming Large Language ModelsTime series forecasting holds significant importance in many real-world dynamic systems and has been extensively studied. Unlike natural language process (NLP) and computer vision (CV), where a single large model can tackle multiple tasks, models for t..
TechStudy/TimeSeries 2024. 11. 25.
이동 평균 분해법(moving-average-based season-trend decomposition)
이동 평균 분해법(moving-average-based season-trend decomposition) Autoformer(Wu et al., 2021)에서 사용한 함수 기법으로 최근 시계열 연구의 decompose 방법으로 널리 적용됨       RAW 데이터에 대해 Average pooling을 위한 padding을 적용 후, sliding하면서 Average pooling값을 구한다. sliding하면서 Average pooling값을 구함  =  sliding window 값의 평균을 계산하여 RAW 데이터의 평균적 시퀀스, smoothing된 형태(Trend)를 구함 이 과정을 통해서 얻은 Trend를 Raw에서 빼면 Seasonal이 된다.
TechStudy/Else 2024. 11. 21.
[도커] 컨테이너 업데이트(영구저장법) 및 삭제 방법 도커 컨테이너 업데이트하기(컨테이너에 필요한 것 설치 후 영구저장하기) 단순 실행 명령어로 진입하여 필요한 패키지 설치 docker run -it --rm [이미지 이름]docker run -it --rm txtai_gpu_jupyter_4 컨테이너 실행 상태에서 새 터미널에서 docker ps -a 로 컨테이너 ID 확인docker commit [Container ID] [저장할 이미지 이름]docker images로 저장이 잘 되었는지 확인도커 이미지 삭제 (컨테이너 종료 후 필요시 진행, 또는 vscode상에서 마우스 오른쪽 클릭으로 remove)도커 이미지 리스트 조회 docker images도커 이미지 삭제 docker rmi [repository name:tag]
TechStudy/TimeSeries 2024. 11. 20.
TimeMixer (ICIR2024)
TimeMixer (ICIR2024) 외국 블로그글, 논문을 참조하여 정리하는 글 github: https://github.com/kwuking/TimeMixer GitHub - kwuking/TimeMixer: [ICLR 2024] Official implementation of "TimeMixer: Decomposable Multiscale Mixing for Time Series Fo[ICLR 2024] Official implementation of "TimeMixer: Decomposable Multiscale Mixing for Time Series Forecasting" - kwuking/TimeMixergithub.com paper: https://openreview.net/pdf?id=7oLshfEIC2 video: http..
TechStudy/Else 2024. 11. 19.
[도커] root 계정 밖에서 도커 명령어 인식 및 GPU 설정 도커 사용 이유: 연구자(개발자)가 사용한 환경을 외부 이용자가 그대로 이어받아 의존성 문제, 버전 호환 문제를 피하기 위함    도커 사용할 때마다 root 계정 사용 필수 -> 내가 사용하는 개인 유저에 권한 허용 필요 -> 다음의 명령어들을 root 계정에서 차례대로 수행sudo usermod -aG docker $USER (또는 sudo usermod -aG docker 유저이름)sudo chmod 666 /var/run/docker.socknewgrp dockersudo service docker restart      docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]]도커내..
TechStudy/TimeSeries 2024. 11. 18.
[문제해결] 모델 훈련시 불필요한 경고문 해결하기 You are using a CUDA device ('NVIDIA RTX A6000') that has Tensor Cores. To properly utilize them, you should set `torch.set_float32_matmul_precision('medium' | 'high')` which will trade-off precision for performance. For more details, read https://pytorch.org/docs/stable/generated/torch.set_float32_matmul_precision.html#torch.set_float32_matmul_precisionInitializing distributed: GLOBAL_RANK: 0, ..
TechStudy/LLM 2024. 11. 15.
[문제해결] 모델 사용시 model 이름이 겹친다는 경고문 해결하기 UserWarning: Field "model_name" in HuggingFaceInferenceAPIEmbeddings has conflict with protected namespace "model_". You may be able to resolve this warning by setting model_config['protected_namespaces'] = ().      - 원인: 계속해서 업데이트되고 변화하는 langchain의 환경을 반영하지 못하는 HuggingFaceBgeEmbedding 사용  -> HuggingFaceBgeEmbedding 대신 HuggingFaceEmbedding 사용시 문제 해결! (bge 임베딩 모델 사용한다고 굳이 bge embedding 안써도 됨)
TechStudy/LLM 2024. 11. 13.
[문제해결] ChromaDB 검색의 유사도 점수가 L2 Norm으로 출력되는 이유
[문제해결] ChromaDB 검색의 유사도 점수가 L2 Norm으로 출력되는 이유 문제 상황: RAG로 검색된 DB 조회시 유사도 점수가 코사인 기준이 아닌 L2 Norm으로 출력 원인: Chroma DB로 vector를 저장할 때 기본값이 L2 Norm임        db = Chroma.from_documents(            batch,                  HuggingFaceBgeEmbeddings(model_name=embedding_model, model_kwargs={'device': 'cuda'}),               persist_directory='벡터DB 경로',            collection_metadata={"hnsw:space": "cosine"}) 해결 방법: Vector 저장할 때 collection_matadata에서 c..
TechStudy/TimeSeries 2024. 10. 16.
Recurrent Neural Networks for Multivariate Time Series With Missing Values(2016) 다변량 시계열에서 존재하는 결측치를 처리할 수 있는 모델 GRU-D에 관한 것   원문:https://arxiv.org/pdf/1606.01865      리뷰 포스트:https://datascience0321.tistory.com/49 [Review] Recurrent Neural Networks for Multivariate Time Series With Missing ValuesSummary이번 포스팅에서는 다변량 시계열에서 존재하는 결측치를 처리할 수 있는 모델인 GRU-D에 대해 다룹니다. Irregularly Sampled Time Series본 연구는 불규칙적으로 기록된 다변량 시계열을 잘 다루기datascience0321.tistory.com     2024 기준 결측치 전처리 방법론 (시..
728x90
반응형

티스토리툴바