본문 바로가기

All

TechStudy/LLM 2024. 12. 13.
[펌] LLM 학습의 어려움 출처: https://arca.live/b/alpaca/123646567?p=1  1. 언어모델의 파인튜닝 학습은 주로 axolotl 이나 unsloth 를 써서 합니다. alpaca 소스코드들은 나온지 오래되고 위에겪으신 것처럼 문제들이 많은 편입니다. 모델과 lora 의 병합과 응용에 관련해서 제가 썼던글들 중 참고될 만한 것이 있을겁니다.https://axolotl-ai-cloud.github.io/axolotl/https://unsloth.ai/blog/contpretraininghttps://arca.live/b/alpaca/118261066 [LoRA와 MergeKit 을 이용해서 망각증상 없이 파인튜닝 시키기] 2.대규모 지식을 넣는 것은 간단한 일은 아닙니다. 왜냐하면 언어모델은 기본적으로..
TechStudy/TimeSeries 2024. 12. 2.
[펌글]Time-LLM: Time Series Forecasting By Reprogramming Large Language Models
[펌글]Time-LLM: Time Series Forecasting By Reprogramming Large Language Models 원문: https://arxiv.org/abs/2310.01728v2?utm_source=pytorchkr&ref=pytorchkr Time-LLM: Time Series Forecasting by Reprogramming Large Language ModelsTime series forecasting holds significant importance in many real-world dynamic systems and has been extensively studied. Unlike natural language process (NLP) and computer vision (CV), where a single large model can tackle multiple tasks, models for t..
TechStudy/TimeSeries 2024. 11. 25.
이동 평균 분해법(moving-average-based season-trend decomposition)
이동 평균 분해법(moving-average-based season-trend decomposition) Autoformer(Wu et al., 2021)에서 사용한 함수 기법으로 최근 시계열 연구의 decompose 방법으로 널리 적용됨       RAW 데이터에 대해 Average pooling을 위한 padding을 적용 후, sliding하면서 Average pooling값을 구한다. sliding하면서 Average pooling값을 구함  =  sliding window 값의 평균을 계산하여 RAW 데이터의 평균적 시퀀스, smoothing된 형태(Trend)를 구함 이 과정을 통해서 얻은 Trend를 Raw에서 빼면 Seasonal이 된다.
Programming/Python 2024. 11. 22.
GELU, Gaussian Error Linear Unit
GELU, Gaussian Error Linear Unit - 최신 AI 모델에서 성능이 좋아 많이 사용되는, 2016년에 개발된 활성화 함수   $\sigma \to 0$이 되면 ReLU함수가 됨. 즉, ReLU의 smoothing version - 모든 점에서 미분이 가능 - bounded below, unbounded above, non-monotonic, smooth - x가 다른 입력에 비해 얼마나 큰지 비율로 gating  -> 확률적 해석(입력값 크기에 따라 가중치 조절), 미분 가능 형태    구현 방법(torch)import torchimport torch.nn as nnclass DenseBlock(nn.Module): def __init__(self, in_dim, out_dim): super(DenseBlock, self).__init__..
TechStudy/Else 2024. 11. 21.
[도커] 컨테이너 업데이트(영구저장법) 및 삭제 방법 도커 컨테이너 업데이트하기(컨테이너에 필요한 것 설치 후 영구저장하기) 단순 실행 명령어로 진입하여 필요한 패키지 설치 docker run -it --rm [이미지 이름]docker run -it --rm txtai_gpu_jupyter_4 컨테이너 실행 상태에서 새 터미널에서 docker ps -a 로 컨테이너 ID 확인docker commit [Container ID] [저장할 이미지 이름]docker images로 저장이 잘 되었는지 확인도커 이미지 삭제 (컨테이너 종료 후 필요시 진행, 또는 vscode상에서 마우스 오른쪽 클릭으로 remove)도커 이미지 리스트 조회 docker images도커 이미지 삭제 docker rmi [repository name:tag]
TechStudy/TimeSeries 2024. 11. 20.
TimeMixer (ICIR2024)
TimeMixer (ICIR2024) 외국 블로그글, 논문을 참조하여 정리하는 글 github: https://github.com/kwuking/TimeMixer GitHub - kwuking/TimeMixer: [ICLR 2024] Official implementation of "TimeMixer: Decomposable Multiscale Mixing for Time Series Fo[ICLR 2024] Official implementation of "TimeMixer: Decomposable Multiscale Mixing for Time Series Forecasting" - kwuking/TimeMixergithub.com paper: https://openreview.net/pdf?id=7oLshfEIC2 video: http..
TechStudy/Else 2024. 11. 19.
[도커] root 계정 밖에서 도커 명령어 인식 및 GPU 설정 도커 사용 이유: 연구자(개발자)가 사용한 환경을 외부 이용자가 그대로 이어받아 의존성 문제, 버전 호환 문제를 피하기 위함    도커 사용할 때마다 root 계정 사용 필수 -> 내가 사용하는 개인 유저에 권한 허용 필요 -> 다음의 명령어들을 root 계정에서 차례대로 수행sudo usermod -aG docker $USER (또는 sudo usermod -aG docker 유저이름)sudo chmod 666 /var/run/docker.socknewgrp dockersudo service docker restart      docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]]도커내..
TechStudy/TimeSeries 2024. 11. 18.
[문제해결] 모델 훈련시 불필요한 경고문 해결하기 You are using a CUDA device ('NVIDIA RTX A6000') that has Tensor Cores. To properly utilize them, you should set `torch.set_float32_matmul_precision('medium' | 'high')` which will trade-off precision for performance. For more details, read https://pytorch.org/docs/stable/generated/torch.set_float32_matmul_precision.html#torch.set_float32_matmul_precisionInitializing distributed: GLOBAL_RANK: 0, ..
TechStudy/LLM 2024. 11. 15.
[문제해결] 모델 사용시 model 이름이 겹친다는 경고문 해결하기 UserWarning: Field "model_name" in HuggingFaceInferenceAPIEmbeddings has conflict with protected namespace "model_". You may be able to resolve this warning by setting model_config['protected_namespaces'] = ().      - 원인: 계속해서 업데이트되고 변화하는 langchain의 환경을 반영하지 못하는 HuggingFaceBgeEmbedding 사용  -> HuggingFaceBgeEmbedding 대신 HuggingFaceEmbedding 사용시 문제 해결! (bge 임베딩 모델 사용한다고 굳이 bge embedding 안써도 됨)
Programming/Python 2024. 11. 14.
[torch] 모델 저장하고 경고문없이 로드하기 1. 모델 저장하기 import copybest_model = copy.deepcopy(model.state_dict())torch.save(best_model, 'best.pth')   2. 모델 로드하기 단 여기서 model param이 앞에 정의되어있어야 함model.load_state_dict(torch.load('best.pth'))  이렇게 로드하면 FutureWarning: You are using `torch.load` with `weights_only=False` (the current default value), which uses the default pickle module implicitly. It is possible to construct malicious pickle data..
728x90
반응형

티스토리툴바