티스토리

LeafHT

검색하기

블로그 홈

LeafHT

leafht.tistory.com/m

record what I have done.

구독자: 3

방명록 방문하기

주요 글 목록

GELU, Gaussian Error Linear Unit - 최신 AI 모델에서 성능이 좋아 많이 사용되는, 2016년에 개발된 활성화 함수 $\sigma \to 0$이 되면 ReLU함수가 됨. 즉, ReLU의 smoothing version - 모든 점에서 미분이 가능 - bounded below, unbounded above, non-monotonic, smooth - x가 다른 입력에 비해 얼마나 큰지 비율로 gating -> 확률적 해석(입력값 크기에 따라 가중치 조절), 미분 가능 형태 구현 방법(torch)import torchimport torch.nn as nnclass DenseBlock(nn.Module): def __init__(self, in_dim, out_dim): super(DenseBlock, self).__init__.. 공감수 0 댓글수 0 2024. 11. 22.
[torch] 모델 저장하고 경고문없이 로드하기 1. 모델 저장하기 import copybest_model = copy.deepcopy(model.state_dict())torch.save(best_model, 'best.pth') 2. 모델 로드하기 단 여기서 model param이 앞에 정의되어있어야 함model.load_state_dict(torch.load('best.pth')) 이렇게 로드하면 FutureWarning: You are using `torch.load` with `weights_only=False` (the current default value), which uses the default pickle module implicitly. It is possible to construct malicious pickle data.. 공감수 4 댓글수 2 2024. 11. 14.
트랜스포머 대체재 mamba? https://modulabs.co.kr/blog/introducing-mamba/ Mamba : 트랜스포머를 대체할 차세대 아키텍처의 등장트랜스포머의 대항마라 볼 수 있는 Mamba 모델이 나왔습니다. Mamba는 State Space Model을 기반으로 만들어진 아키텍쳐라 볼 수 있습니다. 비록 아직은 미흡하긴 하지만 추후에 발전의 여지가 충분히modulabs.co.kr 읽은 포스트 저장 포인트: 선택적 저장 (기존 트랜스포머는 모두 저장.. )으로 효율성을 높임 공감수 0 댓글수 1 2024. 6. 21.
240424강의자료 제안 보호되어 있는 글입니다. 공감수 0 댓글수 0 2024. 4. 24.
Generative Models(생성 모델), GAN 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 https://deepgenerativemodels.github.io/ Stanford University CS236: Deep Generative Models Course Description Generative models are widely used in many subfields of AI and Machine Learning. Recent advances in parameterizing these models using deep neural networks, combined with progress in stochastic optimization methods, have enabled scalable m deepgen.. 공감수 1 댓글수 3 2024. 2. 27.
Recurrent Neural Networks(RNN), Transformer 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 RNN은 주어진 입력 자체가 Sequential이라는 특징이 있다. Sequential Model: 입력이 들어왔을 때 다음 입력에 대한 예측을 하는 것 고려해야하는 과거에 기록된 데이터들의 양이 점점 늘어난다. - Fix the past timespan: 특정 과거나 구간을 설정하여 데이터를 제한한다. Markov property: 내가 가정하기에 나의 현재는 바로 전 과거에만 dependent한다. 장점: joint distribution 표현이 용이해짐 ~> generative model 연관 단점: 버리는 과거 정보가 너무 많음( 내일 수능인데 그 결과는 어제 하루에만 dependent한다... 라고 할 수 있나? ) .. 공감수 0 댓글수 1 2024. 2. 27.
[CNN] Computer Vision Applications (Semantic Segmentation and Detection) 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 Semantic Segmentation dense classficaton이라고 불리기도 한다. 이미지의 모든 픽셀이 각가 어느 label에 속하는지 찾는 것이다. 대표적 예시) Remind) 그렇다면 Semantic Segmentation에서 쓰는 CNN구조는? Fully Convolutional Network(FCN): Convolutionalization을 사용한 CNN 구조 Convolutionalization: Dense layer를 없애는 과정 (큰 장점이 dense layer를 없애는 것) 그러면 왜 사용하는걸까? Input image size에 상관없이 작동 可 a classification net can prod.. 공감수 1 댓글수 1 2024. 2. 27.
[CNN] Convolutional Neural Networks 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 Convolution의 수학적 정의: f와 g 두 개의 함수를 잘 섞어주는 operator 가장 기본적인 convolution 예제: 3x3 filter를 7x7 image에 convolution하면 5x5 output이 나온다. K: convolution filter 이런식으로 하나하나 output이 계산되면 5x5 output으로 convolution operation이 수행된다. 이런 방식을 통해 실제 2d convolution이 진행된 예제는 다음과 같다. 일반적으로 다루는 RGB Image Convolution을 사용한다. tensor: RGB image를 수학적으로 표현하는 것 보통 임의의 image를 convolu.. 공감수 1 댓글수 1 2024. 2. 27.
인공지능 기본 수학 (베이즈 통계학, 인과관계 추론) 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 베이즈 통계학은 조건부 확률 개념에서 시작한다. 베이즈정리: 조건부 확률을 이용한 정보 갱신 방법 사후확률(posterior): 데이터 관찰 후에 이 파라미터(혹은 가정)이 성립할 확률 사전확률 분포(prior distribution): 모델링 이전 기본적으로 주어진 정보 혹은 전제사항 가능도(likelihood): 현재 주어진 조건, 환경에서 해당 데이터가 관찰될 확률 예제) Covid 발병률 10%로 알려져있다. 실제로 걸렸을 때 검진될 확률은 99%, 걸리지 않았는데 오검진될 확률은 1% 어떤 사람이 질병에 걸렸다고 검진되었을 때 정말 제대로 검진될 확률은? 여기서 세타는 실제 발병률로 정의(관찰 불가), D는 검진 양성.. 공감수 1 댓글수 2 2024. 2. 18.
인공지능 기본 수학 (확률론, 통계) 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 확률론 왜 필요? : 딥러닝(AI)는 확률론 기반 기계학습 이론을 근거로 하기 때문 분산 및 불확실성 최소화위해서 측정 방법(통계학에서 제공, 확률론 기본 개념)을 알아야 함 기계학습내 손실함수(loss function): 데이터 공간 통계적 해석 유도 ex) 회귀분석내 손실함수 L2노름: 예측오차 분산 최소화 방향으로 학습 유도 ex) 분류문제내 cross-entropy(교차엔트로피)는 모델 예측 불확실성 최소화 방향 학습 유도 Y: 정답 레이블 // 파란색 점 = 관측한 데이터 discrete(이산형) continuous(연속형) 확률 변수 구분 기준: 확률분포 D cf) 이산형과 연속형이 둘 다 있는 경우도 있다. 반드시.. 공감수 1 댓글수 2 2024. 2. 18.
인공지능(AI) 기초 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 AI모형 설계에 중요한 세 가지: 구현 능력(Implementation skills), 수학적 사고능력(Linear Algera, Probability), 최근 논문 트랜드 파악 Key Components of Deep Learning: (대표적 4가지; 논문 리딩에서 주의깊게 봐야할 부분) 1) The data that the model can learn from Classification: 사진을 분류하는 문제 Semantic Segmentation: 픽셀 단위로 dense classification하는 것 Detection: 영역(bounding box)를 찾아내기 Pose Estimation: 사람들의 3차원 스켈레톤 .. 공감수 1 댓글수 0 2024. 2. 7.
인공지능 기본 수학 (선형대수: 벡터, 행렬, 경사하강법) 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 돌다리도 다시 두들겨보고 건너는 개념 복습 게시물 벡터? 차원(dim): 벡터 원소 개수 실질적으로 AI에서는 N-차원 공간에서 벡터를 정의한다. 사칙연산 가능 L1노름에서는 각도계산 불가능! 내적의 해석은? 행렬(Matrix)? 딥러닝의 핵심 연산. 전치행렬(Transpose): 행과 열을 서로 바꾸는 것. (전체 i와 j 순서를 바꿈) 행렬 덧셈 뺄셈, 성분곱은 직관적으로 可 미분, 경사하강법 공감수 0 댓글수 1 2024. 2. 5.
기본 개념 정리 4 (hyper-parameter, Ensemble) 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 돌다리도 다시 두들겨보고 건너는 개념 복습 게시물 Hyper-Parameter 1.Learning rate 2. Depth, number of leaves (모델의 깊이와 잎사귀 개수 제한) 3. Column Sampling Ratio: 컬럼 선택 랜덤 이렇게 계속 랜덤하게 다른 피쳐들로 생성된 트리들을 만든다. 4. Row sampling ratio: 컬럼이 아니라 row를 랜덤하게 선택하여 만든다. 이러한 파라미터 변수명은 각 모델들마다 약간씩 차이가 있다. Category 변수 사용 가능 여부도 XGboost는 numeric만 가능하므로 전처리가 따로 필요한 반면 LightGBM과 CatBoost는 pandas의 cate.. 공감수 0 댓글수 0 2024. 1. 30.
기본 개념 정리 3 (features) 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 돌다리도 다시 두들겨보고 건너는 개념 복습 게시물 Feature Engineering: 기존 데이터에서 문제 해결에 도움되는 새 feature 생성, 변환해서 ML에 적합하게 변환하는 것 딥러닝에비해 머신러닝에서는 반드시 거쳐하는 과정! [Pandas group by aggregation] ex) 고객 ID기반으로 새 feature 생성 방법1: 누적합 cumsum함수를 이용해서 새 feature 생성 ex) id를 기준으로 total의 누적값을 계산 방법2: pandas group by nunique aggregation function 방법3: Time Series를 이용 [Cross Validation을 이용한 Out o.. 공감수 0 댓글수 0 2024. 1. 30.
트리 모델, TabNet 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 Decision tree(의사결정나무): 컬럼값들을 특정 기준으로 나누어 목적에 맞는 의사결정을 내리는 것. 자식 노드가 섞이지 않은 상태로 완전히 분류하는 것이 목적 (= 복잡성(Entropy) 낮도록 만드는 것) Impurity(불순도) = 복잡성 E = Entropy = 불순도를 측정하는 지표, 정보량의 기댓값 정보량 = 어떤 사건이 지닌 정보의 양 Gini Index(G)= 불순도 측정 지표. 데이터 통계적 분산을 정량화해서 표현한 것. 높으면 데이터가 분산되어있음을 의미 (불순도 높음) Misclassification error 지표는 미분 불가능하므로 잘 안쓰임 트리모델 발전: Decision Tree -> Rand.. 공감수 0 댓글수 0 2024. 1. 27.
기본 개념 정리 2 (ML) 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 돌다리도 다시 두들겨보고 건너는 개념 복습 게시물 Overfitting: 전체 데이터 구조 = sample data set인 경우면 좋음. 그런데 이런 경우 거의 없음. 정확도가 train은 좋은데 test가 엉망(음수)인 경우 = 실질 예측성 떨어짐 Underfitting: 정확도가 train은 엉망인데 test가 좋은 경우; 또는 두 점수 모두 너무 낮은 경우 why?) model is too simple!! or data set is too small! -> not trained well Underfitting 대응법: 더 많은 데이터, 더 많은 feature 반영, variance가 높은 ML 모델 사용 등 Overfi.. 공감수 0 댓글수 0 2024. 1. 16.
기본 개념 정리 1 (데이터, EDA, 데이터 전처리) 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 돌다리도 다시 두들겨보고 건너는 개념 복습 게시물 정형데이터: 행(하나의 데이터 인스턴스), 열(데이터 피처)로 표현 可 데이터 -> 범용적임(가장 기본 소양) 이면에 숨겨진 진실을 찾는 통찰력 중요 ex) 전쟁에서 무사히 돌아온 비행기 도면에 표시된 총알 자국을 보고, 격추된 비행기에는 총알 자국이 없는 곳에 공격을 당했다고 파악, 해당 부분을 철판으로 더 보강 비정형데이터: 이미지, 비디오, 음성, 자연어 등 정제되지 않은 데이터 (요즘 트랜드) [문제 정의] X = 5914명 고객 2009.12 ~ 2011.11 구매기록 Y = 5914명 고객 2011.12 총 구매액 > 300 여부 (Binary) -> 우량고객 예측(.. 공감수 1 댓글수 1 2024. 1. 16.
ETL (Extract, Transform, Load) with command-line tools https://github.com/nogibjj/coursera-applied-data-eng-projects GitHub - nogibjj/coursera-applied-data-eng-projects: Project for the Duke Coursera Applied Data Engineering Specialization Project for the Duke Coursera Applied Data Engineering Specialization - GitHub - nogibjj/coursera-applied-data-eng-projects: Project for the Duke Coursera Applied Data Engineering Specialization github.com 명렁어를 통한.. 공감수 0 댓글수 1 2024. 1. 3.
[DL] over(under)fitting 최적, Dropout, Callback 기본 데이터 정리 및 model 함수 정의 후 호출 from tensorflow import keras from sklearn.model_selection import train_test_split (train_input, train_target), (test_input, test_target) = keras.datasets.fashion_mnist.load_data() train_scaled = train_input / 255.0 train_scaled, val_scaled, train_target, val_target = train_test_split( train_scaled, train_target, test_size=0.2, random_state=42) def model_fn(a_layer=No.. 공감수 0 댓글수 0 2023. 9. 20.
[ML] SGDClassifier (확률적 경사하강법 분류모형) ML기존 훈련데이터에 이어 계속해서 생겨나는 새로운 데이터에 대해 지속적으로 훈련하여 업데이트하는 것에 대한 고민 (점진적 학습, 온라인 학습) 경사하강법 시리즈는 최적화를 위한 도구이다. DL(신경망 알고리즘)에서 필수이다. Stochastic Gradient Descent (SGD; 확률적 경사하강법): train set에서 sample 하나씩 손실함수 경사를 따라 최적 model 찾기 Minibatch Gradient Descent (MGD; 미니배치 경사하강법): 무작위 몇 개 샘플을 선택해서 최적점 찾기. (빈번하게 사용됨) Batch Gradient Descent(BGD; 배치 경사하강법): 전체 데이터로 바로 최적점 찾기(컴퓨터 자원 무리 우려 有) Epoch(에포크): train set 한.. 공감수 0 댓글수 0 2023. 9. 17.
[ML] Logistic regression import pandas as pd fish = pd.read_csv('https://bit.ly/fish_csv') fish.Species.unique() # species 중복없이 나열 pd.unique(fish['Species'] # 또는 이런 코드 사용 array(['Bream', 'Roach', 'Whitefish', 'Parkki', 'Perch', 'Pike', 'Smelt'], dtype=object) 생선 종류는 target. 나머지는 features(weight, length, diagonal, height, width) 머신러닝을 위해 feature data -> numpy 변환 fish_input = fish[['Weight','Length','Diagonal','Height','W.. 공감수 0 댓글수 0 2023. 9. 15.
[DL] tensorflow, Deep Neural Network(DNN) [deep learning 개괄 설명] Deep Learning(딥러닝): 생물학적 신경망을 추상화한 인공신경망. 신호(미지수) -> 전달 통로 -> 활성화 함수(임계값 도달) -> 0 or 1 출력 input layer -> hidden layer(생략 可) -> output layer 인공신경망은 가중치 찾는 것이 중요! why?) 인공신경망 학습 = 가충치 찾는 과정:: 환경변수 지정 -> 신경망 실행 -> 예측값, 실제값 비교 -> 가중치 값 수정 ↘반복 구간 1) 환경변수 지정 Hyper parameter 조정 (사람이 지정해줘야 하는 값.) epoch: 학습 데이터 소모 단위 batch size: 하나 batch마다 주는 data sample size (성능과 상관관계X but 메모리 한계와 .. 공감수 0 댓글수 0 2023. 9. 15.
[Numpy] Linear algebra package scipy랑 쓰면 공학 소프트웨어 MATLAB 기능 수준 각 차원(dimension) = axis로 표현 ndarray의 axis축 행, 열, 높이가 아니라 axis0, axis1, axis2같이 axis단위로 부여 ndarray 생성, 초기화 방법 ndarray를 편리하게 생성하기 - arange(array + range) python의 range처럼 순차적으로 증가하는 값으로 ndarray 생성 array = np.arange(10) print(array) print(array.dtype, array.shape) [0 1 2 3 4 5 6 7 8 9] int32 (10,) Numpy.ndarray의 다양한 속성값  ndarray.shape : 배열의 각 축(axis)의 크기  ndarray.ndi.. 공감수 0 댓글수 0 2023. 9. 13.
[ML] Feature engineering, 다중회귀, 릿지회귀, 라쏘회귀 Feature enginerring(특성공학): 기존 특성, 데이터를 바탕으로 새로운 특성을 만드는 작업 이번엔 데이터를 파일에 근거해서 불러온다(pandas) import pandas as pd import matplotlib.pyplot as plt import matplotlib as mpl import numpy as np mpl.rcParams['font.family'] = 'Malgun Gothic' # 그래프에 한글 설정 mpl.rcParams['axes.unicode_minus'] = False # 그래프에 마이너스 기호 깨지는 문제 해결 df = pd.read_csv('https://bit.ly/perch_csv') # length, height, width 3열로 된 데이터이다. per.. 공감수 0 댓글수 1 2023. 9. 11.
[ML] KN 회귀 알고리즘, 선형회귀, 다항회귀 KN 분류: 말 그대로 주변 바탕으로 (분류 번호 예측 후) 자동 분류 작업 KN 회귀: 주변 바탕으로 특정 데이터 값을 예측 이번 데이터는 농어의 길이와 무게 샘플을 바탕으로 잘못 측정된 한 농어의 무게를 추정하는 상황이다.(길이는 괜찮다.) import numpy as np perch_length = np.array( [8.4, 13.7, 15.0, 16.2, 17.4, 18.0, 18.7, 19.0, 19.6, 20.0, 21.0, 21.0, 21.0, 21.3, 22.0, 22.0, 22.0, 22.0, 22.0, 22.5, 22.5, 22.7, 23.0, 23.5, 24.0, 24.0, 24.6, 25.0, 25.6, 26.5, 27.3, 27.5, 27.5, 27.5, 28.0, 28.7, 3.. 공감수 0 댓글수 0 2023. 9. 11.
[ML] KN 분류 알고리즘 (실전편) 기본편 게시물과 전혀 다른 방법으로, numpy로 세련되게 데이터를 정리해보자 column_stack(리스트1, 리스트2.. .) 공감수 0 댓글수 0 2023. 9. 11.
[ML] KN 분류 알고리즘 (기본편) 도미(35 data), 빙어(14 data) 를 분류하는 예제이다. bream_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0] bream_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 500.0, 340.0, 600.0, 600.0, 700.0,.. 공감수 0 댓글수 0 2023. 9. 11.
[ML] Gradient Descent(경사하강법) 회귀식에서 minimum coefficent를 찾는 알고리즘 ex) min(expenditure function) 기울기 지점 찾기 최소값 도달할 때 까지 임의 점 기울기 계속 재가면서 반복 그러나 기울기가 0인 지점이 여러 개(local minimum)인 다항함수의 경우, 오류가 생긴다는 문제점 有 Epoch: 훈련 데이터 셋 학습 횟수. (너무 많으면 overfitting 可) Batch size: 기울기 update시 훈련 데이터 몇 개씩 묶어서 사용할지 정하는 것. 보통 2의 지수승 형태. 메모리 적재 可만큼 (64~512) Epoch 개수와 딱 맞게 떨어지도록 설정. (마지막 사이즈 다르면 학습 편향이 생기므로 걍 마지막거 버림) n( train set ) < 2000 이면 굳이 나누지 않음. .. 공감수 1 댓글수 1 2023. 9. 7.
[ML] Cross Validation(CV; 교차검증), Grid Search 과적합(overfitting) 방지 목적. 데이터 부족으로 인한 underfitting (이도저도 아닌 부정확상태) 단점: iteration 횟수 多 -> 모델 훈련, 시간 걸림. Cross-validation method varies Holdout: train set을 9:1 or 7:3 등 임의 비율로 test과 split -> Iteration 1번만 함. (시간 덜 드는 방법) K-fold cross: general method. k개로 분할 및 data set구성. iteration마다 test set 다르게 할당. k번 iteration -> 각 검증 결과들의 평균으로 model 성능 파악. 보통 k 값은 3, 5, 10을 많이 사용한다 from sklearn.datasets import lo.. 공감수 0 댓글수 0 2023. 9. 7.
[ML] 기본 데이터 정리 및 split (iris 예제) 머신러닝 모델을 학습하고 그 결과를 검증하기 위해서는 원래의 데이터를 Training, Validation, Testing의 용도로 나누어 다뤄야 한다. 그렇지 않고 Training에 사용한 데이터를 검증용으로 사용하면 시험문제를 알고 있는 상태에서 공부를 하고 그 지식을 바탕으로 시험을 치루는 꼴이므로 제대로 된 검증이 이루어지지 않기 때문이다. 딥러닝을 제외하고도 다양한 기계학습과 데이터 분석 툴을 제공하는 scikit-learn 패키지 중 model_selection에는 데이터 분할을 위한 train_test_split 함수가 들어있다. [출처] [Python] sklearn의 train_test_split() 사용법|작성자 Paris Lee import seaborn as sd import p.. 공감수 0 댓글수 1 2023. 9. 6.

728x90

반응형

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.