본문 바로가기

Programming/Python

Programming/Python 2024. 2. 7.
인공지능(AI) 기초
인공지능(AI) 기초 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 AI모형 설계에 중요한 세 가지: 구현 능력(Implementation skills), 수학적 사고능력(Linear Algera, Probability), 최근 논문 트랜드 파악 Key Components of Deep Learning: (대표적 4가지; 논문 리딩에서 주의깊게 봐야할 부분) 1) The data that the model can learn from Classification: 사진을 분류하는 문제 Semantic Segmentation: 픽셀 단위로 dense classification하는 것 Detection: 영역(bounding box)를 찾아내기 Pose Estimation: 사람들의 3차원 스켈레톤 ..
Programming/Python 2024. 2. 5.
인공지능 기본 수학 (선형대수: 벡터, 행렬, 경사하강법)
인공지능 기본 수학 (선형대수: 벡터, 행렬, 경사하강법) 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 돌다리도 다시 두들겨보고 건너는 개념 복습 게시물 벡터? 차원(dim): 벡터 원소 개수 실질적으로 AI에서는 N-차원 공간에서 벡터를 정의한다. 사칙연산 가능 L1노름에서는 각도계산 불가능! 내적의 해석은? 행렬(Matrix)? 딥러닝의 핵심 연산. 전치행렬(Transpose): 행과 열을 서로 바꾸는 것. (전체 i와 j 순서를 바꿈) 행렬 덧셈 뺄셈, 성분곱은 직관적으로 可 미분, 경사하강법
Programming/Python 2024. 1. 30.
기본 개념 정리 4 (hyper-parameter, Ensemble)
기본 개념 정리 4 (hyper-parameter, Ensemble) 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 돌다리도 다시 두들겨보고 건너는 개념 복습 게시물 Hyper-Parameter 1.Learning rate 2. Depth, number of leaves (모델의 깊이와 잎사귀 개수 제한) 3. Column Sampling Ratio: 컬럼 선택 랜덤 이렇게 계속 랜덤하게 다른 피쳐들로 생성된 트리들을 만든다. 4. Row sampling ratio: 컬럼이 아니라 row를 랜덤하게 선택하여 만든다. 이러한 파라미터 변수명은 각 모델들마다 약간씩 차이가 있다. Category 변수 사용 가능 여부도 XGboost는 numeric만 가능하므로 전처리가 따로 필요한 반면 LightGBM과 CatBoost는 pandas의 cate..
Programming/Python 2024. 1. 30.
기본 개념 정리 3 (features)
기본 개념 정리 3 (features) 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 돌다리도 다시 두들겨보고 건너는 개념 복습 게시물 Feature Engineering: 기존 데이터에서 문제 해결에 도움되는 새 feature 생성, 변환해서 ML에 적합하게 변환하는 것 딥러닝에비해 머신러닝에서는 반드시 거쳐하는 과정! [Pandas group by aggregation] ex) 고객 ID기반으로 새 feature 생성 방법1: 누적합 cumsum함수를 이용해서 새 feature 생성 ex) id를 기준으로 total의 누적값을 계산 방법2: pandas group by nunique aggregation function 방법3: Time Series를 이용 [Cross Validation을 이용한 Out o..
Programming/Python 2024. 1. 27.
트리 모델, TabNet
트리 모델, TabNet 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 Decision tree(의사결정나무): 컬럼값들을 특정 기준으로 나누어 목적에 맞는 의사결정을 내리는 것. 자식 노드가 섞이지 않은 상태로 완전히 분류하는 것이 목적 (= 복잡성(Entropy) 낮도록 만드는 것) Impurity(불순도) = 복잡성 E = Entropy = 불순도를 측정하는 지표, 정보량의 기댓값 정보량 = 어떤 사건이 지닌 정보의 양 Gini Index(G)= 불순도 측정 지표. 데이터 통계적 분산을 정량화해서 표현한 것. 높으면 데이터가 분산되어있음을 의미 (불순도 높음) Misclassification error 지표는 미분 불가능하므로 잘 안쓰임 트리모델 발전: Decision Tree -> Rand..
Programming/Python 2024. 1. 16.
기본 개념 정리 2 (ML)
기본 개념 정리 2 (ML) 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 돌다리도 다시 두들겨보고 건너는 개념 복습 게시물 Overfitting: 전체 데이터 구조 = sample data set인 경우면 좋음. 그런데 이런 경우 거의 없음. 정확도가 train은 좋은데 test가 엉망(음수)인 경우 = 실질 예측성 떨어짐 Underfitting: 정확도가 train은 엉망인데 test가 좋은 경우; 또는 두 점수 모두 너무 낮은 경우 why?) model is too simple!! or data set is too small! -> not trained well Underfitting 대응법: 더 많은 데이터, 더 많은 feature 반영, variance가 높은 ML 모델 사용 등 Overfi..
Programming/Python 2024. 1. 16.
기본 개념 정리 1 (데이터, EDA, 데이터 전처리)
기본 개념 정리 1 (데이터, EDA, 데이터 전처리) 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 돌다리도 다시 두들겨보고 건너는 개념 복습 게시물 정형데이터: 행(하나의 데이터 인스턴스), 열(데이터 피처)로 표현 可 데이터 -> 범용적임(가장 기본 소양) 이면에 숨겨진 진실을 찾는 통찰력 중요 ex) 전쟁에서 무사히 돌아온 비행기 도면에 표시된 총알 자국을 보고, 격추된 비행기에는 총알 자국이 없는 곳에 공격을 당했다고 파악, 해당 부분을 철판으로 더 보강 비정형데이터: 이미지, 비디오, 음성, 자연어 등 정제되지 않은 데이터 (요즘 트랜드) [문제 정의] X = 5914명 고객 2009.12 ~ 2011.11 구매기록 Y = 5914명 고객 2011.12 총 구매액 > 300 여부 (Binary) -> 우량고객 예측(..
Programming/Python 2024. 1. 3.
ETL (Extract, Transform, Load) with command-line tools
ETL (Extract, Transform, Load) with command-line tools https://github.com/nogibjj/coursera-applied-data-eng-projects GitHub - nogibjj/coursera-applied-data-eng-projects: Project for the Duke Coursera Applied Data Engineering Specialization Project for the Duke Coursera Applied Data Engineering Specialization - GitHub - nogibjj/coursera-applied-data-eng-projects: Project for the Duke Coursera Applied Data Engineering Specialization github.com 명렁어를 통한..
Programming/Python 2023. 9. 20.
[DL] over(under)fitting 최적, Dropout, Callback
[DL] over(under)fitting 최적, Dropout, Callback 기본 데이터 정리 및 model 함수 정의 후 호출 from tensorflow import keras from sklearn.model_selection import train_test_split (train_input, train_target), (test_input, test_target) = keras.datasets.fashion_mnist.load_data() train_scaled = train_input / 255.0 train_scaled, val_scaled, train_target, val_target = train_test_split( train_scaled, train_target, test_size=0.2, random_state=42) def model_fn(a_layer=No..
Programming/Python 2023. 9. 17.
[ML] SGDClassifier (확률적 경사하강법 분류모형)
[ML] SGDClassifier (확률적 경사하강법 분류모형) ML기존 훈련데이터에 이어 계속해서 생겨나는 새로운 데이터에 대해 지속적으로 훈련하여 업데이트하는 것에 대한 고민 (점진적 학습, 온라인 학습) 경사하강법 시리즈는 최적화를 위한 도구이다. DL(신경망 알고리즘)에서 필수이다. Stochastic Gradient Descent (SGD; 확률적 경사하강법): train set에서 sample 하나씩 손실함수 경사를 따라 최적 model 찾기 Minibatch Gradient Descent (MGD; 미니배치 경사하강법): 무작위 몇 개 샘플을 선택해서 최적점 찾기. (빈번하게 사용됨) Batch Gradient Descent(BGD; 배치 경사하강법): 전체 데이터로 바로 최적점 찾기(컴퓨터 자원 무리 우려 有) Epoch(에포크): train set 한..
728x90
반응형

티스토리툴바