본문 바로가기

전체 글

Programming/Python 2024. 2. 27.
Recurrent Neural Networks(RNN), Transformer
Recurrent Neural Networks(RNN), Transformer 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 RNN은 주어진 입력 자체가 Sequential이라는 특징이 있다. Sequential Model: 입력이 들어왔을 때 다음 입력에 대한 예측을 하는 것 고려해야하는 과거에 기록된 데이터들의 양이 점점 늘어난다. - Fix the past timespan: 특정 과거나 구간을 설정하여 데이터를 제한한다. Markov property: 내가 가정하기에 나의 현재는 바로 전 과거에만 dependent한다. 장점: joint distribution 표현이 용이해짐 ~> generative model 연관 단점: 버리는 과거 정보가 너무 많음( 내일 수능인데 그 결과는 어제 하루에만 dependent한다... 라고 할 수 있나? ) ..
Programming/Python 2024. 2. 27.
[CNN] Computer Vision Applications (Semantic Segmentation and Detection)
[CNN] Computer Vision Applications (Semantic Segmentation and Detection) 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 Semantic Segmentation dense classficaton이라고 불리기도 한다. 이미지의 모든 픽셀이 각가 어느 label에 속하는지 찾는 것이다. 대표적 예시) Remind) 그렇다면 Semantic Segmentation에서 쓰는 CNN구조는? Fully Convolutional Network(FCN): Convolutionalization을 사용한 CNN 구조 Convolutionalization: Dense layer를 없애는 과정 (큰 장점이 dense layer를 없애는 것) 그러면 왜 사용하는걸까? Input image size에 상관없이 작동 可 a classification net can prod..
Programming/Python 2024. 2. 27.
[CNN] Convolutional Neural Networks
[CNN] Convolutional Neural Networks 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 Convolution의 수학적 정의: f와 g 두 개의 함수를 잘 섞어주는 operator 가장 기본적인 convolution 예제: 3x3 filter를 7x7 image에 convolution하면 5x5 output이 나온다. K: convolution filter 이런식으로 하나하나 output이 계산되면 5x5 output으로 convolution operation이 수행된다. 이런 방식을 통해 실제 2d convolution이 진행된 예제는 다음과 같다. 일반적으로 다루는 RGB Image Convolution을 사용한다. tensor: RGB image를 수학적으로 표현하는 것 보통 임의의 image를 convolu..
Programming/Python 2024. 2. 18.
인공지능 기본 수학 (베이즈 통계학, 인과관계 추론)
인공지능 기본 수학 (베이즈 통계학, 인과관계 추론) 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 베이즈 통계학은 조건부 확률 개념에서 시작한다. 베이즈정리: 조건부 확률을 이용한 정보 갱신 방법 사후확률(posterior): 데이터 관찰 후에 이 파라미터(혹은 가정)이 성립할 확률 사전확률 분포(prior distribution): 모델링 이전 기본적으로 주어진 정보 혹은 전제사항 가능도(likelihood): 현재 주어진 조건, 환경에서 해당 데이터가 관찰될 확률 예제) Covid 발병률 10%로 알려져있다. 실제로 걸렸을 때 검진될 확률은 99%, 걸리지 않았는데 오검진될 확률은 1% 어떤 사람이 질병에 걸렸다고 검진되었을 때 정말 제대로 검진될 확률은? 여기서 세타는 실제 발병률로 정의(관찰 불가), D는 검진 양성..
Programming/Python 2024. 2. 18.
인공지능 기본 수학 (확률론, 통계)
인공지능 기본 수학 (확률론, 통계) 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 확률론 왜 필요? : 딥러닝(AI)는 확률론 기반 기계학습 이론을 근거로 하기 때문 분산 및 불확실성 최소화위해서 측정 방법(통계학에서 제공, 확률론 기본 개념)을 알아야 함 기계학습내 손실함수(loss function): 데이터 공간 통계적 해석 유도 ex) 회귀분석내 손실함수 L2노름: 예측오차 분산 최소화 방향으로 학습 유도 ex) 분류문제내 cross-entropy(교차엔트로피)는 모델 예측 불확실성 최소화 방향 학습 유도 Y: 정답 레이블 // 파란색 점 = 관측한 데이터 discrete(이산형) continuous(연속형) 확률 변수 구분 기준: 확률분포 D cf) 이산형과 연속형이 둘 다 있는 경우도 있다. 반드시..
Programming/Python 2024. 2. 7.
인공지능(AI) 기초
인공지능(AI) 기초 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 AI모형 설계에 중요한 세 가지: 구현 능력(Implementation skills), 수학적 사고능력(Linear Algera, Probability), 최근 논문 트랜드 파악 Key Components of Deep Learning: (대표적 4가지; 논문 리딩에서 주의깊게 봐야할 부분) 1) The data that the model can learn from Classification: 사진을 분류하는 문제 Semantic Segmentation: 픽셀 단위로 dense classification하는 것 Detection: 영역(bounding box)를 찾아내기 Pose Estimation: 사람들의 3차원 스켈레톤 ..
Programming/Python 2024. 2. 5.
인공지능 기본 수학 (선형대수: 벡터, 행렬, 경사하강법)
인공지능 기본 수학 (선형대수: 벡터, 행렬, 경사하강법) 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 돌다리도 다시 두들겨보고 건너는 개념 복습 게시물 벡터? 차원(dim): 벡터 원소 개수 실질적으로 AI에서는 N-차원 공간에서 벡터를 정의한다. 사칙연산 가능 L1노름에서는 각도계산 불가능! 내적의 해석은? 행렬(Matrix)? 딥러닝의 핵심 연산. 전치행렬(Transpose): 행과 열을 서로 바꾸는 것. (전체 i와 j 순서를 바꿈) 행렬 덧셈 뺄셈, 성분곱은 직관적으로 可 미분, 경사하강법
Programming/Python 2024. 1. 30.
기본 개념 정리 4 (hyper-parameter, Ensemble)
기본 개념 정리 4 (hyper-parameter, Ensemble) 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 돌다리도 다시 두들겨보고 건너는 개념 복습 게시물 Hyper-Parameter 1.Learning rate 2. Depth, number of leaves (모델의 깊이와 잎사귀 개수 제한) 3. Column Sampling Ratio: 컬럼 선택 랜덤 이렇게 계속 랜덤하게 다른 피쳐들로 생성된 트리들을 만든다. 4. Row sampling ratio: 컬럼이 아니라 row를 랜덤하게 선택하여 만든다. 이러한 파라미터 변수명은 각 모델들마다 약간씩 차이가 있다. Category 변수 사용 가능 여부도 XGboost는 numeric만 가능하므로 전처리가 따로 필요한 반면 LightGBM과 CatBoost는 pandas의 cate..
Programming/Python 2024. 1. 30.
기본 개념 정리 3 (features)
기본 개념 정리 3 (features) 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 돌다리도 다시 두들겨보고 건너는 개념 복습 게시물 Feature Engineering: 기존 데이터에서 문제 해결에 도움되는 새 feature 생성, 변환해서 ML에 적합하게 변환하는 것 딥러닝에비해 머신러닝에서는 반드시 거쳐하는 과정! [Pandas group by aggregation] ex) 고객 ID기반으로 새 feature 생성 방법1: 누적합 cumsum함수를 이용해서 새 feature 생성 ex) id를 기준으로 total의 누적값을 계산 방법2: pandas group by nunique aggregation function 방법3: Time Series를 이용 [Cross Validation을 이용한 Out o..
Programming/Python 2024. 1. 27.
트리 모델, TabNet
트리 모델, TabNet 출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정 Decision tree(의사결정나무): 컬럼값들을 특정 기준으로 나누어 목적에 맞는 의사결정을 내리는 것. 자식 노드가 섞이지 않은 상태로 완전히 분류하는 것이 목적 (= 복잡성(Entropy) 낮도록 만드는 것) Impurity(불순도) = 복잡성 E = Entropy = 불순도를 측정하는 지표, 정보량의 기댓값 정보량 = 어떤 사건이 지닌 정보의 양 Gini Index(G)= 불순도 측정 지표. 데이터 통계적 분산을 정량화해서 표현한 것. 높으면 데이터가 분산되어있음을 의미 (불순도 높음) Misclassification error 지표는 미분 불가능하므로 잘 안쓰임 트리모델 발전: Decision Tree -> Rand..
728x90
반응형

티스토리툴바