본문 바로가기

All

Programming/Python 2023. 9. 17.
[ML] SGDClassifier (확률적 경사하강법 분류모형)
[ML] SGDClassifier (확률적 경사하강법 분류모형) ML기존 훈련데이터에 이어 계속해서 생겨나는 새로운 데이터에 대해 지속적으로 훈련하여 업데이트하는 것에 대한 고민 (점진적 학습, 온라인 학습) 경사하강법 시리즈는 최적화를 위한 도구이다. DL(신경망 알고리즘)에서 필수이다. Stochastic Gradient Descent (SGD; 확률적 경사하강법): train set에서 sample 하나씩 손실함수 경사를 따라 최적 model 찾기 Minibatch Gradient Descent (MGD; 미니배치 경사하강법): 무작위 몇 개 샘플을 선택해서 최적점 찾기. (빈번하게 사용됨) Batch Gradient Descent(BGD; 배치 경사하강법): 전체 데이터로 바로 최적점 찾기(컴퓨터 자원 무리 우려 有) Epoch(에포크): train set 한..
Programming/Python 2023. 9. 15.
[ML] Logistic regression
[ML] Logistic regression import pandas as pd fish = pd.read_csv('https://bit.ly/fish_csv') fish.Species.unique() # species 중복없이 나열 pd.unique(fish['Species'] # 또는 이런 코드 사용 array(['Bream', 'Roach', 'Whitefish', 'Parkki', 'Perch', 'Pike', 'Smelt'], dtype=object) 생선 종류는 target. 나머지는 features(weight, length, diagonal, height, width) 머신러닝을 위해 feature data -> numpy 변환 fish_input = fish[['Weight','Length','Diagonal','Height','W..
Programming/Python 2023. 9. 15.
[DL] tensorflow, Deep Neural Network(DNN)
[DL] tensorflow, Deep Neural Network(DNN) [deep learning 개괄 설명] Deep Learning(딥러닝): 생물학적 신경망을 추상화한 인공신경망. 신호(미지수) -> 전달 통로 -> 활성화 함수(임계값 도달) -> 0 or 1 출력 input layer -> hidden layer(생략 可) -> output layer 인공신경망은 가중치 찾는 것이 중요! why?) 인공신경망 학습 = 가충치 찾는 과정:: 환경변수 지정 -> 신경망 실행 -> 예측값, 실제값 비교 -> 가중치 값 수정 ↘반복 구간 1) 환경변수 지정 Hyper parameter 조정 (사람이 지정해줘야 하는 값.) epoch: 학습 데이터 소모 단위 batch size: 하나 batch마다 주는 data sample size (성능과 상관관계X but 메모리 한계와 ..
Programming/Python 2023. 9. 13.
[Numpy] Linear algebra package
[Numpy] Linear algebra package scipy랑 쓰면 공학 소프트웨어 MATLAB 기능 수준 각 차원(dimension) = axis로 표현 ndarray의 axis축 행, 열, 높이가 아니라 axis0, axis1, axis2같이 axis단위로 부여 ndarray 생성, 초기화 방법 ndarray를 편리하게 생성하기 - arange(array + range) python의 range처럼 순차적으로 증가하는 값으로 ndarray 생성 array = np.arange(10) print(array) print(array.dtype, array.shape) [0 1 2 3 4 5 6 7 8 9] int32 (10,) Numpy.ndarray의 다양한 속성값  ndarray.shape : 배열의 각 축(axis)의 크기  ndarray.ndi..
Programming/Python 2023. 9. 11.
[ML] Feature engineering, 다중회귀, 릿지회귀, 라쏘회귀
[ML] Feature engineering, 다중회귀, 릿지회귀, 라쏘회귀 Feature enginerring(특성공학): 기존 특성, 데이터를 바탕으로 새로운 특성을 만드는 작업 이번엔 데이터를 파일에 근거해서 불러온다(pandas) import pandas as pd import matplotlib.pyplot as plt import matplotlib as mpl import numpy as np mpl.rcParams['font.family'] = 'Malgun Gothic' # 그래프에 한글 설정 mpl.rcParams['axes.unicode_minus'] = False # 그래프에 마이너스 기호 깨지는 문제 해결 df = pd.read_csv('https://bit.ly/perch_csv') # length, height, width 3열로 된 데이터이다. per..
Programming/Python 2023. 9. 11.
[ML] KN 회귀 알고리즘, 선형회귀, 다항회귀
[ML] KN 회귀 알고리즘, 선형회귀, 다항회귀 KN 분류: 말 그대로 주변 바탕으로 (분류 번호 예측 후) 자동 분류 작업 KN 회귀: 주변 바탕으로 특정 데이터 값을 예측 이번 데이터는 농어의 길이와 무게 샘플을 바탕으로 잘못 측정된 한 농어의 무게를 추정하는 상황이다.(길이는 괜찮다.) import numpy as np perch_length = np.array( [8.4, 13.7, 15.0, 16.2, 17.4, 18.0, 18.7, 19.0, 19.6, 20.0, 21.0, 21.0, 21.0, 21.3, 22.0, 22.0, 22.0, 22.0, 22.0, 22.5, 22.5, 22.7, 23.0, 23.5, 24.0, 24.0, 24.6, 25.0, 25.6, 26.5, 27.3, 27.5, 27.5, 27.5, 28.0, 28.7, 3..
Programming/Python 2023. 9. 11.
[ML] KN 분류 알고리즘 (실전편)
[ML] KN 분류 알고리즘 (실전편) 기본편 게시물과 전혀 다른 방법으로, numpy로 세련되게 데이터를 정리해보자 column_stack(리스트1, 리스트2.. .)
Programming/Python 2023. 9. 11.
[ML] KN 분류 알고리즘 (기본편)
[ML] KN 분류 알고리즘 (기본편) 도미(35 data), 빙어(14 data) 를 분류하는 예제이다. bream_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0] bream_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 500.0, 340.0, 600.0, 600.0, 700.0,..
Programming/Python 2023. 9. 7.
[ML] Gradient Descent(경사하강법)
[ML] Gradient Descent(경사하강법) 회귀식에서 minimum coefficent를 찾는 알고리즘 ex) min(expenditure function) 기울기 지점 찾기 최소값 도달할 때 까지 임의 점 기울기 계속 재가면서 반복 그러나 기울기가 0인 지점이 여러 개(local minimum)인 다항함수의 경우, 오류가 생긴다는 문제점 有 Epoch: 훈련 데이터 셋 학습 횟수. (너무 많으면 overfitting 可) Batch size: 기울기 update시 훈련 데이터 몇 개씩 묶어서 사용할지 정하는 것. 보통 2의 지수승 형태. 메모리 적재 可만큼 (64~512) Epoch 개수와 딱 맞게 떨어지도록 설정. (마지막 사이즈 다르면 학습 편향이 생기므로 걍 마지막거 버림) n( train set ) < 2000 이면 굳이 나누지 않음. ..
Programming/Python 2023. 9. 7.
[ML] Cross Validation(CV; 교차검증), Grid Search
[ML] Cross Validation(CV; 교차검증), Grid Search 과적합(overfitting) 방지 목적. 데이터 부족으로 인한 underfitting (이도저도 아닌 부정확상태) 단점: iteration 횟수 多 -> 모델 훈련, 시간 걸림. Cross-validation method varies Holdout: train set을 9:1 or 7:3 등 임의 비율로 test과 split -> Iteration 1번만 함. (시간 덜 드는 방법) K-fold cross: general method. k개로 분할 및 data set구성. iteration마다 test set 다르게 할당. k번 iteration -> 각 검증 결과들의 평균으로 model 성능 파악. 보통 k 값은 3, 5, 10을 많이 사용한다 from sklearn.datasets import lo..
728x90
반응형

티스토리툴바