본문 바로가기

All

Programming/Python 2023. 9. 7.
[ML] Cross Validation(CV; 교차검증), Grid Search
[ML] Cross Validation(CV; 교차검증), Grid Search 과적합(overfitting) 방지 목적. 데이터 부족으로 인한 underfitting (이도저도 아닌 부정확상태) 단점: iteration 횟수 多 -> 모델 훈련, 시간 걸림. Cross-validation method varies Holdout: train set을 9:1 or 7:3 등 임의 비율로 test과 split -> Iteration 1번만 함. (시간 덜 드는 방법) K-fold cross: general method. k개로 분할 및 data set구성. iteration마다 test set 다르게 할당. k번 iteration -> 각 검증 결과들의 평균으로 model 성능 파악. 보통 k 값은 3, 5, 10을 많이 사용한다 from sklearn.datasets import lo..
Programming/Python 2023. 9. 6.
[ML] 기본 데이터 정리 및 split (iris 예제)
[ML] 기본 데이터 정리 및 split (iris 예제) 머신러닝 모델을 학습하고 그 결과를 검증하기 위해서는 원래의 데이터를 Training, Validation, Testing의 용도로 나누어 다뤄야 한다. 그렇지 않고 Training에 사용한 데이터를 검증용으로 사용하면 시험문제를 알고 있는 상태에서 공부를 하고 그 지식을 바탕으로 시험을 치루는 꼴이므로 제대로 된 검증이 이루어지지 않기 때문이다. ​ 딥러닝을 제외하고도 다양한 기계학습과 데이터 분석 툴을 제공하는 scikit-learn 패키지 중 model_selection에는 데이터 분할을 위한 train_test_split 함수가 들어있다. [출처] [Python] sklearn의 train_test_split() 사용법|작성자 Paris Lee import seaborn as sd import p..
Programming/Python 2023. 9. 6.
[ML] Scikit_learn introduction
[ML] Scikit_learn introduction 지도학습 : target(y) 有 ex) Linear regression(선형회귀: 규제; 라소/릿지/엘라스틱 넷 기법) Logistic regression -> Decision tree(결정나무; random forest, cart) 그 외 알고리즘 종류들 knn, kmeans 비지도학습 : target 無 ex) 반 지도학습(강화학습): 보상을 통해 계속 학습 유도. ex) 알파고 Machine Learning(ML) 알고리즘 구현한 오픈소스 라이브러리 중 유명한 것 하나. 일관. 간결한 API. 문서화 잘되어있음. 알고리즘 -> python class. Data set -> numpy 배열, Pd (df), Scipy 등 데이터 표현 용어 *sample(표본) = Matrix row ex) n_sa..
Programming/Python 2023. 9. 5.
데이터 전처리3 (Correlation)
데이터 전처리3 (Correlation) 데이터 직무는 처음에 데이터 전처리만 2년에서 3년 함 (데이터 특성 파악) 3 4년차에 보통 분석 시작 Correlation (상관 관계) in (-1, 1) 상관분석(피어슨 correlation analysis) 이용 상관계수 찾기 corr() import pandas as pd iris_corr = iris_df.corr() iris_corr 해당 상관관계를 한번에 확인하는 그래프 호출 sns.pairplot()
Programming/Python 2023. 9. 5.
데이터 전처리2 (Data Scaling)
데이터 전처리2 (Data Scaling) from sklearn.datasets import load_iris import pandas as pd from sklearn.preprocessing import StandardScaler # 표준화 스케일링 함수 import seaborn as sns import matplotlib.pyplot as plt import scipy as sp import scipy.stats iris = load_iris() # 붓꽃 데이터 셋을 로딩, DataFrame으로 변환 iris_data = iris.data iris_df = pd.DataFrame(data=iris_data, columns=iris.feature_names) 표준화: 입력된 x들을 평균 0이고 분산 1인 표준 정규 분포로 변환하는 것. S..
Programming/Python 2023. 9. 5.
데이터 전처리1 (null, outlier, bias, regression)
데이터 전처리1 (null, outlier, bias, regression) 실무에서 자주 하는 중요한 과정이다. (missing value 처리 -> outlier -> transformation -> featuring; 수식에 의해 새 컬럼 만드는 것 -> scaling;표준,정규화) import pandas as pd import seaborn as sns import matplotlib.pyplot as plt import numpy as np titanic = sns.load_dataset("titanic") titanic.info() # 결측치 탐색 RangeIndex: 891 entries, 0 to 890 Data columns (total 15 columns): # Column Non-Null Count Dtype --- ------ -------------- -..
Programming/Python 2023. 9. 5.
[Matplotlib] 히트맵(pcolor) 및 응용
[Matplotlib] 히트맵(pcolor) 및 응용 # 히트맵 그리기 plt.pcolor(df, cmap='Blues') plt.colorbar() plt.pcolor(titanic_pivot) plt.colorbar() plt.xticks(np.arange(0.5,len(titanic_pivot.columns),1), labels=titanic_pivot.columns) plt.yticks(np.arange(0.5,len(titanic_pivot.index),1), labels=titanic_pivot.index) plt.show() heatmap(data=2차원데이터) cmap=컬러맵 : 컬러맵 지정 annot=True : 수치 표시 fmt='d' : 정수로 표시 sns.heatmap(titanic_pivot, cmap='Blues', annot=Tr..
playdata 회고 2023. 9. 4.
플레이데이터 데이터 엔지니어링 27 기 3주차 회고 1) 전반적인 느낀 점 (일주일 동안 한 일) Oracle (SQL) 마무리하고 파이썬으로 돌아와 판다스와 매트롤립을 다뤘다. 2) 좋았던 점(좋았거나 내가 잘했던 점) SQL 오라클 하나를 제대로 정리해놨다는 점이 뿌듯하다. 판다스와 매트롤립도 하나하나 정리해서 기분이 좋다. 3) 아쉬웠던 점 판다스 진도가 매우 빨랐다. 이번주 원래 일정대로라면 머신러닝을 금요일에 들어갔어야했는데 판다스를 했다. 사실 SQL 앞으로 안할거라서 더 다루고 판다스는 빠르게 간다고 했는데 비전공자 입장에서는 판다스를 빠르게 가는게 녹록치 않았다. 그 이후 판다스도 너무 빠르다고 말씀을 드려서 그런지 판다스도 조금 길게 하게 되었고 머신러닝을 시작을 안했는데, 머신러닝도 쉬운 내용이 아닌데 이러면 머신러닝을 또 급하게 나가야..
Programming/Python 2023. 9. 4.
[Matplotlib] 기본
[Matplotlib] 기본 [실무에서...] 1.비지니스 이해 2.데이터 이해 (SQL) 3.데이터 준비: 데이터 전처리 (pandas) 수집(e): DBMS/파일/웹 정제(c): 누락치/이상치 변환(가공-t): 피처링 코드 스케일링(정규화, 표준화) -> 하나의 파일 데이터 분석(모델링) 적재(L) 4.모델링 5.평가 6.이관 import matplotlib.pyplot as plt plt.plot : 단순 선 그래프 %matplotlib qt # 창모드 출력 유도 잠깐 numpy 이용한 함수그래프 import numpy as np x = np.arange(-4.5, 5, 0.5) # x의 interval: [-4.5, 5), 0.5 단위. y = 2*x**2 # 수식으로 x 대응하는 y 생성 [x,y] # array 출력 pl..
playdata 회고 2023. 9. 4.
플레이데이터 데이터 엔지니어링 27기 8월 회고 1) 수강 동기 Data scientist가 되기위한 역량 강화가 필요해서 이를 위해서 제대로 공부해본 적이 없었는데 이번기회에 제대로 해보고 싶어서 국비지원과정 중에서 가장 빠른 시일 내에 공부를 시작할 수 있는 곳 이여서 플레이데이터가 엔코아 컴퍼니와 연결되었다는 사실이 매력적이여서 커리큘럼 과정이 요즘 취업 요건을 반영하였다는 점에서 알차서. 그리고 내가 구글링했을 공식 홈페이지에 나오지 않은 수강생들의 회고를 보게되었는데 그들의 이야기를 참조한 결과 나빠보이지 않아서 이렇게 내게는 여러가지 이유가 동시에 작용하였다. 2) 1개월 동안 학습한 기술셋 간단하게 정리 Python 기본문법, pandas, Oracle(SQL) 기본 조작. 3) 전반적인 느낀 점 그동안 긴가민가했던 python과 SQL을..
728x90
반응형

티스토리툴바