본문 바로가기

Programming

Programming/Python 2023. 9. 5.
데이터 전처리2 (Data Scaling)
데이터 전처리2 (Data Scaling) from sklearn.datasets import load_iris import pandas as pd from sklearn.preprocessing import StandardScaler # 표준화 스케일링 함수 import seaborn as sns import matplotlib.pyplot as plt import scipy as sp import scipy.stats iris = load_iris() # 붓꽃 데이터 셋을 로딩, DataFrame으로 변환 iris_data = iris.data iris_df = pd.DataFrame(data=iris_data, columns=iris.feature_names) 표준화: 입력된 x들을 평균 0이고 분산 1인 표준 정규 분포로 변환하는 것. S..
Programming/Python 2023. 9. 5.
데이터 전처리1 (null, outlier, bias, regression)
데이터 전처리1 (null, outlier, bias, regression) 실무에서 자주 하는 중요한 과정이다. (missing value 처리 -> outlier -> transformation -> featuring; 수식에 의해 새 컬럼 만드는 것 -> scaling;표준,정규화) import pandas as pd import seaborn as sns import matplotlib.pyplot as plt import numpy as np titanic = sns.load_dataset("titanic") titanic.info() # 결측치 탐색 RangeIndex: 891 entries, 0 to 890 Data columns (total 15 columns): # Column Non-Null Count Dtype --- ------ -------------- -..
Programming/Python 2023. 9. 5.
[Matplotlib] 히트맵(pcolor) 및 응용
[Matplotlib] 히트맵(pcolor) 및 응용 # 히트맵 그리기 plt.pcolor(df, cmap='Blues') plt.colorbar() plt.pcolor(titanic_pivot) plt.colorbar() plt.xticks(np.arange(0.5,len(titanic_pivot.columns),1), labels=titanic_pivot.columns) plt.yticks(np.arange(0.5,len(titanic_pivot.index),1), labels=titanic_pivot.index) plt.show() heatmap(data=2차원데이터) cmap=컬러맵 : 컬러맵 지정 annot=True : 수치 표시 fmt='d' : 정수로 표시 sns.heatmap(titanic_pivot, cmap='Blues', annot=Tr..
Programming/Python 2023. 9. 4.
[Matplotlib] 기본
[Matplotlib] 기본 [실무에서...] 1.비지니스 이해 2.데이터 이해 (SQL) 3.데이터 준비: 데이터 전처리 (pandas) 수집(e): DBMS/파일/웹 정제(c): 누락치/이상치 변환(가공-t): 피처링 코드 스케일링(정규화, 표준화) -> 하나의 파일 데이터 분석(모델링) 적재(L) 4.모델링 5.평가 6.이관 import matplotlib.pyplot as plt plt.plot : 단순 선 그래프 %matplotlib qt # 창모드 출력 유도 잠깐 numpy 이용한 함수그래프 import numpy as np x = np.arange(-4.5, 5, 0.5) # x의 interval: [-4.5, 5), 0.5 단위. y = 2*x**2 # 수식으로 x 대응하는 y 생성 [x,y] # array 출력 pl..
Programming/Python 2023. 8. 30.
[Pandas] pivot_table, groupby로 데이터 통계 다루기
[Pandas] pivot_table, groupby로 데이터 통계 다루기 pivot()에서 함수가 들어가야하는 경우 pivot_table을 사용해야한다. [구조] pd.pivot_table(데이터프레임, index=인덱스, columns=컬럼, values=집계할데이터, aggfunc=통계함수) aggrunc의 디폴트는 mean 이와 같은 데이터 표 예제에 대해서 [잠깐 note] fill_value = 0 > Ans.loc[:,:] = (Ans.values /Ans.sum(axis=1).values.reshape(-1,1)) loc[: , :] 표의 숫자값만 행렬로 출력 mtx(5*3) Ans.sum(axis=1) -> 1열 5행으로 각 행의 합 mtx(5*1) 출력 reshape(-1,1)
Programming/Python 2023. 8. 30.
[Pandas] row <-> col by melt, pivot and transpose
[Pandas] row <-> col by melt, pivot and transpose row -> col 로 보내는 함수 melt() df.melt() or pd.melt(df) 모두 적용 -> df.melt() 특정 col 고정하고 적용 -> df.melt(id_vars='col name') or df.melt(id_vars=['col1', 'col2', ...]) Ex) df.melt(id_vars=['name','kor']) # name, kor 고정 특정 col만 적용 value_vars=['col1', 'col2' ... ] 를 기존에 melt()에 추가 Ex) df.melt(id_vars='name', value_vars=['kor','eng']) # kor, eng만 적용. name은 고정 col 이름 변경: var_name=' '을 추가. value_name=' ' 추가로 ..
Programming/Python 2023. 8. 30.
[Pandas] concat, merge로 데이터 연결 (SQL JOIN개념)
[Pandas] concat, merge로 데이터 연결 (SQL JOIN개념) 주어진 데이터가 다음과 같을 때 row연결 concat()을 다음과 같이 사용. letter number가 같으니까 그대로 이은 결과 또 다른 예제>>> 여기서 열을 기준으로 concat()하는 양상은 다음과 같다. concat( axis= 설정) 가능 -> 1은 가로로, 0은 세로로 '그대로' 붙이는 것. merge는 동일한거 기준으로 동일한거 없애고 합치는 것 SQL의 join개념은 merge()로 수행한다. ex) pd.merge(left,right,on=기준컬럼,how=연결방법) (공통된 열 기준으로 연결) 예제가 다음과 같을 때, where name =
Programming/Python 2023. 8. 30.
[Pandas] type 확인 및 변환
[Pandas] type 확인 및 변환 여러 type 혼합된 데이터 -> object 정수와 실수 -> float64 예제) 모든 type 총 정리 df = pd.DataFrame({'float': [1.0, 2.0], #실수 (float 64) 'int': [1,2], #정수 (int 64) 'datetime': [pd.Timestamp('20200101'),pd.Timestamp('20210101')], #날짜 시간 'string': ['a','b'], #문자열 'bool':[True,False], #불 'object':[1,'-'], #혼합 'float2' : [1.0, 2]}) #정수 + 실수 -> 실수 (float 64) df df.types # df형태의 자료형 확인 float float64 int int64 datetime dat..
Programming/Python 2023. 8. 30.
[Pandas] Null(결측치) 다루기
[Pandas] Null(결측치) 다루기 import numpy as np # null값 삽입을 위한 numpy # np.nan fillna 함수 df.fillna(특정값)
Programming/Python 2023. 8. 30.
[Pandas] Function application
[Pandas] Function application df.copy() 105점 오류 有) df_copy 그렇기에 100점을 넘지 않으면서 모두를 5점 더하는 조건의 함수를 적용해야 한다. df['이름'].apply(함수) 사용! def plus5(x): score = x+5 # 5점 더하는데 if score>=100: # 100점 이상인 경우 조건 설정 score=100 return score # 반환값은 score! df_copy['math'] = df['math'].apply(plus5) df_copy 함수에 더할 점수도 변수로 둔다면, 다음과 같이 한다. def plusn(x,n): # 모든 점수에 n점 더하기. 100점이 넘을 수 없다. score = x+n if score>=100: score=100 return score df_copy['eng..
728x90
반응형

티스토리툴바