인공지능 기본 수학 (선형대수: 벡터, 행렬, 경사하강법)

출처: AI 엔지니어 기초 다지기 : 네이버 부스트캠프 AI Tech 준비과정

돌다리도 다시 두들겨보고 건너는 개념 복습 게시물

 

 

 

 

 

 

벡터?

 

프로그래밍에서 보는 주된 정의

차원(dim): 벡터 원소 개수

 

 

실질적 벡터 정의

실질적으로 AI에서는 N-차원 공간에서 벡터를 정의한다.

 

 

진짜 정의

 

 

 

벡터 특성

 

 

 

사칙연산 가능

 

 

벡터 사이의 거리 = 두 점 사이의 거리

단, L2노름에서만 가능하다!

L1노름에서는 각도계산 불가능!

 

 

내적의 해석은?

 

 

 

---

 

행렬(Matrix)?

딥러닝의 핵심 연산.

 

 

 

 

x(ij) = i번째 데이터의 j번째 변수의 값

 

전치행렬(Transpose): 행과 열을 서로 바꾸는 것. (전체 i와 j 순서를 바꿈)

 

 

행렬 덧셈 뺄셈, 성분곱은 직관적으로 可

행렬곱셈 방식 유의!

 

 

 

 

 

I = Identity Matrix (항등행렬)

linalg의 inv()를 사용한다.

행과 열의 개수에 따라서 유사역행렬 계산 방법이 달라진다.

pinv()를 사용한다.

 

 

 

 

 

 

sklearn: y절편을 자동으로 추정하기 때문이다.

 

 

 

---

미분, 경사하강법

 

 

 

sym.diff(식, 미분대상) 입력

 

 

 

종료조건이 성립하기 전까지 미분값 계속 업데이트

 

 

 

 

 

 

 

 

 

 

 

 

Gradient vector의 시각화