부스트캠프 week1 day1

우리는 부스트캠퍼!

첫 주차는 기본적으로 precourse에서 진행한 내용을 다시 반복하는 교육 과정이었다.
기본적인 Python Programming을 위한 환경 설정부터 Pythonic Code작성법까지 무난하게 다룬다. 첫 주차에서 배우는 내용 중 Python programming내용은 기존에도 익히고 있는 것들이 많았으므로 AI Math 분야를 확인해보려 한다.

경사하강법

기본적인 선형 회귀식을 살펴보면 다음과 같다.

$y=X\beta$

즉, 우리가 가지고 있는 데이터 X와 y를 통해 y를 가장 잘 설명하도록 $\beta$를 업데이트 시키는 것이 핵심이다. 다르게 말하면 실제 값과 예측 값의 오차를 최소화하는 방향으로 만들어 주어야 한다.

보통 선형 회귀에서 우리는 오차(Loss, Cost 등등)를 L2-norm의 기댓값으로 계산한다. 따라서 우리는 임의의 지점에서 시작하여 그 지점의 L2-norm과 이의 미분값을 계속 빼주어 업데이트 할 수 있을 것이다. 이를 2차원에서 더욱 큰 차원으로 커지게 되어도 마찬가지이다. 대신 미분값이 Gradient라는 값으로 바뀌게 된다.

첫 번째 날이기 때문에 좀 가볍게 정리하고 이만 줄이려고 한다. 내일은 확률, MLE와 관련된 내용을 알아보겠다.