경사하강법

미분(differentiation)은 변수의 움직임에 따른 함수값의 변화를 측정하기 위한 도구로 최적화에서 제일 많이 사용하는 기법미분은 접선의 기울기를 구한다. 접선의 기울기가 음수 : 왼쪽으로 움직이면(미분값을 더하면) 함수값이 커지고, 오른쪽으로 움직이면(미분값을

배치(Batch) 경사하강법은 전체 데이터셋을 바탕으로 진행하기에 학습 수렴속도가 느리다는 단점이 있다. 확률적 경사하강법(Stochastic Gradient Descent, SGD)는 **전체 데이터셋이 아닌 무작위로 추출한 샘플 데이터셋에 경사하강법을 진행하는 방법