순전파 - 손실함수 - 역전파

• 순전파는 입력층에서 입력된 신호가 은닉층의 연산을 거쳐 출력층에서 값을 내보내는 과정
• 입력 데이터를 신경망에 넣어 순전파를 거치면 마지막에는 출력층을 통과한 값이 도출됩니다.
  이 때 출력된 값과 그 데이터의 타겟값을 손실 함수에 넣어 손실(Loss or Error)를 계산
• 전파는 구해진 손실 정보를 출력층부터 입력층까지 전달하여 각 가중치를 얼마나 업데이트 해야할 지를 구하는 알고리즘

경사 하강법(Gradient Descent)

확률적 경사 하강법

• 확률적 경사 하강법(SGD)은 전체 데이터에서 하나의 데이터를 뽑아서 신경망에 입력한 후 손실을 계산

미니배치 경사 하강법

• N개의 데이터로 미니 배치를 구성하여 해당 미니 배치를 신경망에 입력한 후 이 결과를 바탕으로 가중치를 업데이트

에포크, 배치 사이즈, 이터레이션

• 참조사이트