ANN이 무엇일까

1. Artificial Neural Network

2. Backpropagation

3. 찾고자 하는 Value: w, b

4. 찾는 원리: w, b가 가져야 할 값과 도출된 값을 w에 대해, b에 대해 미분해 가장 J(w,b)가 적은 w,b 를 찾는다.

1epoch 작동 방식:

순전이

1. 각 레이어는 n개의 노드로 이루어짐.
2. 각 feature가 layer로 입장 & 각 노드에서 값 계산
3. 다음 레이어로 전송
4. 다음 레이어에 들어온 값들이 각 w, b값에 대하여 z 값 도출
5. 주어진 z값에 노드 고유의 function을 이용해 a값 도출
   (*z,a는 ReLU, sigmoid등 값을 완화 시키거나, 확연히 드러나게 하는 등의 역할을 하는 activation functions로 이루어짐. 따라서 w,b와는 성격이 다름)
6. 다음 노드로 전송
7. 마지막 레이어에서 이전 레이어의 결과 값을 각 w, b에 대하여 z값 도출하고 a값 도출.

역전이(최적의 w,b값 찾기)

1. 가장 마지막 layer의 w, b값에 대해 loss function을 미분한다.
   (loss function: 정답과 얼마나 일치하는지 측정하는 함수. 크기가 클 수록 정답으로부터 멀어짐. 예: (도출값-정답)^2 )
2. 도출된 미분값으로 경사하강법을 이용해 w,b값을 변경한다.
3. 현재 레이어 이전 레이어에 대해서도 w,b값을 구한다.
   *이때 이전에 구했던 미분값을 이용하면 쉽게 구할 수 있다.(자세한 공식과 수학은 다루지 않겠다.)
4. 첫번째 레이어까지 반복한다.
5. 1~4 과정을 특정 기준(loss function 값/횟수)를 만족할때까지 반복한다.

틀린 점 발견시 말해주세요!!~