기본개념정리

Chapter 1

sigmoid는 어디에서나 미분이 가능하다. -34

$w_1x_1 +w_2x_2 + b$ 는 $[w_1, w_2,b]\cdot[x_1,x_2,1]$ 로 표현될 수 있다. 컴퓨터에서는 내적계산이 용이하므로 이러한 특성을 잘 활용하면 좋다. -36

픽셀마다 중요도가 다르므로( 특정 결과를 유도하기 위해서는 특정 픽셀이 반드시 필요하다고 생각할 수 있다.) 가중치 $W_{i,j}$는 픽셀마다 다 다르다. -52

모델의 $W$ 와 $b$의 초깃값을 표준분포로 초기화하면 좋은 결과를 얻는다고 알려져있음!

백터의 내적

백터의 내적이란 스칼라(크기)만 고려해서 계산한 것. - 78

$\vec{a} \cdot \vec{b} = |\vec{a}| \cdot |\vec{b}| cos \theta$

$\vec{a} = (a_1, a_2, a_3), \quad \vec{b} = (b_1, b_2, b_3)$
$|\vec{a}| \cdot |\vec{b}| = (a_1\cdot b_1) + (a_2 \cdot b_2) + (a_3 \cdot b_3)$

신경망을 위한 미분의 기본

Sigmoid function

기존 기본적인 activation function중에 하나이다.
모든 구간에서 미분 가능!!

분수의 미분식 $(\frac{1}{f(x)})^{'}=\frac{f'(x)}{f(x)^2}$ 에 따라 $\sigma'(x) = \sigma(x)(1-\sigma(x))$ 로 정리된다.