• 참고자료: http://www3.nccu.edu.tw/~joe/IO2010S/lecturenotes3_somemath.pdf

MOTIVATION

신경망에서는 선형성을 피하기 위해 활성화 함수를 도입한다. 그렇다면 활성화 함수 이전에 weight 와 bias로 결정되는 $f(x) = ax + b$는 선형함수일까 ? 문득 선형함수 같아 보이지만, 벡터를 선형으로 변환한 것 이외에 평행이동까지 하고 있는 함수를 선형함수라고 부를 수 있을까 ? 이 질문에 대한 명확한 답을 모르겠다면 아래를 보자.

Linear Function

Definition We say a function $L : \Re^m → \Re^n$ is linear if (1) for any vectors $x$ and $y$ in $\Re^m$, $L(x+y) = L(x) +L(y)$, and (2) for any vector $x$ in $\Re^m$ and scalar $a$, $L(ax) = aL(x)$.

Affine Function

Definition We say a function $A : \Re^m → \Re^n$ is affine if there is a linear function
$L : \Re^m → \Re^n$ and a vector $b$ in $\Re^n$ such that $A(x) = L(x) + b$ for all $x$ in $\Re^m$. In other words, an affine function is just a linear function plus a translation.

Conclusion

① From our knowledge of linear functions, it follows that if $A : \Re^m → \Re^n$ is affine, then there is an $n × m$ matrix $M$ and a vector $b$ in $\Re^n$ such that: $A(x) = Mx + b$ for all $x$ in $\Re^m$.

② $f(x) = ax + b$ 는 Linear function이 아닌 Affine function이다. 그럼에도 Affine function은 Linear function과 유사한 특징들을 지닌다.

끝.