[ML] 기초 대수학 - 선형 함수

Linear Function

• Linear 바운더리가 존재한다.
• Linearity를 만족한다.

1. Linearity - Homogeneity

f(αx) = αf(x)

• input ( α ) 만큼 output ( f(x) )가 α만큼 증가한다.

2. Linearity - Additivity

f(x1 + x2) = f(x1) + f(x2)

• 각각의 input ( x1, x2 )대로 각각의 ouput을 더해준다.

3. Linearity - 선형성

Homogeneity와 Additivity를 모두 만족한다.

• f(αx1 + βx2) = αf(x1) + βf(x2)

4. Linearity 쉽게 이해하기

f(x) = ax

• f(αx1 + βx2) = αf(x1) + βf(x2)
• Linear하다

g(x) = ax + b

• g(αx1 + βx2) != αg(x1) + βg(x2)
• bias가 존재하게 되면 Linear하지 않다.
• 하지만 Linear decision 바운더리가 될 수 있기 때문에 Linear할 수 있다.

5. 왜 Linear 시스템을 배우는가?

현실은 대부분 non-linear하다.
그런 non-linear한 시스템들을 linear 시스템으로 approximation한 후에
그 것을 가지고 이상적으로 모델링을 하기 위함이다.