Linear Regression

• 어떤값에서 예측 한값을 뺀것이 오차
• 이값을 제곱하면 loss 함수이다.
• loss 함수는 mse 를 사용한다 (Mean Squared Error)
• mse 가 최소가 되도록 하는 w 를 찾는것이 목표이다.

Logistic Regression

sigmoid

$e^x /e^x - 1$

• loss 를 측정하는 함수 이다.
• 0 ~ 1 사이의 숫자가 나온다.
• 1 에 가까우면 가까울수록 정답에 가까워지는것이다.

cross entropy

• loss 가 최저가 되도록 가중치 의 값을 조종한다.
• 분류 함수에서 사용되는 loss 함수이다.
• binary crossentropy / categorical crossentropy 가 있다.
• crossentropy 는 모든 결과의 합은 1이다 (확률)

binary crossentropy loss

$function = -(ylog(y) + (1-y)log(1-y))$
y = 0

$-log(1-y) = -log(1) = 0$

y = 1
$-log(y) = -log(0) = ∞$

categorical_loss

$function = -∑ ylog(y)$