서론

로지스틱 회귀는 이산적인 종속 변수 한 개만 있는 경우 많이 사용하는 회귀 기법이다. 로지스틱 회귀의 비용 함수는 이산적인 종속 변수 한 개만 있는 딥러닝 모델에서 사용하는 비용 함수와 동일하기에 로지스틱 회귀의 비용 함수를 잘 이해하는 건 중요하다. 이번 글에서는 로지스틱 회귀의 비용 함수를 유도해보자.

본론

로지스틱 회귀의 비용 함수

한 개의 이산적인 종속 변수를 모델링 해야한다면 제일 먼저 떠오르는 것은 이항 분포이다. 이항 분포는 파라미터로 p를 갖는데 이항 분포의 pmf는 아래와 같다.

$P(Y=y) = p^{y}*(1-p)^{1-y}$

이항 분포에서 추출한 n 개 샘플의 우도는 다음과 같다.

$L(\theta|y) = \prod_{i=1}^{n}log(p^{y_i}*(1-p)^{1-y_i})$

로그 우도는 아래와 같다.

$log(L(\theta|y) = \sum_{i=1}^nlog(p^{y_i}*(1-p)^{1-y_i})$ // $log(a*b)$는 $log(a) + log(b)$와 동일하기 때문.

위의 로그 우도를 최적화하는 것과 아래의 평균을 최적화하는 것은 동일하다.

$Cost = \frac{1}{n}log(L(\theta|y)) = \frac{1}{n}\sum_{i=1}^nlog(p^{y_i}*(1-p)^{1-y_i})$

위의 $Cost$가 로지스틱 회귀의 비용 함수가 된다.

다중 분류 비용 함수

위의 내용과 사실상 동일한데, $P(Y=y_i)= p_i$ 라는 차이만 있다. 사실 로지스틱 회귀의 종속 변수의 확률 함수또한 동일하게 표현 가능하다.