0. 들어가며
지난 포스팅에서는 Linear Regression Model 의 parameter를 추정하는 방법에 대해서 알아보았다.
오늘은 또 다른 Model인 Logistic Regression Model에 대하여 알아보겠다.
1. Logistic Regression Model 배경
Linear Regression Model 은 Y변수가 연속형인 경우에만 사용할 수 있었고, 또한 ε 이 정규분포를 따른다는 가정이 필요했다.
그러나, 만약 데이터가 위와 같이 범주형인 경우, Linear Regression Model 을 사용하기에는 다소 무리가 있다.
데이터를 도식화하면 위와 같이 나온다.
위와 같은 데이터의 분포를 직선으로 표현하기에는 정확도가 부족하고, 또한 Y값이 0 or 1로 나오기에 굳이 계산을 해보지 않아도 ε 이 정규분포를 따르지 않다는 것을 알 수 있다.
따라서, 새로운 모델인 Logistic Regression Model 을 도입하고 이는 새로운 관측치를 입력 했을 때, 이를 기존 범주 중 하나로 예측할 때 사용한다.
Logistic Regression Model 의 응용 예는 다음과 같다.
- 제품이 불량인지 양품인지 분류
- 고객이 이탈고객인지 잔류고객인지 분류
- 카드 거래가 정상인지 비정상인지 분류
- 이메일이 스팸인지 아닌지 분류
Logistic Regression Model 은 Y가 0 혹은 1과 같은 범주형으로 나타난다.
이때, ε 의 평균이 0이라고 가정한다면 Y의 평균은 위와 같이 나올 것이다.
그리고 변수 Y가 0 또는 1과 같은 값을 가지는데, 이를 통계에서는 Bernoulli random variable 이라 하고, 출력 변수 Y가 베르누이 분포 를 따른다고도 한다.
Y가 1일 때의 확률을 𝝅 라고 하면, 0일 때의 확률은 1-𝝅 일 것이다.
그렇다면 Y의 평균을 구하면 위와 같을 것이고,
결국 Y의 평균은 𝝅 로 나타낼 수 있다.
이때, 𝝅는 X값이 주어졌을 때, 출력변수 Y가 1의 값을 가질 확률 임을 다시 한 번 명시하고 넘어가자.
아까 위에서 보았던 예시 데이터를 다시 들고왔다.
예시 데이터를 도수분포표로 나타내고, 이를 확률값으로 변경한 후에 도식화한 그림은 위와 같다.
Linear Regression Model을 사용하여 파란선을 그을 수도 있지만, 보다 정확한 모델은 S 모양의 빨간선일 것이다.
수학적으로 S 모양의 그래프를 가진 함수가 실제로 존재하는데 Logistic function 이라 하고, 다른 말로 Sigmoid function 이라 하기도 한다.
2. Logistic Regression Model 형태
Logistic function 은 여러가지 특징이 있는데 중요한 특징 몇 가지를 이야기 하자면 다음과 같다.
- Logistic function은 Sigmoid function으로 불리기도 함
- Input 범위는 (-∞ , ∞)이고 Output 범위는 [0 , 1]
이는 Large input을 Logistic function에 넣으면 Small output으로 나올 수 있다는 뜻이다.
- 미분 결과를 Output의 함수로 표현 가능 (Gradient learning method에 유용하게 사용)
Logistic Regression Model 은 이 함수를 이용하였고, 구체적인 식의 형태는 위와 같다.
식을 자세히 보면 e 의 지수에 Linear Regression Model 이 적혀있음을 알 수 있다.
Linear Regression Model을 Logistic function에 transform 시킨 것이 Logistic Regression Model 인 것이다.
3. 마치며
오늘 배운 내용을 요약하자면 다음과 같다.
- Logistic Regression Model은 Y가 범주형일 때 사용
- Logistic Regression Model 식은 아래와 같고, X가 특정 범주에 속할 확률을 나타냄
Logistic Regression Model 을 정의하였으니 이제 paramter를 추정할 차례이다.
다음 포스팅에서는 parameter 추정 및 간단한 예제를 통해 Logistic Regression Model 이 어떻게 사용되는지 알아볼 예정이다.
또한 필자는 고려대학교 김성범 교수님이 운영하시는 유튜브 채널을 보고 공부한 내용을 포스팅 하였으므로 아래 출처를 남긴다.
https://www.youtube.com/@user-yu5qs4ct2b
