[나도코딩] 로지스틱 회귀 (Logistic Regression)

• 지도 학습 (Supervised Learning)
  • 정답이 있는 데이터를 통해
  • 데이터 분류 / 올바른 결과 예측
• 지도 학습에는 Regression(회귀 - 연속형 변수)와 Classification(분류 - 범주형 변수)로 나뉘는데, Logistic Regression은 분류에 속한다.

로지스틱 회귀 (Logistic Regression)

• Classification (분류)
• 주어진 데이터를 정해진 범주(catrgory)에 따라 분류
• 예측 결과가 숫자가 아닐 때
• 선형 회귀 방식을 분류에 적용한 알고리즘, 데이터가 어떤 범주에 속할 확률을 0~1 사이의 값으로 예측, 더 높은 범주에 속하는 쪽으로 분류
  • 범주 : True/False, Yes/No, 합격/불합격
  • 예) 스팸 메일, 은행 대출 여부, 악성 여부, 고객의 제품 구매 의사, ...

• 선의 양 끝 부분, 7~8시간 이상 공부했을 때 합격할 확률이 매우 높아지는 것과 2~3시간 이하 공부했을 때 불합격할 확률이 매우 높아진다.

  • 양 끝 부분, 범위를 벗어나는 영역에 대한 선을 변경해주어야 함,
    

  • 0보다 작은 값들을 모두 0으로 수렴시키고, 1보다 큰 값들은 모두 1로 수렴시킨다.

  • 위의 과정을 시그모이드(Sigmoid)함수 (=로지스틱 함수)를 이용하여 가능하게 한다.

로지스틱 회귀

• 단순 선형 회귀 y = mx + b의 식을 시그모이드 함수(P)를 적용시켜 직선을 0과 1사이의 범주 내의 곡선 형태의 모델을 만듦.
• y의 값을 P에 대입하였을 때, ln(P/1-P) = mx + b 과 같은 식이 도출된다.

시그모이드 함수를 적용한 그래프