Logistic Regression

---

훈련, 검증, 테스트

• 훈련/검증 데이터로 좋은 모델을 만들고, 테스트 데이터로 한 번의 테스트 진행

훈련 : fit
검증 : 과적합 방지
테스트 : 일반화 성능 측정

---

Logistic Regression

• 타겟의 범주로 0, 1을 사용하는 분류 모델
• 각 범주 확률값 얻을 수 있음
  $\large P(X)={\frac {1}{1+e^{-(\beta _{0}+\beta _{1}X_{1}+\cdots +\beta _{p}X_{p})}}}$

오즈(Odds)

• 실패확률에 대한 성공확률의 비
  $Odds = \large \frac{p}{1-p}$
• 로지스틱 회귀의 계수를 선형결합 형태로 변형해 해석을 용이하게 함

로짓(Logit) 변환

• 오즈에 로그를 취해 변환하는 것(로지스틱 회귀 분석)
  $\large ln(Odds) = ln(\frac{p}{1-p}) = ln(\frac{\frac {1}{1+e^{-(\beta _{0}+\beta _{1}X_{1}+\cdots +\beta _{p}X_{p})}}}{1 - \frac {1}{1+e^{-(\beta _{0}+\beta _{1}X_{1}+\cdots +\beta _{p}X_{p})}}}) = \normalsize \beta _{0}+\beta _{1}X_{1}+\cdots +\beta _{p}X_{p}$
• 타겟의 확률을 연속형 척도로 변환(특성과 타겟의 관계 선형 분석)

모델링

logistic = LogisticRegression()

logistic.fit(X_train, y_train)

#검증데이터 예측
y_pred = logistic.predict(X_val)

#각 클래스에 분류될 확률
y_pred_proba(X_val)

---

분류 평가지표

• 회귀와 다른 평가지표 사용

Accuracy(정확도)
= $\frac{TP + TN} {P + N}$