confusion matrix

정오 행렬 (confusion matrix)

• 대칭적 상대적인 표현들

  • 정확도(Accuracy) vs 오류율(Error Rate)
  • TPR (True Positive Rate) vs FPR ( False Positive Rate)
  • 민감도 vs 특이도
  • 재현율 vs 정밀도

  정오 분류표로 검정

정확도 vs 오류율

• 정확도 : 클래스 0과 1 모두를 정확하게 분류

• 오류율 : 클래스 0과 1 모두를 정확하게 분류하지 못함
  
  

• 정확도는 맞춘 갯수 / 총 갯수

• 오류율은 틀릿 갯수 / 총 갯수

0 : Negative
1 : Positive

중요한 변수는 1로 놓고 본다.

• TN ( True Negative ) / TP (True Positive)
• PN ( Predict Negative) / PP (Predict Positive)

정오 행렬 (Confusiin matrix)

• TPR ( True Positive Rate ) : 실제 Class 1 중 잘 맞춘 것 == 민감도 == 재현율
  • 우리가 관심있는 것을 잘 맞췄는가( 실제값 중에서 잘 맞춘것 )
• FPR ( False Positive Rate ) : 실제 Class 0 중 못 맞춘 것
  • 내가 관심이 없는 것 중에 못 맞춘 것 ( 실제 값 중에 못 맞춘 것 )
• 특이도 (Specificity) : 실제 Class 0중에 잘 맞춘것 ( = 1- FPR)
  • 내가 관심이 없는 것 중에 잘 맞춘 것
• 정밀도( Precision ) : 예측 Class 1 중 잘 맞춘 것
  • 내가 예측한 것 중에 잘 맞춘 것
• F1 : 실제 잘 맞춘 것 + 예측 잘 맞춘 것 ( 재현율 up and 정밀도 up )

> 나중에 실제값 중에 잘 맞췄나 예측값 중에 잘 맞췄나에 따라 모델을 결정할 수도 있다.

ROC 그래프

> 검정색 선이 기준선 : 반만 맞춘것 ( 모델을 안돌려도 50%는 맞춘다. )
> 기준선 보다 얼마만큼 잘 맞추느냐 -> 그래프가 파란색 처럼 좌상향이 되야 잘 맞추는거 ( TPR > FPR 경우 )