[NLP] 언어 모델 - (5) 펄플렉서티(Perplexity, PPL)

1. 언어 모델의 평가 방법(Evaluation metric) : PPL

• 펄플렉서티(perplexity)
  언어 모델을 평가하기 위한 평가 지표
  모델 내에서 자신의 성능을 수치화하여 결과를 내놓음
  수치가 낮을수록 언어 모델의 성능이 좋음
  ㅤ
  PPL: 문장의 길이로 정규화된 문장 확률의 역수

2. 분기 계수(Branching factor)

: 선택할 수 있는 가능한 경우의 수
ㅤ

• PPL: 언어 모델이 특정 시점에서 평균적으로 몇 개의 선택지를 가지고 고민하고 있는지 의미
• PPL 값이 낮다는 것: 테스트 데이터 상에서 높은 정확도 But 사람이 직접 느끼기에 좋은 언어 모델이라는 것은 X

3. 기존 언어 모델 Vs. 인공 신경망을 이용한 언어 모델

페이스북 AI 연구팀 테스트)
인공 신경망을 이용한 언어 모델이 성능이 더 높음