Perplexity, 언어 모델 비교 방법

• 언어 모델의 분기 계수
• 낮을 수록 좋은 언어 모델
• 가정: 모델 평가시 활용한 데이터 셋의 신뢰도가 충분히 높고, 데이터 개수도 많을 때

계산 방법

• 언어 모델이 성능 평가를 위한 테스트 데이터셋에서 이전 단어들을 기반으로 다음 단어를 예측할 때마다 평균적으로 N개의 단어 후보 중 정답을 찾는다.
  • 후보가 적을 수록 성능이 좋은 모델