n- 그램 모델의 난도 및 교차 엔트로피

10

교차 엔트로피와 난처함의 관계를 이해하려고 노력합니다. 일반적으로 모델 M의 경우 Perplexity (M) = 2 ^ entropy (M) 입니다. 이 관계는 모든 다른 n-gram, 예를 들어 unigram, bigram 등에 적용됩니까?

natural-language entropy perplexity

— 마가 리트
소스

그것은 실제로 당혹 의 정의 입니다. ) 것은 그것에서 파생

\sqrt[N]{Π_{i = 1}^{N} \frac{1}{P (w_{i} | w_{1}, . . . w_{i - 1})}}

$\sqrt[N]{\Pi^N_{i=1} \frac{1}{P(w_i|w_1, ... w_{i-1})}}$

— WavesWashSands

9

그렇습니다. 당혹감은 항상 엔트로피의 힘과 2입니다. 어떤 유형의 모델, n-gram, unigram 또는 신경망인지는 중요하지 않습니다.

엔트로피를 사용하는 대신 언어 모델링을하는 사람들이 당혹감을 느끼는 데는 몇 가지 이유가 있습니다. 하나는 지수로 인해, 엔트로피의 등가 개선보다 실질적인 것처럼 난관 "느낌"의 개선이다. 또 다른 이유는 그들이 복잡성을 사용하기 전에 언어 모델의 복잡성이 엔트로피보다 복잡성과 유사한 단순한 분기 인자 측정을 사용하여보고되었다는 것입니다.

— 아론
소스

1

약간 수정하여 @Aaron 답변에 동의했습니다.

엔트로피의 힘과 항상 같은 것은 아닙니다. 실제로, 그것은 엔트로피의 힘에 대한 (로그의 기초)가 될 것입니다. e를 기본으로 사용한 경우 e ^ entropy가됩니다.

— 살충제 굽타
소스