I는 용어 우연히 혼란 보이지 않는 데이터의 로그 평균 역 확률을 말한다. 난이도 에 대한 Wikipedia 기사 는 동일한 의미를 나타내지 않습니다.

이 난이도 측정은 pLSA 용지 에 사용되었습니다 .

누구든지 당혹 성 측정 의 필요성과 직관적 의미를 설명 할 수 있습니까 ?

난이도에 대한 Wikipedia 기사를 살펴 보았습니다 . 그것은 이산 분포의 혼란을

$$2^{-\sum_x p(x)\log_2 p(x)}$$

이것은 또한 다음과 같이 쓸 수 있습니다

$$\exp\left({\sum_x p(x)\log_e \frac{1}{p(x)}}\right)$$

즉, 확률 역의 가중 기하 평균으로서. 연속 분포의 경우 합은 적분으로 바뀝니다.

이 기사는 또한 조각의 테스트 데이터를 사용하여 모델의 복잡성을 추정하는 방법을 제공$N$

$$2^{-\sum_{i=1}^N \frac{1}{N} \log_2 q(x_i)}$$

이것도 쓸 수 있습니다

$$\exp\left(\frac{{\sum_{i=1}^N \log_e \left(\dfrac{1}{q(x_i)}\right)}}{N}\right) \text{ or } \sqrt[N]{\prod_{i=1}^N \frac{1}{q(x_i)}}$$

또는 다른 다양한 방법으로, "로그 평균 역 확률"이 나오는 곳이 더 명확해야합니다.

나는 이것이 다소 직관적이라는 것을 알았다.

평가하고있는 데이터, 평가하고있는 데이터에 대한 난처함은 "이것은 x- 사이드 다이만큼 자주 옳다"고 말합니다.

http://planspace.org/2013/09/23/perplexity-what-it-is-and-what-yours-is/

나는 이것도 궁금했다. 첫 번째 설명은 나쁘지 않지만 여기에 가치가있는 두 가지 nats가 있습니다.

---

우선, 당혹감은 당신이 옳은 일을 얼마나 자주 추측 하는지를 특성화하는 것과는 아무런 관련이 없습니다. 확률 적 시퀀스의 복잡성을 특성화하는 것과 더 관련이 있습니다.

수량을보고 있습니다.

$$2^{-\sum_x p(x)\log_2 p(x)}$$

먼저 로그와 지수를 취소합시다.

$$2^{-\sum_{x} p(x)\log_2 p(x)}=\frac{1}{\prod_{x} p(x)^{p(x)}}$$

난이도는 엔트로피를 정의하는 데 사용하는 기준에 따라 변하지 않는다는 점을 지적 할 가치가 있다고 생각합니다. 따라서 이러한 의미에서 당황은 측정으로서 엔트로피보다 훨씬 더 독특하고 덜 임의적입니다.

주사위와의 관계

이것으로 조금 놀아 보자. 동전을보고 있다고 가정 해 봅시다. 코인이 공정 할 때 엔트로피는 최대이고, 난도는 최대

$$\frac{1}{\frac{1}{2}^\frac{1}{2}\times\frac{1}{2}^\frac{1}{2}}=2$$

이제 우리는 면 주사위를 볼 때 어떻게됩니까 ? 당황은$N$

$$\frac{1}{\left(\frac{1}{N}^\frac{1}{N}\right)^N}=N$$

따라서 당황은 굴러 올 때 주어진 확률 분포와 동일한 엔트로피를 갖는 시퀀스를 생성하는 공정한 주사위의 변의 수를 나타냅니다.

국가 수

자, 우리는 당혹 성을 직관적으로 정의 했으므로 모델의 상태 수에 의해 어떻게 영향을 받는지 살펴 보겠습니다. 상태에 대한 확률 분포로 시작 하고 원래 상태 의 가능성 비율이 동일하게 유지되고 새로운 상태에 확률 이 되도록 상태에 대한 새로운 확률 분포를 만들어 봅시다 . 공정한 면 다이 로 시작하는 경우 , 새로운면이 과 원래 롤링되도록 새로운 면 다이를 만드는 것을 상상할 수 있습니다$N$$N+1$$N$$\epsilon$$N$$N + 1$$\epsilon$$N$변이 같은 가능성으로 굴러갑니다. 각 상태의 확률이한다면 임의 원래 확률 분포의 경우에는, 로 주어진다 원래의 새로운 유통 새로운 상태가 될 것이다 주어진 상태들을 이며 새로운 난관은 다음과 같이 주어집니다.$x$$p_x$$N$

$$p^\prime_x=p_x\left(1-\epsilon\right)$$

$$\frac{1}{\epsilon^\epsilon\prod_x^N {p^\prime_x}^{p^\prime_x}}=\frac{1}{\epsilon^\epsilon\prod_x^N {\left(p_x\left(1-\epsilon\right)\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon\prod_x^N p_x^{p_x\left(1-\epsilon\right)} {\left(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon{\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}\prod_x^N p_x^{p_x\left(1-\epsilon\right)}}$$

으로 제한하면 이 수량은$\epsilon\rightarrow 0$

$$\frac{1}{\prod_x^N {p_x}^{p_x}}$$

따라서 다이의 한쪽을 구르는 것을 점점 더 어렵게 만들면 측면이 존재하지 않는 것처럼 혼란이 생깁니다.

Cover의 Information Theory 2ed (2.146)에 의해 주어진 분포에서 값을 정확하게 추측 할 확률과 당혹 성과는 분명하게 관련되어 있습니다. 와 가 iid 변수이면$X$$X'$

$P(X=X') \ge 2^{-H(X)} = \frac{1}{2^{H(X)}} = \frac{1}{\text{perplexity}}$ (1)

설명하자면, 균일 분포 X의 당혹 성은 요소의 수인 | X |입니다. 균일 분포 X에서 iid 샘플이 X에서 iid 추측을 수행하여 가져 오는 값을 추측하려고하면 시간의 1 / | X | = 1 / 복잡성이 정확합니다. 균일 분포는 값을 추측하기가 가장 어렵 기 때문에 1 / 복잡도를 추측이 옳은 빈도에 대한 하한 / 휴리스틱 근사치로 사용할 수 있습니다.