log (p (x, y))는 점별 상호 정보를 어떻게 정규화합니까?

표준화 된 형태의 상호 정보를 이해하려고합니다.

$npmi = \frac{pmi(x,y)}{log(p(x,y))}$

로그 결합 확률이 점별 상호 정보를 [-1, 1] 사이로 정규화하는 이유는 무엇입니까?

포인트 별 상호 정보는 다음과 같습니다.

$pmi = log(\frac{p(x,y)}{p(x)p(y)})$

p (x, y)는 [0, 1]에 의해 제한되므로 log (p (x, y))는 (, 0]에 의해 제한됩니다. 분자, 그러나 나는 어떻게 정확하게 이해하지 못한다. 그것은 또한 엔트로피를 생각 나게한다. $h=-log(p(x))$하지만 다시는 정확한 관계를 이해하지 못합니다.

포인트 별 상호 정보 에 대한 Wikipedia 항목에서 :

포인트 상호 정보는 [-1, + 1] 사이에서 정규화되어 함께 발생하지 않는 경우 -1 (한계), 독립성에 대해 0, 완전한 동시 발생에 대해 +1이 될 수 있습니다.

왜 그런가요? 포인트 상호 정보 의 정의 는

$$pmi \equiv \log \left[ \frac{p(x,y)}{p(x)p(y)} \right] = \log p(x,y) - \log p(x) - \log p(y),$$

반면 정규화 된 포인트 단위 상호 정보 는 다음과 같습니다.

$$npmi \equiv \frac{pmi}{-\log p(x,y)} = \frac{\log[ p(x) p(y)]}{\log p(x,y)} - 1.$$

있을 때 :

• 공동 발생 없음 $\log p(x,y)\to -\infty$따라서 nmpi 는 -1입니다.
• 임의의 동시 발생 $\log p(x,y)= \log[p(x) p(y)]$따라서 nmpi 는 0입니다.
• 완전한 동시 발생 $\log p(x,y)= \log p(x) = \log p(y)$따라서 nmpi 는 1입니다.

Piotr Migdal의 대답은 nmpi가 세 가지 극단 값을 얻는 예제를 제공하는 데 유익하지만 간격에 있음을 증명하지는 않습니다. $[-1,1]$. 불평등과 그 파생은 다음과 같습니다.

$$\begin{align} &\log\,p(x,y) \\ \le&\log\,p(x,y))-\log\,p(x)-\log\,p(y) \\ =&\log \frac{p(x,y)}{p(x)p(y)}=:\text{pmi}(x;y) \\ =&\log\, p(y|x)+\log\, p(y|x)-\log\,p(x,y) \\ \le&-\log\,p(x,y) \end{align}$$ 같이 $-\log\,p(A)\ge0$ 어떤 행사 든 $A$. 양수를 음수가 아닌 것으로 나누기$h(x,y):=-\log\,p(x,y)$우리는 $$-1\le\text{nmpi}(x;y):=\frac{\text{mpi(x;y)}}{h(x,y)}\le1.$$