상호 정보를 계산하는 방법?

약간 혼란 스러워요. 이진 용어 발생을 가중치로 사용하는 용어 문서 행렬을 기반으로 두 용어 사이의 상호 정보를 계산하는 방법을 누군가에게 설명 할 수 있습니까?

\begin{matrix} ^{'} W h y^{'} & ^{'} H o w^{'} & ^{'} W h e n^{'} & ^{'} W h e r e^{'} \\ D o c u m e n t 1 & 1 & 1 & 1 & 1 \\ D o c u m e n t 2 & 1 & 0 & 1 & 0 \\ D o c u m e n t 3 & 1 & 1 & 1 & 0 \end{matrix}

$\begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ Document2 & 1 & 0 & 1 & 0 \\ Document3 & 1 & 1 & 1 & 0 \end{matrix}$

I (X; Y) = \sum_{y \in Y} \sum_{x \in X} p (x, y) \log (\frac{p (x, y)}{p (x) p (y)})

$I(X;Y)= \sum_{y \in Y} \sum_{x \in X} p(x,y) \log\left(\frac{p(x,y)}{p(x)p(y)} \right)$

감사합니다

— 사용자
소스

와

는 무엇입니까 ?

X

$X$

Y

$Y$

— Dilip Sarwate

X와 Y는 용어입니다. X는 "Why"일 수 있고 Y는 "How"일 수 있습니다.

— user18075

문서에서 정규화 된 동시 발생을 보유하는 결합 확률 테이블을 작성하는 것은 어떻습니까. 그런 다음 테이블을 사용하여 관절 엔트로피와 한계 엔트로피를 얻을 수 있습니다. 마지막으로,

I (X, Y) = H (X) + H (Y) - H (X, Y) .

$I(X,Y) = H(X)+H(Y)-H(X,Y).$

— 조란
소스

관절 분포와 한계 분포가 결정되면 왜

및

하고 제시 한 공식을 사용해야합니까? "플러그인"에 필요한 모든 것이 있기 때문에 OP가 제공 한 공식을 통해 상호 정보를 직접 결정할 수는 없습니다. 이 시점에서

및

가 알려져 있습니까?

H (X)

$H(X)$

H (Y)

$H(Y)$

H (X, Y)

$H(X,Y)$

p (x, y), p (x)

$p(x,y), p(x)$

p (y)

$p(y)$

— Dilip Sarwate

수식은 후자가 더 잘 이해할 수 있다는 점을 제외하고는 동등합니다.

— Zoran