11 나는 매우 기본적인 의심이 있습니다. 이것이 약간의 자극을 주면 죄송합니다. 상호 정보 값이 0보다 커야하지만 1보다 작아야한다는 것을 알고 있습니다. 상한값에 의해 제한됩니까? 고마워요 information-theory mutual-information — 아 미트 소스
18 예, 상한은 있지만 1은 아닙니다. 상호 정보 두 당사자 (통계적) 공유 한 정보 비트 경우 (비트)가 1이다. 그러나 임의의 큰 데이터를 공유 할 수 있습니다. 특히 2 비트를 공유하면 2입니다. 상호 정보는 단일 당사자에 대한 확률 분포 의 Shannon 엔트로피 , 즉 의해 위에서부터 제한됩니다 .I(X,Y)≤min[H(X),H(Y)]I(X,Y)≤min[H(X),H(Y)] — 피오트르 미달 소스 양측의 경우 이진 변수는 각각 단 두 가지 결과 갖는다 즉있다 {0,1} 다음 엔트로피 에서 최대 출력 때 및 . 따라서 두 개의 이진 변수에 대한 최대 상호 정보는X,YX,YH(X),H(Y)H(X),H(Y)11P(X)=0.5P(X)=0.5P(Y)=0.5P(Y)=0.511 — Akseli Palén