파노의 불평등과의 대화?

파노의 불평등 은 여러 형태로 언급 될 수 있으며, 특히 유용한 것은 오데드 레게 브 (Oded Regev )에게있다 (사소한 수정) .

하자 확률 변수, 그리고하자 여기서 랜덤 프로세스이다. 주어진 가 를 확률 재구성 할 수 있는 프로 시저 의 존재가 있다고 가정하십시오 . 그런 다음 $X$$Y = g(X)$$g(\cdot)$$f$$y = g(x)$$x$$p$

$$I(X; Y) \ge pH(X) − H(p)$$

다시 말해, 재구성 할 수 있으면 시스템에 많은 상호 정보가있는 것입니다.

파노의 불평등에 대한 "대화"가 있습니까?

"충분한 상호 정보가있는 채널을 제공하면 상호 정보에 따라 오류가있는 출력에서 ​​입력을 재구성하는 절차가 있습니다."

이 절차가 효율적일 것으로 기대하기에는 너무 많지만 재구성이 존재하지만 비효율적이어야하는 (자연적인) 예를 보는 것도 흥미로울 것입니다.

$P(y)$$y$$x$최대 x Pr [ x ∣ Y = y ] 2 − H ∞ ( X | Y = y ) H ∞ ( X ∣ Y = y ) X Y = y H ∞ ( X ) ≤ H 1 ( X ) H 1 ( X ) $\Pr[X = x \mid Y = y]$$\max_x \Pr[x \mid Y = y]$$2^{-H_\infty(X | Y = y)}$$H_\infty(X \mid Y = y)$$X$$Y = y$$H_\infty(X) \leq H_1(X)$$H_1(X)$$X$I ( X : Y $H_\infty(X|Y = y)$상호 정보 관점에서 .$I(X:Y)$

쓰기 . 위에서 언급 한 불평등을 사용하면 또는 입니다.I ( X : Y ) ≤ H ( X ) - E (Y) [ H ∞ ( X ∣ Y = y ) $I(X:Y) = H(X) - H(X|Y) = H(X) - \mathbb{E}_y[H(X \mid Y = y)]$$I(X:Y) \leq H(X) - \mathbb{E}_y[H_\infty(X \mid Y = y)]$$\mathbb{E}_y[H_\infty(X \mid Y = y)] \leq H(X) - I(X:Y)$

와 가 무작위로 선택 되는 경우 프로 시저가 성공할 확률 은 이며, 이는 오목 함이 최소 입니다. 따라서 절차가 성공할 확률은 입니다.Y E y [ 2 - H ∞ ( X ∣ Y = y ) ] 2 - E y [ H ∞ ( X ∣ Y = y ) ] 2 I ( X : Y ) $X$$Y$$\mathbb{E}_y [2^{-H_\infty(X\mid Y = y)}]$$2^{-\mathbb{E}_y[H_\infty(X \mid Y = y)]}$$2^{I(X:Y) - H(X)}$

이 절차는 최적입니다 : 임의성 절차 주어지면 성공 확률은 는 가 가장 가능성이 높은 결정적으로 출력 할 때 포인트 단위로 최대화됩니다 .E y [ ∑ x Pr ( X = x ∣ Y = y ) Pr ( P ( y ) = x ) ] P ( y ) $P$$\mathbb{E}_y [ \sum_{x} \Pr(X = x \mid Y = y) \Pr(P(y) = x) ]$$P(y)$$x$

좋은 대답과 증거. 따라서 답의 경계는 정의상 이므로 입니다. 이것은 IEEE ISIT 1994에서 Baumer의 연설에서 내가 아는 한 가장 잘 나왔다.I ( X , Y ) = H ( X ) - H ( X | Y

$$p_{err} \leq 1-2^{I(X;Y)-H(X)}=1-2^{-H(X|Y)},\quad\quad(1)$$ $I(X;Y)=H(X)-H(X|Y)$

비슷한 맥락에서 여기서 이고 의 Renyi 엔트로피 여기서 이므로 경계 (2)는 (1)보다 빡빡합니다.H α ( Z ) =

$$p_{err} \leq 1 - \sum_{y \in {\cal Y}} P_Y(y) 2^{-H_2(X|Y)},\quad\quad(2)$$ $$H_{\alpha}(Z)=\frac{1}{1-\alpha}\left( \sum_{z \in {\cal Z}} P_Z(z)^{\alpha}\right)$$ $\alpha \in (0,1)\cup(1,\infty).$$\alpha=2,$