시끄러운 분포의 엔트로피

우리 함수가 있다고 되도록 , 는 분포입니다. 즉 입니다.$f:\mathbb{Z}_2^n \to \mathbb{R}$

$$\forall x\in \mathbb{Z}_2^n \quad f(x) \in \left\{\frac{1}{2^n}, \frac{2}{2^n}, \ldots, \frac{2^n}{2^n} \right\},$$ $f$$\sum_{x\in \mathbb{Z}_2^n} f(x) = 1$

의 Shannon 엔트로피는 다음과 같이 정의됩니다 : $f$

$$H(f) = -\sum _{x \in \mathbb{Z}_2^n} f(x) \log \left( f(x) \right) .$$

하자 어떤 일정. 우리가 얻을 말 -noisy 버전 즉, 우리는 함수를 얻을, 등 그매 대해 . 엔트로피에 대한 잡음의 영향은 무엇입니까? 즉 , 다음과 같이 및 의 "합리적인"함수로 를 바인딩 할 수 있습니다 . 또는 짝수, 일부 상수 대해 .$\epsilon$$\epsilon$$f(x)$$\tilde{f}:\mathbb{Z}_2^n \to \mathbb{R}$$|\tilde{f}(x)- f(x) | < \epsilon$$x\in \mathbb{Z}_2^n$$H(\tilde{f})$$\epsilon$$H(f)$

$$(1-\epsilon)H(f) < H(\tilde{f}) < (1+\epsilon)H(f),$$ $$(1-\epsilon^c n)^d H(f) < H(\tilde{f}) < (1+\epsilon^c n)^d H(f),$$ $c,d$

편집 : Shannon의 엔트로피에 대한 소음의 영향에 대한 느낌을 얻으려고하면 에 묶인 "합리적인"첨가제 도 매우 흥미로울 것입니다.$H(\tilde{f})$

그러한 경계는 불가능합니다. 가 크기의 일부 세트 에 대해 균일 한 분포 인 경우를 고려 하고, 는 확률이 인 경우 의 균일하게 분포 된 원소를 출력하는 분포라고 하자. 그렇지 않으면 균일하게 분산 된 문자열을 출력합니다.$f$$S$$2^{\delta \cdot n}$$\tilde{f}$$\delta$$S$

에서 까지 얻을 수 있다는 것을 알기가 어렵지 않습니다 . 최대 노이즈 만 있으면됩니다 . 그러나 이고 입니다. 따라서 극도로 낮은 노이즈의 경우 임의적으로 작은 의 경우 의 차이가 발생합니다.$f$$\tilde{f}$$(1-\delta) \cdot 2^{-\delta \cdot n}$$H(f)= \delta \cdot n$$H(\tilde{f}) \approx (1 - \delta + \delta^2) \cdot n$$(1 - \delta)^2 \cdot n$$\delta$

특히 을 설정하고 잡음 과 엔트로피 차이 있습니다.$\delta = \frac{\log(1/\varepsilon)}{n}$$\varepsilon$$\approx n - 2\log(1/\varepsilon)$