합의 엔트로피

12

두 개의 독립 이산 랜덤 변수 와 의 합의 엔트로피 에 대한 경계를 찾고 있습니다. 당연히 그러나 독립적 인 Bernoulli 랜덤 변수 의 합에 적용 하면 $H(X+Y)$ $X$ $Y$

H (X + Y) \leq H (X) + H (Y) (*)

$H(X+Y) \leq H(X) + H(Y) ~~~~~~(*)$

n

$n$

Z_{1}, \dots, Z_{n}

$Z_1, \ldots, Z_n$

다시 말하면,반복적으로 적용될 때경계는

과 선형으로 증가합니다. 그러나

은 크기

세트에서 지원되므로 엔트로피는 최대

입니다. 사실, 중심 극한 정리에 의해, I는 해당 같은데요

H (Z_{1} + Z_{2} + \dots + Z_{n}) \leq n H (Z_{1})

$H(Z_1 + Z_2 + \cdots + Z_n) \leq n H(Z_1)$

n

$n$

Z_{1} + \dots Z_{n}

$Z_1 + \cdots Z_n$

n

$n$

\log n

$\log n$

은 기본적으로 일련의 크기

에서 지원되기 때문에

H (Z_{1} + \dots + Z_{n}) \approx (1 / 2) \log n

$H(Z_1 + \cdots + Z_n) \approx (1/2) \log n$

.

\sqrt{n}

$\sqrt{n}$

요컨대, 이 상황 에서는 바운드 가 약간 오버 슈트됩니다. 이 블로그 게시물을 읽음 으로써 에 대한 모든 종류의 범위를 모을 수 있습니다. Bernoulli 랜덤 변수의 합에 반복적으로 적용될 때 올바른 무증상 (또는 적어도 더 합리적인 무증상)을주는 경계가 있습니까? $(*)$ $H(X+Y)$

it.information-theory shannon-entropy

— 로빈슨
소스

2

나는 당신이 정말로 무엇을 요구하는지 잘 모르겠습니다. 두 개의 독립적 인 이산 랜덤 변수 X 및 Y에 적용 가능한 H (X) 및 H (Y) 측면에서 H (X + Y)에 상한을 원하면 H (X + Y) ≤H (X ) + H (Y)는 분명히 당신이 얻을 수있는 최고입니다. x가 x의지지 범위를 넘어 x의 범위가 Y의지지 범위를 초과 할 때 합계 x + y가 모두 다른 경우를 고려하십시오.이 일반적인 범위를 매우 특별한 경우에 적용하면 자연스럽게 얻을 수 있습니다. 느슨한 경계.

— 이토 쓰요시

1

H (X + Y) \leq H (X) + H (Y) - \dots

$H(X+Y) \leq H(X) + H(Y) - \ldots$

n

$n$

1

H (X + Y) \leq 3 H (X - Y) - H (X) - H (Y)

$H(X+Y) \leq 3 H(X-Y) - H(X) - H(Y)$

2

그것은 당신이 찾고있는 것이 H (X) 및 H (Y) 측면 에서 H (X + Y)의 상한이 아니라는 것을 의미합니다 . 질문을 수정하십시오.

— 이토 쓰요시

1

Z_{i}

$Z_i$

n

$n$

19

$X$ $A$ $2^{H(X)}$ $Y$ $B$ $2^{H(Y)}$

$|A+B|$ $|A|$ $|B|$ $|A+B| \sim |A|\cdot |B|$ $H(X+Y) \sim H(X)+H(Y)$

$|A+B| \ll |A|\cdot |B|$ $A$ $B$ $|A+B|$ $(G,+)$ $|A+B|=O(|A|+|B|)$ $A,B$ $G$

$A$ $[a..b]$ $B$ $[0..c]$ $(1/2)\log n$ $c=1$ $a=0$ $b=k$ $k=1,...,n-1$ $a \sim k-\sqrt{k}$ $b \sim k+ \sqrt{k}$ $|A+B| \leq |A|+c$

— 보아즈 바락
소스

5

$n$ $Z_1,Z_2,...,Z_n$ $p$ $Z_1+Z_2+...+Z_n$ $np$ $np$ $\frac{1}{2}\log n + O(\log n)$

— VSJ
소스

0

아마도 당신은 방정식을 사용할 수 있습니다 :

H (Z_{1} + Z_{2} + \dots + Z_{n}) = H (Z_{1}) + H (Z_{2}) + \dots + H (Z_{n}) - H (Z_{1} | Z_{1} + Z_{2} + \dots + Z_{n}) - H (Z_{2} | Z_{2} + Z_{3} + \dots + Z_{n}) - \dots - H (Z_{n - 1} | Z_{n - 1} + Z_{n})

$H(Z_1+Z_2+\cdots+Z_n)=H(Z_1)+H(Z_2)+\cdots+H(Z_n)-H(Z_1|Z_1+Z_2+\cdots+Z_n)-H(Z_2|Z_2+Z_3+\cdots+Z_n)-\cdots-H(Z_{n-1}|Z_{n-1}+Z_n)$

이것은 불행히도 부정적인 용어의 카디널리티 또는 그에 대한 통찰력있는 경계에 대한 결과를 모른다는 의견에서 언급 한 용어처럼 보일 것입니다.

— 약간 뒤틀리게 하다
소스