정보 이론 중심 한계 정리

정보 이론 CLT의 가장 간단한 형태는 다음과 같습니다.

하자 , 평균 IID 수 이고 분산이 . 하자 정규화 된 합계 농도 될 와 표준 가우시안 밀도 될. 그런 다음 정보 이론적 CLT는 만약 가 대해 유한 하면 으로 냅니다. .0 1 f n ∑ n i = 1 X $X_1, X_2,\dots$$0$$1$$f_n$$\frac{\sum_{i=1}^n X_i}{\sqrt{n}}$$\phi$$D(f_n\|\phi)=\int f_n \log(f_n/\phi) dx$$n$$D(f_n\|\phi)\to 0$$n\to \infty$

확실히이 수렴은 문학에서 잘 확립 된 수렴, L_1 미터법의 분포 및 수렴 수렴 $L_1$, Pinsker의 불평등으로 인해 "강하다" $\left(\int |f_n-\phi|\right)^2\le 2\cdot \int f_n \log(f_n/\phi)$ . 즉, KL- 분산에서의 수렴은 L_1$L_1$ 거리 에서의 분포 및 수렴에서의 수렴을 의미한다 .

두 가지를 알고 싶습니다.

1. 결과 D (f_n \ | \ phi) \ to 0에 대해 너무 좋은 점은 무엇입니까 $D(f_n\|\phi)\to 0$?

2. 우리가 KL- 분산에서의 수렴 ( 즉 , $D(f_n\|\phi)\to 0$ )이 더 강 하다고 말하는 세 번째 단락에 언급 된 이유 때문 입니까?

NB : 언젠가 math.stackexchange에서이 질문을했는데 답을 얻지 못했습니다.

이 정리에서 가장 좋은 점은 일반적인 중앙 제한 정리가 적용되지 않는 일부 설정에서 제한 정리를 제안한다는 것입니다. 예를 들어, 최대 엔트로피 분포가 원의 분포와 같은 비정규 분포 인 상황에서는 균일 한 분포로 수렴하는 것이 좋습니다.

주변을 둘러 본 후 상대 엔트로피에 수렴이없는 분포의 수렴에 대한 예를 찾을 수 없으므로 결과의 "위대함"을 측정하기가 어렵습니다.

나 에게이 결과는 단순히 회선 제품의 상대 엔트로피를 설명하는 것처럼 보입니다. 그것은 종종 중앙 제한 정리의 대안 적 해석 및 증거 틀로 여겨지며, 비록 그것이 정보 이론에도 불구하고 확률 이론에 직접적인 영향을 미친다는 것을 확신하지 못한다.

에서 정보 이론과 중심 극한 정리 (19 페이지).

열역학 제 2 법칙에 따르면 열역학 엔트로피는 항상 시간이 지남에 따라 증가하므로 깁스 상태로 수렴하는 것을 의미합니다. 에너지 보존은 이 시간 진화 동안 가 일정하게 유지됨을 의미 하므로, 처음부터 어떤 Gibbs 상태가 한계인지 알 수 있습니다. 우리는 컨볼 루션을 수행 할 때 정보 이론 엔트로피가 최대로 증가하여 가우스에 대한 수렴을 암시함으로써 중앙 한계 정리를 동일한 방식으로 고려할 것입니다. 적절하게 정규화한다는 것은 컨벌루션 동안 분산이 일정하게 유지되므로 처음부터 어느 가우시안이 한계인지 알 수 있습니다.$E$

$D(f_n\|\phi)\rightarrow 0$ 은 랜덤 변수의 합의 분포와 가우스 밀도 사이 에 KL 발산의 정의 때문에 로 "거리"가 없음을 보증 하므로 증거 그 자체. 아마도 당신의 질문을 오해했을 것입니다.$n\rightarrow\infty$

당신이 임명 한 두 번째 요점에 관해서는, 그것은 당신의 단락에서 응답합니다.