3 개의 결과를 갖는 랜덤 변수에 대한 Chernoff 유형 불평등

숫자가 아닌 값 a, b, c를 취하는 랜덤 변수가 있고이 변수의 샘플의 경험적 분포가 실제 분포와 어떻게 다른지 정량화하려고한다고 가정 합니다. 이 경우 다음과 같은 불평등 ( Cover & Thomas )이 적용됩니다.$n$

정리 12.4.1 (Sanov의 정리) : Let $X_1, X_2, \ldots, X_n$ iid이다 $\sim Q(x)$.
허락하다$E \subseteq \mathscr{P}$확률 분포의 집합이어야합니다. 그때

$$Q^n(E) = Q^n(E \cap \mathscr{P}_n) \leq (n+1)^{|\mathcal{X}|}2^{-nD(P^*||Q)},$$ 여기서 는 상대 엔트로피에서 Q 에 가장 가까운 E 의 분포입니다 . $$P^* = \arg\min_{P \in E} D(P||Q),$$ $E$$Q$

이 불평등은 작은 대해 상당히 느슨합니다 . 이진 결과의 경우 및 Chernoff-Hoeffding 경계는 훨씬 더 엄격합니다.$n$$|\mathcal{X}|=2$

에 대해 비슷한 제한이 있습니까?$|\mathcal{X}|=3$

당신은 확률 변수의 고려에 의해 상당히 좋은 경계를 얻을 수 한 경우입니다 (대한 그렇지 않으면 0이 시험을 통해 이르기까지와 범주 이상에 이르기까지). 고정 대해 는 독립적이므로 Chernoff 경계를 사용하여 를 분석 할 수 있습니다. 그런 다음 대한 결합을 수행하십시오 .$Y_{ij}$$X_i = j$$1 \le i \le n$$1 \le j \le 3$$j$$Y_{ij}$$\sum_i Y_{ij}$$j$

위의 방법으로 충분하지 않다면 Upfal과 Mitzenmacher의 교과서에서 볼과 빈 모델을 살펴 보는 것이 좋습니다. 당신의 쓰레기통 중 일부는 다른 쓰레기통보다 공을 넣을 가능성이 더 높다는 점을 제외하고는 그 모델과 동일합니다. 이 모델에는 포아송 근사를 포함하는보다 정교한 기술이 있으며 균일하지 않은 빈 확률로 설정으로 확장 할 수 있습니다.

부울 변수에 특정한 Chernoff Hoeffding 범위는 없습니다. 경우 실제와 확률 변수를 평가 IID하는 당신이 Chernoff 바인딩 적용 할 수 있습니다. 좋은 참조는 "임의의 알고리즘 분석을위한 측정 농도"( http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.120.2561&rep=rep1&type=pdf )입니다.$X_1,\ldots,X_n$$0 \leq X_i \leq 1$