리버스 체 르노 프 바운드

꼬리 확률이 적어도 너무 크다는 것을 제한하는 역 Chernoff 경계가 있습니까?

즉, $X_1,X_2,\ldots,X_n$ 이 독립 이항 랜덤 변수이고 $\mu=\mathbb{E}[\sum_{i=1}^n X_i]$ . 다음 우리는 증명할 수있는 $Pr[\sum_{i=1}^n X_i\geq (1+\delta)\mu]\geq f(\mu,\delta,n)$ 일부에 대한 함수 $f$ .

다음은 표준 Chernoff 경계가 특정 범위의 매개 변수에 대해 지수의 일정한 요인에 가깝다는 명백한 증거입니다. (특히, 변수가 0 또는 1이고 확률이 1/2 이하인 1 및 일 때, Chernoff 상한은 상수보다 작습니다.)$\epsilon\in(0,1/2)$

실수를 발견하면 알려주십시오.

정리 1. (Chernoff 경계의 기밀성) 를 독립, 0/1 랜덤 변수 (rv) 의 평균 이라고합시다 . 가정 하고 및 에 대해$X$$k$$\epsilon\in(0,1/2]$$p\in(0,1/2]$$\epsilon^2 p k \ge 3$

(i) 각 rv가 최대 확률로 1 이면$p$

$$\displaystyle \Pr[X\le (1-\epsilon)p] ~\ge~ \exp\big({-9\epsilon^2 pk}\big).$$

(ii) 각 rv가 확률 가 1 이상인 경우 ,$p$

$$\displaystyle \Pr[X\ge (1+\epsilon)p] ~\ge~ \exp\big({-9\epsilon^2 pk}\big).$$

증명. 우리는 다음 관찰을 사용합니다.

청구항 1 의 경우 , 다음 $1\le \ell \le k-1$$\displaystyle {k \choose \ell} ~\ge~ \frac{1}{e\sqrt{2\pi\ell}} \Big(\frac{k}{\ell}\Big)^{\ell} \Big(\frac{k}{k-\ell}\Big)^{k-\ell}$

주장의 증거 1. 스털링의 근사에 의해 여기서$i!=\sqrt{2\pi i}(i/e)^ie^\lambda$$\lambda\in[1/(12i+1),1/12i].$

따라서 은 은 최소한 QED$k\choose \ell$$\frac{k!}{\ell! (k-\ell)!}$

$$\frac{\sqrt{2\pi k}\,(\frac{k}{e})^k} { \sqrt{2\pi \ell}\,(\frac{\ell}{e})^\ell ~~\sqrt{2\pi (k-\ell)}\,(\frac{k-\ell}{e})^{k-\ell} } \exp\Big(\frac{1}{12k+1} - \frac{1}{12\ell} - \frac{1}{12(k-\ell)}\Big)$$ $$~\ge~ \frac{1}{\sqrt{2\pi\ell}} \Big(\frac{k}{\ell}\Big)^{\ell} \Big(\frac{k}{k-\ell}\Big)^{k-\ell}e^{-1}.$$

Lemma 증명 1 부 (i). 일반성을 잃지 않으면 합 의 각 0/1 랜덤 변수는 확률이 정확히 1 인 것으로 가정합니다 . 참고 는 합 와 같습니다. .$X$ $p$$\Pr[X\le (1-\epsilon)p]$$\sum_{i = 0}^{\lfloor(1-\epsilon)pk\rfloor} \Pr[X=i/k]$$\Pr[X=i/k] = {k \choose i} p^i (1-p)^{k-i}$

수정 . 합계의 항이 증가하므로 인덱스 이있는 항의 값은 각각 이므로 총합의 값은 적어도 . 증명을 완성하기 위해 $\ell = \lfloor(1-2\epsilon)pk\rfloor+1$$i\ge\ell$$\Pr[X=\ell/k]$$(\epsilon pk - 2) \Pr[X=\ell/k]$

$$(\epsilon pk - 2) \Pr[X=\ell/k] ~\ge~ \exp({-9\epsilon^2 pk}).$$

가정 및 주고 , 좌측 위에 있도록하는 적어도하다 . 경계로, 제 1 사용 , 이는 차례에 적어도 여기서 및 $\epsilon^2pk\ge 3$$\epsilon\le 1/2$$\epsilon pk \ge 6$$\frac{2}{3}\epsilon pk\, {k \choose \ell} p^\ell(1-p)^{k-\ell}$$k\choose \ell$$A\, B$$A = \frac{2}{3e}\epsilon p k/ \sqrt{2\pi \ell}$$B= \big(\frac{k}{\ell}\big)^\ell \big(\frac{k}{k-\ell}\big)^{k-\ell} p^\ell (1-p)^{k-\ell}.$

완료하려면 및 합니다.$A\ge \exp(-\epsilon^2pk)$$B \ge \exp(-8\epsilon^2 pk)$

주장 2. $A \ge \exp({-\epsilon^2 pk})$

청구항 2 의 가정 및 (i) .$\epsilon^2 pk \ge 3$$\epsilon\le 1/2$$pk\ge 12$

정의에 따르면 입니다. 에 의해 (i), . 따라서 (ii) 입니다.$\ell \le pk + 1$$p k \ge 12$$\ell \,\le\, 1.1 pk$

에서 로 (ii)의 오른쪽을 대체 하면 (iii) 됩니다.$\ell$$A$$A \ge \frac{2}{3e} \epsilon \sqrt{p k / 2.2\pi}$

가정, 내포 , 이는 (III)을 제공한다 (Ⅳ)와 .$\epsilon^2 pk \ge 3$$\epsilon\sqrt{ pk} \ge \sqrt 3$$A \ge \frac{2}{3e}\sqrt{3/2.2\pi} \ge 0.1$

에서 는 그 (V)을 다음 .$\epsilon^2pk \ge 3$$\exp(-\epsilon^2pk) \le \exp(-3) \le 0.04$

(iv)와 (v)는 함께 주장을한다. QED

주장 3. .$B\ge \exp({-8\epsilon^2 pk})$

클레임 증명 3. 되도록 수정 합니다. 의 선택은 암시 하므로 청구는 됩니다. 후자의 불평등의 양쪽을 과 같고 단순화하면 대체 하고 단순화하면 $\delta$$\ell=(1-\delta)pk$
$\ell$$\delta\le 2\epsilon$$B \ge \exp(-2\delta^2pk)$$-1/\ell$

$$\frac{\ell}{p k} \Big(\frac{k-\ell}{(1-p) k}\Big)^{k/\ell-1} ~\le~ \exp\Big(\frac{2\delta^2 pk}{\ell}\Big).$$ $\ell= (1-\delta)pk$ $$(1-\delta) \Big(1+\frac{\delta p}{1-p}\Big)^{\displaystyle \frac{1}{(1-\delta)p}-1} ~\le~ \exp\Big(\frac{2\delta^2}{1-\delta}\Big).$$ 양쪽의 로그를 취하고 두 번 사용하면 위의 왼쪽은 단순화합니다. 때문에 보다 작습니다. . QED$\ln(1+z)\le z$ $$-\delta\, +\,\frac{\delta p}{1-p}\Big(\frac{1}{(1-\delta)p}-1\Big) ~\le~ \frac{2\delta^2}{1-\delta}.$$ $\delta^2/\,(1-p)(1-\delta)$$2\delta^2/(1-\delta)$$p\le 1/2$

클레임 2와 3은 합니다. 이것은 정리의 (i) 부분을 의미합니다.$A B \ge \exp({-\epsilon^2pk})\exp({- 8\epsilon^2pk})$

Lemma의 증명 1 부 (ii). 일반성의 손실없이 각 랜덤 변수는 확률이 정확히 이라고 가정합니다 .$1$$p$

참고 . 수정 .$\Pr[X\ge (1+\epsilon)p] = \sum_{i = \lceil(1-\epsilon)pk\rceil}^n \Pr[X=i/k]$$\hat\ell = \lceil (1+2\epsilon)pk \rceil - 1$

합계 의 마지막 항의 합계는 적어도 이며, 적어도 입니다. (그 증명은 경우와 동일하다 (I)를 제외 대체 와 로 대체 되도록 .) QED$\epsilon pk$$(\epsilon pk-2)\Pr[X=\hat\ell/k]$$\exp({-9\epsilon^2 pk})$$\ell$$\hat\ell$$\delta$$-\hat\delta$$\hat\ell = (1+\hat\delta)pk$

베리 Esseen은 정리 가보다 높은만큼, 꼬리 확률 하한을 줄 수있다 .$n^{-1/2}$

사용할 수있는 또 다른 도구는 Paley-Zygmund 불평등 입니다. 임의의 정수 및 실수로 된 임의의 변수 ,$k$$X$

$$\Pr[|X| >= \frac{1}{2}(\mathbb{E}[X^k])^{1/k}] \geq \frac{\mathbb{E}[X^k]^2}{4\mathbb{E}[X^{2k}]}$$

다항식 정리와 함께 대해 레이더 마커 랜덤 변수 인 Paley-Zygmund는 매우 강한 하한을 얻을 수 있습니다. 또한 경계 독립 임의 변수와 함께 작동합니다. 예를 들어 4 개의 독립적 인 랜덤 변수의 합이 일정한 확률 로 임을 쉽게 알 수 있습니다 .$X$$n$$n$$\pm 1$$\Omega(\sqrt{n})$

Bernoulli 시도의 경계 합계 (예 : 임의의 변수가 아닌)에 실제로 만족한다면 다음은 매우 빡빡합니다.

수녀의 불평등 *. 하자 IID를 갖는 베르누이 RV로부터 끌어 수 및하자 정수 주어질. (a) 및 또는 (b) 인 경우 여기서 는 표준 법선의 cdf입니다.$\{X_i\}_{i=1}^n$$\mathbb{E}(X_1) = p$$k\leq n$$p\leq 1/4$$np \leq k$$np \leq k \leq n(1-p)$

$$\text{Pr}\big[\sum_i X_i \geq k\big] \geq 1 - \Phi\left(\frac{k-np}{\sqrt{np(1-p)}}\right),$$ $\Phi$

( 표준 노멀을 변형 한 것처럼 대한 논증을 대치하면 이것은 CLT가 말한 것과 정확히 일치합니다. 실제로, 조건의 조건을 만족하는 이항 법이 위 꼬리에서 해당 가우시안을 지배 할 것임을 알려줍니다.)$\Phi$

여기에서 경계를 사용 하여 더 좋은 것을 얻을 수 있습니다. 예를 들어, Feller의 첫 번째 책인 Gaussians 섹션에서 모든 대해 여기서 는 표준 법선의 밀도입니다. 위키피디아 기사에는 "Q-function"에 대해서도 비슷한 한계가 있습니다.$\Phi$$z>0$

$$\frac{z}{1+z^2}\varphi(z) < 1-\Phi(z) < \frac{1}{z}\varphi(z),$$ $\varphi$

그것과 다른 사람들이 말한 것 외에, 아마도 스털링과 함께 이항식을 직접 사용해 볼 수도 있습니다.

(*) Slud의 불평등에 대한 일부 새로운 진술은 이러한 조건 중 일부를 생략합니다. 나는 Slud의 논문에서 이것을 재현했습니다.

de Moivre-Laplace 정리는, 적절하게 정규화 된 후 특정 조건 하에서 정규 분포로의 분포가 수렴합니다. 일정한 하한을 원한다면 충분합니다.$|T\cap S_1|$

와 같은 하한의 경우 약간 더 미세한 도구가 필요합니다. 여기 내가 아는 한 가지 참조가 있습니다 (그러나 우연히 만-나는 그러한 불평등을 직접 사용할 기회가 없었습니다). 이항 분포의 꼬리 확률에 대한 몇 가지 명시적인 하한은 정리 1.5 책 Béla Bollobás, Cambridge, 2nd edition의 Random graphs 로, 확률과 그 적용 에 대한 추가 정보는 Reller의 Feller 및 Foundations of Probability of Provenability of Rényi에 의해 참조됩니다.$n^{-c}$

일반화 된 Littlewood-Offord 정리는 정확히 당신이 원하는 것이 아니지만 무작위 변수의 합이 특정 값 (포함하여 기대). 아마도 유용 할 것입니다.

공식적으로 정리는 다음과 같습니다.

일반화 된 Littlewood-Offord 정리 : 및 은 대해 이고 은 값이 0과 1 인 독립적 인 랜덤 변수가되도록합니다. 들면 , 그 가정 모두 . 그런 다음 에 대해 여기서 는 에만 의존하는 상수 입니다.$a_1, \ldots, a_n$$s>0$$|a_i| \ge s$$1 \le i \le n$$X_1, \ldots, X_n$$0 < p \le \frac{1}{2}$$p \le \Pr[X_i = 0] \le 1-p$$1 \le i \le n$$r \in \mathcal{R}$

$$\Pr \left[ r \le \sum_{i=1}^{n}{a_iX_i} < r+s\right] \le \frac{c_p}{\sqrt{n}}$$ $c_p$$p$

Wikipedia에 명시된 표준 Chernoff 경계의 지수는 0/1 값의 임의 변수에 대해 엄격합니다. 하자 및하자 독립 확률 변수의 순서 일되도록 각 , 및 . 그런 다음 모든 , $0<p<1$$X_1,X_2,\ldots$$i$$\Pr[X_i=1]=p$$\Pr[X_i=0]=1-p$$\varepsilon>0$

$$\begin{equation} \frac{2^{-D(p+\varepsilon\| p)\cdot n}}{n+1}\leq \Pr\left[ \sum_{i=1}^n X_i \geq (p+\varepsilon)n\right]\leq 2^{-D(p+\varepsilon\| p)\cdot n}. \end{equation}$$

여기서 는 Bernoulli 랜덤 사이의 Kullback-Leibler 분기입니다 매개 변수와 함께 및 .$D(x\| y)=x \log_2(x/y)+(1-x)\log_2((1-x)/(1-y))$$x$$y$

언급 한 바와 같이, 상기 상부는 위키에 입증 부등식 (바인드 https://en.wikipedia.org/wiki/Chernoff_bound 이름 "Chernoff-Hoeffding 정리, 첨가제 형태"에서). 하한은 예를 들어 "유형의 방법"을 사용하여 증명할 수 있습니다. [1]의 Lemma II.2를 참조하십시오. 또한 이것은 Cover and Thomas의 정보 이론에 관한 고전 교과서에서 다룹니다.

[1] Imre Csiszár : 유형의 방법. 정보 이론에 관한 IEEE 거래 (1998). http://dx.doi.org/10.1109/18.720546