지수 상한

분포가 IID 임의 변수 이 있다고 가정 합니다. 우리는 다음과 같은 방식으로 의 샘플을 관찰 할 것입니다 : 이 독립 랜덤 변수가되게하자, 모든 와 가 독립적이며 표본 크기 . '의 어떤들 표시 시료에의'우리는에 의해 정의 된 샘플에서 성공의 분율을 연구하고자 $X_1,\dots,X_n$ $\mathrm{Ber}(\theta)$ $X_i$ $Y_1,\dots,Y_n$ $\mathrm{Ber}(1/2)$ $X_i$ $Y_i$ $N=\sum_{i=1}^n Y_i$ $Y_i$ $X_i$

Z = {\begin{cases} \frac{1}{N} \sum_{i = 1}^{n} X_{i} Y_{i} & if N > 0, \\ 0 & if N = 0 . \end{cases}

$Z = \begin{cases} \frac{1}{N}\sum_{i=1}^n X_i Y_i & \text{if}\quad N > 0\, , \\ 0 & \text{if} \quad N = 0 \, . \end{cases}$ 를 들어

ϵ > 0

$\epsilon>0$ , 우리는 상위 행 찾으려면

P r (Z \geq θ + ϵ)

$\mathrm{Pr}\!\left(Z \geq \theta + \epsilon\right)$ 이 기하 급수적으로 붕괴

n

$n$ . 변수 간의 종속성 때문에 Hoeffding의 불평등은 즉시 적용되지 않습니다.

probability-inequalities

— 선
소스

하자

Z_{i} = \frac{_{1}}{^{N}} X_{i} Y_{i}

$Z_i = \frac{_1}{^N} X_iY_i$ . (i)

Z_{i}

$Z_i$ 가

독립적 이지

Z_{j \neq i}

$Z_{j\neq i}$ ? (ii)

Z = \sum Z_{i}

$Z=\sum Z_i$ ? ... 결과적으로

Z

$Z$ 가 '독립적 랜덤 변수의 합'이 아니라는 것이 확실 하지 않습니다

— Glen_b -Reinstate Monica

아, 좋은 지적입니다. 나는 보다는 에 대해 생각하고 있었다 . 그러나 대신 을 작성하고 없습니까? 즉, 가 1 또는 0 인지 여부에 관계없이 모든 경우에 대한 합 은 작동하지 않습니다. 분자는 동일하지만 분모가 다릅니다.

n

$n$

N

$N$

Z_{i} = \frac{1}{n} X_{i} Y_{i}

$Z_i = \frac{1}{n}X_iY_i$

Z = \sum_{i = 1}^{n} Z_{i}

$Z=\sum_{i=1}^n Z_i$

Y

$Y$

— Glen_b-복지 주 모니카

이는 이기 때문에 문제의 관심 양인 표본에서 성공률의 일부보다 적습니다. 이므로 입니다.

(1 / n) \sum_{i = 1}^{n} X_{i} Y_{i} \leq (1 / N) \sum_{i = 1}^{n} X_{i} Y_{i}

$(1/n)\sum_{i=1}^n X_i Y_i\leq (1/N)\sum_{i=1}^n X_i Y_i$

N \leq n

$N\leq n$

— Zen

그렇기 때문에 "작동하지 않습니다"로 끝났습니다. 번스타인의 불평등 과 같은 비 독립적 인 경우에 적용되는 불평등이 있으며 (제 4 항 참조), 마틴 갈드에 적용되는 많은 불평등이 있습니다 (여기서 적용 할 수는 없습니다).

— Glen_b-복귀 모니카

살펴보고, 또한 martingales 결과와 관련성을 찾아 보려고합니다. 행 (쉬운 그렇다 )는 일종의 컨디셔닝을 사용하여 이것을 와 연결하려고합니다 .

U = (1 / n) \sum_{i = 1}^{n} X_{i} Y_{i}

$U=(1/n)\sum_{i=1}^nX_i Y _i$

P r (U \geq θ / 2 + ϵ) \leq \exp (- 2 n ϵ^{2})

$\mathrm{Pr}(U\geq \theta/2+\epsilon)\leq \exp(-2n\epsilon^2)$

Z

$Z$

— Zen

답변:

우리는 Hoeffding의 불평등과 직접적인 관계를 맺을 수 있습니다 .

주 우리가 가지고

{Z > θ + ϵ} = {\sum_{i} X_{i} Y_{i} > (θ + ϵ) \sum_{i} Y_{i}} = {\sum_{i} (X_{i} - θ - ϵ) Y_{i} > 0} .

$\{ Z > \theta + \epsilon\} = \big\{\sum_i X_i Y_i > (\theta + \epsilon)\sum_i Y_i \big\} = \big\{ \sum_i (X_i - \theta - \epsilon) Y_i > 0 \} \>.$

집합 이므로 것을 IID되고, 및 Hoeffding의 불평등을 간단하게 적용 하여 ( 이므로 1 간격 간격으로 값을 가져 . $Z_i = (X_i - \theta - \epsilon)Y_i + \epsilon/2$ $Z_i$ $\mathbb E Z_i = 0$

P (Z > θ + ϵ) = P (\sum_{i} Z_{i} > n ϵ / 2) \leq e^{- n ϵ^{2} / 2},

$\mathbb P( Z > \theta + \epsilon ) = \mathbb P\big(\sum_i Z_i > n \epsilon/2\big) \leq e^{-n \epsilon^2/2}\>,$

Z_{i} \in [- θ - ϵ / 2, 1 - θ - ϵ / 2]

$Z_i \in [-\theta-\epsilon/2,1-\theta-\epsilon/2]$

지난 몇 년 동안, 특히 다양한 실제 응용을 갖는 랜덤 매트릭스 이론과 관련된 주제에 대해 풍부하고 매혹적인 관련 문헌이 있습니다. 이런 종류의 것에 관심이 있으시면 다음을 적극 권장합니다.

R. Vershynin, 랜덤 매트릭스의 비 점근 분석 소개 , 압축 감지, 이론 및 응용의 5 장. Y. Eldar와 G. Kutyniok에 의해 편집 됨. 케임브리지 대학 출판부, 2012.

나는 박람회가 명확하고 문헌에 빨리 적응할 수있는 아주 좋은 방법을 제공한다고 생각합니다.

— 추기경
소스

정의에 가 포함되어 있으므로 (범위가 변경되지 않음) 라는 인상을 .

Z_{i}

$Z_i$

ϵ / 2

$\epsilon/2$

Z_{i} \in [- θ - ϵ / 2, 1 - θ - ϵ / 2]

$Z_i \in [-\theta-\epsilon/2,1-\theta-\epsilon/2]$

— Alecos Papadopoulos 2016 년

친애하는 @Zen 다음의주의 회계하는 것으로 경우 당신이 완전 비항 등을 대체 할 수 에 의해 최종 경계를 변경하지 않고 모든 곳.

N = 0

$N=0$

>

$>$

\geq

$\geq$

— 추기경

@cardinal 님 : 사실 때문에이 문제를 재 진술 한 의 (다소) 바이어스 된 추정이다 때문에 입니다.

Z

$Z$

θ

$\theta$

E [Z] = E [I_{{N = 0}} Z] + E [I_{{N > 0}} Z] = (1 - 1 / 2^{n}) θ

$\mathrm{E}[Z]=\mathrm{E}[I_{\{N=0\}}Z]+\mathrm{E}[I_{\{N>0\}}Z] = (1-1/2^n)\,\theta$

— Zen

사건 을 처리하기위한 세부 사항 . $N=0$

\begin{aligned} {Z \geq θ + ϵ} & = ({Z \geq θ + ϵ} \cap {N = 0}) \cup ({Z \geq θ + ϵ} \cap {N > 0}) \\ = ({0 \geq θ + ϵ} \cap {N = 0}) \cup ({Z \geq θ + ϵ} \cap {N > 0}) \\ = (\emptyset \cap {N = 0}) \cup ({Z \geq θ + ϵ} \cap {N > 0}) \\ = {\sum_{i = 1}^{n} X_{i} Y_{i} \geq (θ + ϵ) \sum_{i = 1}^{n} Y_{i}} \cap {N > 0} \\ \subset {\sum_{i = 1}^{n} X_{i} Y_{i} \geq (θ + ϵ) \sum_{i = 1}^{n} Y_{i}} \\ = {\sum_{i = 1}^{n} (X_{i} - θ - ϵ) Y_{i} \geq 0} \\ = {\sum_{i = 1}^{n} ((X_{i} - θ - ϵ) Y_{i} + ϵ / 2) \geq n ϵ / 2} . \end{aligned}

$\begin{align} \{Z\geq\theta+\epsilon\} &= \left(\{Z\geq\theta+\epsilon\} \cap \{N=0\}\right) \cup \left(\{Z\geq\theta+\epsilon\} \cap \{N>0\}\right) \\ &= \left(\{0\geq\theta+\epsilon\} \cap \{N=0\}\right) \cup \left(\{Z\geq\theta+\epsilon\} \cap \{N>0\}\right) \\ &= \left(\emptyset \cap \{N=0\}\right) \cup \left(\{Z\geq\theta+\epsilon\} \cap \{N>0\}\right) \\ &= \left\{\sum_{i=1}^n X_iY_i\geq(\theta+\epsilon)\sum_{i=1}^n Y_i\right\} \cap \{N>0\} \\ &\subset \left\{\sum_{i=1}^n X_iY_i\geq(\theta+\epsilon)\sum_{i=1}^n Y_i\right\} \\ &= \left\{\sum_{i=1}^n (X_i-\theta-\epsilon)Y_i\geq 0\right\} \\ &= \left\{\sum_{i=1}^n \left((X_i-\theta-\epsilon)Y_i+\epsilon/2\right)\geq n\epsilon/2\right\} \, . \end{align}$

Alecos를 위해.

\begin{aligned} E [\sum_{i = 1}^{n} W_{i}] & = E [I_{{\sum_{i = 1}^{n} Y_{i} = 0}} \sum_{i = 1}^{n} W_{i}] + E [I_{{\sum_{i = 1}^{n} Y_{i} > 0}} \sum_{i = 1}^{n} W_{i}] \\ = E [I_{{\sum_{i = 1}^{n} Y_{i} > 0}} \frac{\sum_{i = 1}^{n} Y_{i}}{\sum_{i = 1}^{n} Y_{i}}] = E [I_{{\sum_{i = 1}^{n} Y_{i} > 0}}] = 1 - 1 / 2^{n} . \end{aligned}

$\begin{align} \mathrm{E}\!\left[\sum_{i=1} ^n W_i\right]&=\mathrm{E}\!\left[I_{\{\sum_{i=1}^n Y_i=0\}}\sum_{i=1} ^n W_i\right] + \mathrm{E}\!\left[I_{\{\sum_{i=1}^n Y_i>0\}}\sum_{i=1} ^n W_i\right] \\ &=\mathrm{E}\!\left[I_{\{\sum_{i=1}^n Y_i>0\}}\frac{\sum_{i=1} ^n Y_i}{\sum_{i=1}^n Y_i}\right]=\mathrm{E}\!\left[I_{\{\sum_{i=1}^n Y_i>0\}}\right]=1-1/2^n \, . \end{align}$

— 선
소스

이 답변은 계속 변경됩니다. 현재 버전은 의견에서 @cardinal과 함께 한 토론과 관련이 없습니다 (이 토론을 통해 컨디셔닝 접근 방식이 아무데도 인도하지 않는 것으로 감사하다는 것을 알았지 만).

이를 위해 Hoeffding의 1963 년 논문의 다른 부분 , 즉 5 절 "종속적 인 임의 변수의 합" 을 사용하겠습니다 .

집합

W_{i} \equiv \frac{Y_{i}}{\sum_{i = 1}^{n} Y_{i}}, \sum_{i = 1}^{n} Y_{i} \neq 0, \sum_{i = 1}^{n} W_{i} = 1, n \geq 2

$W_i \equiv \frac {Y_i}{\sum_{i=1}^nY_i}, \qquad \sum_{i=1}^nY_i \neq 0, \qquad \sum_{i=1}^nW_i=1, \qquad n\geq 2$

우리가 설정하면서 경우 . $W_i =0$ $\sum_{i=1}^nY_i = 0$

그런 다음 변수가 있습니다

Z_{n} = \sum_{i = 1}^{n} W_{i} X_{i}, E (Z_{n}) \equiv μ_{n}

$Z_n= \sum_{i=1}^nW_iX_i, \qquad E(Z_n) \equiv \mu_n$

우리는 확률에 관심이 있습니다

P r (Z_{n} \geq μ_{n} + ϵ), ϵ < 1 - μ_{n}

$\mathrm{Pr}(Z_n\geq \mu_n +\epsilon), \qquad \epsilon < 1-\mu_n$

다른 많은 불평등에 관해서, Hoeffding은 그

P r (Z_{n} \geq μ_{n} + ϵ) = E [1_{{Z_{n} - μ_{n} - ϵ \geq 0}}]

$\mathrm{Pr}(Z_n\geq \mu_n +\epsilon) = E\left[\mathbf 1_{\{Z_n-\mu_n -\epsilon \geq 0\}}\right]$

1_{{Z_{n} - μ_{n} - ϵ \geq 0}} \leq \exp {h (Z_{n} - μ_{n} - ϵ)}, h > 0

$\mathbf 1_{\{Z_n-\mu_n -\epsilon\geq 0\}} \leq \exp\Big\{h(Z_n-\mu_n -\epsilon)\Big\}, \qquad h>0$

종속 변수의 경우 Hoeffding으로서 이라는 사실을 사용 하고 (볼록한) 지수 함수에 대해 Jensen의 부등식을 호출하여 $\sum_{i=1}^nW_i=1$

e^{h Z_{n}} = \exp {h (\sum_{i = 1}^{n} W_{i} X_{i})} \leq \sum_{i = 1}^{n} W_{i} e^{h X_{i}}

$e^{hZ_n} = \exp\left\{h\left(\sum_{i=1}^nW_iX_i\right)\right\} \leq \sum_{i=1}^nW_ie^{hX_i}$

결과를 연결하여

P r (Z_{n} \geq μ_{n} + ϵ) \leq e^{- h (μ_{n} + ϵ)} E [\sum_{i = 1}^{n} W_{i} e^{h X_{i}}]

$\mathrm{Pr}(Z_n\geq \mu_n +\epsilon) \leq e^{-h(\mu_n+\epsilon)}E\left[\sum_{i=1}^nW_ie^{hX_i}\right]$

우리의 경우를 중심으로 와 는 독립적이므로 예상 값을 분리 할 수 있습니다 $W_i$ $X_i$

P r (Z_{n} \geq μ_{n} + ϵ) \leq e^{- h (μ_{n} + ϵ)} \sum_{i = 1}^{n} E (W_{i}) E (e^{h X_{i}})

$\mathrm{Pr}(Z_n\geq \mu_n +\epsilon) \leq e^{-h(\mu_n+\epsilon)}\sum_{i=1}^nE(W_i)E\left(e^{hX_i}\right)$

우리의 경우, 는 매개 변수 가진 iid Bernoullis 이고, 는 의 공통 모멘트 생성 함수입니다 . . 그래서 $X_i$ $\theta$ $E[e^{hX_i}]$ $h$ $E[e^{hX_i}] = 1-\theta +\theta e^h$

P r (Z_{n} \geq μ_{n} + ϵ) \leq e^{- h (μ_{n} + ϵ)} (1 - θ + θ e^{h}) \sum_{i = 1}^{n} E (W_{i})

$\mathrm{Pr}(Z_n\geq \mu_n +\epsilon) \leq e^{-h(\mu_n+\epsilon)}(1-\theta +\theta e^h)\sum_{i=1}^nE(W_i)$

관련하여 우를 최소화 , 우리가 얻을 $h$

e^{h^{*}} = \frac{(1 - θ) (μ_{n} + ϵ)}{θ (1 - μ_{n} - ϵ)}

$e^{h^*} = \frac {(1-\theta)(\mu_n+\epsilon)}{\theta(1-\mu_n-\epsilon)}$

불평등에 끼 우고 우리가 얻는 조작

P r (Z_{n} \geq μ_{n} + ϵ) \leq {(\frac{θ}{μ_{n} + ϵ})}^{μ_{n} + ϵ} \cdot {(\frac{1 - θ}{1 - μ_{n} - ϵ})}^{1 - μ_{n} - ϵ} \sum_{i = 1}^{n} E (W_{i})

$\mathrm{Pr}(Z_n\geq \mu_n +\epsilon) \leq \left(\frac {\theta}{\mu_n+\epsilon}\right)^{\mu_n+\epsilon}\cdot \left(\frac {1-\theta}{1-\mu_n-\epsilon}\right)^{1-\mu_n-\epsilon}\sum_{i=1}^nE(W_i)$

동안

P r (Z_{n} \geq θ + ϵ) \leq {(\frac{θ}{θ + ϵ})}^{θ + ϵ} \cdot {(\frac{1 - θ}{1 - θ - ϵ})}^{1 - θ - ϵ} \sum_{i = 1}^{n} E (W_{i})

$\mathrm{Pr}(Z_n\geq \theta +\epsilon) \leq \left(\frac {\theta}{\theta+\epsilon}\right)^{\theta+\epsilon}\cdot \left(\frac {1-\theta}{1-\theta-\epsilon}\right)^{1-\theta-\epsilon}\sum_{i=1}^nE(W_i)$

Hoeffding은

{(\frac{θ}{θ + ϵ})}^{θ + ϵ} \cdot {(\frac{1 - θ}{1 - θ - ϵ})}^{1 - θ - ϵ} \leq e^{- 2 ϵ^{2}}

$\left(\frac {\theta}{\theta+\epsilon}\right)^{\theta+\epsilon}\cdot \left(\frac {1-\theta}{1-\theta-\epsilon}\right)^{1-\theta-\epsilon} \leq e^{-2\epsilon^2}$

OP 제공 : (감사합니다. 조금 지쳤습니다 ...)

\sum_{i = 1}^{n} E (W_{i}) = 1 - 1 / 2^{n}

$\sum_{i=1}^n E(W_i) =1-1/2^n$

마지막으로, "종속 변수 접근"은

P r (Z_{n} \geq θ + ϵ) \leq (1 - \frac{1}{2^{n}}) e^{- 2 ϵ^{2}} \equiv B_{D}

$\mathrm{Pr}(Z_n\geq \theta +\epsilon) \leq (1-\frac 1{2^n})e^{-2\epsilon^2} \equiv B_D$

이것을 추기경의 경계와 비교해 봅시다. 이것은 "독립성"변환 인 합니다. 우리의 경계가 더 단단해 지려면 $B_I$

B_{D} = (1 - \frac{1}{2^{n}}) e^{- 2 ϵ^{2}} \leq e^{- n ϵ^{2} / 2} = B_{I}

$B_D=(1-\frac 1{2^n})e^{-2\epsilon^2} \leq e^{-n\epsilon^2/2}=B_I$

\Rightarrow \frac{2^{n} - 1}{2^{n}} \leq \exp {(\frac{4 - n}{2}) ϵ^{2}}

$\Rightarrow \frac {2^n-1}{2^n} \leq \exp\left\{\left(\frac {4-n}{2}\right)\epsilon^2\right\}$

그래서위한 우리는이 . 들어 , 꽤 빨리 보다 엄격하게 하지만, 아주 작은을 위해 도이 작은 "창은"빠르게 제로로 수렴하면서. 예를 들어, 의 경우 인 경우 가 더 엄격합니다. 결국, 추기경의 경계가 더 유용합니다. $n\leq 4$ $B_D \leq B_I$ $n \geq 5$ $B_I$ $B_D$ $\epsilon$ $n=12$ $\epsilon \geq 0.008$ $B_I$

COMMENT가
Hoeffding 의존 확률 변수의 결정 볼록 조합의 경우를 검사하는 것이 Hoeffding의 원래 종이에 대한 노출이 오해의 소지 방지하기 위해, 내가 언급해야한다. 구체적으로, 그의 는 랜덤 변수가 아닌 숫자이고, 각각의 는 독립적 인 랜덤 변수의 합이며, 사이에 의존성이 존재할 수있다 . 그런 다음 이러한 방식으로 표현할 수있는 다양한 "U- 통계"를 고려합니다. $W_i$ $X_i$ $X_i$

— 알레 코스 파파도풀로스
소스

Alecos : (응답 끝에있는 파생 항목을 살펴보십시오). 추기경처럼 기하 급수적으로 쇠퇴하지 않습니다 .

E [W_{1}] = (1 - 1 / 2^{n}) / n

$\mathrm{E}[W_1]=(1-1/2^n)/n$

n

$n$

— Zen

@Zen 실제로 (실제로 샘플 크기에 따라 증가 하지만) 카디널의 바운드가 대부분의 샘플 크기에 더 유용한 이유입니다.

— Alecos Papadopoulos 2016