Hoeffding 불평등에 사용 된 정리의 증거 이해

Casella와 Berger를 기본 텍스트로 사용하는 통계에 대한 Larry Wasserman의 강의 노트 를 연구하고 있습니다. 나는 그의 강의 노트 세트 2를 진행 하고 있으며 Hoeffding의 불평등 (pp.2-3)에 사용 된 정리의 파생에 갇혀있다. 나는 아래의 메모에서 증거를 재현하고 있으며 증거 후에 내가 붙어있는 곳을 지적합니다.

렘마

한다고 가정 , 그 . 그런 다음 입니다. $\mathbb{E}(X) = 0$ $a \le X \le b$ $\mathbb{E}(e^{tX}) \le e^{t^2 (b-a)^2/8}$

증명

이후 , 우리는 쓸 수 볼록의 조합 및 , 즉 여기서 . 함수의 볼록 바이 우리가 $a \le X \le b$ $X$ $a$ $b$ $X = \alpha b + (1 - \alpha) a$ $\alpha = \frac{X-a}{b-a}$ $y \to e^{ty}$

$e^{tX} \le \alpha e^{tb} + (1 - \alpha) e^{ta} = \frac{X-a}{b-a} e^{tb} + \frac{b-X}{b-a} e^{ta}$

양쪽의 기대를 가지고 사실 사용 얻기 위해 $\mathbb{E}(X) = 0$

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$

여기서 , 및 입니다. 참고 . 또한 모든 대해 입니다 . $u = t(b-a)$ $g(u) = -\gamma u + \log(1-\gamma + \gamma e^{u})$ $\gamma = -a /(b-a)$ $g(0) = g^{'}(0) = 0$ $g^{''}(u) \le 1/4$ $u > 0$

Taylor의 정리에 따르면, 와 같은 $\varepsilon \in (0, u)$ $g(u) = g(0) + u g^{'}(0) + \frac{u^2}{2} g^{''}(\varepsilon) = \frac{u^2}{2} g^{''}(\varepsilon) \le \frac{u^2}{8} = \frac{t^2(b-a)^2}{8}$

따라서 $\mathbb{E}(e^{tX}) \le e^{g(u)} \le e^{\frac{t^2(b-a)^2}{8}}$ 입니다.

나는 증거를 따라갈 수 있었다

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$ 그러나 를 파생시키는 방법을 알 수 없습니다 . $u, g(u), \gamma$

probability probability-inequalities

— 아난드
소스

의 최대 값 이 이므로 결과는 효과적으로 이것은 우연의 일치로 인해 너무 친숙해 보입니다. 나는 확률 론적 논증을 통해 결과를 도출 할 수있는 또 다른 쉬운 방법이있을 것으로 생각한다.

var (X)

$\text{var}(X)$

σ_{max}^{2} = (b - a)^{2} / 4

$\sigma_{\max}^2 = (b-a)^2/4$

E [e^{t X}] \leq e^{σ_{max}^{2} t^{2} / 2}

$E[e^{tX}] \leq e^{\sigma_{\max}^2t^2/2}$

— Dilip Sarwate

@DilipSarwate 내 이해는 균일 한 랜덤 변수 대해 최대 분산이 발생한다는 것입니다 . 의 분산 은 입니다. 어떻게 얻었는지 설명해 주 시겠습니까?

X \sim U (a, b)

$X \sim \mathcal{U}(a,b)$

X

$X$

V a r (X) = \frac{(b - a)^{2}}{12}

$\mathsf{Var}(X) = \frac{(b-a)^2}{12}$

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

— Anand

끝점에 질량을 집중시킴으로써 ...

— Elvis

@DilipSarwate 나는 증거에 몇 가지 의견을 추가했는데, 최악의 경우가 최대 분산 인 이유를 설명 할 수 있습니다.

— Elvis

@DilipSarwate - 참조 보조 정리 1, 여기에 운동을 1 : terrytao.wordpress.com/2010/01/03/... . Jensen의 불평등과 테일러의 확장에 의존하는 더 간단한 파생이있는 것 같습니다. 그러나 이것에 대한 자세한 내용은 분명하지 않습니다. 아마도 누군가가 그것을 이해할 수 있습니다. ((9)에서 (10)까지의 파생과 운동 1)

— Leo

귀하의 질문을 올바르게 이해했는지 잘 모르겠습니다. 대답하려고합니다 : 의 함수로 를 . 에서 경계를 원하면 자연 스럽습니다 .

- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$-\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

u = t (b - a)

$u = t(b-a)$

e^{\frac{u^{2}}{8}}

$e^{u^2 \over 8}$

경험의 도움을, 당신은 것 알고 는 양식에 작성 선택하는 것이 낫다는 것을 . 그런 다음 는 와 . $e^{g(u)}$

e^{g (u)} = - \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$e^{g(u)} = -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

\begin{aligned} g (u) & = \log (- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}) \\ = \log (e^{t a} (- \frac{a}{b - a} e^{t (b - a)} + \frac{b}{b - a})) \\ = t a + \log (γ e^{u} + (1 - γ)) \\ = - γ u + \log (γ e^{u} + (1 - γ)), \end{aligned}

$\begin{align*} g(u) &= \log\left( -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} \right)\\ &= \log\left( e^{ta} \left( -\frac{a}{b-a} e^{t(b-a)} + \frac{b}{b-a} \right)\right)\\ &= ta + \log\left( \gamma e^u + (1-\gamma) \right)\\ &= -\gamma u + \log\left( \gamma e^u + (1-\gamma) \right),\\ \end{align*}$

γ = - \frac{a}{b - a}

$\gamma = - {a \over b-a}$

그게 당신이 요구 한 것입니까?

편집 : 증거에 대한 몇 가지 의견

첫 번째 요령은주의해서 살펴볼 가치가 있습니다. 가 볼록 함수이고 가 중심 랜덤 변수 인 경우 여기서 은 의해 정의 된 이산 변수입니다. 결과적으로 은 분산이 가장 높은 에서 지원되는 중심 변수 : 지지 폭 고정하면 $\phi$ $a\le X\le b$ $E (ϕ (X)) \leq - \frac{a}{b - a} ϕ (b) + \frac{b}{b - a} ϕ (a) = E (ϕ (X_{0})),$ $\mathbb{E}(\phi(X)) \le -{a\over b-a} \phi(b) + {b \over b-a} \phi(a) = \mathbb{E}(\phi(X_0)),$ $X_0$ $\begin{aligned} P (X_{0} = a) & = \frac{b}{b - a} \\ P (X_{0} = b) & = - \frac{a}{b - a} . \end{aligned}$ $\begin{align*} \mathbb P(X_0=a) &= {b \over b-a}\\ \mathbb P(X_0=b) &= -{a \over b-a}.\end{align*}$ $X_0$ $[a,b]$ $V a r (X) = E (X^{2}) \leq E (X_{0}^{2}) = \frac{b a^{2} - a b^{2}}{b - a} = - a b .$ $\mathsf{Var} (X) = \mathbb{E}(X^2) \le \mathbb{E}(X_0^2) = {ba^2 - ab^2 \over b-a } = - ab.$ $(b-a)$ 코멘트에서 Dilip이 말한 것처럼 이것은 보다 작습니다. 이것은 . 대한 경계가 설정 됩니다. $(b-a)^2\over 4$ $(b-a)^2 + 4ab \ge 0$ $a=-b$
이제 우리 문제로 넘어가십시오. 에만 의존하는 이유는 무엇 입니까? 직관적으로, 그것은 의 크기를 재조정하는 문제 입니다. 케이스에 대해 바운드 가있는 경우 일반 바운드 를 취하면 얻을 수 있습니다 . 이제 너비 1을 지원하는 중심 변수 세트를 생각해보십시오. 많은 자유가 없기 때문에 와 같은 경계 가 존재해야합니다. 다른 접근법은 간단히 에 대한 위의 정리 로 더 일반적으로 , 이는 에만 의존 하고 $u = t(b-a)$ $X$ $\mathbb{E}\left( e^{tX} \right) \le s(t)$ $b-a=1$ $s( t(b-a) )$ $s(t)$

$\mathbb{E}(\phi(X))$ $\mathbb{E}(\phi(tX)) \le \mathbb{E}(\phi(tX_0))$ $u$ $\gamma$ 당신이 해결하는 경우 : 와 및하자 달라, 자유의 1도있다, 그리고 , , 입니다. 우리는 얻을 당신은 단지 와 관련된 경계를 찾아야합니다 . $u = u_0 = t_0 (b_0 - a_0)$ $\gamma = \gamma_0 = - {a_0 \over b_0-a_0}$ $t, a, b$ $t = {t_0 \over \alpha}$ $a = \alpha a_0$ $b = \alpha a_0$
$- \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) = - \frac{a_{0}}{b_{0} - a_{0}} ϕ (t b_{0}) + \frac{b_{0}}{b_{0} - a_{0}} ϕ (a_{0}) .$ $-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) = -{a_0\over b_0-a_0} \phi(tb_0) + {b_0 \over b_0-a_0} \phi(a_0).$ $u$
이제 할 수 있다고 확신합니다. 훨씬 쉬워야합니다! 반드시 를 시작 한다고 생각할 필요는 없습니다 . 요점은 모든 것을 와 의 함수로 작성해야한다는 것 입니다. 우선 참고 , , 및 . 그런 다음 이제 우리는 특별한 경우에 있습니다 ... I 당신이 끝낼 수 있다고 생각합니다. $g$ $u$ $\gamma$

$\gamma = -{a\over b-a}$ $1 -\gamma = {b\over b-a}$ $at = -\gamma u$ $bt = (1-\gamma)u$
$\begin{aligned} E (ϕ (t X)) \leq & - \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) \\ = & γ ϕ ((1 - γ) u) + (1 - γ) ϕ (- γ u) \end{aligned}$ $\begin{align*} \mathbb{E}(\phi(tX)) \le &-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) \\ = & \gamma \phi((1-\gamma)u) + (1-\gamma) \phi(-\gamma u) \end{align*}$

$\phi=\exp$

나는 그것을 조금 명확히하기를 바랍니다.

— 엘비스
소스

바로 내가 찾던 것입니다. 고마워

— Anand

@Anand 나는 조언을 따르는 것이 어렵다는 것을 알고 있지만 기술적 인 세부 사항에 초점을 두지 말고 그러한 경계가 존재할 수있는 이유를 찾으려고 노력해야한다고 생각 합니다. 그런 다음 증거가 더 쉬워야합니다. 나는 오늘 아침에 추가 된 두 번째 부분 의 이유 를 보여 주려고 노력했습니다 (적어도 이런 질문을해야합니다. 나는 이런 종류의 직관이 대부분의 교과서에 나타나지 않는 것이 끔찍하다고 생각합니다. 기술적 인 부분을 얻더라도 모든 것이 마술처럼 보이는 아이디어가 없다면. 이에 대해 자세히 생각해 볼 수있는 기회를 주셔서 감사합니다.

— Elvis

와! 편집시 +1 감사. 그러나 와 같은 것을 얻을 수 있다면 좋지 않을 것입니다

E [e^{t X}] \leq e^{E [t^{2} X^{2} / 2]} = e^{(t^{2} / 2) E [X^{2}]} = e^{(t^{2} / 2) var (X)} \leq e^{t^{2} σ_{max}^{2} / 2} ?

$E[e^{tX}] \leq e^{E[t^2X^2/2]} = e^{(t^2/2)E[X^2]} = e^{(t^2/2)\text{var}(X)} \leq e^{t^2\sigma_{\max}^2/2}?$

— Dilip Sarwate

@Elvis 조언과 직관적 인 부분을 적어 주셔서 감사합니다. 이것을 이해하기 위해 시간을 보내야합니다!

— Anand

@Elvis 직관에 대해 이해하고 이해하고 싶습니다. 더 선명한 경계를 얻으려면 더 높은 순간이 필요합니다. Markov는 첫 번째 순간을, Chebyshev는 두 번째 순간을, Hoeffding은 mgf를 사용합니다. 이 올바른지? 누군가 가이 부분을 확장하고 명확히 할 수 있다면 좋을 것입니다.

— Anand