Jensen의 불평등 이외 의 에 대한 경계는 ?

경우 것이 다음 볼록 함수 옌센 부등식 상태 인 , 및 준용 오목된다. 최악의 경우 볼록한 대해 관점에서 없지만 다음과 같은 경우에는이 방향으로가는 는 볼록하지만 "너무 볼록하지 않습니까?" 결론을 내릴 수 있는 볼록 함수 (및 필요할 경우 분포도 가능) 에 대한 조건을 제공하는 표준 경계가 있습니까? , 여기서 $f$ $f(\textbf{E}[x]) \le \textbf{E}[f(x)]$ $f$ $\textbf{E}[f(x)]$ $f(\textbf{E}[x])$ $f$ $f$ $f$ $\textbf{E}[f(x)] \le \varphi(f)f(\textbf{E}[x])$ $\varphi(f)$ 곡률 / 볼록도 의 $f$ 무엇입니까? Lipschitz 상태와 비슷한 것이 있습니까?

randomness pr.probability randomized-algorithms

— 이안
소스

주제를 벗어난 투표를합니다. math.stackexchange.com ?

— Aryabhata

나는이 질문이 열려 있어야한다고 생각한다. 이것은 많은 작업 이론가들이 정기적으로 유용하게 생각하는 불평등입니다.

— Aaron Roth

나는 이것이 지금까지 게시 된 대부분의 질문보다 순수한 수학에 더 가깝다는 것을 알고 있지만, 이런 종류의 것은 무작위 알고리즘 (나의 응용 프로그램)의 분석에서 자주 발생하기 때문에 이것이 주제라고 주장합니다 마음). 컴퓨터 과학에서 많이 사용되는 수학은 질문에 대한 공정한 게임으로 간주되어야한다고 생각합니다.

— Ian

계속 개방 투표. 주제에 확실히

— Suresh Venkat

나는 또한 계속 열려 투표합니다.

— Jeffε

편집 : 원래 버전은 절대 값을 놓쳤다. 죄송합니다!!

안녕 이안 하나는 Lipschitz 바운드를 사용하고 다른 하나는 2 차 미분에 바운드를 사용하는 두 가지 샘플 불평등을 간략하게 설명하고이 문제의 몇 가지 어려움에 대해 설명합니다. 비록 중복되지는 않지만 하나의 파생물을 사용하는 접근법은 더 많은 파생물 (테일러를 통해)에서 발생하는 일을 설명하기 때문에 두 번째 파생물 버전이 매우 좋습니다.

첫째, Lipschitz와 결부 된 상태 : 표준 Jensen 불평등을 재 작업하십시오. 동일한 트릭이 적용됩니다. Taylor 확장을 예상 값으로 계산하십시오.

구체적으로, 가 대응하는 측정 값 갖도록 하고 . 에 Lipschitz 상수 이 있으면 Taylor의 정리에 의해 $X$ $\mu$ $m := \textrm E(x)$ $f$ $L$

f (x) = f (m) + f^{'} (z) (x - m) \leq f (m) + L | x - m |,

$f(x) = f(m) + f'(z)(x-m) \leq f(m) + L|x-m|,$

여기서 ( 및 이 가능합니다). 이것을 사용하고 Jensen 증거를 재 작업하십시오 (나는 편집증이며 표준 위키 백과에 실제로 있는지 확인했습니다). $z \in [m, x]$ $x\leq m$ $x> m$

\begin{aligned} E (f (X)) & = \int f (x) d μ (x) \leq f (m) \int d μ (x) + L \int | x - m | d μ (x) \\ = f (E (X)) + L E (| X - E (X) |) . \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & = \int f(x) \, d\mu(x) \leq f(m) \int d\mu(x) + L\int |x-m| \, d\mu(x) \\[6pt] & = f(\operatorname{E}(X)) + L \operatorname{E} (|X-\operatorname{E}(X)|). \end{align}$

이제 . 이 경우 $|f''(x)| \leq \lambda$

\begin{aligned} f (x) & = f (m) + f^{'} (m) (x - m) + f^{″} (z) \frac{(x - m)^{2}}{2} \\ \leq f (m) + f^{'} (m) (x - m) + λ \frac{(x - m)^{2}}{2}, \end{aligned}

$\begin{align} f(x) & = f(m) + f'(m)(x-m) + f''(z) \frac{(x-m)^2} 2 \\[6pt] & \leq f(m) + f'(m)(x-m) + \lambda \frac{(x-m)^2} 2, \end{align}$

그래서

\begin{aligned} E (f (X)) & \leq f (m) + f^{'} (m) (E (X) - m) + \frac{λ E ((X - m)^{2})}{2} \\ = f (E (X)) + \frac{λ Var (X)}{2} . \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & \leq f(m) + f'(m)(\operatorname{E}(X) - m) + \frac {\lambda \operatorname{E}((X-m)^2)}{2} \\[6pt] & = f(\operatorname{E}(X)) + \frac {\lambda \operatorname{Var}(X)}2. \end{align}$

몇 가지를 간단히 언급하고 싶습니다. 그들이 명백한 경우에 죄송합니다.

와 사이의 관계를 변경하기 때문에 분포를 이동하여 단순히 "wlog " 이라고 말할 수는 없습니다 . $\operatorname{E}(X) = 0$ $f$ $\mu$

다음으로 바운드 는 어떤 식 으로든 분포에 의존 해야합니다 . 이것을 보려면 및 . 값이 무엇이든 여전히 얻습니다 . 반면, 입니다. 따라서 를 변경 하면 두 수량 사이의 간격을 임의적으로 만들 수 있습니다! 직관적으로 볼 때 더 많은 질량이 평균에서 멀어 지므로 볼록한 함수라면 가 증가합니다. $X \sim \textrm{Gaussian}(0, \sigma^2)$ $f(x) = x^2$ $\sigma$ $f(\operatorname{E}(X)) = f(0) = 0$ $\operatorname{E}(f(X)) = \operatorname{E}(X^2) = \sigma^2$ $\sigma$ $\operatorname{E} (f(X))$

마지막으로, 제안한 것처럼 곱셈을 얻는 방법을 모르겠습니다. 이 게시물에서 사용한 모든 것이 표준입니다. Taylor의 정리와 미분 경계는 통계 범위에서 빵과 버터이며, 곱셈 오류가 아니라 가산을 자동으로 제공합니다.

나는 그것에 대해 생각하고 뭔가를 게시 할 것입니다. 모호한 직관은 기능과 분포 모두에서 매우 격렬한 조건이 필요하며 첨가제 바운드가 실제로 그 중심에 있다는 것입니다.

— 마 투스
소스

내가 편집 할 때마다 대답이 울립니다. 그래서 저는 지적 할 것입니다 : 2 차 도함수는 제가 제시 한 예에 비해 빡빡합니다.

— matus

함수에 대한 더 강한 조건없이 첨가제 범위가 가장 좋습니다.

— Ian

친애하는 이안, 나는이 문제에 대해 조금 더 생각했지만 내 마음의 주된 어려움은 내가 준 예제에서 암시됩니다. 여기서 이지만 . 함수 패밀리 (바운드, 바운딩 된 파생 상품, 통합 가능) 및 분포 (부드럽고, 바운딩 된, 경계 된 엄마)를 모두 제한 할 수 있으며 여전히 이러한 예가 있습니다. 분포의 평균에서 0이 아닌 대칭이고 음이 아닌 함수를 갖기에 충분합니다. 즉, 모든 것이 정확한 문제의 제약 조건에 달려 있습니다. 일반적인 경우에는 부가적인 특성이 기본이라고 생각합니다.

f (E (X)) = 0

$f(\textrm E(X))= 0$

E (f (X)) > 0

$\textrm E (f(X)) > 0$

— matus

@Ian : Chernoff와 Azuma-Hoeffding 불평등의 증거는이를 연상시키는 주장을 사용하므로 영감을 얻기 위해이를 읽을 수 있습니다. 컴퓨팅의 무작위 화에 관한 Mitzenmacher 및 Upfal의 저서를 참조하십시오.

— 워렌 슈디

통찰력을 얻으려면 두 값에 집중된 분포를 고려하십시오. 예를 들어, 인 경우 1/2의 동일한 확률로 1 또는 3과 같습니다 . 가지고 와 . 및 함수 를 고려하십시오 . 을 만들어서 $\textbf{E}[x] = 2$ $N >> 0$ $\epsilon > 0$ $f$ $f(1) = f(3)= N\epsilon$ $f(\textbf{E}[x]) = f(2) = \epsilon$ $\epsilon$ sufficiently small and connecting $f$ continuously among these three points we can make the curvature of $f$ as small as desired. Then

$\textbf{E}[f(x)] = N\epsilon$ , yet

$N = N\epsilon / \epsilon = \textbf{E}[f(x)] / f(\textbf{E}[x]) \le \varphi(f)$ .

This shows $\varphi(f)$ must be arbitrarily large.

— whuber
소스