확률 불평등

무한한 랜덤 변수의 합계에 대한 확률 불평등을 찾고 있습니다. 누군가 나에게 몇 가지 생각을 줄 수 있다면 정말 감사하겠습니다.

내 문제는 두 개의 iid Gaussian의 곱셈 인 무한한 iid 랜덤 변수의 합이 특정 값을 초과 할 확률에 대한 지수 상한을 찾는 것입니다. 즉, 여기서 , 및 는 에서 iid로 생성됩니다 . $\mathrm{Pr}[ X \geq \epsilon\sigma^2 N] \leq \exp(?)$ $X = \sum_{i=1}^{N} w_iv_i$ $w_i$ $v_i$ $\mathcal{N}(0, \sigma)$

모멘트 생성 함수 (MGF)를 사용하여 Chernoff 바운드를 사용하려고 시도했는데 파생 바운드는 다음과 같습니다.

$\begin{eqnarray} \mathrm{Pr}[ X \geq \epsilon\sigma^2 N] &\leq& \min\limits_s \exp(-s\epsilon\sigma^2 N)g_X(s) \\ &=& \exp\left(-\frac{N}{2}\left(\sqrt{1+4\epsilon^2} -1 + \log(\sqrt{1+4\epsilon^2}-1) - \log(2\epsilon^2)\right)\right) \end{eqnarray}$

여기서 $g_X(s) = \left(\frac{1}{1-\sigma^4 s^2}\right)^{\frac{N}{2}}$ 는 의 MGF입니다 $X$ . 그러나 한계는 그다지 엄격하지 않습니다. 내 문제의 주된 문제는 무작위 변수가 무제한이며 불행히도 Hoeffding 불평등의 경계를 사용할 수 없다는 것입니다.

나는 당신이 꽉 찬 지수를 찾는 데 도움이된다면 기쁠 것입니다.

— 파 자드
소스

압축 감지 관련 문제인 것 같습니다. 비 점근 적 랜덤 매트릭스 이론에 대한 R. Vershynin의 노트, 특히 그가 지수 이하 랜덤 변수 라고 부르는 것에 대한 경계를 찾아보십시오 . 시작하겠습니다. 더 많은 포인터가 필요하면 알려 주시면 더 많은 정보를 게시하겠습니다.

— 추기경

math.SE에 대한이 주제와 관련하여 적어도 몇 가지 관련 질문과 답변이 있습니다 (면책 조항 : 참여한 사람 포함).

— 추기경

제품

w_{i} v_{i}

$w_i v_i$ 에는 '정상 제품'배포판이 있습니다. 이 제품의 평균이 0이고 분산이

라고 생각합니다.

σ^{4}

$\sigma^4$ 여기서

σ^{2}

$\sigma^2$ 는

w_{i}

$w_i$ 및

의 분산입니다

v_{i}

$v_i$ . 들어

N

$N$ largeish, 당신은 대략 norality 얻을 수있는 중심 극한 정리를 사용할 수

X

$X$ . 정규 곱 분포의 왜곡을 계산할 수 있다면 Berry-Esseen 정리를 적용하여 CDF의 수렴 률을 제한 할 수 있다고 생각합니다.

— shabbychef

@shabbychef, Berry-Esseen은 모든 분포 함수 클래스에 대해 균일하게 묶여 있기 때문에 수렴이 느립니다 .

F

$F$

— 추기경

@DilipSarwate : 방금 전에 여러분의 의견을보고 있습니다. 다음과 같은 작은 논문에 관심이 있으실 것 같습니다.이 논문은 수학에 대해서도 두 번 연결되었습니다 .SE : TK Phillips and R. Nelson (1995), 체력 경계는 Chernoff의 긍정적 인 꼬리에 대한 경계보다 빡빡합니다. 확률 , The American Statistician , vol 42, no. 2., 175-178.

— 추기경

답변:

Chernoff 경계를 사용하여 나중에 지정할 대해 제안했습니다 . 덕분에 두 번째 부등식이있는 곳 모든 . 이제 및 취 하면 오른쪽은 수득 모든 대 . $s\le 1/(2\sigma^2)$

P [X > t] \leq \exp (- s t) \exp (- (N / 2) \log (1 - σ^{4} s^{2})) \leq \exp (- s t + σ^{4} s^{2} N)

$P[X>t] \le \exp(-st) \exp\Big(-(N/2) \log(1-\sigma^4s^2) \Big) \le \exp(-st + \sigma^4s^2 N)$

- \log (1 - x) \leq 2 x

$-\log(1-x)\le 2x$

x \in (0, 1 / 2)

$x\in(0,1/2)$

t = ϵ σ^{2} N

$t=\epsilon \sigma^2 N$

s = t / (2 σ^{4} N)

$s=t/(2\sigma^4N)$

\exp (- t^{2} / (4 σ^{4} N) = \exp (- ϵ^{2} N / 4)

$\exp(-t^2/(4\sigma^4N)=\exp(-\epsilon^2 N/4)$

P [X > ϵ σ^{2} N] \leq \exp (- ϵ^{2} N / 4) .

$P[X>\epsilon \sigma^2 N] \le \exp(-\epsilon^2 N/4).$

ϵ \in (0, 1)

$\epsilon\in(0,1)$

또 다른 방법은 Hanson-Wright 불평등과 같은 농도 불평등 또는 관심있는 임의 변수를 포함하는 차수 2의 가우스 혼돈에 대한 농도 불평등을 직접 적용하는 것입니다.

모멘트 생성 기능을 사용하지 않는 간단한 접근

가라 단순성을 (달리, 하나로 나누어 재조정있다 ). $\sigma=1$ $\sigma^2$

쓰기 및 . 에서 상한을 요청합니다 . $v=(v_1,...,v_n)^T$ $w=(w_1,...,w_n)^T$ $P(v^Tw>\epsilon N)$

하자. 그러면 및 독립성에 의한 은 자유도를 갖는 분포를 갖는 와 독립적입니다 . $Z= w^T v/\|v\|$ $Z\sim N(0,1)$ $v,w$ $\|v\|^2$ $Z$ $\chi^2$ $n$

표준 정규 및 랜덤 변수의 표준 범위에 따라 합집합과 결합하면 형식의 에 상한이 표시됩니다. . $\chi^2$

P (| Z | > ϵ \sqrt{n / 2}) \leq 2 \exp (- ϵ^{2} n / 4), P (‖ v ‖ > \sqrt{2 n}) \leq \exp (- n (\sqrt{2} - 1)^{2} / 2) .

$P(|Z|>\epsilon\sqrt{n/2})\le 2\exp(-\epsilon^2 n/4), \qquad\qquad P(\|v\|>\sqrt{2n}) \le \exp(-n(\sqrt 2 -1)^2/2).$

P (v^{T} w > ϵ N)

$P(v^Tw>\epsilon N)$

2 \exp (- ϵ^{2} n / 4) + \exp (- n (\sqrt{2} - 1)^{2} / 2)

$2\exp(-\epsilon^2 n/4) + \exp(-n(\sqrt 2 -1)^2/2)$

— 질크
소스

획득 한 범위는 의 순서 로 입니다. 나는 당신이 일반적인 훨씬 더 잘 할 수 있다고 생각하지 않습니다 . 제품 변수 의 Wikipedia 페이지에서 의 분포 는 이며 여기서 은 수정 된 Bessel 함수입니다. 에서의 (10.25.3) DLMF 기능 목록 , 되도록위한 충분히 큰 는 하위 가우시안 경계를 제공하지 않습니다. $e^{-\epsilon}$ $\epsilon \to \infty$ $\epsilon$ $w_i v_i$ $K_0(z)/\pi$ $K_0$ $K_0(t) \sim e^{-t}/\sqrt{t}$ $x$ $\mathbb{P}(w_i v_i > x) \sim \int_x^\infty e^{-t}/\sqrt{t} dt$

— BookYourLuck
소스