독립 지수 랜덤 변수의 합

우리는 독립적 지수 확률 변수의 합에 예리한 농도 결과를 입증 할 수 있고, 즉하자 $X_1, \ldots X_r$ BE 독립 확률 변수되도록 $Pr(X_i < x) = 1 - e^{-x/\lambda_i}$ . 하자 $Z = \sum X_i$ . 형식의 경계를 증명할 수 있습니까 $Pr(|Z-\mu_Z|>t) < e^{-t^2/\sum (\lambda_i)^2}$ . 이것은 우리가 체어 오프 경계의 분산 형태를 사용하고 따라서 내가 참이라고 믿는다면 직접 이어지지 만 내가 읽는 경계는 경계가 필요하거나 변수의 경계에 의존합니다. 누군가 위의 증거를 지적 할 수 있습니까?

pr.probability randomness chernoff-bound

— 성가신 잔소리
소스

단지 chernoff의 증거를 따르십시오 : 지수 랜덤 변수의 지수 모멘트를 쉽게 묶을 수 있습니다.

— Sasho Nikolov 2016 년

나는 chernoff의 증거를 반복하려고 노력했다. 나는 모든

때 더 간단한 경우를 위해 그것을했다

λ_{i} = λ

$\lambda_i = \lambda$ . 나는 온화한 조건

에서 찾고있는 관계를 얻을 수 있습니다

t < n λ

$t < n\lambda$ . 그러한 상태는 자연적으로 발생합니까, 아니면 그렇게 좋지 않은 해결책 때문입니까?

— NAg

Lemma 2.8 확인 eprint.iacr.org/2010/076.pdf

— Sasho Nikolov

그렇습니다. 심지어 자신의 보조 정리에 그들에 대한 조건이

인 작은 충분합니다. 좋아, 내 솔루션이 올바른 것 같습니다. 링크와 제안에 감사드립니다.

t

$t$

— NAg

Pr [X_{i} < x] = e^{- λ_{i} x}

$\Pr[X_i < x] = e^{-\lambda_i x}$

x

$x$

Pr [X_{i} < x] = 1 - e^{- λ_{i} x}

$\Pr[X_i < x] = 1-e^{-\lambda_i x}$

λ_{i}^{- 2}

$\lambda_i^{-2}$

답변:

구체적으로, rv $X_i$ 의 pdf 는

p (X_{i} = x) = \frac{1}{2} λ_{i} e^{- λ_{i} | x |} .

$p(X_i = x) = \frac{1}{2} \lambda_i e^{-\lambda_i|x|}.$

이것은 Laplace 분포 또는 이중 지수 분포입니다. 분산은 $\frac{2}{\lambda_i^2}$ . CDF는

Pr [X_{i} \leq x] = 1 - \frac{1}{2} e^{- λ_{i} x}

$\Pr[X_i \leq x] = 1 - \frac{1}{2}e^{-\lambda_i x}$ 에 대한

x \geq 0

$x \geq 0$ .

$X_i$ 의 모멘트 생성 기능 은

E e^{u X_{i}} = \frac{1}{1 - u^{2} / λ_{i}^{2}},

$\mathbf{E}\ e^{uX_i} = \frac{1}{1 - u^2/\lambda_i^2},$ 대한

| u | < λ_{i}

$|u| < \lambda_i$ . Chernoff 범위 증명에 표준 인이 사실과 지수 모멘트 방법을 사용하면

X = \sum_{i} X_{i}

$X = \sum_i X_i$ 및

σ^{2} = 2 \sum_{i} λ_{i}^{- 2}

$\sigma^2 = 2\sum_i \lambda_i^{-2}$ 에 대해 다음과 같은 부등식이 유지됩니다.

Pr [X > t σ] < e^{- t^{2} / 4},

$\Pr[X > t\sigma] < e^{-t^2/4},$ 만큼

t \leq 2 σ min_{i} λ_{i}

$t \leq 2\sigma \min_{i}{\lambda_i}$ . 이 논문의 Lemma 2.8의 증거에서 자세한 도출을 찾을 수있다.

— 사쇼 니콜 로프
소스

답변 주셔서 감사합니다. 그러나 내 응용 프로그램에서

라는 것이 반드시 사실은 아닙니다.

. 그러나

경우 더 강한 농도를 기대할 수 있습니다.

t \leq \sqrt{2} σ m i n_{i} λ_{i}

$t \leq \sqrt{2} \sigma min_i \lambda _i$

. 우리의 근사치를 사용 해달라고하면 우리는 결과를 얻을 수

의 범위를 제한하는

증거로하지만의 분석은 다른의 경우 관리하기 어려운된다

. 그 앞에 어떤 제안?

t > \sqrt{2} σ m i n_{i} λ_{i}

$t > \sqrt{2} \sigma min_i \lambda _i$

1 / (1 - x) \leq e^{c x}

$1/(1-x) \leq e^{cx}$

t

$t$

λ_{i}^{'} s

$\lambda _i 's$

— NAg

이 격렬한 손을 흔들며,하지만 난 그 같은 큰 값 예상 될 것입니다

단지 때 일어날 가능성이 가장 작은 수

의 평균을 초과

많이 요 그러나 이중 지수 변수는 가우시안보다 꼬리가 무거 우며, 그 중 소수는

X

$X$

X_{i}

$X_i$

| X_{i} |

$|X_i|$

— 그처럼

나는 내가 위에 쓴 것은 명확하지 않다 실현하고있다 : 나는 꼬리에에서 그런 식으로 기대

또 다른 캠핑카의 꼬리 같은 외모

이중 지수 RV의 작은 숫자 등의 꼬리의 합계입니다

안 하위 가우시안.

X

$X$

X^{'}

$X'$

X^{'}

$X'$

— Sasho Nikolov

Laplace 배포판의 경우 Bernoulli 경계를 사용하면

여기서 . 그런 다음 고전적인 Chernoff 방법으로

이자형 {이자형}^{유 \sum_{나는} {엑스}_{나는}} = \prod_{나는} \frac{1}{1 - 유^{2} / λ_{나는}^{2}} \leq \frac{1}{1 - 유^{2} σ^{2} / 2},

$Ee^{u\sum_i X_i} = \prod_i \frac1{1-u^2/\lambda_i^2} \le \frac1{1-u^2\sigma^2/2},$

σ^{2} = 2 \sum_{i} λ_{i}^{- 2}

$\sigma^2=2\sum_i\lambda_i^{-2}$

홍보 [\sum_{나는} {엑스}_{나는} \geq 티 σ] \leq \frac{1 + \sqrt{1 + 2 티^{2}}}{2} {이자형}^{1 - \sqrt{1 + 2 티^{2}}} \leq {\begin{cases} (이자형 티 / \sqrt{2} + 1) {이자형}^{- \sqrt{2} 티} \\ {이자형}^{- 티^{2} / 2 + 티^{4} / 8} \end{cases} .

$\Pr[\sum_i X_i \ge t\sigma]\le \tfrac{1+\sqrt{1+2t^2}}{2} e^{1-\sqrt{1+2t^2}} \le\cases{ (et/\sqrt2+1) e^{-\sqrt{2}t} \\ e^{-t^2/2 + t^4/8}} .$

이 경계는 및 의 무제한 값을 유지합니다 . 오른쪽 경계는 두 가지 가능한 체제를 보여줍니다. 작은 값에 대해서는 '정상적인'농도 를 얻는 반면, 큰 값에 대해서는 우리는 얻습니다 $t$ $\lambda_i$ $t$ $e^{-t^2/2}$ $t$ 단일 tplace 분산 변수의 CDF이기도 한. $\approx e^{-\sqrt{2}t}$

바운드를 사용하면 두 상황 사이를 보간 할 수 있지만 거의 모든 경우에 하나는 큰또는 작은캠프에단단히있을 것입니다. $1-\sqrt{1+2t^2}$ $t$ $t$

지수 분포의 경우 동일한 기술로 여기에서. 따라서 당신은 여전히 찾고 약간 정상 뭔가를 얻을 수 있도록하지만,와보다는 $Ee^{u\sum_iX_i}\le\frac{1}{1-u\mu}$ $\mu=\sum_i 1/\lambda_i$

Pr [(\sum_{i} X_{i}) - μ \geq t μ] \leq (t + 1) e^{- t} \leq e^{- t^{2} / 2 + t^{3} / 3} .

$\Pr[(\sum_i X_i)-\mu \ge t\mu]\le (t+1) e^{-t} \le e^{-t^2/2+t^3/3}.$

t μ

$t\mu$

우리는 기대했을 수도있다. 분산의 측면에서 한계를 가질 수 있는지 모르겠습니다.

를 공부할 수는있지만

가 쉽지 않은 것 같습니다.

t σ

$t\sigma$

E e^{u (\sum X_{i} - μ)^{2}}

$Ee^{u(\sum X_i-\mu)^2}$

— 토마스 아일
소스

나는 세부 사항을 해결할 시간이 없지만 99.9 %는 분산에 의존하는 지수 분포 무작위 변수에 대한 경계를 얻을 수 있다고 확신합니다. 순간 생성 기능에 대한 한계가 지나치게 느슨해 보입니다.

— 워렌 슈디

@Warren Schudy, 당신의 접근 방식은 무엇입니까?

— Thomas Ahle

내가 볼 수있는 두 가지 명백한 접근 방법 : 1. en.wikipedia.org/wiki/…에 나열된 두 번째 경계 는 제대로 작동하는 것 같습니다. 2. 모멘트 생성 기능에서 더 긴밀한 경계를 찾으십시오.

— 워렌 슈디

Pr [\sum_{i} X_{i} \geq t σ] \leq e^{- t^{2} / 2}

$\Pr[\sum_iX_i\ge t\sigma]\le e^{-t^2/2}$

t \leq σ min_{i} λ_{i} / 2

$t\le\sigma\min_i\lambda_i/2$

가우시안 스타일 경계가 어느 시점에서 멈추는 것은 불가피합니다. 기하 급수적으로 분포 된 단일 변수조차도 가우시안보다 꼬리가 더 fat니다.

— 워렌 슈디