이 비표준 버전의 Azuma 불평등의 증거는 무엇입니까?

Dwork 등 의 부스팅 및 차등 개인 정보 보호 정책 부록 B 에서 저자는 증거없이 다음 결과를 언급하고이를 Azuma의 불평등이라고합니다.

하자 $C_1, \dots, C_k$ 실수 할 확률 변수는 그 모든 대한 $i \in [k]$ ,

$\Pr[|C_i| \leq \alpha] = 1$

모든에 대한 , 우리가 . $(c_1, \dots, c_{i - 1}) \in \text{Supp}(C_1, \dots, C_{i - 1})$ $\text{E}[C_i \mid C_1 = c_1, \dots, C_{i - 1} = c_{i - 1}] \leq \beta$

그런 다음 모든 에 대해 . $z > 0$ $\Pr[\sum_{i = 1}^k C_i > k\beta + z \sqrt{k} \cdot \alpha] \leq e^{-z^2/2}$

이것을 증명하는 데 문제가 있습니다. Azuma 불평등 의 표준 버전 은 다음과 같습니다.

가정 마틴이며,거의 확실하게 . 그러면 모든 에 대해 있습니다. $\{X_0, X_1, \dots, X_k\}$ $|X_i - X_{i - 1}| \leq \gamma_i$ $t > 0$ $\Pr[X_k \geq t] \leq \exp(-t^2/(2 \sum_{i = 1}^k \gamma_i^2))$

Dwork et al.에 의해 언급 된 Azuma의 불평등의 버전을 증명하기 위해, 우리는 이고 . 그렇게해서 는 마틴 게일 이라고 생각 합니다. 그러나 우리가 말할 수있는 것은 거의 확실 하죠? 대체 후, 우리는 단지 는 Dwork et al. $X_0 = 0$ $X_i = X_{i - 1} + C_i - \text{E}[C_i \mid C_1, C_2, \dots, C_{i - 1}]$ $\{X_0, \dots, X_k\}$ $|X_i - X_{i - 1}| \leq 2\alpha$ $\Pr[\sum_{i = 1}^k C_i > k\beta + z\sqrt{k} \cdot 2\alpha] \leq e^{-z^2/2}$

내가 놓친 간단한 트릭이 있습니까? Dwork et al. 두 가지 요소가 누락 되었습니까?

pr.probability

— 윌리엄 호자
소스

이 논문의 진술은 사실이지만 Azuma 불평등의 "평범한"버전을 따르지는 않습니다. 문제는 일반적인 설명은 하지만 길이가 같은 간격이있을 것입니다. 대칭 간격을 가정 할 이유가 없습니다.

X_{i} - X_{i - 1} \in [- a, a]

$X_i-X_{i-1}\in[-a,a]$

— 토마스

참조를 찾을 수 없으므로 여기서 증거를 스케치하겠습니다.

정리. 하자 실제 확률 변수합니다. 하자 상수합니다. 모든 및 지원하는 모든 우리는 $X_1, \cdots, X_n$ $a_1, \cdots, a_n, b_1, \cdots, b_n$ $i \in \{1,\cdots,n\}$ $(x_1,\cdots,x_{i-1})$ $(X_1, \cdots, X_{i-1})$

$\mathbb{E}[X_i | X_1=x_1, \cdots, X_{i-1}=x_{i-1}] \leq 0$ 및

$\mathbb{P}[X_i \in [a_i,b_i]]=1$ .

그런 다음 모든 에 대해 $t\geq0$
$P [\sum_{i = 1}^{n} X_{i} \geq t] \leq \exp (\frac{- 2 t^{2}}{\sum_{i = 1}^{n} (b_{i} - a_{i})^{2}}) .$ $\mathbb{P}\left[\sum_{i=1}^n X_i \geq t\right] \leq \exp\left(\frac{-2t^2}{\sum_{i=1}^n (b_i-a_i)^2}\right).$

증명. 정의하십시오 . 우리는 항 모든 및 에 대해 가정하여 및 지원하는 모든 에 대해 $Y_i = \sum_{j=1}^i X_j$

\begin{matrix} (*) & \forall i \in {1, \dots, n} \forall λ \geq 0 E [e^{λ Y_{i}}] \leq e^{\frac{1}{8} λ^{2} \sum_{j = 1}^{i} (b_{j} - a_{j})^{2}} . \end{matrix}

$\forall i \in \{1,\cdots,n\}~\forall \lambda \geq 0 ~~~~~ \mathbb{E}\left[e^{\lambda Y_i}\right] \leq e^{\frac18 \lambda^2 \sum_{j=1}^i (b_j-a_j)^2}.\tag*{(*)}$

i

$i$

λ

$\lambda$

E [e^{λ Y_{i}}] = E [e^{λ Y_{i - 1}} \cdot e^{λ X_{i}}] = E [e^{λ Y_{i - 1}} \cdot E [e^{λ X_{i}} | Y_{i - 1}]] .

$\mathbb{E}\left[e^{\lambda Y_i}\right] = \mathbb{E}\left[e^{\lambda Y_{i-1}}\cdot e^{\lambda X_i}\right] = \mathbb{E}\left[e^{\lambda Y_{i-1}}\cdot \mathbb{E}\left[e^{\lambda X_i}\middle|Y_{i-1}\right]\right].$

μ (y_{i - 1}) := E [X_{i} | Y_{i - 1} = y_{i - 1}] \leq 0

$\mu(y_{i-1}):=\mathbb{E}[X_i|Y_{i-1}=y_{i-1}]\leq 0$

P [X_{i} \in [a_{i}, b_{i}]] = 1

$\mathbb{P}[X_i \in [a_i,b_i]] =1$

y_{i - 1}

$y_{i-1}$

Y_{i - 1}

$Y_{i-1}$ . ( 입니다.) 따라서 Hoeffding의 정리 는 모든 은 및 모든 합니다. 이후 , 우리가 모든 , 이제 유도는 위의 주장 (*)을 산출합니다.

Y_{i - 1} = X_{1} + \dots + X_{i - 1}

$Y_{i-1}=X_1+\cdots+X_{i-1}$

E [e^{λ X_{i}} | Y_{i - 1} = y_{i - 1}] \leq e^{λ μ (y_{i - 1}) + \frac{1}{8} λ^{2} (b_{i} - a_{i})^{2}}

$\mathbb{E}\left[e^{\lambda X_i}\middle|Y_{i-1}=y_{i-1}\right] \leq e^{\lambda\mu(y_{i-1})+\frac18 \lambda^2(b_i-a_i)^2}$

y_{i - 1}

$y_{i-1}$

Y_{i - 1}

$Y_{i-1}$

λ \in R

$\lambda \in \mathbb{R}$

μ (y_{i - 1}) \leq 0

$\mu(y_{i-1})\leq 0$

λ \geq 0

$\lambda \geq 0$

E [e^{λ Y_{i}}] \leq E [e^{λ Y_{i - 1}} \cdot e^{0 + \frac{1}{8} λ^{2} (b_{i} - a_{i})^{2}}] .

$\mathbb{E}\left[e^{\lambda Y_i}\right] \leq \mathbb{E}\left[e^{\lambda Y_{i-1}}\cdot e^{0+\frac18 \lambda^2(b_i-a_i)^2}\right].$

이제 Markov의 불평등 을 에 적용하고 클레임 (*)을 사용합니다. 모든 , 마지막으로, 를 설정하여 오른쪽 표현을 최소화하고 결과를 얻습니다. $e^{\lambda Y_n}$ $t, \lambda > 0$

P [\sum_{i = 1}^{n} X_{i} \geq t] = P [Y_{n} \geq t] = P [e^{λ Y_{n}} \geq e^{λ t}] \leq \frac{E [e^{λ Y_{n}}]}{e^{λ t}} \leq \frac{e^{\frac{1}{8} λ^{2} \sum_{i = 1}^{n} (b_{i} - a_{i})^{2}}}{e^{λ t}} .

$\mathbb{P}\left[\sum_{i=1}^n X_i \geq t\right]=\mathbb{P}[Y_n \geq t] = \mathbb{P}\left[e^{\lambda Y_n} \geq e^{\lambda t}\right] \leq \frac{\mathbb{E}\left[e^{\lambda Y_n}\right]}{e^{\lambda t}} \leq \frac{e^{\frac18 \lambda^2 \sum_{i=1}^n (b_i-a_i)^2}}{e^{\lambda t}}.$

λ = \frac{4 t}{\sum_{i = 1}^{n} (b_{i} - a_{i})^{2}}

$\lambda=\frac{4t}{\sum_{i=1}^n (b_i-a_i)^2}$

\begin{matrix} ◼ \end{matrix}

$\tag*{$\blacksquare$}$

내 의견에서 언급했듯이, 이것과 Azuma 불평등의 "평소"진술의 주요 차이점은 보다는 을 요구하는 것 입니다. 전자는 더 많은 유연성을 허용하며 경우에 따라 2 배가 절약됩니다. $X_i \in [a_i,b_i]$ $X_i \in [-a,a]$

증명 의 랜덤 변수는 수퍼 마 입니다. 넌 마틴 고려하여 동쪽의 부등식의 일반적인 버전을 얻을 수 , 설정 및 (여기서 )을 입력 한 다음 위의 결과를 적용하십시오. $Y_i$ $Y_1, \cdots, Y_n$ $X_i=Y_i-Y_{i-1}$ $[a_i,b_i]=[-c_i,c_i]$ $\mathbb{P}[|Y_i-Y_{i-1}|\leq c_i]=1$

— 도마
소스

증명의 첫 줄에서, 아마도되어야 (같이 상부 합 결합 아닌 ) ...

Y_{i} = \sum_{j = 1}^{i} X_{j}

$Y_i = \sum_{j=1}^i X_j$

i

$i$

n

$n$

— 듀갈

증거는 Dubhashi와 Panconesi의 논문에서도 제공됩니다.

— Kristoffer Arnsfelt Hansen

@KristofferArnsfeltHansen : 좋아. 당신은 링크가 있습니까?

— 토마스