점점 더 많은 데이터가 수집 될수록 가능성 비율은 어떻게됩니까?

하자 , 와 밀도하고 당신이 가정 , . 로 가능성 비율 는 어떻게됩니까? (수렴? 무엇에?)$f$$g$$h$$x_i \sim h$$i \in \mathbb{N}$

$$\prod_{i=1}^n \frac{f(x_i)}{g(x_i)}$$ $n \rightarrow \infty$

예를 들어 라고 가정 할 수 있습니다 . 일반적인 경우도 관심이 있습니다.$h = g$

이 제품의 로그를 취하면 평균 많은 수의 법칙이 적용되므로 거의 확실하게 수렴합니다. 이 적분이 잘 정의되어 있다고 가정하면 [카운터 예제는 쉽게 제공됩니다].

$${\mathfrak{r}}=\log \prod_{i=1}^n \frac{f(x_i)}{g(x_i)} = \sum_{i=1}^n \log\frac{f(x_i)}{g(x_i)}$$ $$\bar{\mathfrak{r}}_n=\frac{1}{n}\sum_{i=1}^n \log\frac{f(x_i)}{g(x_i)}$$ $$\bar{\mathfrak{r}}_n\stackrel{\text{a.s.}}{\longrightarrow}\mathbb{E}_h\left[\log \frac{f(X)}{g(X)}\right]=\int_\mathfrak{X} \log\frac{f(x)}{g(x)}\,h(x)\,\text{d}x$$

예를 들어, , , 가 각각 평균 ​​분포가 , 및 0 인 정규 분포의 밀도 인 경우 모두 분산이 1 인 경우 는 $f$$g$$h$$\mu_1$$\mu_2$

$$\int_\mathfrak{X} \log\frac{f(x)}{g(x)}\,h(x)\,\text{d}x$$ $$\int_\mathfrak{X} \{(x-\mu_1)^2-(x-\mu^2_2)\}\,\varphi(x)\,\text{d}x= \mu_1^2-\mu^2_2\,.$$

또한 평균화없이 제품 은 거의 0으로 수렴합니다 ( ) . 제품 은 Kullback-Leibler 분기 감지에서 또는 가 에 더 가까운 지 여부에 따라 거의 확실하게 0 또는 무한대로 수렴합니다. ( ) 일 때

$$\prod_{i=1}^n \frac{f(x_i)}{h(x_i)}$$ $x_i\sim h(x)\,$ $$\prod_{i=1}^n \frac{f(x_i)}{g(x_i)}$$ $g$$f$$h$$x_i\sim h(x)\,$

하자 . 수량 강력한 법칙 많은 수의 $Z_n = \prod^n_i \frac{p(x)}{q(x)}$

$$W_n = \frac{1}{n}log(Z_n) = \frac{1}{n}\sum_i^n log(\frac{p(x)}{q(x)})$$ $$\lim_{n \rightarrow \infty} W_n = E_{q(x)}[log(\frac{p(x)}{q(x)})] = \int_\mathcal{X} log(\frac{p(x)}{q(x)})q(x)dx$$

이후 그 ,$log(a) < a-1 \ \forall a > 0$ $a \neq 1$$\frac{p(x)}{q(x)} > 0$$p(x) \neq q(x)$

$$W_n \rightarrow \int_\mathcal{X} log(\frac{p(x)}{q(x)})q(x)dx < \int_\mathcal{X} (\frac{p(x)}{q(x)} - 1)q(x)dx = \int_\mathcal{X} p(x)dx - \int_\mathcal{X} q(x)dx = 1 - 1 = 0$$ 이것은 우리에게 $$\lim_{n \rightarrow \infty} W_n < 0 \implies \lim_{n \rightarrow \infty} \frac{1}{n}log(Z_n) < 0 \implies \lim_{n \rightarrow \infty} n \cdot \frac{1}{n}log(Z_n) = -\infty \\ \implies \lim_{n \rightarrow \infty} log(Z_n) = -\infty \\ \implies \lim_{n \rightarrow \infty} Z_n = 0 \ \blacksquare$$