베이 즈 요소 업데이트

베이지안 계수는 iid 샘플 과 각 샘플링 밀도 및 주어진 경우 두 가지 한계 확률의 비율에 따라 가설 및 베이지안 모델 선택의 베이지안 테스트에서 정의됩니다. 및 와 함께 두 모델을 비교하기위한 베이 즈 계수는 책 나는 현재 검토하고 그 이상한 문이 베이 즈 요인 위$(x_1,\ldots,x_n)$$f_1(x|\theta)$$f_2(x|\eta)$$\pi_1$$\pi_2$

$$\mathfrak{B}_{12}(x_1,\ldots,x_n)\stackrel{\text{def}}{=}\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\stackrel{\text{def}}{=}\frac{\int \prod_{i=1}^n f_1(x_i|\theta)\pi_1(\text{d}\theta)}{\int \prod_{i=1}^n f_2(x_i|\eta)\pi_2(\text{d}\eta)}$$ $\mathfrak{B}_{12}(x_1,\ldots,x_n)$ 는 "개별 요인 [Bayes factor]을 곱하여 형성됩니다"(p.118). 분해 그러나 의 업데이트로이 분해에서 계산상의 이점이 보이지 않습니다. 은 의 원래 계산과 동일한 계산 노력이 필요합니다 $$\begin{align*}\mathfrak{B}_{12}(x_1,\ldots,x_n)&=\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\\&=\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}\times \frac{m_1(x_{n-1}|x_{n-2},\ldots,x_1)}{m_2(x_{n-1}|x_{n-2},\ldots,x_1)}\times\cdots\\&\qquad\cdots\times\frac{m_1(x_1)}{m_2(x_1)}\end{align*}$$ $$\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}$$ $$\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}$$ 인공 장난감 예제 외부.

질문 : Bayes 인수를 에서 \ mathfrak {B} _ {12} (x_1, \ ldots, x_ 로 업데이트하는 일반적이고 계산적으로 효율적인 방법이 있습니까? {n + 1}) 전체 마진을 다시 계산할 필요가 없습니다. m_1 (x_1, \ ldots, x_n) 및 m_2 (x_1, \ ldots, x_n) ?$\mathfrak{B}_{12}(x_1,\ldots,x_n)$$\mathfrak{B}_{12}(x_1,\ldots,x_{n+1})$$m_1(x_1,\ldots,x_n)$$m_2(x_1,\ldots,x_n)$

내 직감은 입자 필터 외에도 실제로 한 번에 하나의 새로운 관측 값으로 Bayes 요인 $\mathfrak{B}_{12}(x_1,\ldots,x_n)$ 추정을 진행하는 입자 필터 외에도이 질문에 대답하는 자연적인 방법은 없다는 것입니다 .

아마도베이스 계수에 대한 재귀 방정식의 목적은 데이터 포인트에 대한 베이 즈 계수를 이미 계산하고 하나의 추가 데이터 포인트로이를 업데이트하려는 경우 일 것입니다. 사후 함수 의 형식을 알고 있는 한, 이전 데이터 벡터의 한계 값을 다시 계산하지 않고이 작업을 수행 할 수있는 것 같습니다 . 우리 가이 기능의 형태를 알고 있다고 가정하고 (질문과 같이 IID 데이터를 가정 할 때) 예측 밀도는 다음과 같이 쓸 수 있습니다.$n$$\pi_n$

$$\begin{equation} \begin{aligned} m(x_{n+1} | x_1,...,x_n) &= \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$$

따라서, 당신은 :

$$\begin{equation} \begin{aligned} m(x_1,...,x_{n+1}) &= m(x_1,...,x_n) \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$$

Bayes factor를 통해 두 모델 클래스를 비교하면 재귀 방정식을 얻습니다.

$$\begin{equation} \begin{aligned} \mathfrak{B}_{12}(x_1,...,x_{n+1}) &= \mathfrak{B}_{12}(x_1,...,x_{n}) \cdot \frac{\int _{\Theta_1} f(x_{n+1}|\theta) \pi_{1,n}(d \theta | x_1,...,x_n)}{\int _{\Theta_2} f(x_{n+1}|\theta) \pi_{2,n}(d \theta | x_1,...,x_n)}. \\[6pt] \end{aligned} \end{equation}$$

여기에는 여전히 매개 변수 범위에 대한 통합이 포함되므로 사용자가 제공하는 초기 공식을 통해 베이 즈 계수를 다시 계산하는 것보다 계산상의 이점이 없다는 견해에 동의합니다. 그럼에도 불구하고 이전 데이터 벡터의 한계 값을 다시 계산할 필요가 없다는 것을 알 수 있습니다. (대신 우리는 각 모델 클래스 아래에서 이전 데이터에 조건부로 새로운 데이터 포인트의 예측 밀도를 계산합니다.) 당신처럼,이 적분 공식이 쉽게 단순화되지 않는 한, 이것의 계산상의 이점은 실제로 보지 못합니다. 어쨌든 베이 즈 계수를 업데이트하기위한 또 다른 공식을 제공한다고 가정합니다.