새로운 데이터로 베이지안 업데이트

17

n 개의 데이터 포인트를 관찰 한 후 이전의 N ~ (a, b)로 후방을 계산하는 방법은 무엇입니까? 데이터 포인트의 샘플 평균과 분산을 계산하고 사후를 이전과 결합하는 일종의 계산을 수행해야한다고 가정하지만 조합 수식의 모양은 확실하지 않습니다.

bayesian normal-distribution conjugate-prior

— 통계 학자
소스

22

베이지안 업데이트의 기본 아이디어는 일부 데이터 와 이전 의 관심있는 매개 변수 가 주어지면 데이터와 매개 변수의 관계가 우도 함수를 사용 하여 설명되는 경우 Bayes 정리를 사용하여 사후를 얻는 것입니다 $X$ $\theta$

p (θ ∣ X) \propto p (X ∣ θ) p (θ)

$p(\theta \mid X) \propto p(X \mid \theta) \, p(\theta)$

이것은 첫 번째 데이터 점을 본 후 위치를 순차적으로 수행 할 수 있습니다 $x_1$ 이전 $\theta$ 업데이트된다 후방 $\theta'$ 당신이 두 번째 데이터 포인트 걸릴 수 옆에 $x_2$ 및 사용을 후방 전에 얻은 $\theta'$ 당신으로 이전에 다시 한 번 등을 업데이트하기 위해, .

예를 들어 보겠습니다. 정규 분포의 평균 를 추정 $\mu$ 하고 $\sigma^2$ 를 알고 있다고 상상해보십시오 . 이 경우 정상 정규 모델을 사용할 수 있습니다. 하이퍼 파라미터가 대해 보통 이전으로 가정합니다 $\mu$ $\mu_0,\sigma_0^2:$

\begin{aligned} X ∣ μ & \sim N o r m a l (μ, σ^{2}) \\ μ & \sim N o r m a l (μ_{0}, σ_{0}^{2}) \end{aligned}

$\begin{align} X\mid\mu &\sim \mathrm{Normal}(\mu,\ \sigma^2) \\ \mu &\sim \mathrm{Normal}(\mu_0,\ \sigma_0^2) \end{align}$

정규 분포는 정규 분포의 에 대한 켤레 이전 의 켤레 이므로 , 우리는 이전 형태를 업데이트하는 폐쇄 형 솔루션을 가지고 있습니다. $\mu$

\begin{aligned} E (μ^{'} ∣ x) & = \frac{σ^{2} μ + σ_{0}^{2} x}{σ^{2} + σ_{0}^{2}} \\ V a r (μ^{'} ∣ x) & = \frac{σ^{2} σ_{0}^{2}}{σ^{2} + σ_{0}^{2}} \end{aligned}

$\begin{align} E(\mu' \mid x) &= \frac{\sigma^2\mu + \sigma^2_0 x}{\sigma^2 + \sigma^2_0} \\[7pt] \mathrm{Var}(\mu' \mid x) &= \frac{\sigma^2 \sigma^2_0}{\sigma^2 + \sigma^2_0} \end{align}$

불행히도, 이러한 단순한 폐쇄 형 솔루션은 더 복잡한 문제에 사용할 수 없으며 최적화 알고리즘 ( 최대 사후 접근 방식을 사용하는 포인트 추정 ) 또는 MCMC 시뮬레이션 에 의존해야 합니다.

아래에서 데이터 예를 볼 수 있습니다.

n <- 1000
set.seed(123)
x     <- rnorm(n, 1.4, 2.7)
mu    <- numeric(n)
sigma <- numeric(n)

mu[1]    <- (10000*x[i] + (2.7^2)*0)/(10000+2.7^2)
sigma[1] <- (10000*2.7^2)/(10000+2.7^2)
for (i in 2:n) {
  mu[i]    <- ( sigma[i-1]*x[i] + (2.7^2)*mu[i-1] )/(sigma[i-1]+2.7^2)
  sigma[i] <- ( sigma[i-1]*2.7^2                  )/(sigma[i-1]+2.7^2)
}

결과를 플로팅하면 새 데이터가 누적 될 때 후방 이 추정 값에 도달하는 방법 (실제 값은 빨간색 선으로 표시됨)을 볼 수 있습니다.

자세한 내용 은 Kevin P. Murphy의 슬라이드 및 가우시안 배포판의 Conjugate Bayesian 분석을 확인할 수 있습니다 . 또한 베이지안 이전의 표본이 큰 표본 크기와 관련이 없습니까? 당신은 또한 확인할 수 있습니다 그 노트 와 이 블로그 항목 베이지안 추론에 액세스 단계별 도입을.

— 팀
소스

감사합니다. 매우 도움이됩니다. 이 간단한 예제를 해결하려면 어떻게해야합니까 (예와 달리 알 수없는 분산)? N ~ (5, 4)의 사전 분포를 가지고 5 개의 데이터 포인트 (8, 9, 10, 8, 7)를 관찰한다고 가정 해 봅시다. 이 관찰 후에 후자는 무엇입니까? 미리 감사드립니다. 매우 감사.

— statstudent

@Kelly 당신은 켤레 사전에 대한 Wikipedia 항목과 내 대답의 끝에 제공 한 링크에서 Wikipedia 항목에서 분산이 알려지지 않았거나 평균이 알려져 있거나 둘 다 알려지지 않은 경우의 예를 찾을 수 있습니다. 평균과 분산을 모두 알 수 없으면 약간 더 복잡해집니다.

— Tim

@Kelly btw, 여기 에서 와 를 추정하는 예를 확인할 수 있습니다 .

μ

$\mu$

σ^{2}

$\sigma^2$

— Tim

4

이전 및 우도 함수 다음을 사용하여 사후를 계산할 수 있습니다. $P(\theta)$ $P(x \mid \theta)$

P (θ ∣ x) = \frac{\sum_{θ} P (x ∣ θ) P (θ)}{P (x)}

$P(\theta \mid x) = \frac{\sum_\theta P(x \mid \theta) P(\theta)}{P(x)}$

이후 하나 메이크업 확률의 합과 단지 정규화 상수, 당신은 쓸 수 있습니다 : $P(x)$

P (θ ∣ 엑스) \sim \sum_{θ} 피 (엑스 ∣ θ) 피 (θ)

$P(\theta \mid x) \sim \sum_\theta P(x \mid \theta)P(\theta)$

여기서 은 "비례합니다"를 의미합니다. $\sim$

켤레 이전의 경우 (종종 멋진 닫힌 양식 수식을 얻는 경우)

켤레 이전에 관한이 Wikipedia 기사는 유익 할 수 있습니다. 하자 당신의 매개 변수의 벡터합니다. 하자 당신의 매개 변수를 통해 전합니다. 하자 가능성 함수 파라미터 주어진 데이터의 확률 될. 선행 와 사후 가 같은 패밀리에있는 경우 우도는 우도 함수 이전의 결합체 입니다 (예 : 둘 다 가우시안). $\boldsymbol{\theta}$ $P(\boldsymbol{\theta})$ $P(\mathbf{x} \mid \boldsymbol{\theta})$ $P(\boldsymbol{\theta})$ $P(\boldsymbol{\theta} \mid \mathbf{x})$

켤레 분포 표는 직관을 세우는 데 도움이 될 수 있습니다 (또한 자신을 통해 작동하는 몇 가지 유용한 예를 제공함).

— 매튜 건
소스

1

이것은 베이지안 데이터 분석의 중심 계산 문제입니다. 실제로 관련된 데이터 및 배포에 따라 다릅니다. 모든 것이 닫힌 형태로 표현 될 수있는 간단한 경우 (예를 들어, 켤레 사전), 베이 즈 정리를 직접 사용할 수 있습니다. 더 복잡한 경우에 가장 많이 사용되는 기술은 Markov chain Monte Carlo입니다. 자세한 내용은 베이지안 데이터 분석에 대한 입문 교과서를 참조하십시오.

— 코디과
소스

정말 고맙습니다! 이것이 정말로 어리석은 후속 질문이라면 미안하지만, 당신이 언급 한 간단한 경우에, 베이 즈 정리를 정확히 어떻게 사용할 것입니까? 표본 평균에 의해 생성 된 분포와 데이터 요소의 분산이 우도 함수가됩니까? 대단히 감사합니다.

— statstudent

@Kelly 다시, 그것은 분포에 달려 있습니다. 예를 들어 en.wikipedia.org/wiki/Conjugate_prior#Example을 참조하십시오 . (귀하의 질문에 답변 한 경우 투표 화살표 아래에있는 확인 표시를 클릭하여 답변을 수락하는 것을 잊지 마십시오.)

— Kodiologist