MCMC 이해 : 대안은 무엇입니까?

13

베이지안 통계를 처음 배우기; MCMC 이해에 대한 각도로서 나는 다른 방법으로는 할 수없는 일을하고 있습니까, 아니면 대안보다 훨씬 더 효율적인 일을하고 있습니까?

예를 들어 , 반대의 를 계산하는 모델이 주어지면 데이터 $P(x,y,z|D)$ 대해 매개 변수의 확률을 계산하려고한다고 가정 합니다 . 베이 즈 직접이를 계산하기 위해 '정리 우리는 분모가 필요 지적 여기를 . 그러나 다음과 같이 통합하여 계산할 수 있습니다. $P(D|x,y,z)$ $P(D)$

p_d = 0.
for x in range(xmin,xmax,dx):
    for y in range(ymin,ymax,dy):
        for z in range(zmin,zmax,dz):
            p_d_given_x_y_z = cdf(model(x,y,z),d)
            p_d += p_d_given_x_y_z * dx * dy * dz

그 방법이 (많은 수의 변수로 비효율적이지만) 작동합니까? 아니면이 접근법을 실패하게하는 다른 것이 있습니까?

bayesian mcmc

— 사이드 쇼 밥
소스

4

통합은 많은 경우에 효과가 있지만 시간이 너무 오래 걸립니다 (즉, 비효율적). MCMC는 후방을 효율적으로 추정하는 방법입니다.

— 마크 화이트

3

질문과는 관련이 없지만 적분에서 x, y, z보다 이전에 누락 된 것 같습니다 (

— Bays

17

당신은 후자의 그리드 근사를 설명하고 있으며, 가장 인기있는 것은 아니지만 유효한 접근 방식입니다. 사후 분포를 분석적으로 계산할 수있는 경우가 꽤 있습니다. Monte Carlo Markov Chains 또는 기타 근사법은 후부 분포의 표본을 구하는 방법으로, 때로는 분석 솔루션을 찾을 수 없을 때 작동합니다.

찾을 수있는 분석 솔루션은 일반적으로 "콘쥬 게이트"제품군의 사례이며 인터넷 검색을 통해 이에 대한 자세한 내용을 확인할 수 있습니다 (예 : https://en.wikipedia.org/wiki/Conjugate_prior) .

첫 번째 예로, 이전 p이진이 on [0, 1]이면 p단순 이항 실험의 성공 매개 변수 인 곳 은 사후가 베타 분포와 같습니다. 이 경우 통합 또는 요약을 명시 적으로 수행 할 수 있습니다.

매개 변수 선택이 많거나 예제와 같이 그리드 근사를 사용하는 경우 간단한 합계 만 있으면됩니다. 그러나 몇 개의 변수가 있고 밀도가 높은 그리드를 사용하려는 경우 계산 수가 빠르게 폭발 할 수 있습니다.

후부에서 샘플링하기위한 몇 가지 알고리즘이 있습니다. 특히 견과류 샘플러 해밀턴 몬테 카를로은 이제 인기에 사용되는 stan및 PyMC3대도시 헤이스팅스는 고전이다. 변형 추론은 상대적으로 새로 온 사람으로, 실제로 샘플링 방법이 아니라 근사치를 얻는 다른 방법입니다. 현재로서는 분석 솔루션을 포함하여 어떤 방법도 최고가 아니며 특정 경우에 모두 잘 작동합니다.

— 기스
소스

좋은 대답이지만 마지막 단락은 변이 추론이 샘플링 방법이 아니라는 것을 암시하는 것 같습니다. 수정을 고려할 수 있습니다.

— 루벤 반 베르겐

7

$\theta$

π (θ | x) \propto \exp {- | | θ - x | |^{2} - | | θ + x | |^{4} - | | θ - 2 x | |^{6}}, x, θ \in ℝ^{d},

$π(θ|x)∝\exp\{−||θ−x||^2−||θ+x||^4−||θ−2x||^6\},\qquad x,θ∈ℝ^d,$

— 시안
소스

6

Monte Carlo 방법은 난수를 사용하는 기술입니다. 목표는 에 따라 분포 된 표본 를 찾는 것이며 는 복잡 하다고 가정합니다 . 이것은 우리가 직접 평가할 수 없다는 것을 의미합니다. 그렇지 않은 경우 분석적으로 계산할 수 있습니다. 귀하의 예에서와 같이 이것은 입니다. $x$ $P(x)$ $P(x)$ $P(D)$

당신이 제안하는 것은 본질적으로 와 의 공간을 통한 그리드 검색 입니다. 와 가 차원이 높고 연속적이라면 불가능할 경우 이는 매우 철저 할 수 있습니다 . 또 다른 문제점은 각 단계에서 cdf를 계산해야한다는 것입니다. $x$ $y$ $x$ $y$

MCMC 방법은 후보 샘플 를 제안한 다음 일부 측정에 따라 샘플 을 수락하거나 거부 문제를 해결하려고합니다 . 이론적으로 이것은 가능한 모든 조합을 수행하는 것보다 빠를 수 있습니다. 기본적으로 이전 에서 추출한 샘플을 찾습니다 . 여기서 이론적 인 문제는 이것이 추출 된 샘플의 수, 즉 샘플 이후의 경우에만 해당된다는 것입니다 . 따라서 Markov Chain을 언제 중지해야하는지 알 수 없습니다. $c_i$ $P(D)$ $\infty$

— hh32
소스