MCMC의 실제 예

나는 MCMC와 관련된 강의를하고있었습니다. 그러나 나는 그것이 어떻게 사용되는지에 대한 좋은 예를 찾지 못했습니다. 누구든지 구체적인 예를 들어 줄 수 있습니까? 내가 볼 수있는 것은 Markov 체인을 실행하고 고정 분포가 원하는 분포라고 말합니다.

원하는 분포를 샘플링하기 어려운 좋은 예를 원합니다. Markov 체인을 만듭니다. Markov 체인의 고정 분포가 대상 분포가되도록 전이 행렬을 선택하는 방법을 알고 싶습니다.

샘플링하기 어려운 배포판의 좋은 예는 하드 코어 모델입니다. 개요는이 페이지를 참조하십시오.

http://www.mathematik.uni-ulm.de/stochastik/lehre/ss06/markov/skript_engl/node34.html

이 모델은 일부 고정 n에 대해 그리드에 대한 분포를 정의합니다. 그리드의 각 점에서 1 또는 0의 값을 가질 수 있습니다. 하드 코어 모델에서 그리드를 허용하기 위해 그리드의 인접한 두 지점은 모두 1의 값을 가질 수 없습니다.$n \times n$$n$

아래 이미지 는 하드 코어 모델에서 그리드에 허용되는 구성 예를 보여줍니다 . 이 이미지에서 하나는 검은 점으로 표시되고 0은 흰색으로 표시됩니다. 두 개의 검은 점은 인접하지 않습니다.$8 \times 8$

저는이 모델에 대한 영감이 물리학에서 나온 것이라고 생각합니다. 그리드의 각 위치를 입자라고 생각할 수 있으며 그 위치의 값은 전하 또는 스핀을 나타냅니다.

우리는 허용 가능한 그리드의 집단에서 균일하게 샘플링하고 싶습니다. 즉 가 허용 가능한 그리드의 집합 인 경우 e ∈ E 를 샘플링 하여$E$$e \in E$

$p(e) = \frac{1}{|E|}$

어디 $|E|$허용 가능한 모든 구성 수입니다.

우리가 n을 고려하고 있음을 감안할 때 이것은 이미 도전 과제입니다. 그리드, 우리는 방법을 결정할 수 | 전자 | 허용 가능한 그리드 수? $n \times n$$|E|$

MCMC의 좋은 점 중 하나는 정규화 상수를 평가하기 어렵거나 불가능한 분포에서 표본을 추출 할 수 있다는 것입니다.

이 문제에 대해 MCMC를 구현하는 방법에 대한 세부 정보에 대한 논문을 읽도록하겠습니다. 그러나 비교적 간단합니다.

내가 줄 수있는 가장 좋은 예는 다음과 같습니다.

Murali Haran의 Markov Chain Monte Carlo 사례

R의 유용한 코드가 포함되어 있습니다.

나는 여기서 기사를 재생할 수 있다고 생각하지만 말이되지 않습니다.

통계에서 또 다른 어려운 문제. 문제는 오래되었지만 온라인의 소개 예제는 찾기가 어렵습니다. MCMC에 의해 여기 에 PageRank 토지 의 Markov 랜덤 보행을 따르는 누군가 가 따라 가기 쉬운 대답에 대한 기대로 가득 찬 경우를 대비하여 두 가지 훌륭한 예를 단순화하겠습니다 . 가능성은? 후속 질문이 될 수 있습니다.

FIRST EXAMPLE:

$N(0,1)$

모든 기계적인 단계를 거친 후에는 하나의 마술적인 트릭, 즉 제안 된 값 을 수락 하거나 거부 하는 이진 결정이 있다는 것을 깨닫기가 어렵다 .

$x$mean$0$sd$~ 1$rnorm(10000)

eps$\epsilon$$x_i$$x_{i+1}$runif(1, - eps, eps)$x_i$

따라서 제안 된 모든 값은 임의의 방식으로 이전 값과 다를 수 있습니다. [- eps,+ eps] .

$i$$i + 1$

$N(0,1)$$x_{i+1}$$x_{i}$

min(1, dnorm(candidate_value)/dnorm(x))$1$$N(0,1)$ $pdf$$x_{i+1}$$x_i$min(1, ...)dnorm , 그것의 높은 확률이 허용된다.

min(1, dnorm(candidate_value)/dnorm(x))runif(1)$0$$1$x[i+1]x[i]

sd$1$$0$ .

$0$x = 0; vec[1] = x

SECOND EXAMPLE:

이것은 더욱 흥미롭고, 데이터 세트에 주어진 임의의 매개 변수에 대한 로그 우도를 계산하여 선형 회귀 곡선의 매개 변수 추정 을 참조합니다 . 그러나 코드 라인의 주석은 첫 번째 예제와 매우 유사한 단계에 따라 여기 에 저장된 압축 시뮬레이션에 빌드됩니다 .

이 Youtube 비디오 는 MCMC를 사용하여 해결 된 간단한 문제의 멋진 시각화입니다.

관심 분포는 선형 회귀 (오른쪽 위 패널)에서 가능한 기울기 및 절편에 대한 사후 분포입니다. 슬로프와 인터셉트의 일부 조합은 매우 가능성이 높습니다 (즉, 관측 된 데이터 포인트를 생성 할 가능성이 높고 사전 예상치 와 일치 함 ). 자주 샘플링해야합니다. 다른 조합은 불가능합니다 (예 : 데이터 점의 구름을 통과하지 않는 파란색 선에 해당하는 경우). 덜 자주 샘플링해야합니다.

왼쪽 하단의 큰 패널은 2 차원 공간의 경사와 가로 채기를 통해 마르코프 체인이 취하는 경로를 보여줍니다. 히스토그램은 지금까지 체인 진행의 1 차원 요약을 보여줍니다. 체인이 충분히 길어지면 경사와 절편의 가능한 값에 대한 분포의 추정치가 매우 좋습니다.

이 경우 MCMC는 과잉이지만 솔루션을 작성하기 어려운 몇 가지 문제가 있으며 직접 해결하지 않고 Markov 체인으로 가능성을 탐색하는 것이 좋습니다.