MAP을 사용하여 매개 변수를 추정 할 때 MCMC가 필요한 이유

모수의 MAP 추정에 대한 공식이 주어지면 왜 MCMC (또는 유사한) 접근 방식이 필요합니까? 미분을 취하여 0으로 설정 한 다음 모수를 풀 수 없었습니까?

bayesian estimation mcmc

— 다누
소스

좋은 질문입니다!

답변:

당신의 후부가 어느 가족인지 알고 그 분포의 파생물을 찾는 것이 분석적으로 가능하다면 그것은 맞습니다.

그러나 MCMC를 사용하면 이러한 유형의 상황이 아닐 수 있습니다. MCMC는 후방이 어떻게 보이는지에 대한 명확한 분석 개념이없는 상황을 위해 만들어졌습니다 .

— 크리스토프 행크
소스

MCMC는 일반적으로 MAP 추정기를 찾는 데 사용 되지 않습니다 (MCEM 알고리즘과 같은 특수한 경우 제외).

— Cliff AB

나는 원칙적으로 당신과 동의하지 않습니다. 그러나 MCMC는 사후 분포 를 시뮬레이션하는 데 사용될 수 있습니다 . 그리고 일단 그 작업을 마치면 해당 배포 모드, 즉 MAP을 찾을 수 있습니다. 나는 OP가 생각한 것이므로 내 대답이 오도 된 이유를 잘 모르겠습니다.

— Christoph Hanck 5

그러나 매개 변수를 최적화 할 분석 방법이없는 경우 MAP를 처리 할 때 MCMC가 선택되는 방법입니까?

— Dänu

나는 단순한 MCMC를 사용하여 사후 분포의 모드를 찾는 것에 대해 들어 본 적이 없습니다 (기술적으로는 가능하지만 매우 비효율적입니다). 우리는 일반적으로 사후 분포에 비례하는 함수를 평가할 수 있기 때문에이를 최대화하는 것은 사후 분포를 최대화하는 것과 같습니다. 즉시 사용 가능한 옵티마이 저는 잦은 가능성 문제 (즉, 때로는 특수화해야 함)와 마찬가지로이 작업을 수행합니다.

— Cliff AB

@ Dänu 아마도 맥 마이크를 찾기 위해 MCMC를 사용하고 싶지 않을 것입니다. 최적화 알고리즘이 더 잘 작동합니다.

— jtobin

대부분의 후자는 분석적으로 최적화하기가 어렵습니다 (예 : 그래디언트를 취하고 0으로 설정). MAP를 수행하려면 수치 최적화 알고리즘을 사용해야합니다.

따로 : MCMC는 MAP과 관련이 없습니다.

MAP- 최대 사후 측정을 위해 -사후 밀도에 비례하는 것의 국소 최대 값을 찾고 해당 파라미터 값을 추정값으로 사용하는 것을 말합니다. 그것은 다음과 같이 정의됩니다

{\hat{θ}}_{M A P} = {argmax}_{θ} p (θ | D)

$\hat{\theta}_{MAP} = \text{argmax}_{\theta} \, p(\theta \, | \, D)$

MCMC는 일반적으로 확률 밀도에 비례하는 것에 대한 기대치 를 근사화 하는 데 사용됩니다 . 후부의 경우는

{\hat{θ}}_{M C M C} = n^{- 1} \sum_{i = 1}^{n} θ_{i}^{0} \approx \int_{Θ} θ p (θ | D) d θ

$\hat{\theta}_{MCMC} = n^{-1} \sum_{i=1}^{n} \theta^{0}_{i} \approx \int_{\Theta}\theta \, p(\theta \, | \, D)d\theta$

여기서 은 적합한 Markov 체인이 방문하는 매개 변수 공간 위치의 모음입니다. 일반적으로 의미있는 의미에서 $\{\theta^{0}_{i}\}^{n}_{i=1}$ $\hat{\theta}_{MAP} \neq \hat{\theta}_{MCMC}$

요점은 MAP에는 최적화 가 필요하지만 MCMC는 샘플링을 기반으로한다는 것 입니다.

— jtobin
소스

당신은 MAP의 경우에, 후방이 분석적으로 최적화하기 어렵다는 것을 증명합니다. MAP가 후방을 분석적으로 최적화 할 수 있고 MCMC 방식에 의존하지 않는 경우에만 MAP이 가능합니까?

— Dänu

아니요, 분석 솔루션을 사용하는 대신 반복 알고리즘을 사용하여 솔루션을 생성 할 수 있습니다 (예 : 로그 후부가 오목한 경우 Newton의 방법을 사용할 수 있음).

— Cliff AB

MAP은 후부를 (로컬로) 최대화하는 매개 변수 값을 찾는 것을 말합니다. 이러한 매개 변수 값을 얻는 방법은 중요하지 않습니다. 수치 적 루틴을 사용한 최대 분석, 자동 미분 등

— jtobin