부적절한 분포에서 샘플링 (MCMC 등 사용)

내 기본 질문은 : 어떻게 당신은 부적절한 배포판에서 샘플링 할 것입니까? 부적절한 분포에서 표본을 추출하는 것이 합리적입니까?

Xi'an의 의견은 여기에 일종의 질문을 제기하지만 이에 대한 자세한 내용을 찾고있었습니다.

MCMC에보다 구체적 :

MCMC에 대해 이야기하고 논문을 읽을 때 저자들은 적절한 후방 분포를 얻는 것에 중점을 둡니다. 유명한 Geyer (1992) 논문이 있는데, 저자는 자신의 후부가 적절한 지 (그렇지 않으면 우수한 논문)를 확인하지 않은 것입니다.

그러나, A는 우리가 가능성이 있다고 가정 과의 부적절한 사전 분포를 결과 후방도 부적절하고, MCMC가 분포에서 샘플로 사용되도록. 이 경우 샘플은 무엇을 나타 냅니까? 이 샘플에 유용한 정보가 있습니까? 여기서 Markov 체인은 일시적이거나 null-recurrent라는 것을 알고 있습니다. null-recurrent 인 경우 긍정적 인 테이크 아웃이 있습니까?$f(x|\theta)$$\theta$

마지막으로 Neil G의 대답 에서 그는 다음 과 같이 언급합니다.

부적절한 경우에도 일반적으로 후부에서 MCMC를 사용하여 샘플링 할 수 있습니다.

그는 그러한 샘플링이 딥 러닝에서 일반적이라고 언급했다. 이것이 사실이라면, 이것이 어떻게 의미가 있습니까?

부적절한 후부 (밀도) 에서 샘플링하는 것은 확률 론적 / 이론적 관점에서 의미가 없습니다. 그 이유는 함수 f 가 모수 공간에 유한 적분을 갖지 않기 때문에 (유한 측정) 확률 모델 ( Ω , σ , P ) (공간, 시그마 대수, 확률 측정 )에 연결할 수 없기 때문입니다. ).$f$$f$$(\Omega,\sigma,{\mathbb P})$

이전에 부적절한 후방으로 이어지는 모델이있는 경우, 대부분의 경우 MCMC를 사용하여 예를 들어 Metropolis-Hastings를 사용하여 표본을 추출 할 수 있으며 "주변 표본"이 합리적으로 보일 수 있습니다. 언뜻보기에는 흥미롭고 역설적입니다. 그러나 그 이유는 MCMC 방법이 실제로는 컴퓨터의 숫자 제한으로 제한되어 있기 때문에 모든 지원이 컴퓨터에 대해 제한되어 있기 때문입니다. 그런 다음 이러한 제한 (경계 및 불연속) 하에서 대부분의 경우 후방이 실제로 적절합니다.

Hobert와 Casella에 의한 훌륭한 참고 문헌이 있는데, 사후에 Gibbs 샘플러를 구성 할 수있는 예제는 약간 다르지만, 사후 샘플은 완벽하게 합리적이지만 후자는 부적절합니다!

http://www.jstor.org/stable/2291572

비슷한 예가 최근 여기 에 나타났다 . 실제로 Hobert와 Casella는 MCMC 방법을 사용하여 후부의 부적합성을 감지 할 수 없으며 MCMC 방법을 구현하기 전에 별도로 점검해야한다고 경고합니다. 요약해서 말하자면:

1. Metropolis-Hastings와 같은 일부 MCMC 샘플러는 컴퓨터가 매개 변수 공간을 제한하고 dicretize하기 때문에 부적절한 후부에서 샘플링하는 데 사용할 수는 있지만 사용해서는 안됩니다. 거대한 표본 이있는 경우에만 이상한 것을 관찰 할 수 있습니다. 이러한 문제를 얼마나 잘 감지 할 수 있는지는 샘플러에 사용 된 "악기"배포판에 따라 다릅니다. 후자의 요점은 더 광범위한 논의가 필요하므로 여기에 두는 것이 좋습니다.
2. (호버트와 카셀라). 이전에 부적합한 모델에 대해 Gibbs 샘플러 (조건부 모델)를 구성 할 수 있다고해서 사후 (조인트 모델)가 올바른 것은 아닙니다.
3. 후부 샘플에 대한 공식적인 확률 론적 해석은 후자의 타당성을 요구합니다. 수렴 결과 및 증거는 적절한 확률 분포 / 측정에 대해서만 설정됩니다.

추신 (뺨에 약간의 혀) : 사람들이 기계 학습에서하는 일을 항상 믿지 마십시오. Brian Ripley 교수는 다음과 같이 말했습니다 : "기계 학습은 통계를 뺀 모델과 가정의 확인입니다."

위의 Rod의 탁월한 답변에서 대안을 적용하고 더 적용 할 수있는 관점 제공-

$+/- 10^{100}$

$1/x$이전-계산에 사용합니다. 상한이 없으며 샌프란시스코 인구보다 0보다 높은 "추가 기능"인 "추가 기능"이 적용됩니다. 샘플 생성 이후의 단계 실제 선행은 MCMC 계산에 사용 된 단계가 아닙니다 (제 예에서).

따라서 원칙적으로 적용 작업의 부적절한 분포에서 MCMC 생성 샘플을 사용하면 상당히 괜찮을 것입니다. 그러나 그 부적합이 어떻게 발생했는지와 무작위 샘플이 어떻게 영향을 받는지에 많은 관심을 기울이고 있습니다. . 이상적인 세계에서는 샌프란시스코의 사람들보다 무작위로 더 큰 난수를 생성하지 않는 핫도그 예제와 같이 무작위 샘플에 영향을 미치지 않는 것이 이상적입니다 ...

또한 나중에 결과를 크게 자르더라도 (또는 모델에 적합한 변경 사항이 있더라도) 결과가 부적절하게 만든 사후의 특징에 매우 민감 할 수 있다는 사실도 알고 있어야합니다. ) 당신의 결과가 사소한 변화에서 부적절한 것으로 바뀌는 사소한 변화에 견고하기를 원합니다. 이것은 보장하기가 더 어려울 수 있지만 결과가 가정, 특히 편의를 위해 만들어지는 가정에 견고해야한다는 큰 문제의 일부입니다.