MCMC 샘플러에 Jeffrey 또는 엔트로피 기반 사전을 사용하는 것에 대한 권장 사항이있는 이유는 무엇입니까?

에 자신의 위키 페이지 , 스탠 상태의 개발자 :

우리가 싫어하는 일부 원칙 : 불변성, Jeffreys, 엔트로피

대신 많은 정규 배포 권장 사항이 있습니다. 지금까지 샘플링에 의존하지 않는 베이지안 방법을 사용했는데 왜 는 이항 우도에 적합합니다.$\theta \sim \text{Beta}\left(\alpha=\frac{1}{2},\beta=\frac{1}{2}\right)$

이것은 물론 다양한 의견을 모아서 위키를 작성하는 다양한 사람들입니다. 나는 몇 가지 논평을 알고 이해합니다.

• 계산 편의성을 기반으로 사전을 선택하는 것은 근거가 충분하지 않습니다. 예를 들어 베타 (1/2, 1/2)는 켤레 업데이트가 가능하기 때문에 단독으로 사용하는 것은 좋지 않습니다. 물론, 그것이 당신이 작업하는 문제의 유형에 대해 좋은 속성을 가지고 있다고 결론 지으면 괜찮습니다. 그리고 구현을 쉽게 만드는 선택을 할 수도 있습니다. 편리한 기본 선택에 문제가있는 사례가 많이 있습니다 (Gibs 샘플링을 활성화하기 전에 Gamna (0.001, 0.001) 참조).

• WinBUGS 또는 JAGS와 달리 Stan의 경우 사전 조건을 (조건부) 결합 할 때 특별한 이점이 없습니다. 따라서 계산 측면을 다소 무시할 수 있습니다. 완전히 꼬리가 붙지 않은 선행 (또는 부적절한 이전)과 매개 변수를 잘 식별하지 못하는 데이터로 인해 문제가 발생하기 때문에 (실제로 Stan 관련 문제는 아니지만 Stan은 이러한 문제를 식별하고 사용자에게 경고합니다. 행복하게 샘플링하는 대신).

• Jeffreys 및 기타 "낮은 정보"이전의 사례는 때때로 부적절하거나 데이터가 부족한 높은 차원에서 (심지어 도출하지 않아도 됨) 이해하기 어려울 수 있습니다. 이로 인해 저자가 자신에게 익숙하지 않은 문제가 너무 자주 발생했을 수 있습니다. 무언가를하고 나면 더 많은 것을 배우고 편안해지며 가끔 의견이 반전됩니다.

• 희소 데이터 설정에서 이전의 문제가 실제로 중요하며 매개 변수에 대해 완전히 무시할 수없는 값이 불가능하다는 것을 지정할 수 있으면 많은 도움이됩니다. 이것은 정보를 충분히 제공하는 사전이 아니라 그럴듯한 가치를 가장 많이지지하는 약한 정보의 사전 아이디어에 동기를 부여합니다.

• 실제로 매개 변수를 실제로 잘 식별하는 데이터가 많으면 (최대 가능성을 사용할 수 있음) 왜 정보가없는 사전에 신경을 쓰는지 궁금 할 수 있습니다. 물론, 병리를 피하고, 사후의 "실제 형태"를 얻는 등의 많은 이유가 있지만, "다량의 데이터"상황에서는 약한 정보 이전에 대한 실질적인 논쟁이없는 것 같습니다.

• 아마도 약간 이상하게도 N (0, 1)은 많은 응용에서 로지스틱, 포아송 또는 콕스 회귀 계수에 대해 놀랍게도 괜찮은 수준입니다. 예를 들어 이는 많은 임상 시험에서 관찰 된 치료 효과의 분포와 거의 같습니다.

그것들은 그렇게하기위한 과학적 / 수학적 정당성을 제공하지 않습니다. 대부분의 개발자는 이러한 종류의 사전 작업을 수행하지 않으며, 편차가 큰 일반 사전 (일부 경우에 유익 할 수 있음)과 같이보다 실용적이고 휴리스틱 사전을 사용하는 것을 선호합니다. 그러나이 주제에 대한 작업을 시작한 후 Entropy (KL 분기)를 기반으로하는 PC 사전을 사용하는 것이 기쁘다는 것은 조금 이상합니다.

개발자들이 를 제프리스 (Jeffreys)의 모양과 비슷하기 때문에 정밀 파라미터에 대해 비 정보적인 것으로 권장했을 때 WinBUGS 에서도 비슷한 현상이 발생 했습니다. 이 이전은 정밀 매개 변수의 기본 이전이되었습니다. 나중에 그들은 Gelman!에 의해 매우 유익한 것으로 나타났습니다 .$Gamma(0.001,0.001)$