막연한 선행이 비 정보 적 선행과 동일합니까?


27

이것은 용어에 관한 질문입니다. "모호한 사전"은 비 정보적인 이전과 동일합니까? 아니면 둘 사이에 약간의 차이가 있습니까? 내 인상은 그것들이 모호하고 비 정보적인 것을 찾는 것에서 동일하다는 것이지만, 나는 확신 할 수 없습니다.


1
모호하게 : 그렇습니다. 유익하지 않은 정보 : 아니오
추기경

답변:


18

Gelman et al. (2003)의 말 :

사후 분포에서 최소한의 역할을 보장 할 수있는 이전 분포에 대한 요구가 오랫동안 있었다. 이러한 분포를 때때로 '기준 사전 분포'라고하며 사전 밀도는 모호하거나 평평하거나 비 정보 로 설명됩니다 . [원본에서 강조]

Gelman et al.에서의 Jeffreys의 논의에 대한 나의 독서에 기초하여. (2003, p.62ff, 진정으로 정보가없는 이전의 존재에 대한 합의가 없으며, 모호한 / 편평한 / 확산 이전의 충분한 것으로 충분합니다.

그들이하는 몇 가지 요점 :

  1. 모든 사전 정보에는 정보를 알 수 없다는 사전 정보를 포함하여 정보가 포함됩니다.
    • 예를 들어, 해당 매개 변수에 대해 아무것도 모른다는 것을 알고 있다면 그에 대해 알고 있습니다.
  2. 대부분의 적용 상황에서, 충분히 모호한 사전이 충분할 때 진정으로 정보가없는 사전에 대한 명백한 이점은 없으며, 많은 경우에있어서, 적절한 사전을 찾는 것과 같이, 접합체의 모호한 파라미터 화를 사용하기 전에 장점이있다.
  3. Jeffreys의 원리는 일 변량 모델에서 Fisher의 정보 내용을 최소화하는 사전을 구성하는 데 유용 할 수 있지만 다변량 사례에 대한 유사성은 없습니다.
  4. 모델을 비교할 때 Jeffreys의 사전은 가능성 분포에 따라 달라 지므로 이전도 변경해야합니다.
  5. 비 정보적인 선행이 존재하는지 여부에 대해서는 일반적으로 많은 논쟁이 있었다 (1 때문에, 그러나이 토론의 역사에 대해서는 Gelman 등의 p.66에 대한 토론과 참고 문헌 참조).

주의 기본이되는 이론은 나의 이해의 한계에 있고, 나는이 대답에 기여 감사하겠습니다 -이입니다 커뮤니티 위키를.

Gelman et al. 2003 년 베이지안 데이터 분석, 채프먼 및 홀 / CRC


1
자신이 "noninformative"전과를 넘어 이동 한 겔만은, 예를 들어 볼 stat.columbia.edu/~cook/movabletype/archives/2007/07/... 내 대답 용지 I 참조, 그의 다른 작품. 이 통계는 응용 통계 학자들 사이에서 점점 더 널리 퍼져있는 것 같습니다.
JMS

@JMS Gelman et. 알. 그들은 배경 / 이론적 / 경험적 목적으로 noninformative 전과를 고려하는 것 2003은이 점을했고, 나는 그것을 요약하는 것을 시도했다
데이비드 LeBauer

예, 베이지안 통계에 관한 교과서는 확실히 무시할 수 없습니다. "객관적인 베이"에 대한 작업이 계속되고 있지만
JMS

사람들은 비공식적 의미와 정보 이론적 의미로, 이전을 설명 할 때 두 가지 방식으로 정보를 사용하는 경향이 있다고 생각합니다. 따라서 정보 이론상 가능한 한 적은 정보를 포함하는 최대 엔트로피를 장치에 추가 할 수 있습니다. 이 분포를 사용하면 "모수에 대해 아무것도 모른다"는 신호를 보낼 수 있습니다. 이것은 좀 더 비공식적 인 의미에서 상당히 유익 할 수 있습니다.
Rasmus Bååth

9

그것들은 자주 상호 교환 적으로 사용되지만 확실하지 않습니다. 매개 변수 에 대한 모호한 사전 (상대적으로 정보가 없으므로 다른 값보다 선호하지는 않음) 은 실제로 다른 변환 에 대해 매우 유익한 정보를 유도 할 수 있습니다 . 이것은 Jeffreys의 이전 동기 중 적어도 일부이며, 처음에는 가능한 한 비 정보가되도록 구성되었습니다.F ( θ )θf(θ)

모호한 사전은 모델에 꽤 비참한 일을 할 수도 있습니다. 현재 고전적인 예는 계층 모델에서 분산 성분에 대해 을 으로 사용하는 것입니다.ϵ 0InverseGamma(ϵ,ϵ)ϵ0

이전의 부적절한 제한은이 경우 부적절한 후방을 제공합니다. 널리 사용되는 대안은 을 정말로 작게하는 것이 었고 , 이로 인해 에서 거의 균일하게 보입니다 . 그러나 그것은 거의 부적절한 후부를 초래하고, 모형 적합과 추론을 겪었다. 전체 노출에 대한 계층 적 모델의 분산 모수에 대해서는 Gelman의 사전 분포를 참조하십시오 .R +ϵR+

편집 : @csgillespie (정말!)는 귀하의 질문에 완전히 대답하지 않았다고 지적합니다. 내 생각에 비 정보 적 선행은 모호한 공간의 한 영역을 다른 영역보다 선호하지 않는다는 의미에서 모호한 것입니다. 그러나 그렇게 할 때 다른 매개 변수에 대한 정보적인 선행을 유도해서는 안됩니다. 따라서 정보가없는 사전은 모호하지만 사전에 모호한 것은 반드시 비 정보적인 것은 아닙니다. 이것이 가능한 예는 베이지안 변수 선택입니다. 가변 포함 확률 이전의 "모호한"은 실제로 모델에 포함 된 총 변수 수에 대해 상당히 유익한 정보를 유도 할 수 있습니다!

진실로 정보가없는 사전에 대한 검색은 빠른 것으로 보인다 (많은 사람들이 동의하지는 않지만). 소위 "약한"유익한 사전 정보를 사용하는 것이 좋습니다 (일반적으로 어떤 의미에서는 모호하다고 가정합니다). 실제로 문제의 매개 변수에 대해 아무 것도 모르는 경우는 얼마나 됩니까?


귀하의 답변은 매우 훌륭하지만 실제로 "비 정보 적 사전"이 무엇이고 어떻게 "모호한 사전"과 다른지에 대해서는 언급하지 않습니다.)
csgillespie

@cgillespie : 당신이 맞습니다, 편집 :)
JMS

마지막 단락을 따르고 검색의 빠른 특성을 뒷받침하십시오. 문제의 매개 변수에 대해 아무것도 모른다는 것을 알고 있다면 그것에 대해 뭔가 알고 있습니다.
David LeBauer

아주! 큰 아이러니는 이전의 선택에 너무 많은 에너지를 소비하는 많은 사람들이 가능성을 버리기 전에 두 번 생각하지 않는다는 것입니다. 잘못 지정된 가능성은 일반적으로 문제를 일으킬 가능성이 훨씬 높습니다. 그러나 그것은 또 다른 질문입니다 ...
JMS

5

Lambert et al (2005)은 "Vague가 어떻게 모호한가? WinBUGS를 사용하는 MCMC에서 모호한 사전 분포의 영향에 대한 시뮬레이션 연구" 라는 질문을 제기합니다 . "우리는 일부 정보를 제공하기 위해 모든 사전 정보를 고려할 때 정보가없는 사전 배포라는 용어의 사용을 옹호하지 않습니다". 동의하는 경향이 있지만 베이지안 통계 전문가는 아닙니다.


2
그것은 정보가없는 이전과 같은 것이 없다는 내 주관적인 사전 신념에 동의합니다.
onestop

@onestop 내 CW의 대답에 기여하고 고려하시기 바랍니다
데이비드 LeBauer

이것은 정확히 내 대답에 포함 된 종이 eps 와 입니다. WinBUGS 설명서는 이전의 내용이 승인되지 않은 후에 오랫동안 사용했습니다.ε 0IG(ϵ,ϵ)ϵ0
JMS

3

"모호한 사전"은 매개 변수의 실제 값에 관한 작지만 0이 아닌 양의 지식을 인코딩하는 것으로 알려진 사전을 의미하는 것으로 생각되는 반면, "비 정보 적 사전"은 완전한 무지를 의미하는 데 사용됩니다 해당 매개 변수의 값과 관련하여. 분석이 완전히 객관적 이지 않음을 보여주기 위해 사용될 수 있습니다 .

예를 들어, 매우 광범위한 가우시안은 정보가없는 선행이 균일 한 매개 변수에 대해 모호한 것일 수 있습니다. 가우시안은 관심있는 규모에서 거의 평평 할 것이지만 그럼에도 불구하고 특정 값을 다른 것보다 조금 더 선호합니다 (그러나 문제를 수학적으로 다루기 쉽게 만들 수 있습니다).


이것은 유니폼이 진실로 정보가없는 것이냐는 문제를 제기한다. 정보가없는 유니폼의 최대 값과 최소값은 무엇입니까? 다른 스케일로 변환 한 후 이전 정보가 정보가 아닌가?
David LeBauer

1
균일 한 선행은 정보를 필요로하지 않으며 그 반대도 마찬가지입니다. 문제의 특성에 따라 다릅니다. MAXENT와 변환 그룹을 사용하여 최소한의 정보를주는 사전에 대한 아이디어는 종종 더 현실적이라고 생각합니다. MAXENT와 변환 그룹을 사용하면 알려진 제약 조건으로 구성된 최소량의 정보를 전달하는 사전 배포를 결정합니다 (예 : 사전은 스케일링에 불변해야합니다). 많은 문제의 경우, 이전의 부적절한 작업이 제대로 작동하므로 정의 된 최소값과 최대 값이 반드시 필요한 것은 아닙니다.
Dikran Marsupial

2

정보가없는 선행은 다른 형식을 갖습니다. 이러한 형태에는 모호한 사전과 부적절한 사전이 포함됩니다. 따라서 모호한 사전은 정보가없는 사전의 일부입니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.