사전에 부적합한 베이 즈 요인

Bayes factor를 사용한 모델 비교에 관한 질문이 있습니다. 많은 경우, 통계학자는 부적절한 선행 (예 : 일부 Jeffreys 이전 및 참조 이전)과 함께 베이지안 접근법을 사용하는 데 관심이 있습니다.

내 질문은 모델 매개 변수의 사후 분포가 잘 정의 된 경우 부적절한 선행을 사용하여 베이 즈 요인을 사용하여 모델을 비교하는 것이 타당합니까?

간단한 예로, 일반 모델과 물류 모델을 Jeffreys 이전 버전과 비교해보십시오.

bayesian model-selection prior

— 제프리
소스

부적절한 선행은 "비 정보 적 선행"의 역할을합니다. "사전 믿음이없는"관점에 있다면 분명히 모형에 사전 확률을 할당 할 수 없습니다. 그러나 Berger와 다른 저자들의 "내재적 베이 즈 요인"개념에 대한 논문이있다. 이것은 정보가없는 사전이있는 베이 즈 요인처럼 들리지만이 논문을 읽지 않았기 때문에 더 말할 수는 없습니다. 다른 "객관적인 베이지안 모델 선택"방법이있을 수도 있습니다 (Google에서 이러한 용어를 입력하면 Berger가 여러 논문을 작성합니다).

— Stéphane Laurent

@ StéphaneLaurent 모수에 대한 사전의 해석은 모형의 사전 확률의 해석과 다릅니다. 이것은 베이 즈 팩터에 대한 일반적인 표현에서 볼 수 있습니다. 당신은 수있는 모델도 할당 균일 전과, 부적절한 파라미터하기 전에, 데이터가 알려줍니다 무엇을 볼 사후을 .

— Jeffrey

변수 선택 (AoS, 2012), 특히 Lemma 1에 적용하여 베이지안 모델 선택 기준을 읽는 것이 좋습니다 .

아닙니다 . ( Berstein-von Mises 정리 로 인해) 특정 상황에서 매개 변수 추정에 부적합한 사전이 적합 할 수는 있지만 , 주 변화 역설 이라고 알려진 모델 비교에 있어서는 큰 차이가 없습니다 .

이름에서 알 수 있듯이 문제는 부적절한 분포의 한계 분포가 잘 정의되어 있지 않다는 것입니다. 가능성 와 이전 주어지면 Bayes 인수는 한계 가능성을 계산해야합니다 . $p_1(x \mid \theta)$ $p_1(\theta)$

p_{1} (x) = \int_{Θ} p_{1} (x ∣ θ) p_{1} (θ) d θ .

$p_1(x) = \int_\Theta p_1(x \mid \theta) p_1(\theta) d \theta .$

비례 성 (예 : ) 까지만 알려져 있다고 잘못 생각 하면 에 알 수없는 상수가 곱해집니다. Bayes 요소에서는 상수가 알려지지 않은 비율을 계산하게됩니다. $p_1(\theta) \propto 1$ $p_1(x)$

일부 저자, 특히 ET Jaynes는 부적절한 사전을 일련의 적절한 사전의 한계로 정의하여이 문제를 해결하려고 시도합니다. 문제는 서로 다른 두 가지 제한 시퀀스가있을 수 있다는 것입니다.

— 사이먼 번
소스

답변 주셔서 감사합니다. 비례 상수에 관한 문제는 Bayesian Choice pp. 349 에서 언급 한 것처럼 위치 및 스케일 매개 변수와 같은 공통 매개 변수에 대해 동일한 부적절한 선행을 사용하여 피할 수 있습니다 . 특정 구조.

— Jeffrey

문제는 비현실적인 경우가 지배적이라는 점입니다. 위치 매개 변수 이전에 균일 한 경우 [0,1]에서와 같이 간격 [100,200]에서 가중치의 100 배를 배치합니다 ( 일부 상황).

— Simon Byrne

그러나 문제는 부적절한 사전을 확률 론적으로 해석 할 수 없다는 것입니다. 이전의 확률 론적 해석이 부적절하기 때문에 사라 졌다는 점을 감안할 때 그러한 무게는 없습니다.

— Jeffrey

확률은 아니지만 여전히 측정치이므로 상대 비교를 수행 할 수 있습니다 (예 : [0,1]에서와 같이 간격 [100,200]에서 "질량"이 100 배임).

— Simon Byrne

이 분석은 이전이 아닌 후방에서 수행되어야한다고 생각합니다. 예를 들어, 보통의 경우 대한 독립 Jeffreys와 같이 일부 일치하는 선행 사항이 부적절 합니다. 이전에이 해석을 적용 할 수 있지만, 이전에이 빈도가 큰 빈도 특성을 갖는 사후 간격을 생성합니다. 이 경우 비현실적인 경우가 지배적이지 않습니다. (토론 감사합니다)

π (μ, σ) \propto σ^{- 1}

$\pi(\mu,\sigma)\propto \sigma^{-1}$

— Jeffrey