회귀 설정에서 잦은 샘플링 분포를 베이지안 후부로 해석 할 수없는 경우는 언제입니까?

내 실제 질문은 마지막 두 단락에 있지만 동기를 부여합니다.

알려진 분산으로 정규 분포를 따르는 랜덤 변수의 평균을 추정하려고 시도하면 평균보다 균일 한 분포를 가지면 우도 함수에 비례하는 사후 분포가 발생한다는 것을 읽었습니다. 이러한 상황에서 베이지안 신뢰할 수있는 구간은 빈번한 신뢰 구간과 완벽하게 겹치며, 베이지안 최대 사후 추정치는 빈번한 최대 우도 추정치와 같습니다.

간단한 선형 회귀 설정에서

$Y = \textbf{X}\beta+\epsilon, \hspace{1cm} \epsilon\sim N(0,\sigma^2)$

작은 매개 변수 값을 사용 하여 앞에 균일 하고 이전에 역 감마 를 사용하면 잦은 과 매우 유사한 사후 가 발생합니다 및 최대 우도 추정치 주변의 신뢰 구간과 매우 유사한 의 사후 분포에 대한 신뢰할 수있는 구간 . 이전의 는 약간의 영향을 미치기 때문에 MCMC 시뮬레이션을 통해 사후 추정이 수행되는 경우 다른 불일치가 발생할 수 있지만 주변의 베이지안 신뢰할 수있는 간격은 정확히 동일하지 않습니다. $\beta$ $\sigma^2$ $\hat\beta^{MAP}$ $\hat\beta^{MLE}$ $\beta|X$ $\sigma^2$ $\hat\beta^{MAP}$ 주변의 잦은 신뢰 구간 은 서로 매우 가까울 것입니다. 물론 표본 크기가 증가함에 따라 가능성의 영향이 이전의 영향을 지배할수록 수렴해야합니다. $\hat\beta^{MLE}$

그러나 나는 이러한 등가성이 유지되지 않는 회귀 상황도 있다는 것을 읽었습니다. 예를 들어, 랜덤 효과 또는 로지스틱 회귀가 포함 된 계층 적 회귀 (이것은 내가 이해 한 것처럼 "좋은"객관 또는 참조 사전이없는 상황입니다.

따라서 일반적인 질문은 대한 추론을 원한다고 가정하면 이것입니다. $P(\beta|X)$ 통합하려는 사전 정보가 없기 때문에 이러한 상황에서 빈번한 최대 우도 추정을 진행하고 결과 계수 추정치 및 표준 오류를 베이지안 MAP 추정치 및 표준 편차로 해석하여 암시 적으로 처리 할 수없는 이유는 무엇입니까? "후방"예측은 그러한 후손을 초래할 사전의 명시 적 공식을 찾으려고 시도하지 않고 "정보가 필요하지 않은"이전의 추정치? 일반적으로 회귀 분석의 영역 내에서 이러한 선을 따라 진행하는 것이 언제 (후후처럼 가능성을 처리하는 것이) 괜찮습니까? 유사 가능성 방법과 같이 가능성 기반이 아닌 잦은 방법으로는 어떤가?

대답은 내 추론의 목표가 계수 점 추정치인지, 또는 계수가 특정 범위 내에있을 확률 또는 예측 분포의 양에 따라 달라 집니까?

— kka 카노 미카
소스

이것은 기본적으로에 대한 질문입니다 -values 및 최대 우도. 여기 코헨 (1994 년)을 인용하겠습니다 $p$

우리가 알고 싶은 것은 "이 데이터를 제공하면 이 사실 일 확률 은 얼마입니까?"입니다. 그러나 대부분의 사람들이 알고 있듯이 [ ]는 " 이 사실 이라는 것을 이 데이터 (또는 더 극단적 인) 데이터의 확률은 얼마입니까?"라고 말합니다. 이것들은 동일하지 않습니다 (...) $H_0$ $p$ $H_0$

따라서 는 가 무엇인지 알려주고 관심이 있습니다 Fishian vs Neyman-Pearson 프레임 워크 에 대한 설명 참조 ). $p$ $P(D|H_0)$ $P(H_0|D)$

에 대해 잠시 잊어 보자 . 매개 변수 가 주어지면 데이터를 볼 확률은 우도 함수입니다. $p$ $\theta$

L (θ | D) = P (D | θ)

$L(\theta | D) = P(D|\theta)$

그것은 통계적 추론을 보는 한 가지 방법입니다. 또 다른 방법은 Bayes 정리를 사용하고 대한 사전을 사용하여 에 대해 간접이 아닌) 직접 배우고 자하는 Bayesian 접근법입니다 . $P(\theta|D)$ $\theta$

\underset{posterior}{\underset{⏟}{P (θ | D)}} \propto \underset{likelihood}{\underset{⏟}{P (D | θ)}} \times \underset{prior}{\underset{⏟}{P (θ)}}

$\underbrace{P(\theta|D)}_\text{posterior} \propto \underbrace{P(D|\theta)}_\text{likelihood} \times \underbrace{P(\theta)}_\text{prior}$

이제 전체 그림을 보면 과 가능성이 베이지안 추정과 다른 질문에 대답 한다는 것을 알 수 있습니다 . $p$

따라서 최대 우도 추정치는 균일 한 사전에 따른 MAP 베이지안 추정치와 동일해야하지만 다른 질문에 대한 답을 기억해야합니다.

코헨, J. (1994). 지구는 둥글다 (p <.05). 미국 심리학자, 49, 997-1003.

— 팀
소스

답장 @Tim 주셔서 감사합니다. P (D | H)와 P (H | D)는 일반적으로 같지 않으며, 잦은 주의자와 베이지안은 확률 분포를 모수에 할당하는 것이 적절한 지에 대해 의견이 다르다는 것을 이해합니다. 또는 더 일반적으로 가정). 내가 묻는 것은 견적 자의 (자주적인) 샘플링 분포가 실제 매개 변수 값의 (Bayesian) 사후 분포 와 수치 적으로 동등한 상황 입니다.

— Yakkanomica

나의 이전 의견 계속 : 당신은 다음과 같이 썼습니다 : "그래서, 최대 가능성 추정치는 균일 한 이전의 MAP 베이지안 추정치와 같아야합니다."-나는이 관계가 무너지는 상황이 있는지 묻습니다. 점 추정치 및 그 주변의 분포.

— Yakkanomica

하나의 최종 부록-일부 사람들은 베이지안 접근법의 주요 장점은 사전 지식을 융통성있게 통합하는 능력이라고 말합니다. 저에게 베이지안 접근법의 매력은 해석에 있습니다-확률 분포를 모수에 할당하는 능력입니다. 우선 순위를 지정해야하는 것은 성가신 일입니다. 나는 어떤 상황에서 잦은 방법을 사용할 수 있는지 알고 싶지만, 잦은 정보와 베이지안 결과는 그다지 비 정보적인 사전에 따라 수치 적으로 일치한다고 주장함으로써 결과에 베이지안 해석을 할당합니다.

— Yakkanomica

@Yakkanomica 이해합니다. 흥미로운 질문이지만 위에서 언급 한 것처럼 간단한 대답은 빈번한 방법이 베이지안과 다른 질문에 대답하기 때문에 그러한 해석을해서는 안된다는 것입니다. ML과 MAP 점 추정치는 동의해야하지만 신뢰 구간과 HDI는 다를 수 있으며 상호 호환성으로 해석되어서는 안됩니다.

— 팀

그러나 @Tim, 신뢰 구간과 HDI가 겹치는 상황이 있습니다. 예를 들어 p.1906의 ML 추정치와 p.1908의 베이지안 후부 추정치 (계수에 대한 균일 한 우선 순위 및 스케일에 대한 IG에 기초)를 비교하십시오. PROC GENMOD example . ML 포인트 추정치 및 95 % 신뢰 한계는 베이지안 후방 평균 추정치 및 95 % HPD 간격과 매우 유사합니다.

— Yakkanomica