왜 누군가가 전통적인 접근법 대신 '정보가없는'부적절한 방식으로 베이지안 접근법을 사용합니까?

44

관심이 단순히 모델의 매개 변수 (포인트 및 / 또는 간격 추정)를 추정하고 사전 정보가 신뢰할 수없고 약하지 않은 경우 (이는 약간 모호하지만 알고있는 시나리오를 설정하려고합니다. 이전이 어렵다) ... 왜 누군가가 전통적인 접근 방식 대신 '비 정보 적'부적절한 선행과 함께 베이지안 접근 방식을 사용하려고합니까?

1

베이지안 통계의 논란이되는 부분에 대한 흥미로운 생각에 감사합니다. 나는 당신의 요점을 읽고 비교했습니다. 공식적인 규칙, 실용성 및 해석 측면에서 그 사용을 입증하는 흥미로운 주장이 있습니다. 나는 어느 시점에서 답을 선택할 것이지만, 이것이 매우 어려운 일이 될까봐 두렵습니다.

24

정보가 부족한 사전 정보를 사용하는 경우에도 베이지안 접근 방식을 사용하는 두 가지 이유는 다음과 같습니다.

수렴 문제. 수렴 문제에 사소한 시간이 걸리는 분포 (이항, 음 이항 및 일반 감마가 가장 익숙한 분포)가 있습니다. "Bayesian"프레임 워크 및 특정 Markov 체인 Monte Carlo (MCMC) 방법을 사용하여 계산 능력과 관련된 이러한 수렴 문제를 근본적으로 해결하고 적절한 추정치를 얻을 수 있습니다.
해석. 베이지안 추정치 + 95 % 신뢰 구간은 잦은 추정치 + 95 % 신뢰 구간보다 직관적으로 해석되므로 일부는 간단히보고하는 것을 선호 할 수 있습니다.

— 포미 테
소스

3

MCMC는 실제로 베이지안 방법이 아닙니다. 수렴이 문제인 경우 단순히 사후 가능성이 아닌 목표 가능성으로부터 추정치를 도출 할 수 있습니다.

— scottyaz

16

결과는 매우 비슷하지만 해석은 다릅니다.

신뢰 구간은 실험을 여러 번 반복하고 실제 매개 변수를 95 % 캡처 할 수 있다는 개념을 의미합니다. 그러나 95 %의 확률 로 캡처 할 수는 없습니다 .

반면에 신뢰할 수있는 구간 (Bayesian)에서는 구간이 실제 값을 캡처하는 95 % "기회"가 있다고 말할 수 있습니다. 업데이트 : 베이지안을 더 많이 넣는 방법은 결과에 대해 95 % 확신 할 수 있다는 것입니다.

이것은 당신이에서 갔다해서입니다 에 Baye의 규칙을 사용하여. $P(Data|Hypothesis)$ $P(Hypothesis|Data)$

— 도미니크 코토 아
소스

1

여기서 혼동 될 수 있지만 "진정한 가치"는 베이지안 틀에 어떻게 맞습니까? 어쩌면 사후 모드 (또는 평균 등)를 언급하고 있습니까?

— 매크로

나는 당신이 추정하는 모든 매개 변수 (인구 값)를 표본 통계입니다. 평균, 평균 차이, 회귀 기울기 ... 간단히, 당신이 무엇을 겪고 있는지.

— Dominic Comtois

1

예, 그러나 "참값"이 매개 변수가 상수 (즉, 분포가 점 질량 임)를 나타내지 않습니까? 사후 분포를 보는 전체 개념은 그런 식으로 모수를 생각하는 데 동의하지 않는 것 같습니다.

— 매크로

9

그렇게하는 한 가지 이유는 베이지안 분석이 전체 사후 분포를 제공하기 때문입니다. 이는 일반적인 잦은 보다 더 자세한 간격을 초래할 수 있습니다 . Reis and Stedinger 2005의 해당 인용문은 다음과 같습니다. $\pm 2 \sigma$

모수의 전체 사후 분포를 제공하는 것은 고전적인 방법에 비해 베이지안 접근법의 장점입니다. 일반적으로 우도 함수 모드로 표현되는 모수의 점 추정치 만 제공하고 점근 적 정규성 가정과 2 차 근사를 사용합니다. 불확실성을 설명하는 로그 우도 함수의 Bayesian 프레임 워크를 사용하면 모수의 전체 후방 분포를 사용할 수 있으므로 불확실성을 평가하기 위해 근사값을 사용할 필요가 없습니다. 또한 베이지안 분석은 고전 통계의 신뢰 구간 개념보다 더 쉽게 해석 할 수있는 매개 변수 또는 매개 변수의 기능에 대한 신뢰할 수있는 구간을 제공 할 수 있습니다 (Congdon, 2001).

예를 들어 두 매개 변수의 차이에 대한 신뢰할 수있는 간격을 계산할 수 있습니다.

— 웨인
소스

6

Harold Jeffreys 경은 베이지안 접근법의 강력한 지지자였습니다. 그는 만약 당신이 확산 부적절한 사전을 사용한다면 결과 베이지안 추론이 잦은 추론 적 접근과 동일 할 것임을 보여 주었다 (즉, 베이지안 신뢰할만한 영역은 잦은 신뢰 구간과 동일하다). 대부분의 베이지안은 적절한 정보 이전을 옹호합니다. 부적절한 선행에 문제가 있으며 어떤 것은 어떤 사전도 진정으로 비 정보 적이 지 않다고 주장 할 수 있습니다. 이 Jeffreys의 사전을 사용하는 베이지안은 Jeffreys의 추종자로 그것을 수행한다고 생각합니다. 베이지안 접근법의 가장 강력한 지지자 중 하나 인 Dennis Lindley 는 Jeffreys에 대해 많은 존경을 받았지만 유익한 정보 이전을지지했습니다.

— 마이클 체 르닉
소스

1

답변의 처음 몇 줄에 +1 제 생각에 "비 정보"이전에 제프리스를 선택해야하는 이유는 단순히 제프리스의 추종자가 아닙니다. 실제로는 아무런 가정도하지 않는 반면 소위 비 정보적인 선행은 매개 변수화에 대한 가정을하기 때문입니다.

— Neil G

1

@NeilG 나는 또한 정보가없는 사전을 사용할 때 그들이 순진한 독자에 의해 해석 될 수 있도록 본질적으로 "실패한 (Fail Frequentist)"(Fail Safe와 같은 의미)에 그것들을 사용하는 것을 발견했습니다.

— Fomite

@EpiGrad : 무슨 뜻인가요? (죄송합니다. 잦은 통계에 대한 이해가 매우 열악합니다.)

— Neil G

1

@NeilG 본질적으로 Jeffrey의 사전 기술을 통해 잦은 분야에서 훈련 된 사람이 기대하는 것을 얻을 수 있습니다. 배치 된 베이지안 방법으로 작업 할 때 중간 정도의지면이 많이 침투하지 않았습니다.

— Fomite

@NeilG 나는 또한 대답에서와 같이 MCMC를 사용하여 수렴 문제를 중심으로 빈번한 분석 을 수행 하는 경우 Jeffrey의 사전도 도움이 된다는 것을 잊었습니다 .

— Fomite

6

베이지안 접근 방식에는 실질적인 이점이 있습니다. 그것은 종종 의무적 인 평가에 도움이됩니다. 또한 새로운 모델 패밀리를 가능하게하고보다 복잡한 (계층 적, 다중 레벨) 모델을 구성하는 데 도움이됩니다.

예를 들어, 혼합 모수 (분산 모수를 갖는 랜덤 효과 포함)를 사용하면 하위 수준 모수 (모델 계수;이를 REML ) 에 대해 주 변화하여 분산 모수를 추정하면 더 나은 추정치를 얻을 수 있습니다. 베이지안 접근 방식은 자연스럽게이 작업을 수행합니다. 이러한 모델을 사용하면 REML을 사용하더라도 분산 모수의 최대 가능성 (ML) 추정치는 종종 0이거나 하향 편향됩니다. 분산 매개 변수에 대한 적절한 선행이 도움이됩니다.

점 추정 ( MAP , 최대 사후)을 사용 하더라도 사전에 모델 군을 변경합니다. 다소 공 선형 변수가 많은 선형 회귀 분석은 불안정합니다. L2 정규화는 치료법으로 사용되지만, 가우시안 (비 정보) 및 MAP 추정을 가진 베이지안 모델로 해석 할 수 있습니다. (L1 정규화는 다른 이전과 다른 결과를 제공합니다. 실제로 여기서 이전은 다소 유익 할 수 있지만 단일 매개 변수가 아니라 매개 변수의 집단적 특성에 관한 것입니다.)

따라서 베이지안 접근법이 필요한 작업을 수행하는 데 일반적이고 비교적 간단한 모델이 있습니다!

머신 러닝에 사용되는 잠재적 인 Dirichlet Allocation (LDA) 과 같은보다 복잡한 모델이 더 유리 합니다. 그리고 일부 모델은 기본적으로 베이지안 프로세스 입니다 ( 예 : Dirichlet 프로세스 기반 모델) .

— scellus
소스

6

$\textit{practical}$ $\hat{\theta} = \hat{\theta}(x_1,\dots,x_n)$ $\Theta$ $f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\theta)$ $f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\hat{\theta})$ $\hat{\theta}$

{에프}_{{엑스}_{엔 + 1} ∣ {엑스}_{1}, \dots, {엑스}_{엠}} ({엑스}_{엔 + 1} ∣ {엑스}_{1}, \dots, {엑스}_{엔}) = \int {에프}_{{엑스}_{엔 + 1} ∣ Θ} ({엑스}_{엔 + 1} ∣ θ) π (θ ∣ {엑스}_{1}, \dots, {엑스}_{엔}) 디 θ .

$f_{X_{n+1}\mid X_1,\dots,X_m}(x_{n+1}\mid x_1,\dots,x_n) = \int f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\theta) \, \pi(\theta\mid x_1,\dots,x_n) \, d\theta \, .$

— 선
소스

6

β

$\beta$

l o g (σ^{2})

$\mathrm{log}(\sigma^2)$

@Cyan의 의견과 관련이 있습니다.

4

몇 가지 이유가 있습니다.

$\pm \text{SE}$
큰 샘플 속성은 일반적으로 해당하는 잦은 접근 방식과 완전히 동일합니다.
“객관적이지 않다”는 비난에 대한 두려움 때문에, 우리가 실제로 얼마나 많이 알고 있든, 이전의 내용에 대해 동의하지 않는 것이 종종 있습니다. 정보가없는 사전 (“사전 없음”)을 사용하면 그러한 문제가없는 것으로 가장 할 수 있으며, 이는 일부 검토 자의 비난을 피할 수 있습니다.

정보가없는 사전을 사용하는 것의 단점은, 가장 중요하다고 생각하는 것부터 시작하여 매우 중요한 기술적 인 측면을 향하고 있습니다.

당신이 얻는 것에 대한 해석은 솔직히 빈번한 추론과 거의 동일합니다. 베이지안 최대 a-posteriori 유추로 잦은 최대 가능성 추정의 레이블을 다시 지정할 수 없으며 이것이 다중 비교에 대한 걱정, 다중 데이터를 살펴보고 일부 가설이 발생할 가능성에 대한 모든 진술을 해석 할 수 있다고 주장 할 수 있습니다 사실이다. 물론 제 1 종 오류 등은 빈번한 개념이지만 과학자들이 허위 주장을하는 것에 관심을 기울여야하며, 위와 같이하면 문제가 발생한다는 것을 알고 있습니다. 계층 적 모델에 포함하거나 경험적인 베이 즈를 수행하면 이러한 많은 문제가 사라집니다 (적어도 문제는 훨씬 적습니다). 그러나 일반적으로 모델에 이전의 기초를 포함하여 분석 절차를 통해 이전에 암시 적으로 사전을 생성하는 것으로 요약됩니다 (그리고 그 대안은 사전을 명시 적으로 공식화하는 것입니다). 내 생각으로는 주로 베이지안 p- 해킹을 수행하기 위해 (예 : 다중도를 도입하지만 무시 함), 베이지안 방법을 사용할 때 이것이 문제가되지 않는다는 변명을 사용하여 무시하는 경우가 많습니다 (모든 조건을 생략 함). 충족되어야합니다).
보다 "기술적 인"측면에서는 정보가없는 사전이 문제가됩니다. 왜냐하면 올바른 후부가 보장되지 않기 때문입니다. 많은 사람들이 베이지안 모델에 정보가없는 사전을 적용했으며 그 후부가 적절하지 않다는 것을 인식하지 못했습니다. 결과적으로 본질적으로 의미가없는 MCMC 샘플이 생성되었습니다.

마지막 요점은 적절한 후부를 보장하기 위해 다소 모호한 (또는 약간 더 약한 정보) 사전을 선호한다는 주장입니다. 물론, 이것들로부터 표본을 추출하는 것은 때때로 어려울 수 있으며, 전체 후방이 탐색되지 않았다는 것을 알아 차리지 못할 수도 있습니다. 그러나, 모호한 (그러나 적절한) 사전을 가진 베이지안 방법은 잦은 관점에서 볼 때 아주 좋은 샘플 특성을 갖는 것으로 나타 났으며, 더 많은 데이터가있는 경우에는 거의 사용하지 않을 것입니다. 정보가없는 사전 방법과의 차이점.

— 비욘
소스