신뢰할 수있는 지역과 베이지안 가설 검정의 연관성은 무엇입니까?


38

빈번한 통계에서는 신뢰 구간과 테스트간에 밀접한 관련이 있습니다. 예를 들어, 분포 에서 에 대한 유추를 예로 사용하면 신뢰 구간 에는 유의 수준 에서 의해 기각되지 않는 모든 값이 포함됩니다 .μN(μ,σ2)1α

x¯±tα/2(n1)s/n
μtα

빈번한 신뢰 구간은 이러한 의미에서 역전 된 테스트입니다. (우연히 이것은 -value를 매개 변수의 null 값이 신뢰 구간에 포함될 의 가장 작은 값으로 해석 할 수 있음을 의미 합니다. 이것이 유용한 방법이 될 수 있습니다. 약간의 통계를 아는 사람들에게 실제로 무엇인지 설명하십시오 .)pα1αp

베이지안 신뢰할 수있는 지역의 의사 결정 이론적 기초에 대해 읽으 면서 , 나는 신뢰할 수있는 지역과 베이지안 테스트 사이에 비슷한 연관성이 있는지 궁금해하기 시작했다.

  • 일반적인 연결이 있습니까?
  • 일반적인 연결이없는 경우 연결이있는 예가 있습니까?
  • 일반적인 연결이 없다면 어떻게 볼 수 있습니까?

내가 궁금해했던 관련 질문-누군가가 장난감 예제가 아니라 실제 문제에 사용 된 베이지안 가설 검정의 "골드 표준"또는 "정규 예"라고 생각하는 논문을 나에게 지적 할 수 있습니까? 나는 베이지안 가설 검정을 실제로 이해하지 못했으며 그 사용법에 대한 좋은 예를 찾을 것이라고 생각합니다.
Patrick Caldon

2
@PatrickCaldon 베이지안 가설 검정이 의사 결정 이론 프레임 워크 (따라서 단일 논문에서 포착하기에는 너무 광범위 함)로 공식화 되었기 때문에 이에 대한 "골든 논문"이 의심 스럽다. MånsT의 답변에 언급 된 책은 좋은 자료를 제공하며, Berger의 책과 대화 도 흥미로울 수 있습니다.

나는 ba.stat.cmu.edu/vol03is01.php 논문이 여기서 우리의 논의의 대부분을 명확히 할 수 있다고 생각합니다 .
Carlos AB Pereira

@Carlos 감사합니다! 링크가 현재 작동하지 않는 것 같지만, Stern 및 Wechsler가 포함 된 2008 년 베이지안 분석 보고서 로 연결되는 것 같습니다 . 나는 매우 흥미로운 읽을 거리를 발견했다!
MånsT

MånsT님께 : 베이지안 분석은 프로젝트 유클리드로 이전했습니다. 카를로스 교수님은 여기에 있습니다 : projecteuclid.org/…
Zen

답변:


19

연결이 존재 하는 예 를 생각해 냈습니다 . 내가 선택한 손실 함수와 복합 가설의 사용에 크게 의존하는 것 같습니다.

나는 일반적인 예부터 시작하여 정규 분포와 관련된 간단한 특수 사례를 따릅니다.

일반적인 예

알 수없는 매개 변수 경우, 매개 변수 공간으로하고 가설 대 대안 .Θ θ Θ 0 θ Θ 1 = Θ Θ 0θΘθΘ0θΘ1=ΘΘ0

하자 의 표기 사용하여 테스트 함수가 될 서안베이지안 선택 우리가 거부 그래서, (나는 최소한으로 사용하고있는 무슨에 종류 뒤로이다) 경우 수락 경우 . 손실 함수 Bayes 테스트는Θ 0 φ = 0 Θ 0 φ = 1φΘ0φ=0Θ0φ=1 φ π ( X ) =

L(θ,φ)={0,if φ=IΘ0(θ)a0,if θΘ0 and φ=0a1,if θΘ1 and φ=1.
φπ(x)=1ifP(θΘ0|x)a1(a0+a1)1.

받아 하고 . 경우 귀무 가설 이 허용됩니다 .a 1 = 1 α Θ 0 P ( θ Θ 0 | x ) 1 αa0=α0.5a1=1αΘ0P(θΘ0|x)1α

이제 신뢰할 수있는 영역 는 와 같은 영역 입니다. 따라서 정의에 따라 이 와 같으면 경우에만 가 신뢰할 수있는 영역이 될 수 있습니다 . P ( Θ c | x ) 1 α Θ 0 P ( θ Θ 0 | x ) 1 α Θ c P ( Θ 0Θ c | x ) > 0ΘcP(Θc|x)1αΘ0P(θΘ0|x)1αΘcP(Θ0Θc|x)>0

credible 영역에 널이 아닌 서브 세트 포함 된 경우에만 귀무 가설을 채택합니다 .Θ 01αΘ0

더 간단한 특별한 경우

위 예제에서 어떤 종류의 테스트를 수행했는지 더 잘 설명하려면 다음과 같은 특수한 경우를 고려하십시오.

하자 와 . 집합 , 및 , 우리가 있는지 여부를 테스트하는 것이 목적 .θ ~ N ( 0 , 1 ) Θ = R Θ 0 = ( - , 0 ] Θ (1) = ( 0 , ) θ 0xN(θ,1)θN(0,1)Θ=RΘ0=(,0]Θ1=(0,)θ0

표준 계산은 여기서 는 표준 정규 cdf입니다.Φ()

P(θ0|x)=Φ(x/2),
Φ()

하자 것이어야 . 은 때 허용됩니다 . Φ ( z 1 α ) = 1 α Θ 0x / z1αΦ(z1α)=1αΘ0x/2>z1α

이것은 를 수락하는 것과 같습니다들면 , 따라서 때 거부된다 .α=0.05Θ0x>2.33x2zα.α=0.05Θ0x>2.33

그 대신 우리는 이전에 사용하는 경우 , 거부 될 때 .Θ 0 x > 2.33 νθN(ν,1)Θ0x>2.33ν

코멘트

귀무 가설을 허위로 받아들이는 것이 허위로 기각하는 것보다 더 나쁘다고 생각하는 위의 손실 함수는 언뜻보기에는 약간 인공적인 것처럼 보일 수 있습니다. 그러나 예를 들어 위험한 전염병이나 테러리스트를 선별 ​​할 때 "거짓 부정 (false negatives)"이 비용이 많이 드는 상황에서는 상당히 유용 할 수 있습니다.

모든 신뢰할 수있는 영역에 의 일부가 포함되어 있어야한다는 조건 은 실제로 내가 원했던 것보다 약간 더 강합니다. 잦은 경우에 대응은 단일 테스트와 단일 신뢰 구간 사이에 있고 단일 사이에는 없습니다. 테스트 및 모든 간격. 1 - α 1 - αΘ01α1α


2
+1 내가 사용하는 것이 신뢰성 영역을 대신 신뢰 구간 .

1
@ Procrastinator 감사합니다! 답변을 편집하고 내가있는 동안 "지역"으로 변경했습니다. 나는 대부분 unimodal 후부의 HPD 영역에서 작업하므로 신뢰 영역을 간격으로 생각하는 경향이 있습니다. :)
MånsT

12

MichaelFraijo 는 관심있는 매개 변수 값이 일부 신뢰할 수있는 영역에 포함되어 있는지 여부를 확인하는 것은 베이지안 반전 신뢰 구간과 동일 하다는 것을 제안했습니다. 이 절차가 실제로 베이지안 테스트 (일반적인 의미에서)라는 결과가 나에게 명백하지 않았기 때문에 처음에는 이것에 대해 약간 회의적이었습니다.

적어도 특정 유형의 손실 함수를 기꺼이 받아들이려는 경우에는 그렇게합니다. HPD 지역과 가설 테스트를 연결하는 두 개의 논문에 대한 참조를 제공 한 Zen 에게 감사드립니다 .

나중에 참조 할 수 있도록 여기에 요약하려고합니다. 원래 질문의 예와 유사하게 가설이 특수 사례를 다룰 것입니다 여기서 는 매개 변수 공간입니다.

H0:θΘ0={θ0}andH1:θΘ1=ΘΘ0,
Θ

Pereira & Stern 은 및 에 사전 확률을 두지 않고Θ0Θ1 상기 가설을 테스트하는 방법을 제안했습니다 .

하자 밀도 함수를 나타내고 및 정의π()θ

T(x)={θ:π(θ|x)>π(θ0|x)}.

이것은 신뢰성 HPD 영역 임을 의미합니다 .T(x)P(θT(x)|x)

페레이라 스턴 - 테스트 불량 은 "작은"( 말한다). 후부의 경우 이 후부의 꼬리에서 멀리 떨어져있어 p- 값을 사용하는 것과 다소 비슷합니다. 다시 말해, HPD 영역 에 포함되지 않은 경우에만 수준 에서 거부됩니다 .Θ0P(θT(x)|x)<0.05θ0Θ05 %95 %

이 승인 되면 테스트 기능 를 , 이 거부 되면 하십시오 . Madruga et al. 손실 함수 제안 와 .1 θ 0 0 Θ 0 L ( θ , φ , x ) = {φ1Θ00Θ0

L(θ,φ,x)={a(1I(θT(x)),if φ(x)=0b+cI(θ(T(x)),if φ(x)=1,
a,b,c>0

예상 손실을 최소화 하면 경우 이 거부 되는 Pereira-Stern 테스트로 이어집니다Θ0P(θT(x)|x)<(b+c)/(a+c).

지금까지 모든 것이 잘되었습니다. Pereira-Stern 테스트는 이 HPD 영역에 있는지 여부를 확인하는 것과 동일 테스트를 생성하는 손실 함수가있어 의사 결정 이론에서 찾을 수 있습니다.θ0

논란의 여지가있는 부분 은 손실 함수가 의존x 한다는 입니다. 이러한 손실 기능은 문헌에 몇 번 등장했지만, 일반적으로 매우 합리적인 것으로 받아 들여지지는 않습니다.

이 주제에 대한 자세한 내용 은 Madruga et al.을 인용 한 논문 목록을 참조하십시오 . 기사 .


2012 년 10 월 업데이트 :

대한 의존성 이 의사 결정을 원하는 것보다 더 주관적으로 만들어주기 때문에 위의 손실 함수에 완전히 만족하지 못했습니다 . 나는이 문제에 대해 더 많은 시간을 보냈고 오늘 arXiv에 게시 된 짧은 메모를 작성했습니다 .x

하자 의 후방 분위수 함수 나타낸다 ,되도록 . HPD 세트 대신 중앙 (등쪽) 간격 합니다. 이 간격을 사용하여 을 테스트하려면 의존하는 손실 함수없이 결정 이론 프레임 워크에서 정당화 될 수 있습니다 .θ P ( θ q α ( θqα(θ|x)θP(θqα(θ|x))=α(qα/2(θ|x),q1α/2(θ|x))Θ0x

비결은 점-가설 가설 을 방향성 결론을 가진 3 결정 문제로 테스트하는 문제를 재구성하는 것 입니다. 그런 다음 은 및 됩니다.Θ0={θ0}Θ0Θ1={θ:θ<θ0}Θ1={θ:θ>θ0}

받아들이면 테스트 함수 (이 표기법은 위에서 사용한 것과 반대이다!). 가중 손실 함수에서 베이 시험은 거부한다 경우 중심 간격이 아니다.φ=iΘi01 Θ0θ0

L2(θ,φ)={0,if θΘi and φ=i,i{1,0,1},α/2,if θΘ0 and φ=0,1,if θΘiΘ0 and φ=i,i{1,1},
Θ0θ0

이것은 나에게 상당히 합리적인 손실 함수처럼 보입니다. arXiv의 원고에서 신뢰성있는 세트를 사용한 Madruga-Esteves-Wechsler 손실 및 테스트에 대해 설명합니다.


2
(나는 이것을 커뮤니티 위키로 표시하고있다)
MånsT

"페레이라-스턴 테스트에 도착하려면 예상되는 후방 손실을 최소화해야합니다"라고 말할 때 실제로는 베이지안 결정 절차에서 그렇게합니다. 여기서 차이점은 손실 기능은 표준이 아닌 데이터 (지시 한대로)에 달려 있다는 것입니다. 일반적으로 입니다. L:{ParameterSpace}×{Actions}R
Zen

@ 젠 : 물론입니다. 지적 해 주셔서 감사합니다. :)
MånsT

3
@ MånsT : (+1) 이것은 흥미로운 답변입니다. 나는이 경우에 이것을 CW로 표시하기로 한 사실을 매우 존중하지만, 당신이하지 않기를 바랍니다. :-)
추기경

8

이 질문에 오기 전에 귀하의 arXiv 논문을 우연히 읽었 으며 이미 블로그 항목을 작성했습니다 ( 08 년 10 월에 예정되어 있음 ). 요약하자면, 나는 당신의 이론적 관심의 구성을 발견하지만, 그것이 추천 되기에는 너무도 생각된다고 생각합니다. 그것은 일반적으로 점 널 매개 변수 값에 일부 사전 질량을 넣어야하는 점 널 가설 베이지안 테스트 문제를 해결하지 못하는 것처럼 보입니다.

즉, 위에서 제안한 솔루션 (10 월 업데이트)과 arXiv 논문의 정리 2는 가 수락 / 거부에 해당하는 두 값 대신 세 개의 값을 취 한다는 점에서 유효한 테스트 절차가 아닙니다 . 마찬가지로 정리 3 (여기에서는 재현되지 않음)에서 사용하는 손실 함수 는 점 귀무 가설 아니라 단측 가설 을 테스트하는 .φH0:θθ0H0:θ=θ0

그러나 나의 주요한 문제는 이 점- 가설 일 때, 즉 사전 질량이없는 일 때 arXiv 논문의 정리 3과 정리 4가 모두 유효하지 않은 것 .Θ 0 = { θ 0 }H0Θ0={θ0}


1
귀하의 의견에 감사드립니다 (+1)! 귀하의 블로그 게시물을 읽어 보시기 바랍니다. :) 당신이 지적했듯이, 정리 3과 4는 복합 가설에만 관심이 있습니다. 정리 2 의 는 잘못 인쇄되었습니다. 읽어야 ,있는 경우 경우 일어날 때 IS 믿을만한 간격으로. arXiv 원고에서 가능한 빨리 변경하겠습니다! α / 2 φ =1α/2α/2α / 2 < ( P ( Θ - 1 ) , P ( Θ 1 ) ) θ 0φ=0α/2<min(P(Θ1),P(Θ1))θ0
MånsT

당신이 옳습니다 (+1!), 나는 다른 방식으로 불평등을 생각하고있었습니다! arXiv 문서에서 중심 불평등이 잘못된 방식으로 작성되었습니다. 즉, iff를 수락해야합니다H0
Xi'an

잘 들었습니다 :) 업데이트 된 원고 (Thm 2 수정)는 월요일에 arXiv에 있습니다. Thm 4의 도 널이 아니라고 가정합니다 . Θ0
MånsT

1
arXiv 문서에서 Theorem 2의 증거를 명확히하십시오. 표시된 불평등이 잘못 작성되었습니다. 즉, iff 받아 들여야 합니다. P ( θ Θ i | x ) > α / 2H0P(θΘi|x)>α/2
Xi'an

3

베이지안 가설 검정에 신뢰할 수있는 구간 (또는 HPD 영역)을 사용할 수 있습니다. 나는 그것이 일반적이라고 생각하지 않습니다. 그러나 공정하게 말해서 나는 공식적으로 베이지안 가설 검정을 실제로 보지 못하고 사용하지도 않습니다. 가설 검정 설정에서 베이 즈 요인이 때때로 사용됩니다 (그리고 Robert의 "Bayesian Core"에서 다소 칭찬 받음).


1
환호 @Fraijo! 귀하의 답변이 Michael Chernick의 답변과 어떻게 다른지 조금 더 자세히 설명해 주시겠습니까?
MånsT

2
가설을 검정하기 위해 Bayes 인수를 사용하는 것이 "가끔"이라고 생각하지 않습니다 . 예를 들어이 참조를 참조하십시오 .

@ MånsT는 Michael이 설명하는 프로세스에서 Bayes Factor 테스트 인 것으로 보입니다. 기본적으로 가설을 기반으로 서로 다른 우선 순위를 가진 두 가지 모델을 만든 다음 해당 사전을 기반으로 데이터 세트의 확률을 비교합니다. 게시 된 Procrasinator는 이에 대한 빠른 검토를 제공합니다.
Fraijo

1
@ Procrastinator 나는 단지 업계에서 베이 즈 방법을 사용하는 사람을 거의 보지 못했기 때문에 가설을 테스트하기 위해 베이 즈 방법을 사용하는 경우가 종종 있다고 말했습니다. 개인적으로 나는 베이 즈 요인을 사용하여 이전 모델에 대한 민감도를 확인하기 위해 모델을 확인합니다. 이것은 가정 테스트의 한 형태라고 가정합니다.
Fraijo

1
@ MånsT 짧은 대답 : 아니오. 신뢰할 수있는 구간을 설정하고 귀무 가설이 포함되어 있는지 확인하는 것은 잦은 가설 검정과 비교할 수있는 유일한 직접 검정입니다. 이 방법에는 두 가지 문제가 있습니다. 1) 경우에 따라 여러 영역을 찾을 수 있다는 명백한 사실 (예 : HPD 대 대칭 영역) 2) 점 가설 (theta = a)을 매개 변수의 베이지안 이상과 충돌 테스트 분포를 취합니다 (theta ~ P (theta)).
Fraijo

1

신뢰할 수있는 영역은 영역에 대한 사후 밀도의 적분이 지정된 확률, 예를 들어 0.95 인 영역 일뿐입니다. 베이지안 가설 검정을 구성하는 한 가지 방법은 모수의 귀무 가설 값이 신뢰할 수있는 영역에 속하는지 여부를 확인하는 것입니다. 이런 식으로 우리는 빈번 주의자들이 신뢰 구간과 가설 검정을 사용하는 것처럼 가설 검정과 신뢰할 수있는 영역간에 유사한 1-1 대응 관계를 가질 수있다. 그러나 이것이 가설 검정을 수행하는 유일한 방법은 아닙니다.


이런 종류의 임시 베이지안 테스트가 실제로 사용됩니까?
MånsT

1
@MansT 나는 그렇게 생각하지 않습니다. 나는 보통 베이지안이 귀무 가설이 참인지에 대한 사전 배당률을 낸 다음 데이터 구성 사후 배당률에 근거한다고 생각합니다. 사후 확률이 귀무 가설에 대해 엉뚱한 경우 거부됩니다. 나는 베이지안 추론을 매우 자주하지 않기 때문에 물어볼 가장 좋은 사람은 아닙니다.
Michael Chernick

2
Michael이 기술 한 시험은 Zellner의 Lindley에게 베이지안 계량 경제학에 관한 저서에서 인정되었습니다.
Zen

1
그렇습니다. 이런 종류의 테스트는 확실히 베이지안 아이디어 에서 나온 것이지만, 이것이 베이지안 결정 이론 에 확고한 토대가 있는지 확실하지 않습니다 . 후자의 설정에서 나는 테스트가 일반적으로 테스트 기능을 포함하는 손실 함수에서 파생 될 것으로 기대합니다.
MånsT


-1

내가 그것을주게 나는 그것을 가지고 어떻게 읽을 팀의 답변을 .

열의 가설 (예상 모수)과 행의 관측치가있는 테이블보기 를 기반으로합니다 .

여기에 이미지 설명을 입력하십시오

첫 번째 표에서 col 확률의 합계는 1입니다. 즉, 조건부 확률입니다. 즉, 열 이벤트에 들어가는 조건이 'prior'라는 맨 아래 행에 제공됩니다. 마지막 표에서 행은 1과 비슷하게 합산하고 중간에 공동 확률, 즉 첫 번째 테이블과 마지막 테이블에서 찾은 조건부 확률과 조건의 확률, 선행 조건이 있습니다.

표는 기본적으로 베이지안 변환을 수행합니다. 첫 번째 표에서 모든 열에 관측치 (행)의 pdf를 제공하고이 가설에 대한 사전을 설정합니다 (가설 ​​열은 해당 가설에 따른 관측치의 pdf입니다). 모든 열과 테이블에 대해 먼저 공동 probabilites 테이블에 넣은 다음 관찰에 의해 조정 된 가설의 확률로 가져갑니다.

Tim의 대답에서 얻은 것처럼 (잘못된 경우 수정) Critical Interval 접근법은 첫 번째 테이블을 봅니다. 즉, 실험이 완료되면 테이블의 행을 알 수 있습니다 (이 예에서는 머리 또는 꼬리가 있지만 100 코인 플립과 같은 복잡한 실험을 수행하고 2 ^ 100 행의 테이블을 가져올 수 있음). Frequentialist는 내가 말했듯이 가설이 참 (예를 들어 동전은 공정하다)이라는 조건 하에서 가능한 결과의 분포이며, 확률 값이 매우 낮은 가설 (열)을 거부하는 열을 통해 스캔합니다. 관찰 된 행.

베이지안 학자는 먼저 확률을 조정하고 열을 행으로 변환하고 표 3을보고 관측 된 결과의 행을 찾습니다. 또한 PDF이기 때문에 실험 결과 행을 살펴보고 95 % 신뢰도 포켓이 가득 찰 때까지 가장 높은 가설을 선택합니다. 나머지 가설은 기각됩니다.

당신이 그것을 좋아합니까 방법? 나는 여전히 학습 과정에 있으며 그래픽은 나에게 도움이되는 것 같습니다. 나는 두 가지 접근 방식의 차이점을 분석 할 때 평판 좋은 사용자가 동일한 그림을 제공하기 때문에 올바른 길을 가고 있다고 믿습니다 . 가설 선택의 역학에 대한 그래픽보기를 제안했습니다.

나는 모든 사람에게 Keith가 마지막 답을 읽도록 독려하지만 가설 테스트 역학에 대한 나의 그림은 잦은 주의자가 현재의 것을 검증 할 때 다른 가설을 보지 않는 반면 높은 신용 가설을 고려하면 베이지 안에서 다른 가설의 수신 / 거부에 큰 영향을 미친다는 것을 즉시 말할 수 있습니다 관측 데이터 하에서 95 %의 시간에 발생하는 단일 가설이있는 경우 데이터가 얼마나 적합한 지에 관계없이 다른 모든 가설을 즉시 버립니다. 신뢰 구간이 겹치는 두 가설을 대조하여 통계적 검정력 분석을합시다.

그러나 두 가지 접근 방식의 유사점을 발견 한 것 같습니다. 그들은 P(A | B) > P(A) <=> P(B|A) > P(B)속성을 통해 연결된 것처럼 보입니다 . 기본적으로 A와 B 사이에 종속성이 있으면 freq와 bayesian 테이블에서 상관 관계로 표시됩니다. 따라서 하나의 가설 테스트를 수행하는 것은 다른 가설 테스트와 관련이 있으며 동일한 결과를 제공해야합니다. 상관 관계의 근본을 연구하면 둘 사이의 연결을 얻을 수 있습니다. 내 질문에 실제로는 왜 절대 상관이 아닌 차이가 있는지 묻습니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.