잦은 바이에른 토론은 어디로 갔습니까?


59

통계의 세계는 잦은 사람들과 베이지안으로 나뉘어져 있습니다. 요즘에는 모두가 조금씩하는 것처럼 보입니다. 어떻게 이럴 수있어? 다른 접근 방식이 다른 문제에 적합하다면 왜 통계의 창시자가 이것을 보지 못했습니까? 또는, Frequentists가 토론에서 이기고 진정한 주관적인 베이지안이 의사 결정 이론으로 넘어 갔습니까?


13
나는이 CW를 하나의 권위적이거나 가장 좋은 대답이 없을 것이라는 전제로 만들었습니다. (당신이 동의하지 않으면 다른 방식으로 설득을 자유롭게 해보십시오!) 잠재적으로 논쟁의 여지가 있지만, (IMHO) 주제에 흥미가 있다는 근거로 질문을 닫을 것을 주장 할 수 있습니다. 그러나, 논쟁 적이거나 논쟁 적이거나지지되지 않는 답글은 추가 설명없이 삭제됩니다.
whuber

답변:


58

나는 실제로 전제에 약간 동의하지 않습니다. 그들이 이전에 그들에게 확률 분포를 실제로 전달한다면 모두는 베이지안입니다. 그들이하지 않을 때 문제가 발생하고, 나는 여전히 그 주제에 대해 꽤 좋은 크기의 분할이 있다고 생각합니다.

그럼에도 불구하고 저는 점점 더 많은 사람들이 거룩한 전쟁과 싸울 경향이 적으며 주어진 상황에서 적절한 것으로 보이는 것에 착수한다는 데 동의합니다.

직업이 발전함에 따라 양측은 상대방의 접근 방식에 장점이 있음을 깨달았습니다. Bayesians는 Bayesian 절차가 반복해서 사용될 경우 얼마나 잘 수행하는지 평가하는 것 (예 : 95 % 신뢰할 수있는 간격 (CI)에 실제로 시간의 약 95 %가 실제 매개 변수를 포함합니까?)이 빈번한 전망을 필요로한다는 것을 깨달았습니다. 이것이 없으면 "95 %"를 실제 숫자로 교정하지 않습니다. 견고성? 반복 피팅 등을 통한 모델 구축? 잦은 세계에서 떠오른 아이디어는 1980 년대 후반부터 시작된 베이지안에 의해 수정되었습니다. 빈번한 연구자들은 정규화가 좋았으며 요즘 꽤 일반적으로 사용한다는 것을 깨달았습니다. 그리고 베이지안의 사전은 쉽게 정규화로 해석 될 수 있습니다. 페널티 함수가있는 입방 스플라인을 통한 비모수 적 모델링? 당신의 형벌은 나의 이전입니다! 이제 우리 모두 함께 할 수 있습니다.

또 다른 주요 영향은 신속하게 분석을 수행 할 수있는 고품질 소프트웨어의 가용성이 크게 향상되었다는 것입니다. 이것은 Gibbs 샘플링과 Metropolis-Hastings와 같은 알고리즘과 소프트웨어 자체 R, SAS와 같은 두 부분으로 나뉩니다. 모든 코드를 C로 작성해야한다면 순수한 베이지안이 될 수 있습니다. 다른 것을 시도 할 시간이 없을 것입니다.)하지만, 그대로 모델을 너무 짜지 않고 프레임 워크에 맞출 수있는 것처럼 보일 때마다 R의 mgcv 패키지에서 gam을 사용합니다. 더 나은 통계 학자입니다. 상대방의 방법에 익숙하고 문제에 대해 생각하기 위해 기본 프레임 워크에 100 % 적합하지 않더라도 일부 상황에서 사용할 수있는 얼마나 많은 노력을 절약 / 더 나은 품질을 실현하는지,


5
@Dikran : 나는 상대방 의 단어 선택으로 개인적으로 떨고 있다는 경고에 동의합니다 . :)
추기경

2
(오! 한 둘은 실제로보다 더 잘 알고 그것을 의미) @cardinal 나는 재미가 될 수 있습니다 사람의 동료를 감기 몰라
Dikran 유대류

3
@Dikran-이해해 주셔서 감사합니다! 나는 "반대"가 옳은 단어라고 생각하지 않았지만, 어쨌든 재미를 위해 부분적으로 붙어 있었고, 일부는 여전히 반대 감을 유지하는 더 나은 것을 생각할 수 없었기 때문입니다.
jbowman

5
@jbowman : 베이지안 통계 a-la Good, Lindley 또는 DeFinetti는 선행이 주관적 / 정신적이며 객관적 / 물리적이 아니라는 것을 의미합니다. 이런 이유로, 나는 동의하지 않을 것이다 : "... 모두는 베이지안이다". 그렇기 때문에 Robbins는 이전에 잦은 주의자라는 "새로운"아이디어를 도입 할 때 "실증적 베이"라는 용어를 사용해야했습니다. 그러나 오늘날 멀티 레벨 샘플링 체계를 사용하여 사전 주의자가 잦은 경우 "베이지 아 통계"로 인정하기에 충분하다는 데 동의합니다.
JohnRos

2
@JohnRos-내가 생각했던 것은 고전적인 "결핵 검사에서 긍정적으로 나왔을 때 결핵에 걸릴 확률은 얼마입니까?" 상태. (필자는) 적절한 기준선 TB 비율을 사전 확률로 사용하고 테스트 가능성으로 업데이트하는 것에 대해 이의를 제기하는 잦은 통계학자는 거의 없다고 가정합니다. 물론 그들은 여전히 ​​이전의 주관적이라는 생각에 반대 할 것이며, 다른 쪽에서는 그 뒤에있는 데이터에도 불구하고 주관적이라고 주장하는 추론을 볼 수 있으므로 요점은 (+1)입니다.
jbowman

35

대답하기 어려운 질문입니다. 진정으로 두 가지를 모두하는 사람들의 수는 여전히 매우 제한적입니다. 하드 코어 베이지안 은 베이지안의 내부적으로 일관되지 않은 통계치 인 사용하는 주류 통계 사용자를 경멸합니다 . 그리고 주류 통계 학자들은 그에 대해 언급 할만큼 베이지안 방법을 잘 모른다. 이것에 비추어, 당신은 베이지안 문학 (거의 순수한 생물학이나 순수한 심리학 저널에 이르기까지)에서 주류 주의자들의 반응이 거의 없거나 전혀없는 귀무 가설 유의성 테스트에 대한 많은 비판을 보게 될 것입니다.p

통계 분야에서 "토론을 누가 이겼는지"에 대한 상충되는 표현이 있습니다. 한편으로는 평균 통계 부서의 구성은 대부분의 경우 10-15 주류 대 대 1-2 베이지안을 찾을 수 있지만 일부 부서는 순수하게 베이지안이지만 컨설팅 위치를 제외하고는 주류가 전혀 없습니다 (Harvard, Duke, Carnegie Mellon, 브리티시 컬럼비아, 북미 몬트리올, 유럽 장면에 익숙하지 않습니다). 반면에 JASA 또는 JRSS와 같은 저널에서는 25-30 %의 논문이 베이지안 일 것입니다. 어떤 식 으로든 베이지안 르네상스는 1950 년대 ANOVA 신문의 파열과 같은 것일 수 있습니다. 당시 사람들은 거의 모든 통계 문제가 ANOVA 문제로 분류 될 수 있다고 생각했습니다. 지금,

내 느낌은 적용 영역이 철학적 세부 사항을 파악하는 데 신경 쓰지 않고 작업하기 쉬운 모든 것과 함께 진행된다는 것입니다. 베이지안 방법론은 너무 복잡합니다. 통계 외에도 계산 기술 (샘플러 설정, 차단, 수렴 진단, blah-blah-blah)을 배우고 사전을 방어 할 준비가되어 있어야합니다 (사용해야 함) 객관적인 사전, 또는 필드가 3e8 m / s의 빛의 속도에 거의 정착 한 경우, 또는 사전의 선택이 후부가 적절한 지 여부에 영향을 미치는지 여부에 대해 유익한 사전을 사용해야합니다. 따라서 대부분의 의료 또는 심리학 또는 경제학 응용 프로그램에서는 실질적인 연구자들이 작성한 논문에서 주류 접근 방식을 볼 수 있습니다.

베이 시안 프레임 워크가 여전히 부족한 부분 중 하나는 모델 진단이며, 이는 실무자들에게 중요한 영역입니다. 베이지안 세계에서 모형을 진단하려면보다 복잡한 모형을 작성하고 베이지안 요인 또는 BIC에 더 적합한 모형을 선택해야합니다. 따라서 선형 회귀에 대한 정규성 가정이 마음에 들지 않으면 학생 오류로 회귀를 작성하고 데이터가 자유도의 추정치를 생성하게하거나 모든 공상 상태가되어 Dirichlet 프로세스를 가질 수 있습니다. 다른 항들 사이에서 오차항과 일부 MH 점프를합니다. 주류 접근법은 학생 화 된 잔차에 대한 QQ 플롯을 작성하고 이상 값을 제거하는 것입니다. 그리고 이것은 훨씬 더 간단합니다.

나는 이것에 관한 책에서 장을 편집했다 -http://onlinelibrary.wiley.com/doi/10.1002/9780470583333.ch5/summary 참조 . 이 논쟁에 대한 약 80 건의 참고 문헌이 모두 베이지안의 관점을 뒷받침하는 매우 전형적인 논문입니다. (저는 저자에게 수정 된 버전으로 확장하도록 요청했습니다. 주요 베이지안 이론가 중 한 명인 듀크 (Duke)의 짐 버거 (Jim Berger) 는 여러 강의를했으며 주제에 대해 매우 사려 깊은 기사를 썼습니다.


14

여전히 훌륭한 장인이 작업에 가장 적합한 도구를 선택하기를 원하고 베이지안과 빈번한 방법 모두 작업에 가장 적합한 도구를 사용하는 응용 프로그램이 있기 때문에 여전히 두 가지가 모두 필요한 이유가 있습니다.

그러나 베이 즈 방법이 베이직 방법이보다 직접적인 해답을 제공하지만 베이직 방법보다 과학 및 공학에 쉽게 적용 할 수있는 "통계 요리 책"접근 방식에 빈번한 통계가 더 적합하기 때문에 종종 잘못된 작업 도구가 사용됩니다. 제기 된 문제 (일반적으로 우리가 실제로 보유한 특정 데이터 샘플에서 추론 할 수있는 것임). "요리 책"접근 방식은 실제로 수행중인 작업에 대한 확실한 이해없이 통계를 사용하게되므로 p- 값 오류와 같은 것들이 반복해서 발생하기 때문에이 점을 선호하지 않습니다.

그러나 시간이 지남에 따라 베이지안 접근을위한 소프트웨어 툴이 개선 될 것이며 jbowman이 말한대로 더 자주 사용될 것입니다.

나는 성향에 의한 베이지안입니다 (자주주의 접근법보다 나에게 훨씬 더 의미가있는 것 같습니다). 그러나 나는 논문에 자주 통계를 사용하게됩니다. 부분적으로 베이지안 통계를 사용할 때 리뷰어와 문제가 있기 때문입니다 "비표준"입니다.

맥스 플랑크 (Max Plank)를 인용하기 위해 마지막으로 (뺨에 약간의 혀가 있음) "새로운 과학적 진실은 상대방을 설득하고 빛을 보게함으로써 승리하지는 않지만 오히려 상대가 결국 죽고 친숙한 새로운 세대가 자라기 때문에 그것으로."


10

나는 Frequentists와 Bayesians가 같은 질문에 대해 다른 대답을한다고 생각하지 않습니다. 나는 그들이 다른 질문 에 대답 할 준비가되어 있다고 생각 합니다. 따라서, 한 쪽 승리에 대해 이야기하거나 타협에 대해 이야기하는 것이 이치에 맞지 않다고 생각합니다.

우리가 묻고 싶은 모든 질문을 고려하십시오. 많은 질문은 단지 불가능한 질문입니다 ( " 의 진정한 가치는 무엇입니까 ?"). 다양한 가정이 주어질 수있는 이러한 질문의 부분 집합을 고려하는 것이 더 유용합니다. 더 큰 부분 집합은 당신이 당신이 선행을 사용할 수있게하는 곳에서 대답 할 수있는 질문입니다. 이 세트 BF를 호출하십시오. BF의 하위 집합이 있으며, 이는 이전에 의존하지 않는 일련의 질문입니다. 이 두 번째 하위 집합 F를 호출합니다. F는 BF의 하위 집합입니다. B = BF \ B를 정의하십시오.θ

그러나 어떤 질문에 대답할지 선택할 수 없습니다. 세상에 대한 유용한 추론을하기 위해 때때로 우리는 B에있는 질문에 답해야합니다.

이상적으로는 추정자가 주어지면 철저한 분석을해야합니다. 이전을 사용할 수도 있지만 이전에 의존하지 않는 추정기에 대해 좋은 점을 증명할 수 있으면 멋질 것입니다. 그것은 당신이 이전을 버릴 수 있다는 것을 의미하지는 않으며, 아마도 정말로 흥미로운 질문은 이전을 요구할 수도 있습니다.

모두 F의 질문에 답하는 방법에 동의합니다. 실제로 '흥미로운'질문이 F인지 B인지에 대한 걱정은 무엇입니까?

P(|S)=0P(+|H)=0.05

우리는 한 장의 카드를 가지고 있으며 시험기는 카드의 한면에 + 또는-를 쓸 것입니다. 당신이 원한다면, 우리가 어떻게 든 진실을 알고있는 오라클이 있고,이 오라클이 카드를 봉투에 넣기 전에 카드의 다른쪽에 실제 상태 H 또는 S를 쓴다고 상상해보십시오.

통계적으로 훈련받은 의사로서, 카드를 열기 전에 봉투의 카드에 대해 무엇을 말할 수 있습니까? 다음과 같은 진술을 할 수 있습니다 (위의 F에 있음).

  • P(+|S)=1
  • P(|H)=0.95
  • P((,S)(+,H))0.95

P((,S))P((+,H))P(S)

이것은 우리가 지금까지 갈 수있는 한입니다. 봉투를 열기 전에 시험의 정확성에 대해 매우 긍정적 인 진술을 할 수 있습니다. 테스트 결과가 진실과 일치 할 확률은 95 % 이상입니다.

그러나 실제로 카드를 열면 어떻게됩니까? 검사 결과가 긍정적 (또는 부정적)이라는 점을 감안할 때 건강 또는 병에 대해 어떻게 말할 수 있습니까?

P(S)P(S)

이 간단한 예에서 부정적인 테스트 결과를 가진 모든 사람이 건강하다는 것이 분명합니다. 허위 부정이 없으므로 모든 통계학자는 그 환자를 행복하게 집으로 보낼 것입니다. 따라서 검정 결과가 긍정적이 아닌 한 통계 전문가의 조언에 비용을 지불하는 것은 의미가 없습니다 .

위의 세 가지 글 머리 기호는 정확하고 매우 간단합니다. 그러나 그들은 또한 쓸모가 없습니다! 이 흥미로운 모델에서 실제로 흥미로운 질문은 다음과 같습니다.

P(S|+)

P(S)

나는 이것이 지나치게 단순화 된 모델이라는 것을 부정하지는 않지만, 만약 우리가 그 환자들의 건강에 관해 유용한 진술을하고 싶다면, 우리는 그들의 건강에 대한 사전의 신념을 시작해야한다는 것을 증명합니다.


2
H+5%95%P(|S)=0.95P(|S)=0

1
P(|H)=0.95P(|S)=0.95

2
P(S)+20P(S)

1
P(S)P(S)

6

보시다시피, 잦은 바이에른 토론이 많이 진행되고 있습니다. 사실, 나는 그 어느 때보 다 더 뜨겁고 독단적이라고 생각합니다. 내 블로그에 관심이있을 수 있습니다 : http://errorstatistics.com


2
Shalizi & Gelman의 저술을 통해 당신의 작업에 익숙합니다. 나는 블로그를 확실히 따라갈 것이다. 그래도 궁금합니다. Gelman의 "Bayes"는 DeFinetti의 "Bayes"와 동일합니다.
JohnRos

1

빈번 하다고 생각 하는 많은 사람들 (전문가 이외의 사람들) 은 실제로 베이지안입니다. 이것은 토론을 무의미하게 만듭니다. 나는 베이지안이 이겼다고 생각하지만, 여전히 빈번하다고 생각하는 많은 베이지안들이 있다고 생각합니다. 사전을 사용하지 않는다고 생각하는 사람들이 있기 때문에 자주 사용한다고 생각하는 사람들이 있습니다. 이것은 위험한 논리입니다. 이것은 이전 (균일 이전 또는 비 균일)에 관한 것이 아니며 실제 차이는 더 미묘합니다.

(저는 공식적으로 통계 부서에 있지 않습니다. 저의 배경은 수학과 컴퓨터 과학입니다. 저는이 비 토론가들과, 심지어 초기 경력을 가진 사람들과이 '토론'을 논의하려고 애썼던 어려움 때문에 글을 쓰고 있습니다. 통계 학자.)

MLE는 실제로 베이지안 방법입니다. 어떤 사람들은 "MLE을 사용하여 매개 변수를 평가하기 때문에 자주 사용합니다"라고 말합니다. 나는 동료 검토 문헌에서 이것을 보았습니다. 이것은 넌센스이며 잦은 주의자가 비 균일 한 사전이 아닌 균일 한 사전을 사용하는 사람이라는 신화에 근거합니다.

μ=0θ

XN(μ=0,σ2=θ)

xθθx

f(x,θ)=Pσ2=θ(X=x)=12πθex22θ

xθ

열지도

θθx

수평 슬라이스와 수직 슬라이스 사이의 이러한 구별이 중요하며,이 비유가 편견에 대한 잦은 접근을 이해하는 데 도움이된다는 것을 알았습니다 .

베이지안은 누군가가 누구라고이다

θf(x,θ)

g(θ)

θf(x,θ)g(θ)

따라서 베이지안은 x를 수정하고 해당 등고선 플롯 (또는 이전을 포함하는 변형 플롯)에서 해당 수직 슬라이스를 확인합니다. 이 슬라이스에서 곡선 아래 면적은 1 일 필요는 없습니다 (앞서 언급했듯이). 베이지안 95 % 신뢰할 수있는 간격 (CI)은 사용 가능한 영역의 95 %를 포함하는 간격입니다. 예를 들어, 면적이 2 인 경우 베이지안 CI 아래의 면적은 1.9 여야합니다.

θ

θ

N(μ=0,σ2=θ)θx3θ+3θ

θ

이것이 잦은 CI를 구성하는 유일한 방법은 아니며, 심지어 좋은 (좁은) 것도 아니지만 잠시 동안 나와 함께 견뎌냅니다.

'간격'이라는 단어를 해석하는 가장 좋은 방법은 1 차원 선의 간격이 아니라 위의 2 차원 평면의 영역으로 생각하는 것입니다. '간격'은 1 차원 선이 아닌 2 차원 평면의 부분 집합입니다. 누군가가 그러한 '간격'을 제안한다면, 우리는 '간격'이 95 % 신뢰 / 신뢰할 수있는 수준에서 유효한지 테스트해야합니다.

잦은 주의자는 각 수평 슬라이스를 차례로 고려하고 곡선 아래의 영역을보고이 '간격'의 유효성을 검사합니다. 앞에서 말했듯이이 곡선 아래의 면적은 항상 1입니다. 중요한 요구 사항은 '간격'내의 영역이 0.95 이상이어야한다는 것입니다.

베이지안은 세로 조각을보고 유효성을 검사합니다. 다시 곡선 아래 면적은 구간 아래에있는 하위 면적과 비교됩니다. 후자가 전자의 95 % 이상인 경우 '간격'은 유효한 95 % 베이지안 신뢰할 수있는 간격입니다.

이제 특정 구간이 '유효한지'를 테스트하는 방법을 알았으므로 올바른 옵션 중에서 가장 적합한 옵션을 어떻게 선택해야 하는가가 문제입니다. 이것은 검은 예술 일 수 있지만 일반적으로 가장 좁은 간격을 원합니다. 두 가지 방법 모두 여기서 동의하는 경향이 있습니다. 수직 슬라이스가 고려되고 목표는 각 수직 슬라이스 내에서 간격을 최대한 좁히는 것입니다.

위의 예에서 가능한 가장 좁은 빈도주의 신뢰 구간을 정의하려고 시도하지 않았습니다. 더 좁은 간격의 예는 아래 @cardinal의 주석을 참조하십시오. 나의 목표는 가장 좋은 간격을 찾는 것이 아니라, 타당도를 결정할 때 수평과 수직 조각의 차이를 강조하는 것입니다. 95 % 잦은 신뢰 구간의 조건을 만족하는 구간은 일반적으로 95 % 베이지안 신뢰 구간의 조건을 만족하지 않으며 그 반대도 마찬가지입니다.

두 방법 모두 좁은 간격을 원합니다. 즉, 하나의 수직 슬라이스를 고려할 때 해당 슬라이스의 (1-d) 간격을 가능한 한 좁게 만들고 싶습니다. 차이점은 95 %가 적용되는 방식에 있습니다. 잦은 주의자는 각 수평 슬라이스 영역의 95 %가 간격 아래에있는 제안 된 간격 만보고있는 반면 베이지안에서는 각 수직 슬라이스가 해당 영역의 95 %가되도록합니다. 간격 아래.

많은 비 통계 학자들은 이것을 이해하지 못하고 수직 조각에만 집중합니다. 이것은 그들이 다르게 생각하더라도 베이지안을 만듭니다.


3
(-1) 나는이 포스트가 몇 가지 근본적인 오해를 보여주고 있다고 생각합니다. 어디서부터 시작해야하는지 알기가 어렵습니다.
추기경

1
X2/θχ12θ(θ^,θ^u)P(θ(θ^,θ^u))=1α θXX2/θ
추기경

1
(계속) 하나의 선택은 여기서 는 분포 의 번째 분위수를 나타냅니다 . 거의 모든 빈번한 사람들은 그 대신에 똑같이 유효한 간격을 사용하는데, 그 범위는 무한히 좁고 구성하기 쉽기 때문입니다. 그러나이 후자의 간격은 가장 짧은 간격도 아니며 간단한 수치 절차로 찾을 수 있습니다. 요컨대 , 답변에서 논쟁의 주요 전제는 요점을 완전히 놓친 것으로 보입니다. q b b χ 2 1 [ X 2 / q 1 - α / 2 , X 2 / q α / 2 ][X2/q1α,)qbbχ12[X2/q1α/2,X2/qα/2]
추기경

안녕 @ 추기경, 나는 당신의 마지막 두 의견에 당신의 요점을 이해합니다. 사실, 나는 당신의 요점이 내가 말한 것과 일치한다고 생각합니다. :-) 좋습니다. 잦은 신뢰 구간을 구성하는 방법에는 여러 가지가 있습니다. 내가 설명한 방법이 유효하다는 것을 인정합니다. 그리고 당신은 (합리적으로) 내 방법이 가장 좁지 않다는 것을 지적합니다. 나는 당신의 첫 번째 의견이별로 도움이되지 않았다고 생각합니다.
Aaron McDaid

2
@ cardinal, 두 번째 생각에 나는 대답의 끝이 도움이되지 않고 기본적으로 잘못되었다는 것을 받아들입니다. 내 주요 요점에서 산만하다. 통계 부서 외부의 많은 사람들이 두 가지 접근법의 근본적인 차이점을 인식하지 못한다는 점이다. ), 그러나 차이점은 히트 맵을 통해 수평 (자주) 또는 수직 (베이지안) 슬라이스를 취할지 여부 입니다. 나는 바로 여기에 있고,이 점을 여기에 가치가 있습니까?
Aaron McDaid
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.