베이지안 분석의 단점은 무엇입니까?


44

어떤 맥락에서 베이지안 통계 방법을 사용하는 것에 대한 실질적인 반대 의견은 무엇입니까? 아니요, 나는 이전의 선택에 대해 평상시와 다름을 의미하지 않습니다. 이것이 대답이 없으면 기뻐할 것입니다.


5
질문은 괜찮아 보이지만 의견은 논쟁의 선까지 올라가고 있으며 그 선의 잘못된쪽으로 넘어가겠다고 위협하고 있습니다. 조심하십시오 ...이 토론의 장소가 아닙니다. 대화방을 만들려면 대화방을 만드십시오.
whuber

답변:


40

답을 드리겠습니다. 실제로 네 가지 단점. 이것들 중 어느 것도 실제로 빈번한 분석을 이끌어야하는 반대 의견은 아니지만, 베이지안 프레임 워크와 관련되는 단점이 있습니다.

  1. 사전 선택. 제 경우에는 일반적인 "사전이 주관적입니다!" 그러나 사전에 결론을 내렸을 때 실제로 사전을 요약하려는 최선의 시도는 많은 경우에 많은 작업입니다. 예를 들어, 나의 논문의 전체 목표는 "예상 사전"으로 요약 될 수있다.
  2. 계산 집약적입니다. 특히 많은 변수가 관련된 모델의 경우. 많은 변수가 추정되는 큰 데이터 세트의 경우, 특히 데이터를 클러스터 등에 쉽게 던질 수없는 특정 상황에서 계산적으로 매우 집약적 일 수 있습니다. MCMC가 아닌 증강 데이터와 같이이 문제를 해결하는 방법 중 일부는 적어도 이론적으로 다소 도전적입니다.
  3. 분포에 대한 빈번하고 매개 변수적인 설명이 제공되지 않는 한 사후 분포는 메타 분석에 통합하기가 다소 어렵습니다.
  4. 분석 대상 저널에 따라 일반적으로 Bayes를 사용하거나 원하는 사전을 선택하면 검토자가이를 분석 할 수있는 지점이 약간 더 늘어납니다. 이 중 일부는 합리적인 검토 자 이의 제기이지만 일부는 Bayes의 특성과 일부 분야의 친숙한 사람들이 그로부터 얼마나 친숙한 지에 기인합니다.

이 중 어느 것도 당신을 막을 수 없습니다. 사실, 이런 것들 중 어느 것도 나를 멈추지 않았다 한 희망 하고 베이지안 분석하는 것은 주소를 적어도 4 번 도움이 될 것입니다.


2
# 1, 이것은 이상적으로는 1 단계 분석이어야합니다. 예술에서 조명 리뷰. 과학에서 양적 조명 검토. 베이지안은 그것에 대해 사과해서는 안됩니다. IF 주파수는 마치 Adam과 Eve 인 것처럼 데이터에 접근합니다. 내 박사 과정의 첫 번째 장은 메타 분석입니다 (빈번하지만). 그렇게되어야합니다. # 2 Moore의 법칙에 따르면, 로컬 고성능 컴퓨팅 그룹과의 간단한 XKCD 기반 토론이 많은 도움이 될 수 있습니다. # 3 메타 분석은 어느 쪽이든 짜증납니다. 필자는 의무적 인 롤링 메가 분석, 즉 게시 할 때 데이터를 제공하는 것을 선호합니다.
Rosser

7
@rosser 몇 가지 생각. #1. 실제로 조명 검토가 있어야하며, 예, 그것은 1 단계 여야합니다. 그러나 혼동을 적절히 제어하는 ​​적절한 베이지안 분석 은 모형에 포함될 모든 변수에 대한 전체적이고 정량적 인 조명 검토가 필요합니다 . 그것은 작은 일이 아닙니다. # 2. 무어의 법칙에 따라 나쁜 생각입니다. 첫째, 최근에는 멀티 코어 / GPU 시스템에서 주로 이익을 얻었습니다. 이를 위해 작성된 소프트웨어와 병렬 처리로 인한 문제가 필요합니다. MCMC로 수행 된 단일 GLM 모델은 그렇지 않을 수 있습니다. 계속 ...
Fomite

6
@rosser 그리고 HPC에 시간이있을 수 있습니다. 예를 들어, 데이터 사용 계약 등으로 인해 매우 안전한 시스템 이외의 곳에 데이터가 저장되지 않는 경우가 있습니다. 로컬 클러스터는 그렇지 않습니다. 그리고 결국, 무어의 법칙은 하드웨어 예산이 큰만큼만 좋습니다. # 3과 메타 분석에 대해서는 동의하지 않는 경향이 있지만 그 이상으로 완전히 개방형 데이터 시스템이 표준이 될 때까지 문제가 남아 있습니다.
Fomite

OK # 3을 과대 평가했습니다. 그러나 모든 PREDICTOR에 대한 귀하의 이전 결과가 결과에 얼마나 큰 차이가 있습니까? srsly? 민감도 분석에 엄청난 차이가 있습니까?
Rosser

1
@Rosser 예측 변수의 특성과 노출 및 결과와의 관계에 따라 달라질 수 있습니다. 그러나 민감도 분석을 수행하려면 누군가 가 모든 변수에 대해 사전에 있어야합니다. 아마도 논문의 사이드 비트로 추가 할 것입니다. 또한 베이 즈의 강점을 함께 선택하지만 다소 문제가있는 "내가 알아낼 수없는"변수에 대해서는 정보가없는 사전을 가정합니다.
Fomite

16

나는 성향에 의한 베이지안이지만, 실제로는 빈번하다. 그 이유는 일반적으로 관심있는 문제 유형에 대해 전체 베이지안 분석 (예 : MAP 솔루션 대신)을 올바르게 수행하는 것이 까다 롭고 계산 집약적이기 때문입니다. 종종 균등주의에 비해이 접근법의 이점을 실제로보기 위해서는 완전한 베이지안 분석이 필요합니다.

나에게 트레이드 오프는 기본적으로 개념적으로 우아하고 이해하기 쉽지만 실제로 구현하기 어려운 베이 즈 방법과 개념적으로 어색하고 미묘한 잦은 방법 중 하나를 선택합니다 (가설 ​​검정을 정확하게 해석하는 방법을 설명하는 방법 실제 값이 95 % 신뢰 구간에있을 확률이 95 % 인 이유는 없지만 "쿡북"솔루션을 쉽게 구현하는 데 적합합니다.

코스 말.


11

보기의 순전히 실용적인 관점에서, 나는 계산을 많이 (나는 종종 베이지안 프레임 워크에서 사용 깁스 샘플러와 MCMC, 생각하고 있지만,이 또한 적용이 필요한 방법의 팬이 아니다 는 빈도 분석에 부트 스트랩 기술). 그 이유는 모든 종류의 디버깅 (구현 테스트, 가정과 관련하여 견고성 검토 ) 자체에 많은 몬테 카를로 시뮬레이션이 필요하고 계산상의 사기에 빠지기 때문입니다. 근본 분석 기술은 근사치 일지라도 빠르고 결정적인 방법을 선호합니다.

이것은 물론 실질적인 이의 제기입니다. 무한한 컴퓨팅 리소스가 주어지면이 이의 제기는 사라질 것입니다. 그리고 베이지안 방법의 일부에만 적용됩니다. 또한 이것은 내 워크 플로우를 고려할 때 더 선호됩니다.


1
나는 지금 듣고있다 1. 무어의 법칙, 2. 근면 +/- 인내심 그리고 3. 무지. 설득력있는 말은 없습니다. 베이 즈는 그처럼 중요한 패러다임처럼 보입니다. 예를 들어 ... 왜 GWAS 연구가 a-la Bayes를 분석하지 않았습니까? 그들이 99.999 %의 데이터를 버리는 것을 막을 수 있었습니까?
Rosser

1
반대로 MCMC는 더 빠른 코드를 작성하고 시뮬레이션이 완료되기를 기다리는 고통으로부터 배우도록 가르 칠 수 있습니다. 이것은 모델링에 대한 나의 경험이었습니다. 실행하는 데 오랜 시간이 걸리면 코드를 더 빨리 만드는 방법을 배우는 것이 도움이 될 수 있습니다.
Iterator

9

문제에 대한 간단하고 자연스러운 "고전적인"해결책이있는 경우가 있습니다.이 경우에는 멋진 베이지안 방법 (특히 MCMC 사용)이 과도하게 사용됩니다.

또한, 가변 선택 유형 문제에서, 처벌 가능성과 같은 것을 고려하는 것이 더 간단하고 명확 할 수 있습니다. 동등한 베이지안 접근법을 제공하는 모델에 대한 사전이 존재할 수 있지만, 선행이 최종 성능에 어떻게 대응하는지는 페널티와 성능 간의 관계보다 명확하지 않을 수 있습니다.

마지막으로, MCMC 방법은 종종 수렴 / 혼합을 평가하고 결과를 이해하는 전문가 모두를 필요로합니다.


9

나는 베이지안 방법에 비교적 익숙하지 않지만, 나에게 영향을주는 한 가지 점은, 이전의 이론적 근거를 이해하는 동안 (즉, 과학은 누적적인 노력이므로, 대부분의 질문에 대해 이전의 경험 / 사고의 일부는 데이터의 해석), 나는 베이지안 접근법이 당신이 분석의 시작에 주관성을 강요하여 최종 결과를 우연히 만드는 것을 싫어합니다. 나는 이것이 두 가지 이유 때문에 문제가 있다고 믿는다 : 1) 잘 모르는 일부 독자들은 이전의 내용에주의를 기울이지 않고 베이지안 결과를 비 의도적 인 것으로 해석한다. 2) 원시 데이터를 사용할 수 없으면 독자가 주관적인 우선 순위로 결과를 재구성하기가 어렵습니다. 이것이 가능성 비율을 선호하는 이유입니다.

(비평가들에 따르면, 가능성 비율조차도 비교되는 모델의 매개 변수화에 의존한다는 의미에서 "우발적"이라는 점에 주목할 것입니다. 그러나 이것은 모든 방법, Frequentist, Bayesian 및 Likelihoodist에 의해 공유되는 기능입니다)


9
잦은 통계와의 반대 문제는 주관성이 있지만 전혀 언급되지 않았다는 것입니다. 가능성 비율의 (실제) 문제는 가능성 비율을 기반으로하기 때문에 가능성이 약간 적은 다른 솔루션이있을 수 있다는 사실을 무시한다는 것입니다. 바로 베이 즈 요인이 유용합니다. 그러나 그것은 항상 "과정의 말"입니다.
Dikran Marsupial

6

의사 결정 이론은 통계가 작동하는 기본 이론입니다. 문제는 데이터에서 의사 결정을 내리는 좋은 절차를 찾는 것입니다. 그러나 예상 손실을 최소화한다는 의미에서 명백한 절차 선택은 거의 없으므로 다른 기준을 선택해야합니다. 이전의 일부와 관련하여 베이 즈 절차를 선택하는 것이 이러한 기준 중 하나이지만 항상 원하는 것은 아닙니다. 경우에 따라 Minimax가 더 중요하거나 편견이 없을 수도 있습니다.

잦은 주의자들이 틀렸거나 베이지안이나 틀렸다고 주장하는 사람들은 대부분 통계에 대한 무지를 드러냅니다.


5

얼마 동안 나는 모델링에 대한 베이지안 접근 방식에 대해 더 많이 배우고 싶었습니다. (나는 Gibbs 샘플러를 대학원 과정에서 코딩했지만 실제 아무것도 한 적이 없었습니다). 그 과정에서 브라이언 데니스 (Brian Dennis)의 논문 중 일부는 도발적인 것으로 생각되어서 논문을 읽고 그들의 반론을들을 베이지안 친구 (옷장에 없었던 친구)를 찾을 수 있기를 바랐습니다. 여기 제가 언급 한 논문이 있지만 항상 기억하는 인용문은

베이지안이라는 것은 당신이 틀렸다고 말할 필요가 없다는 것을 의미합니다.

http://faculty.washington.edu/skalski/classes/QERM597/papers/Dennis_1996.pdf http://classes.warnercnr.colostate.edu/nr575/files/2011/01/Lele-and-Dennis-2009.pdf


1
첫 번째 논문 (두 번째 기사를 읽지 않은 논문)은 베이가 이론에 비해 어떻게 수행되는지에 대해 더 많이 보인다. 실제로 모델은 필요한만큼 엄격하게 확인되지 않지만 이론적으로 베이지안 통계는 베이 즈 규칙의 분모 P (D | 모델)에 구현 된 Jaynes의 "증거"라는 우수한 모델 확인 기능을 가지고 있습니다. 그것으로 당신은 모델의 적절성을 비교할 수 있습니다, 당신은 잦은 통계에서만 경험적으로 할 수있는 것입니다. 물론 문제는 증거를 계산하기가 어렵다는 것입니다. 따라서 대부분의 사람들은이를 무시하고 그 후부가 가장 중요한 요소라고 생각합니다 (계속)
cespinoza

2
pt. 2 인터넷 검색 "중첩 중첩 샘플링"을 시도하면 증거 계산을위한 MCMC 방법에 대한 논문을 찾을 수 있습니다. (증거 근거가 아닌 다른 모델 확인 방법도 있습니다. Gelman은 사후 예측에서 샘플링하여 실제 데이터와 시각적으로 또는 다른 방식으로 비교하여 모델을 확인합니다.) 일부 사람들은 모델을보고 평균화해야한다고 제안합니다. 모델 자체의 공간은 한계를 넘어 섰다. 우리가 수평선에서 볼 수있는 또 다른 것은 비모수 적 베이이며, 이는 기존의 파라 메트릭 모델보다 훨씬 광범위한 모델을 허용함으로써 문제를 해결합니다.
cespinoza

5
또한 버클리의 교수 인 Michael I. Jordan의 Bayes vs Freq에 대한 견해가 상당히 균형 잡힌 videolectures.net/mlss09uk_jordan_bfway 를 시청하는 것이 좋습니다 . "전쟁". 나는 생태 학적 참고 문헌을 전혀 모르는 첫 번째 논문의 후반부에 대해서는 실제로 언급 할 수 없다. 나중에 두 번째를 읽겠습니다.
cespinoza

1
@cespinoza : 나는 이것이 작동하는 길에 생각하고있었습니다. 이 논문은 베이지안은 잔차를 절대로 보지 않을 것이며 (예를 들어 모형 출력을 실제 데이터와 비교), 아마도 파괴적인 베이지안은 이것을 원칙으로 피할 수 있지만 Gelman과 같은 실무자는 확실히 모형 출력 (예측 후부)을 실제 데이터와 비교합니다. 나는 더 나아갈만큼 잘 모른다. 그러나 논문에 대한 나의 인상은 그들이 "밀짚으로 공격하는"원칙적으로 사람들을 설정한다는 것이다.
Wayne

1
잔차를 확인하지 않는 베이지안은 통계학자가 아니라고 덧붙입니다. 일반적으로 베이지안 방법은 "거칠고 준비된"모델과 함께 사용됩니다. 잔차 확인은 이전 및 모델에 대한 충분한 지식이 있는지 확인하는 한 가지 방법입니다. 그것은 당신의 모델과 이전에 가지고있는 이론적 인 특징들을 확인하는 것과 함께 진행됩니다.
확률 론적

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.