왜 일반 오류 대신 t 오류를 사용해야합니까?

에서 이 앤드류 겔만으로 블로그 게시물, 다음과 같은 구절이있다 :

50 년 전의 베이지안 모델은 절망적으로 단순 해 보이지만 (물론 간단한 문제는 제외하고) 오늘날의 베이지안 모델은 50 년 동안 절망적으로 단순 해 보일 것으로 기대합니다. (간단한 예를 들자면, 우리는 아마도 어디에서나 일반적인 오류 대신에 t를 일상적으로 사용해야 할 것입니다. 그러나 우리는 아직 친숙 함, 습관 및 수학적 편리 성 때문에 그렇게하지 않았습니다. 정치에서 보수주의는 많은 찬성론을 가지고있다. 그러나 궁극적으로 우리가 더 복잡한 모델에 익숙해지면 그 방향으로 나아가겠다고 생각한다.)

왜 우리는 "일반적으로 거의 모든 곳에서 일반적인 오류 대신 t를 사용해야합니까?"

일반적인 오류를 가정하는 것은 큰 오류가 발생하지 않는다는 가정과 사실상 동일하기 때문입니다! 정규 분포는 꼬리가 매우 밝기 때문에 표준 편차를 벗어난 오차는 매우 낮으며 ± 6 표준 편차를 벗어난 오차는 사실상 불가능합니다. 실제로이 가정은 거의 사실이 아닙니다. 잘 설계된 실험에서 작고 깔끔한 데이터 세트를 분석 할 때 잔차를 잘 분석하면 별 문제가되지 않을 수 있습니다. 품질이 낮은 데이터를 사용하면 훨씬 더 중요 할 수 있습니다.$\pm 3$$\pm 6$

우도 기반 (또는 베이지안) 방법을 사용할 때,이 정규성의 효과 (위에서 언급 한 것처럼 사실상 이것은 "큰 오류가 없다"는 가정)는 추론을 매우 강력하게 만드는 것입니다. 분석 결과는 큰 오차의 영향을 많이받습니다! "큰 오류가 없다"고 가정하면 메소드가 큰 오류를 작은 오류로 해석하게되므로 평균 값 매개 변수를 이동하여 모든 오류를 더 작게 만드는 경우에만 발생할 수 있기 때문에 그렇게해야합니다. 이를 방지하는 한 가지 방법은 소위 "강력한 방법"을 사용하는 것입니다. http://web.archive.org/web/20160611192739/http://www.stats.ox.ac.uk/pub/StatMeth/Robust를 참조하십시오 . .pdf

그러나 Andrew Gelman은 강력한 방법이 일반적으로 베이지 색이 아닌 방식으로 제시되기 때문에 이것을하지 않을 것입니다. 우도 / 베이지안 모델 t 분포 에러를 사용하여 같은 강력한 방법을 얻을 수있는 다른 방법 너무 많은 에러의 더 큰 비율을 허용, - 분포가 정상보다 무거운 꼬리를 가지고있다. 이러한 추정에있어서 (*)의 로버 스트 성을 파괴하기 때문에, 자유 파라미터의 각도의 수는 데이터로부터 추정되지 미리 고정한다 (또한 매우 어려운 문제에 대한 우도 함수 ν 숫자 자유도는 제한이 없어 매우 비효율적이며 (일관되지 않은) 추정기로 이어질 수 있습니다.$t$$\nu$

예를 들어, 관측치 10 개 중 1 개가 "큰 오류"(3sd 이상) 일 수 있다고 생각하는 경우 ( 2 초 자유도의 분포를 사용할 수 있음) 큰 오차의 비율은 더 작은 것으로 여겨진다.$t$

위에서 말한 것은 독립적 인 분산 오차 가있는 모델에 대한 것 입니다. 오차 분포로서 다변량 분포 (독립적이지 않음)의 제안도 있었다 . : 그 propsal 무겁게 "다변량의 비판 황제의 새 옷을 종이에 비판 STATISTICA Neerlandica (1997) 권에, TS Breusch, JC 로버트슨과 AH 웨일스어로 회귀 모델". 51, 번호 3, pp. 269-286, 여기서 다변량 오차 분포는 경험적으로 정규와 구별 할 수 없음을 보여줍니다 . 그러나 그 비판은 독립 모델에 영향을 미치지 않습니다 . $t$$t$$t$$t$$t$

(*) 이것을 언급 한 참고 문헌 중 하나는 Venables & Ripley의 MASS --- Modern Applied Statistics with S (제 4 판 110 페이지)입니다.

그것은 단지 "무거운 꼬리"의 문제가 아닙니다. 종 모양이고 꼬리가 무거운 분포가 많이 있습니다.

T 분포는 가우스 모형의 후방 예측입니다. 가우시안 가정을하되 유한 한 증거가있는 경우 결과 모델은 비 중앙 스케일링 된 t- 분포 예측을 수행하는 것입니다. 한계에서, 당신이 가진 증거의 양이 무한대로되면서 t 분포의 한계가 가우스이기 때문에 가우시안 예측으로 끝납니다.

왜 이런 일이 발생합니까? 유한 한 양의 증거로 인해 모형의 모수에 불확실성이 있습니다. 가우시안 모형의 경우 평균의 불확실성은 단순히 분산을 증가시킵니다 (즉, 알려진 분산을 갖는 가우시안의 사후 예측은 여전히 ​​가우시안 임). 그러나 분산에 대한 불확실성은 두꺼운 꼬리를 유발하는 것입니다. 모형이 무제한 증거로 훈련 된 경우 더 이상 분산 (또는 평균)에 불확실성이 없으며 모형을 사용하여 가우시안 예측을 수행 할 수 있습니다.

이 인수는 가우시안 모델에 적용됩니다. 또한 가우시안 확률이 추정되는 모수에 적용됩니다. 유한 데이터가 주어지면 모수에 대한 불확실성이 t- 분포됩니다. 정규 가정 (알 수없는 평균 및 분산)과 유한 데이터가있는 경우 t- 분포 된 사후 예측이 있습니다.

모든 베이지안 모형에 대해 유사한 후방 예측 분포가 있습니다. Gelman은 우리가 그것들을 사용해야한다고 제안하고 있습니다. 그의 우려는 충분한 증거로 완화 될 것입니다.