베이지안 방법에 여러 테스트 수정이 필요하지 않은 이유는 무엇입니까?

22

Andrew Gelman은 Bayesian AB 테스트에 다중 가설 수정이 필요하지 않은 이유에 대한 광범위한 기사를 작성했습니다. 왜 우리는 (일반적으로) 다중 비교에 대해 걱정할 필요가 없는가 , 2012.

잘 모르겠습니다 : 왜 베이지안 방법이 여러 번의 테스트 수정이 필요하지 않습니까?

A ~ Distribution1 + Common Distribution
B ~ Distribution2 + Common Distribution
C ~ Distribution3 + Common Distribution
Common Distribution ~ Normal

필자의 이해는 위에서 보여준 베이지안 접근 방식은 (가장 빈번한 Bonferroni 수정과는 달리) 모든 가설에 의해 공유 된 기본 분포를 설명한다는 것입니다. 내 추론이 맞습니까?

hypothesis-testing bayesian multiple-comparisons

— 아메바의 말에 따르면 복원 모니카
소스

나는 앤드류 겔만의 예를 따를 것입니다 : 우리는 (일반적으로) 여러 비교에 대해 걱정할 필요가 없습니다 왜 , 2012 참조 또한 자신의 블로그에 .

— Patrick McCann

5

Patrick의 링크는 매우 유용하지만 '적절하게 통계적으로 글을 읽는 과학적 검토 자'를 대상으로 한 더 독립적 인 답변을 보는 것이 좋습니다.

— 추측에

14

이 질문에 대답하는 한 가지 이상한 방법은 베이지안 방법이 허용되는 증거 규칙과 일치하고 잦은 방법이 종종 상충되기 때문에이를 수행하는 방법을 제공하지 않는다는 것입니다. 예 :

빈번한 통계로, 치료법 A와 B를 비교하는 것은 가족 별 유형 I 오류 고려 사항으로 인해 치료 C와 D를 비교하기 위해 처벌해야합니다. Bayesian을 사용하면 AB 비교 자체가 가능합니다.
순차적 빈번한 테스트의 경우 일반적으로 데이터를 여러 번 살펴보면 처벌이 필요합니다. 그룹 순차 설정에서 아직 수행되지 않은 나중에 비교하려면 A와 B에 대한 초기 비교에 불이익을 가해 야하며, 이전 비교가 진행 과정을 변경하지 않더라도 나중에 비교하려면 나중에 비교에 불이익을 받아야합니다. 연구.

문제는 잦은 주의자들이 시간과 정보의 흐름을 역전시키는 것에서 비롯되며, 잦은 주의자 들은 일어난 일 대신에 일어날 수있는 일 을 고려해야 한다 . 대조적으로, 베이지안 평가는 모든 평가를 이전 분포에 고정시켜 증거를 교정합니다. 예를 들어, AB 차이에 대한 사전 분포는 AB의 모든 향후 평가를 교정하며 CD를 고려할 필요는 없습니다.

순차적 테스트에서는 잦은 유추를 사용하여 실험을 조기에 종료 할 때 점 추정치를 조정하는 방법에 대해 혼동이 있습니다. 베이지안 세계에서, 임의의 포인트 추정치에 대한 이전 "풀백"및 업데이트 된 사후 분포는 언제든지 추론에 적용되며 복잡한 샘플 공간 고려가 필요하지 않습니다.

— 프랭크 하렐
소스

4

나는이 주장을 정말로 이해하지 못한다. 만약 우리가 일반적인 잦은 접근 방식으로 1000 가지의 다른 비교를 수행한다면, 우리는 null 아래에서도 p <0.05 효과로 약 50의 유의성을 기대해야합니다. 따라서 수정. 모든 비교에 대해 약간의 이전 (약 0?)을 갖는 베이지안 추정 / 테스트를 대신 사용하는 경우, 이전은 후부를 0으로 축소하지만 여전히 무작위로 변하는 후부 및 / 또는 베이 즈 요인을 가질 것이며 아마도 일부를 가질 것입니다 실제 효과가 모두 0 인 경우에도 1000 개 중 "실질적인"효과처럼 보입니다.

— amoeba는 Reinstate Monica

1

2^{1000}

$2^{1000}$

2^{1000} - 1

$2^{1000}-1$

1

죄송합니다, @probabilityislogic, 나는 당신의 요점을 이해하지 못했습니다. "모든 대안"에 대해 충분히 공정하지만 실제로 어떤 일이 발생합니까? 내가 말했듯이, 우리는 (예를 들어) 1000 개의 그룹 차이를 추정하고 있습니다. 우리는 그룹 차이에 대해 사전을 가지고 있습니다. 우리는 1000 개의 후부, 95 % 신뢰할 수있는 간격 등을 얻습니다. 그런 다음 각 신뢰할 수있는 간격을 조사하여 0에서 "의미있는 / 실질적인"효과가 될만큼 충분한 지 확인합니다. 이 작업을 1000 번 수행하면 1000 개의 효과가 모두 0 인 경우에도 일부 효과가 크게 나타날 수 있다는 의미에서 "거짓 긍정"이있을 수 있습니다. 아니?

— amoeba는 14:07에 Reinstate Monica가

1

1000

$1000$

1

@probabilityislogic : 글쎄, 난 절대적으로 다단계 모델에 찬성 나는 내가 베이지안 도구로 반드시 그들을 보지 않는다하더라도 - 일반적으로 t-시험과와 함께 사용되는 임의 효과 혼합 모델과 ANOVAs 등 ...

— 아메바는 Reinstate Monica가

6

이러한 유형의 계층 적 모델은 추정치를 축소하고 중소 규모의 가설에 대해 허위 주장의 수를 합리적인 정도로 줄입니다. 특정 유형 I 오류율을 보장합니까? 아니.

Gelman 의이 제안은 (너무 많은 다른 것들을보고 문제를 인정하고 너무 쉽게 잘못 결론을 내립니다. 실제로 그의 애완 동물 주제 중 하나는 블로그에서 애완 동물 주제 중 하나입니다) 극단적 인 대안과는 다릅니다. 베이지안 방법이 다중성을 설명 할 필요가 없다는 관점은 모든 것이 당신의 가능성 (그리고 당신의 이전)이기 때문에 다중성을 설명 할 필요는 없다.

— 비욘
소스

1

(+1) 몇 가지 경우 (예 : 이전과 일치하는 비차 원적)에서 베이지안 추론은 유형 1 오류율에 대한 제어를 제공하지 않습니다. 따라서 베이지안 설정에서 다중 테스트 수정은 IHMO가 유형 1 오류에 대한 수정으로 간주 될 수 없습니다.

— peuhp

3

+1. 인생의 끔찍한 아이러니 중 하나에서, 나는“우리가 (일반적으로) 다중 비교에 대해 걱정할 필요가없는 이유”라는 논문을 썼으나 이제는 다중 비교에 대해 걱정하는 데 많은 시간을 소비합니다 (Gelman)

— amoeba는 Reinstate Monica

6

매우 흥미로운 질문입니다. 여기에 제가 가지고 있습니다.

정보를 인코딩 한 다음 베이지안 크랭크를 돌립니다. 사실이 너무 좋아 보이지만 둘 다 생각보다 어렵습니다.

질문을 시작합니다

다중 비교에 대해 걱정할 때 어떤 정보가 사용되고 있습니까?

나는 몇 가지를 생각할 수 있습니다-첫 번째는 "데이터 준설"입니다-충분한 합격 / 불합격을 얻을 때까지 "모든 것"을 테스트하십시오 (교육을받은 거의 모든 통계가이 문제에 노출 될 것이라고 생각합니다). 당신은 또한 불길한 것이지만 본질적으로 동일합니다. "실행할 테스트가 너무 많습니다. 반드시 모든 것이 정확할 수는 없습니다."

이것에 대해 생각한 후에, 내가 알고있는 한 가지는 특정 가설이나 비교에 대해 많이 듣지 않는 것입니다. 그것은 "수집"에 관한 것입니다-이것은 교환 가능성에 대한 나의 생각을 유발합니다. 비교되는 가설은 어떤 방식 으로든 서로 "유사"합니다. 그리고 교환 성을 베이지안 분석으로 어떻게 인코딩합니까? -하이퍼-프라이어, 혼합 모델, 랜덤 효과 등 !!!

그러나 교환 가능성은 그 길의 일부일뿐입니다. 모든 것이 교환 가능합니까? 또는 많은 후보 풀이있는 0이 아닌 회귀 계수와 같은 "스파 스"가 있습니까? 혼합 모델과 정규 분포 무작위 효과는 여기서 작동하지 않습니다. 스 쿼싱 노이즈와 신호를 건드리지 않은 상태로 "고정"됩니다 (예 : locationB와 locationC "true"매개 변수를 동일하게 유지하고 locationA "true"매개 변수를 임의로 크거나 작게 설정하고 표준 선형 혼합 모델이 실패한 것을 확인하십시오.) . 그러나 예를 들어 "스파이크 및 슬래브"이전 또는 "말 구두"이전과 같이 고정 될 수 있습니다.

따라서 실제로 어떤 종류의 가설을 이야기하고 이전과 가능성에 알려진 많은 기능을 반영하는지 설명합니다. Andrew Gelman의 접근 방식은 광범위한 다중 비교를 암시 적으로 처리하는 방법 일뿐입니다. 최소 제곱 및 정규 분포와 마찬가지로 대부분의 경우 잘 작동하는 경향이 있습니다 (모두는 아님).

이것이 어떻게 수행되는지에 관해서는 다음과 같이 추론하는 사람을 생각할 수 있습니다-그룹 A와 그룹 B는 같은 평균을 가질 수 있습니다-나는 데이터를 보았고 평균은 "가까이"입니다-따라서 더 나은 추정치를 얻으려면 두 가지 모두 초기 생각이 동일한 의미를 가졌기 때문에 데이터를 모아야합니다. -동일하지 않은 데이터는 데이터가 "가까웠다"는 증거를 제공하므로 "가끔"풀링해도 내 가설이 잘못되어도 나쁘게 해치지 않습니다 (일부 모델이 모두 잘못되었거나 일부는 유용함)

위의 모든 사항은 초기 전제에 달려 있습니다. 그것을 빼앗아 풀링에 대한 정당성이 없습니다. 테스트에 대한 "정규 분포"사고 방식을 볼 수도 있습니다. "영점이 가장 많을 것", "0이 아니라면 0에 가까울 것", "극단 값은 없을 것" 이 대안을 고려하십시오.

그룹 A와 그룹 B는 같을 수도 있지만, 크게 다를 수도 있음을 의미합니다.

그렇다면 "조금"풀링에 대한 논쟁은 매우 나쁜 생각입니다. 총 풀링 또는 제로 풀링을 선택하는 것이 좋습니다. Cauchy, spike & slab, 상황 유형 (0에 대한 많은 질량 및 극단적 인 값에 대한 많은 질량)과 훨씬 유사합니다.

베이지안 접근법은 우리를 이전 및 / 또는 가능성에 대해 걱정하게 하는 정보를 통합하기 때문에 전체 다중 비교를 다룰 필요는 없습니다 . 어떤 정보를 사용할 수 있는지에 대해 올바르게 생각하고 분석에 포함했는지 확인하는 것이 더 중요합니다.

— 확률 론적
소스

2

l_{1}

$l_1$

\exp (- | x |)

$\exp(-|x|)$

@StasK-l1은 더 잘 작동하지만 로그가 오목하므로 0이 아닌 스파 스로 어려움을 겪을 수 있습니다. 내가 언급 한 것은 모두 로그 볼록입니다. l1에 가까운 변형은 일반화 된 이중 파레토-라플라스 척도 모수 (ML의 적응 형 올가미와 유사)를 취함으로써 얻을 수 있음

— 확률 론적

5

먼저, 제시 한 모델을 이해하면서 Gelman 제안과 약간 다른 것으로 생각합니다.

A ~ Distribution(locationA)
B ~ Distribution(locationB)
C ~ Distribution(locationC)

locationA ~ Normal(commonLocation)
locationB ~ Normal(commonLocation)
locationC ~ Normal(commonLocation)

commonLocation ~ hyperPrior

commonLocation실제로이 모수 를 추가하면 모수 3 분포 (여기서 위치 1, 2 및 3)에 대한 추론은 더 이상 서로 독립적이지 않습니다. 더욱이, commonLocation매개 변수의 기대 값을 중심 (일반적으로 추정 된)쪽으로 축소하는 경향이있다. 어떤 의미에서, 그것은 다중 보정에 대한 보정이 필요하지 않은 모든 추론에 대한 정규화로 작동합니다 (실제로 우리는 모델을 사용하여 각각의 상호 작용에서 하나의 다변량 추정 회계를 수행하므로).

다른 답변에서 지적 했듯이이 수정은 유형 I 오류에 대한 제어를 제공하지 않지만 대부분의 경우 베이지안 방법은 단일 추론 척도에서도 그러한 제어를 제공하지 않으며 다중 비교에 대한 수정은 베이지 안에서 다르게 생각해야합니다 환경.

— 푸프
소스