가족 별 오류 경계 : 독립적 인 질문에 대한 다른 연구에서 데이터 세트를 재사용하면 여러 테스트 문제가 발생합니까?

연구팀이 주어진 데이터 세트에 대해 여러 가지 (가설) 테스트를 수행하는 경우 테스트가 독립적 인 경우에도 여러 테스트 (Bonferroni 등)에 대해 일종의 수정을 사용해야한다고 주장하는 문헌이 많이 있습니다. 내 질문은 이것입니다 : 동일한 논리가 동일한 데이터 세트에서 가설을 테스트하는 여러 팀에 적용됩니까? 다른 방법으로, 가족 별 오류 계산의 장벽은 무엇입니까? 연구원들이 탐사 목적으로 만 데이터 세트를 재사용하도록 제한해야합니까?

hypothesis-testing multiple-comparisons

— 두꺼비
소스

답변:

나는 @fcoppens가 한 번의 조사에서 다중 가설 교정의 중요성을 한 번의 조사로 인식하는 데 "동일한 추론으로 여러 팀이 이러한 테스트를 수행해도 동일하게 유지된다"는 주장에 강력하게 동의하지 않습니다.

더 많은 연구가 수행되고 더 많은 가설이 테스트 될수록 더 많은 유형 I 오류가 발생한다는 데에는 의문의 여지가 없습니다. 그러나 나는 "가족 현명한 오류"비율의 의미와 그것이 실제 과학 작업에 어떻게 적용되는지에 대해 혼동이 있다고 생각합니다.

첫째, 다중 테스트 보정은 일반적으로 사전에 공식화 된 가설이없는 사후 비교 에서 발생했음을 기억하십시오 . 미리 정의 된 작은 가설이있을 때 동일한 수정이 필요하다는 것은 분명하지 않습니다.

둘째, 개별 간행물의 "과학적 진실"은 간행물 내의 각 개별 진술의 진실에 의존하지 않습니다. 잘 설계된 연구 는 여러 관점에서 전체적인 과학적 가설에 접근 하고 과학적 가설 을 평가하기 위해 다양한 유형의 결과를 모 읍니다. 각 개별 결과는 통계 테스트로 평가할 수 있습니다.

그러나 @fcoppens의 주장에 따르면, 이러한 개별 통계 테스트 중 하나 라도 Type I 오류를 발생시키는 경우 " '과학적 진실'에 대한 허위 신념"으로 이어집니다. 이것은 단순히 잘못입니다.

개별 통계 테스트의 유효성과 반대되는 출판물에서 과학적 가설 의 "과학적 진실"은 일반적으로 다양한 유형의 증거의 조합에서 비롯됩니다. 여러 유형의 증거에 대한 주장은 필연적으로 발생하는 개별 실수 에 대해 과학적 가설 의 유효성을 강력 하게 만듭니다 . 나는 다시 내 50 정도 과학 출판물에 보면, 열심히 찾아 누를 것 하나를 남아 @fcoppens 등 모든 세부 사항에 흠이을 주장하는 것 그래서. 그러나 나는 유사 열심히 찾아 누를하고 있는 곳 과학을가설은 완전히 틀렸다. 아마도 불완전하다. 물론,이 분야의 후반의 발전으로 인해 관련이 없습니다. 그러나 당시의 과학적 지식의 상황에서 "잘못된"것은 아니다.

셋째,이 주장은 유형 II 오류를 유발하는 비용을 무시한다. 유형 II 오류는 유망한 과학적 탐구 분야를 모두 폐쇄 할 수 있습니다. @fcoppens의 권장 사항을 준수하면 유형 II 오류율이 과학 기업에 해를 끼칠 정도로 크게 증가 할 것입니다.

마지막으로 권장 사항을 실제로 따르는 것은 불가능합니다. 공개적으로 사용 가능한 데이터 세트를 분석하면 다른 사람이 데이터를 사용했는지 또는 어떤 목적으로 사용했는지 알 방법이 없을 수 있습니다. 다른 사람의 가설 검정을 수정할 방법이 없습니다. 그리고 위에서 말한 것처럼, 나는 할 필요가 없습니다.

— EdM
소스

나는 질문을 '선두'로 가져 오기 위해 현상금을 주었다. 내가 그렇게하고 싶었던 이유는 충분한 관심을 얻지 못하고 그 대답을 경험 한 것처럼 더 이상 그것에 대해 '논의가 없다'고 생각했기 때문입니다. 보여 주듯이, 그것은 흥미로운 토론일지도 모릅니다. 따라서 (+1)

@fcoppens이 "선불"을 가져 주셔서 감사합니다

— EdM

이 포스트 이후, 잘츠 베르그 (Salzberg)가 "비교하는 분류 자 : 피해야 할 함정 및 권장 접근법"( css.ru.nl/~tomh/onderwijs/lrs/lrs_files/salzberg97 비교)이라는이 주제를 다루는 훌륭한 논문을 우연히 발견 했습니다. pdf ). 토론에 감사드립니다. : 질문이 유형의 통계 및 기계 학습 /이 게시물에서 언급 된 다른 응용 분야 사이의 격차가 나타납니다 stats.stackexchange.com/questions/1194/... ....

— toypajme

Breiman의 논문에서도이 주제를 다룹니다 : projecteuclid.org/euclid.ss/1009213726 . 이 논문이 현재 연구에 관심이 있고이 주제에 관한 토론을 발표 한 사람들에게 쉽게 참조 할 수 있기를 바랍니다.

— toypajme

또한 " 의학 연구에서 알파의 생성 및 소유권에 관한 " 논문이 있습니다. 논란의 여지가있는 주제입니다. 정답이 분명한 몇 가지 사례 중 하나는 의약 연구에 대한 단일

가있는 제약 제품에 대한 규제 레이블 주장입니다 . 우리가 과학 출판물에 들어간 후에는 그러한 일을 강요 할 사람이 더 나을 수도 있습니다.

α = 0.05

$\alpha=0.05$

— Björn

``다중 테스트 ''수정은 '유형 I 오류'를 늘릴 때마다 필요합니다. 예를 들어 각각 신뢰 수준 에서 두 가지 테스트를 수행 하고 첫 번째 테스트에서는 null 대안 과 두 번째 가설 대 . $\alpha=5\%$ $H_0^{(1)}$ $H_1^{(1)}$ $H_0^{(2)}$ $H_1^{(2)}$

$H_0^{(1)}$ $\alpha=5\%$

$1 - (1-\alpha)^2$ $\alpha=5\%$ $9.75\%$

통계적 가설 검정에서 귀무를 기각함으로써 대립 가설에 대한 통계적 증거 만 찾을 수 있습니다. 귀무를 기각하면 대립 가설에 찬성하는 증거 가 있다는 결론을 내릴 수 있습니다 . ( 우리가 귀무 가설을 기각하지 못하면 어떻게됩니까? ).

따라서 널을 허위로 거부하면``과학적 진실 ''에 대한 거짓 믿음이 거짓 증거로 나타납니다. 그렇기 때문에이 유형 I 인플레이션 (유형 I 오류의 거의 두 배)을 피해야합니다. 유형 I 오류가 높을수록 과학적으로 입증 된 사실이 더 많다는 것을 암시 합니다. 따라서 사람들은 가족 수준에서 유형 오류를``통제 ''합니다.

$5\%$

동일한 추론으로 여러 팀이 동일한 데이터에서 이러한 테스트를 수행하는 경우에도 마찬가지입니다.

위의 결과는 우리 팀 이 동일한 데이터를 처리하는 경우에만 적용됩니다 . 다른 샘플에서 작업 할 때 다른 점은 무엇입니까?

$\sigma$ $H_0: \mu = 0$ $H_1: \mu \ne 0$ $\alpha=5\%$

$o$ $1.96\sigma$ $-1.96\sigma$

$5\%$ $H_0$ $H_0$ $\mu=0$ $H_0$ $o \not \in [-1.96\sigma;1.96\sigma$ $H_0$

따라서 동일한 데이터를 사용하는 경우 테스트의 결론은``나쁜 기회 ''로 추출한 샘플을 기반으로 할 수 있습니다. 다른 샘플에서는 컨텍스트가 다릅니다.

— 커뮤니티
소스

나는 과학적 증거와 관련하여 "증거"를 사용하는 팬이 아닙니다.

— Alexis

@Alexis : 확실히 영어가 모국어가 아니기 때문에 '증거'와 '증거'가 동의어와 비슷하다고 생각하지만 그렇지 않은 것 같습니다.

제 생각에 공식적인 "증거"는 수학에 속합니다. 또는 덜 공식적으로 법정에 속합니다. 저에게 증거는 과학의 소유가 아닙니다. 왜냐하면 그것은 탐구의 끝과 교리의 시작을 의미하기 때문입니다. 과학은 근본적으로 탐구에 관한 것입니다. 예를 들어 영어 (미국)에서는 반 진화론자들이 "생물학적 진화는 단지 이론이며 과학적으로 입증 되지 않았다"고 말하는 수사 학적 게임이있다 . 물론 속임수는 듣는 사람이 과학이 결코 증명할 수없고 증거 만 제공한다는 사실을 잊게하는 것입니다.

— Alexis