여러 비교가 "계획된"경우에도 여러 비교를 수정해야합니까?

20

> 15 개 이상의 2x2 Chi Square 테스트를 수행 한 논문을 검토하고 있습니다. 여러 비교를 수정해야한다고 제안했지만 모든 비교가 계획되었다고 대답했기 때문에 이것이 필요하지 않습니다.

나는 이것이 정확하지 않아야한다고 생각하지만 이것이 사실인지 명시 적으로 명시하는 어떤 자원도 찾을 수 없다고 생각합니다.

누구든지 이것을 도울 수 있습니까?

최신 정보:

매우 유용한 답변에 감사드립니다. 연구 및 분석에 대한 추가 정보에 대한 @gung의 요청에 따라, 그들은 3 가지 기간에 걸쳐 두 가지 조건에서 두 가지 유형의 참가자 (학생, 비 학생)에 대한 카운트 데이터를 비교하고 있습니다. 여러 개의 2x2 Chi Square 테스트는 각 유형의 참가자에 대해 각 조건에서 각 기간을 비교하므로 (예 : 학생, 조건 1, 기간 1 대 기간 2와 같은 의미가있는 경우) 모든 분석에서 동일한 가설을 검정합니다. .

hypothesis-testing multiple-comparisons

— DrJay
소스

2

여러 비교를 수행하는 많은 사람들은 그들 모두를 선험적 으로 할 계획 입니다. 전체 유형 I 오류율을 제어하려고하기 때문에 수행합니다. 경우에 따라 여러 비교를 수정하지 않는 것이 합리적 일 수 있지만 처음부터 모든 작업을 수행하는 계획만으로는 문제가되지 않습니다.

— Glen_b-복지 모니카

3

연구, 데이터 및 분석에 대해 조금 더 말할 수 있습니까? > 15가 가능한 모든 비교에 해당합니까, 아니면 작은 %입니까? 그들이 얼마나 많은 데이터를 가지고 있습니까? 가설이 모두 선험적 이었다는 것이 얼마나 그럴듯합니까? 모두 중요합니까? 카이 제곱 테스트는 서로 독립적입니까? @peuhp의 답변에서 제기 된 질문 중 일부를 고려하십시오.

— gung-Monica Monica 복원

4

"그들"은 중요한 결과를 찾는 데 관심이 있기 때문에 그들의 반응은 자기 서빙입니다. 그러므로 그들의 접근 방식이 합법적이라는 것을 보여주기보다는 오히려 합법적 인 이유를 설명해야하는 부담이 있습니다. 여러 비교 수정이 무시 될 수 있음을 보여 주려는 시도는 문서 전체의 오 탐지율을 고려하자마자 실패 할 것이므로 "그들은"그 문제에 대한 모든 고려를 피하거나 (그리하여) 그 이유에 대한 좋은 주장을 제공해야합니다. 그들의 의도 된 청중에 대한 걱정은 없습니다.

— whuber

1

나는 이 XKCD 스트립에 대한 링크로 응답하고 싶을 것입니다 (이것은 완전히 계획된 여러 테스트를 포함합니다 ...).

— Ilmari Karonen

21

이것은 IMHO 복잡한 문제이며이 상황에 대해 세 가지 의견을 말하고 싶습니다.

첫째, 일반적으로, 나는 논증 적 맥락에서 정의 된 잘 구성된 가설 세트로 확증 연구에 직면 할 것인지 또는 계획 가능성 여부보다 많은 지표가 관찰되는 설명 연구에 더 중점을 둘 것입니다. 가능한 모든 비교를 계획하십시오).

둘째, 결과 p- 값이 어떻게 논의되는지에 초점을 맞출 것입니다. 그것들은 개별적으로 일련의 결정적인 결론을 내리는 데 사용됩니까, 아니면 증거와 증거 부족으로 함께 논의됩니까?

마지막으로,> 15 개의 개별 카이 제곱 검정으로 인한> 15 가설이 실제로 요약 될 수있는 단일 가설 (단일 단일 가설)의 표현 일 가능성에 대해 논의하겠습니다.

보다 일반적으로 가설의 사전 지정 여부에 관계없이 여러 비교를 수정하거나 수정하지 않으면 유형 I 오류에 포함시키는 것이 중요합니다. MC를 수정하지 않으면 비교 유형 I 별 오류율 제어 만 유지합니다. 따라서 수많은 비교의 경우, 가족 수준의 제 1 종 오류율이 높으므로 더 잘못된 발견이 발생하기 쉽습니다.

— 푸프
소스

8

(+1) 실험적인 오류율은 계획된 15 개의 개별 비교에 의해 제어되지 않는다는 것을 설명 할 가치가있다. 다른 한편으로, 프로토콜에서 예상되지 않은 15 가지 이상의 가능한 비교는 다중 비교 보정에서 고려 될 필요가 없다.

— Scortchi-Monica Monica 복원

@Scortchi 입력 해 주셔서 감사하지만 "실험 별 오류율은 15 개의 개별 비교 계획에 의해 제어되지 않습니다"는 무슨 의미인지 이해하지 못합니까?

— peuhp

1

그냥 기본 포인트가 있다면 당신은 당신이 다중 비교 절차를 사용해야 할 모든 테스트에서 하나 이상의 유형 I 오류를 만드는 널에서 확률을 제어하려는. 나는 단지 그 문제에 대해 혼란을 겪었 기 때문에 언급 만합니다.

— Scortchi-Monica Monica 복원

2

이 동일한 문제가 최근 스레드에서 발생했습니다 . 다중 비교의 사후 응용 프로그램 .

— Michael R. Chernick

1

@Scortchi. 이 설명과 입력에 감사드립니다. 이것은 실제로 내 대답에 명확하게 명시되어야합니다. 이것을 추가합니다.

— peuhp

5

디자인에 대한 업데이트가 주어지면 모든 데이터를 한 번에 사용하기 위해 어떤 형태의 로그 선형 모델을 제안하는 것이 좋습니다. 그들이 수행 한 단편 식사 분석을 수행하는 것은 실제 가설이 확실히 적은 15 개의 가설을 검정 할 때 비효율적이다.

나는 조건부 반사로 다중성을 수정하는 팬이 아니지만이 경우 더 깊은 분석 접근법을 거부하면 올바른 것으로 제안합니다.

— mdewey
소스

1

k

$k$

15

$15$

1

χ^{2}

$\chi^2$

4

'계획된'을 '예비'라는 단어로 대체하면 저자가 제공 한 주장을 없애는 데 도움이 될 수 있습니다. 동일한 데이터에 대한 두 가지 다른 통계 분석을 고려하십시오.

가능한 모든 가설 테스트가 '통계적 범죄 대가'에 의해 사전에 조합 적으로 배치되는 '사전 범죄'로, 각 시스템을 체계적으로 시도하고 '핵심 조사 결과'로 가장 작은 p- 값으로 테스트를 선택하는 계획 논문의 결과, 토론 및 결론 섹션에서 홍보하고 실제로 제목도 포함합니다.
초기 의도가 단순히 하나의 가설로 데이터에 대면하는 것이었지만 "잘 ... 하나는 다른 것으로 이어진다"는 여러 가지 임시 가설 검정은 과학적 열정의 열기 속에서 데이터에서 "뭔가 ... 무엇이든! " 을 배우십시오 .

어느 쪽이든, 그것은 '살인'입니다. 문제는 그것이 1 도인 지 2 도인 지입니다. 분명히 첫 번째는 도덕적으로 더 문제가 많습니다. 마치 여기의 저자들이 미리 계획되어 있기 때문에 살인되지 않은 효과에 대해 무언가를 주장하려는 것처럼 들립니다.

— 데이비드시 노리스
소스

4

그러나 여러 번 비교하는 것은 범죄가 아니거나 미리 계획된 것이 아닙니다. P 사냥은

— Cliff AB

1

이 백서는 귀하의 질문에 직접적으로 답변합니다 : http://jrp.icaap.org/index.php/jrp/article/view/514/417

(Frane, AV, "계획된 가설 검정은 다중도 조정에서 반드시 면제되지 않음", Journal of Research Practice, 2015)

— 본 페로 니
소스