비공식 / 시각적“다중 비교”에 대해 다중 비교 수정이 필요합니까?

다중 비교 수정이 필요한 시점에 대한 일종의 철학적 질문이 있습니다.

연속적인 시변 신호 (불연속 시점)를 측정하고 있습니다. 때때로 별도의 이벤트가 발생하며 이러한 이벤트가 측정 된 신호에 중요한 영향을 미치는지 확인하고 싶습니다.

따라서 이벤트를 따르는 평균 신호를 사용할 수 있으며 일반적으로 특정 피크에서 어떤 영향을 볼 수 있습니다. 해당 피크 시간을 선택하고 이벤트가 발생하지 않을 때와 비교하여 중요한지 확인하기 위해 t- 검정을 말하면 다중 비교 수정을 수행해야합니까?

비록 한 번의 t- 테스트 (계산 된 1 값) 만 수행했지만, 최초의 육안 검사에서 나는 15 개의 다른 포스트 지연 시점에서 가장 큰 잠재적 효과를 가진 것을 선택했습니다. 내가 수행하지 않은 15 가지 테스트에 대해 다중 비교 수정을 수행해야합니까?

육안 검사를 사용하지 않았지만 각 이벤트에서 테스트가 지연되고 가장 높은 테스트를 선택한 경우 반드시 수정해야합니다. '최고의 지연'선택이 시험 자체 이외의 다른 기준에 의해 수행되는지 (예 : 시각적 선택, 최고 평균 등) 필요한지 여부에 대해 약간 혼란 스럽습니다.

기술적으로 테스트를 수행 할 위치를 시각적으로 사전 선택하는 경우 이미 수정해야합니다. 눈과 뇌는 이미 데이터의 일부 불확실성을 우회하여 해당 시점에서 단순히 테스트를 수행 할 경우 고려하지 않습니다. .

'피크'가 실제로 고원이라고 가정하고 '피크'차이를 손으로 선택한 다음 테스트를 실행하면 거의 의미가 없습니다. 테스트를 왼쪽이나 오른쪽으로 약간 더 실행하면 결과가 변경 될 수 있습니다. 이런 식으로 사전 선택 과정을 고려해야합니다. 당신은되어 사용 그래서 당신은 효과적으로 두 번 같은 정보를 사용하고, 선택을하기 위해 데이터를.

물론 실제로는 손으로 따는 과정과 같은 것을 설명하기가 매우 어렵지만 그렇다고해서는 안된다는 의미는 아닙니다.

결론 : 비교를 선택한 방법에 관계없이 여러 비교를 수행하는 경우 항상 여러 비교를 수정 해야합니다 . 데이터 를 보기 전에 선택하지 않은 경우 추가로 수정해야합니다.

참고 : 수동 사전 선택을 수정하는 대안 (예 : 실제로 불가능한 경우)에는 수동 선택에 대한 참조가 포함되도록 결과를 명시하는 것입니다. 그러나 그것은 '재생 가능한 연구'가 아닙니다.

오래 전에, 나의 첫 번째 통계 수업 중 하나에서 나는 이것에 대해 "합리적인 사람들이 다를 수있는 것에 대한 질문이다"라는 텍스트로 읽었습니다.

누구든지 여러 비교를 수정하거나 수정해야하는 기간이나 비교 세트에 대해 수정해야한다고 명확하지 않습니다. 각 기사? 각 회귀 또는 분산 분석? 그들이 주제에 관해 출판 한 모든 것? 다른 사람들이 출판 한 내용은 어떻습니까?

첫 줄에 글을 쓰면 철학적입니다.

현실에 대한 일회성 결정을 시도하고 귀무 가설을 허위로 기각하는 비율을 제어하려는 경우 귀무 가설 유의성 테스트 (NHST)를 사용하고 다중 비교에 대한 정정을 사용하려고합니다. 그러나 Peter Flom이 그의 답변에서 언급 한 것처럼, 보정을 적용 할 비교 세트를 정의하는 방법은 확실하지 않습니다. 가장 쉬운 방법은 주어진 데이터 세트에 적용된 비교 세트이며 가장 일반적인 방법입니다.

그러나 과학은 일회성 결정이 필요하지 않고 실제로는 증거 축적의 효율성을 낮추는 데 도움이되는 누적 시스템으로 생각할 수있다. 따라서 통계적 분석에 대한 과학적인 접근 방식을 따르고 가능성 비율과 같은 도구 (예 : 베이지안 접근 방식)에 대한 NHST를 피하면 다중 비교의 "문제"가 사라집니다.

질문에 따라 수정의 가능한 대안은 p- 값의 합의 중요성을 테스트하는 것입니다. 그런 다음 높은 p- 값을 추가하여 수행되지 않은 테스트에 대해 스스로에게 불이익을 줄 수도 있습니다.

Fisher의 방법 (테스트 독립성이 필요함)의 확장 (독립성이 필요하지 않음)을 사용할 수 있습니다.

예 : 코스 스트의 방법

기억해야 할 한 가지 중요한 점은 다중 테스트 수정은 독립적 인 테스트를 가정한다는 것입니다. 분석 데이터가 독립적이지 않은 경우, 수행 된 테스트 수를 단순히 수정하는 것보다 조금 더 복잡해집니다. 분석 할 데이터 간의 상관 관계를 고려해야합니다. 그렇지 않으면 수정이 너무 보수적 일 수 있습니다. II 형 오류율이 높습니다. 교차 유효성 검사, 순열 테스트 또는 부트 스트랩은 올바르게 사용하면 여러 비교를 처리하는 효과적인 방법이 될 수 있습니다. 다른 사람들은 FDR 사용에 대해 언급했지만 데이터에 null이없는 모든 테스트에서 p- 값이 균일하다고 가정하여 데이터에 독립적이지 않은 것이 많으면 잘못된 결과를 초래할 수 있습니다.