빈번한 가설 검정이 충분히 큰 표본으로 귀무 가설을 기각하는 방향으로 편향되는 이유는 무엇입니까?

이 구절을 우연히 발견했을 때 완전히 관련이없는 문제에 대해 Bayes 요소에 대한 이 기사 를 읽었습니다.

베이지안 형태는 모델 선택 편향을 피하고 귀무 가설을지지하는 증거를 평가하며 모델 불확실성을 포함하며 중첩되지 않은 모델을 비교할 수 있기 때문에 베이 즈 요인을 사용한 가설 검정은 잦은 가설 검정보다 강력합니다. 동일한 종속 변수가 있음). 또한 빈번한 유의성 검정은 표본 크기가 충분히 큰 귀무 가설을 기각하기 위해 편향됩니다. [강조 추가]

나는 Karl Friston의 2012 년 NeuroImage 논문 에서이 주장 을 보았는데 , 여기서 그는 고전적 추론 의 오류 라고 불렀다 .

왜 이것이 사실이어야하는지에 대한 진정으로 교육적인 설명을 찾는 데 약간의 어려움이있었습니다. 특히 궁금합니다.

1. 왜 이런 일이
2. 그것을 막는 방법
3. 실패, 그것을 감지하는 방법

질문 1에 대한 답 : 이것은 실제 차이가 정확히 0 일 때 차이에 대한 빈번한 검정 (예 : 차이가없는 귀무 가설 / 일부 형태의 검정)에서 표본 크기가 증가함에 따라 값이 임의로 작아지기 때문에 발생 합니다 . 0에 가까운 중재에 반대하는 것은 현실적이지 않다 (닉 스타이너의 OP에 대한 주석 참조). 빈도주의 시험 통계의 에러는 일반적으로 그 결론적으로, 시료의 크기에 따라 감소하기 때문에 -value 임의로 작아 져 있는 모든 차이점은 충분히 큰 샘플 크기와 임의의 레벨에 중요하다 . Cosma Shalizi는 이것에 대해 단호하게 글을 썼습니다 .$p$$p$

질문에 대한 대답 2 : 빈번한 가정 테스트 프레임 워크 내에서 차이를 감지하는 것에 대해서만 추론 을 하지 않음 으로써이를 방지 할 수 있습니다 . 예를 들어, 하나는 할 수 있습니다 결합 에 대한 추론 차이 와 동등 하나는 선호되지 않도록 (또는 가미하여!)를 입증 책임을에 효과의 증거 대 효과의 부재의 증거 . 효과가 없다는 증거는 다음과 같습니다.

1. 동등성 (TOST)에 대한 두 가지 일방적 검정
2. 동등성 에 대해 균일하고 가장 강력한 테스트
3. 동등성에 대한 신뢰 구간 접근 합니다 (있는 경우 즉, % CI 검정 통계량은 내 사전 동등성 / 관련성 -defined 범위, 다음 하나가에서 동등한 결론 중요성 수준).$1-2\alpha$$\alpha$

이러한 접근 방식이 모두 공유 하는 것은 어떤 효과 크기가 관련 차이를 구성하는지에 대한 선험적 인 결정 이며, 적어도 관련이있는 것으로 간주되는 것 보다 큰 차이 로 틀린 귀무 가설 입니다.

등가 대한 차이를 시험 및 시험에서 결합 추론 따라서 샘플 크기는이 방법 (2 × 개의 테이블, H 차분 실증 귀무 가설에 대한 결합 실험에 의한 네 개의 가능성을 나타내는 크며 때 설명 바이어스 방지 및 동등성) 부정적 귀무 가설, H )$_{0}^{+}$$_{0}^{-}$

타파 테스트가 하나입니다 사분면에 주목 예는 당신이 더 차이의 귀무 가설을 거부,하지만 당신은 또한 그래서 네 차이가있어, 관련 차이의 귀무 가설을 거부하지만, 당신은 선험적가 당신에 대해 걱정하지 않는다 않기로 결정 너무 작아서

질문 3에 대한 답변 : 2에 대한 답변을 참조하십시오.

큰 표본을 사용한 빈번한 검정은 귀무 가설이 참이면 귀무 가설을 기각하는 데 치우친 편향을 나타내지 않습니다. 검정 가정이 유효하고 귀무 가설이 참이면 큰 표본이 ​​작은 표본보다 귀무 가설을 기각 할 위험이 더 이상 없습니다. 만약 널이 참이 아니라면 우리는 그것을 기꺼이 거절 할 것이기 때문에, 큰 샘플이 작은 샘플보다 거짓 널을 더 자주 거부한다는 사실은 '바이어스'가 아니라 적절한 행동입니다.

'과도한 실험'에 대한 두려움은 귀무 가설이 거의 사실 일 때 귀무 가설을 기각하는 것이 좋지 않다는 가정에 기초합니다. 그러나 그것이 거의 사실이라면 실제로 거짓입니다! 거부하지만, 관찰 된 효과 크기를 알아 차리고 명확하게보고하지 마십시오. 사소하게 작기 때문에 진지하게 고려할 가치는 없지만, 가설 검정 외부의 정보를 고려한 후에 그 문제에 대한 결정을 내려야합니다.