작은 표본 크기로 인해 유형 1 오류가 발생할 수 있습니까?

표본 크기가 작 으면 검정력이 충분하지 않고 유형 2 오류가 발생할 수 있음을 알게되었습니다. 그러나 작은 샘플은 일반적으로 신뢰할 수 없으며 우연히 어떤 종류의 결과로 이어질 수 있다고 생각합니다. 그게 사실입니까?

일반적으로 표본 크기가 작 으면 테스트가 I 형 비율을 제어하도록 구성되어 있기 때문에 I 형 오류율이 증가하지 않습니다 . (불연속 결과와 관련된 사소한 기술적 예외가 있으므로, 특히 작은 표본 크기 에서 공칭 유형 I 비율이 정확하게 달성되지 않을 수 있습니다.)

여기에 중요한 원칙이 있습니다. 테스트에 적합한 크기 (= 공칭 유형 I 비율)와 원하는 효과에 대해 허용되는 힘이 있으면 샘플 크기가 작더라도 괜찮습니다.

위험은 우리가 그렇지 않은 상황에 대해 조금 알고있는 경우이다 - 우리가 "유형 III"오류에 대한 우려 될 수있다 - 어쩌면이 우리가 한 모든 데이터입니다이며, 모델 잘못된 사양입니다. 작은 샘플 세트로는 확인하기 어려울 수 있습니다.

아이디어의 상호 작용에 대한 실질적인 예 로서 , 나는 이야기를 나눌 것입니다. 오래 전에 환경 정화를 확인하기 위해 샘플 크기를 권장하라는 요청을 받았습니다. 이는 데이터를 확보하기 전에 정리 전 단계에있었습니다. 저의 계획 은 오염 물질 농도의 정화 후 평균과 분산을 평가하기 위해 정화하는 동안 얻을 수 있는 1000 개 정도의 샘플을 분석 할 것을 요구 했습니다 (각 위치에서 충분한 토양이 제거되었는지 확인하기 위해). 그런 다음 (매우 단순화하기 위해) 지정된 힘과 테스트 크기에 따라 교과서 수식을 사용하여 정리가 성공적으로 완료되었음을 증명하는 데 사용할 독립적 인 확인 샘플 수를 결정한다고 말했습니다.

이 기억에 남는 것은 정리가 완료된 후 공식이 단지 3 개의 샘플만을 사용한다는 것입니다. 갑자기 내 추천은 그리 믿을만 해 보이지 않았습니다!

샘플이 3 개만 필요한 이유는 정리가 공격적이고 잘 작동했기 때문입니다. 그것은 평균 오염 물질 농도를 약 100ppm으로 줄이거 나 또는 100ppm으로 목표 500ppm보다 일관되게 낮 춥니 다.

결국 이 방법 은 통계적 가정이 실제로이 사이트에 적합하다는 것을 입증하기 위해 1000 개의 이전 샘플 (분석 품질은 낮지 만 측정 오류가 더 높음)을 얻었 기 때문에 효과가있었습니다. 그 유형 III 오류의 가능성을 처리 한 방법입니다.

고려할 사항이 하나 더 있습니다. 규제 기관이 단 3 개의 샘플 만 사용하도록 승인하지 않는다는 것을 알기 때문에 5 개의 측정을 얻는 것이 좋습니다. 이것들은 전체 사이트에서 25 개의 무작위 샘플로 만들어졌으며, 5 개의 그룹으로 합성 되었습니다. 통계적으로 최종 가설 테스트에는 5 개의 숫자 만있을 것입니다. 시료. 이것은 시험에 사용 된 숫자의 수 와 획득 방법 사이의 중요한 관계를 강조합니다 . 숫자가있는 알고리즘보다 통계적 의사 결정에 더 많은 것이 있습니다!

나의 영원한 구호에, 5 개의 복합 값은 정화 목표가 달성되었음을 확인했다.

작은 표본의 또 다른 결과는 유형 2 오류의 증가입니다.

1960 년 논문에서 "논리학의 통계의 장소"라는 논문에서 소량 표본은 일반적으로 점 귀무 가설을 기각하지 못한다는 것을 명백히 보여 주었다. 이 가설은 일부 매개 변수가 0 인 가설이며, 고려한 경험에서 거짓으로 알려져 있습니다.

반대로 p- 값은 표본의 크기에 따라 다르지만 알파 유의 수준은 고정되어 있기 때문에 표본이 너무 크면 유형 1 오류가 증가합니다. 이러한 표본에 대한 검정은 항상 귀무 가설을 기각합니다. 이 문제에 대한 개요를 보려면 Johnson and Douglas (1999)의 "통계적 유의성 검정의 중요성"을 읽으십시오.

이것은 질문에 대한 직접적인 대답은 아니지만 이러한 고려 사항은 보완 적입니다.