t- 검정으로 통계적 유의성을 위해 두 분류기 정확도 결과 비교

통계적으로 유의미한 두 분류기의 정확도를 비교하고 싶습니다. 두 분류기는 모두 동일한 데이터 세트에서 실행됩니다. 이것은 내가 읽은 것에서 하나의 샘플 t- 검정을 사용해야한다고 생각하게합니다 .

예를 들면 다음과 같습니다.

Classifier 1: 51% accuracy
Classifier 2: 64% accuracy
Dataset size: 78,000

이것이 올바른 테스트입니까? 그렇다면 분류기 간의 정확도 차이가 중요한지 어떻게 계산합니까?

아니면 다른 테스트를 사용해야합니까?

분류기를 한 번만 훈련하면 McNemar의 테스트를 선택했을 것입니다 . 데이비드 바버는 오히려 깔끔한 제안 베이지안 테스트 (그것은 또한 자신의에서 언급 한 나에게 오히려 우아한 보이지만 널리 사용되지 않는 책 ).

Peter Flom이 말했듯이 성능과 샘플의 크기의 차이를 보는 것만으로 대답은 거의 확실합니다.

우연히 Japkowicz와 Shah는 "학습 알고리즘 평가 : 분류 관점" 에 대한 최근 책을 읽었지만 읽지 않았지만 이러한 종류의 문제에 대한 유용한 참고 자료처럼 보입니다.

아무 것도 실행하지 않고도 그 차이가 통계적으로 매우 중요하다는 것을 알 수 있습니다. 그것은 IOTT를 통과합니다 (안구 외상 검사-눈 사이에 맞습니다).

그러나 테스트를 원한다면 두 가지 비율의 테스트로 할 수 있습니다. 이는 두 샘플 t- 테스트로 수행 할 수 있습니다.

"정확도"를 구성 요소로 세분 할 수도 있습니다. 민감도와 특이성, 또는 위양성 및 위음성. 많은 응용 프로그램에서 다른 오류의 비용은 상당히 다릅니다.

이 경우 정확도는 정확하게 분류 된 표본 의 비율 이므로 두 비율의 시스템에 관한 가설 검정을 적용 할 수 있습니다.

$\hat p_1$$\hat p_2$$n$$x_1$$x_2$

$\hat p_1 = x_1/n,\quad \hat p_2 = x_2/n$

테스트 통계는

$\displaystyle Z = \frac{\hat p_1 - \hat p_2}{\sqrt{2\hat p(1 -\hat p)/n}}\qquad$ 어디 $\quad\hat p= (x_1+x_2)/2n$

$p_2$$p_1$

• $H_0: p_1 = p_2\quad$ (둘 다 같다는 귀무 가설)
• $H_a: p_1 < p_2\quad$ (새로운 것이 기존의 것보다 낫다고 주장하는 대안 적 가설)

거부 지역은

$Z < -z_\alpha \quad$ (진정 거부하는 경우 $H_0$$H_a$

$z_\alpha$$\alpha$$z_{0.5} = 1.645$$Z < -1.645$$1-\alpha$

참고 문헌 :

1. R. Johnson과 J. Freund, Miller와 Freund의 엔지니어 확률 및 통계, 8th Ed. Prentice Hall International, 2011. (1 차 자료)
2. 가설 간결한 공식 요약 테스트 . ([1]에서 채택)