분류 결과의 중요성을 테스트하는 올바른 방법은 무엇입니까

여러 분류기를 훈련 시키거나 여러 가지 특징 추출 방법을 사용할 수있는 상황이 많이 있습니다. 문헌에서 저자는 종종 데이터의 무작위 분할에 대한 평균 분류 오류 (즉, 이중 중첩 교차 검증 후)를 제공하고 때로는 분할에 대한 오류에 차이를 주기도합니다. 그러나 이것 자체로는 하나의 분류 기가 다른 분류기보다 훨씬 우수하다고 말할 수는 없습니다. Chi-squared 테스트, t-test, post-hoc 테스트 등을 사용하는 ANOVA를 사용하여 이에 대한 많은 다른 접근법을 보았습니다.

통계적 유의성을 결정하기 위해 어떤 방법을 사용해야합니까? 그 질문의 기초는 : 분류 점수의 분포에 대해 어떤 가정을해야합니까?

@jb.의 탁월한 답변 외에도 동일한 테스트 세트에서 McNemar의 테스트를 사용하여 한 분류 기가 다른 분류기보다 훨씬 우수한지 확인할 수 있다고 덧붙 입니다. 이것은 분류 문제 (McNemar의 원래 작업이 "이 분적 특성"이라고 부름)에 대해서만 작동합니다. 즉, 분류자가 중간에 공간이 없어도 옳고 그름을 얻습니다.

분류 오류의 분포는 이진 분포이므로 (분류가 잘못되었거나 없음) --- Chi-squared를 사용하는 것이 합리적이지 않다고 말하고 싶습니다.

또한 동일한 데이터 세트에서 작동하는 분류기의 효율성을 비교하는 것만으로도 합리적입니다 --- '무료 점심 정리 없음'은 모든 모델이 모든 데이터 세트에 대해 동일한 평균 효율을 가지므로 어떤 모델이 더 잘 나타날지에 따라 어떤 데이터 세트가 무엇인지에 따라 달라집니다 그들을 훈련하도록 선택 http://en.wikipedia.org/wiki/No_free_lunch_in_search_and_optimization .

데이터 집합 D에 대해 모델 A와 B의 효율성을 비교하는 경우 평균 효율성 + 평균이 선택하기에 충분하다고 생각합니다.

또한 공진 가능한 효율을 가지고 있고 서로 독립적 인 모델이 많은 경우에는 최고의 모델을 선택하는 것보다 앙상블 모델을 만드는 것이 좋습니다.

Tom Dietterich의 논문 인 "감독 분류 학습 알고리즘 비교를위한 대략적인 통계 테스트"를 추천합니다. : 여기 CiteSeer의 용지의 프로필입니다 http://citeseer.ist.psu.edu/viewdoc/summary?doi=10.1.1.37.3325은 . 요약 : "이 논문은 한 학습 알고리즘이 특정 학습 작업에서 다른 학습 알고리즘보다 성능이 우수한지 여부를 결정하기위한 5 가지 대략적인 통계 테스트를 검토합니다.이 테스트는 실험적으로 비교하여 차이가 없을 때 차이를 잘못 감지 할 확률을 결정합니다 (유형 I 오류). ...) McNemar의 테스트에서 제 1 종 오류가 낮은 것으로 나타났습니다. ... "

IMHO는 점수 분포와 다른 유형의 데이터 분포간에 차이가 없어야합니다. 그래서 기본적으로 체크해야하는 것은 데이터가 정규 분포 또는 표시 여부입니다 여기 . 또한이 질문을 철저히 다루는 훌륭한 책들이 있습니다 (즉, 두 분류기의 결과가 크게 다른지 여부를 테스트합니다.

모든 상황에 적합한 단일 테스트는 없습니다. 2011 년 Cambridge University Press의 Nathalie Japkowicz와 Mohak Shah의 "학습 알고리즘 평가"책을 추천 할 수 있습니다.이 주제에 대해 약 400 페이지의 책을 쓸 수 있다는 사실은 직접적인 문제가 아니라는 것을 암시합니다. 나는 종종 내 연구의 요구에 맞는 테스트가 없다는 것을 알았으므로 결국 사용되는 방법의 장단점을 잘 파악하는 것이 중요합니다.

일반적인 문제는 큰 데이터 세트의 경우 실질적으로 중요하지 않은 효과 크기로 통계적으로 유의 한 차이를 얻을 수 있다는 것입니다.