일반화 성능 분포 비교

분류 문제에 대해 두 가지 학습 방법 와 가 있으며 반복적 인 교차 유효성 검사 또는 부트 스트랩과 같은 일반화 성능을 추정한다고 가정하십시오. 이 과정에서 나는 이러한 반복에서 각 방법에 대한 점수 와 의 분포를 얻 (예 : 각 모델에 대한 ROC AUC 값의 분포).$A$$B$ $P_A$$P_B$

이러한 분포를 보면 있지만 (즉, 의 예상 일반화 성능 이 보다 높지만 이 추정에 대한 불확실성이 더 있습니다).$\mu_A \ge \mu_B$$\sigma_A \ge \sigma_B$$A$$B$

이것이 회귀 분석 의 편향-분산 딜레마 라고 생각합니다 .

와 를 비교 하고 어떤 모델을 사용 대한 정확한 결정을 내리기 위해 어떤 수학적 방법 을 사용할 수 있습니까?$P_A$$P_B$

참고 : 간단하게하기 위해 여기서는 두 가지 방법 와 언급하고 있지만 ~ 1000 개의 학습 방법의 점수 분포 (예 : 그리드 검색)를 비교하는 데 사용할 수있는 방법에 관심이 있습니다. 사용할 모델에 대한 최종 결정.$A$$B$

두 가지 방법 인 A와 B 만있는 경우, 임의의 훈련 / 테스트 파티션에 대해 모델 A의 오류 (일부 적합한 성능 메트릭에 따라)가 모델 B의 오류보다 낮을 확률을 계산합니다. 0.5보다 크면 모델 A를 선택하고 그렇지 않으면 모델 B를 선택했습니다 (Mann-Whitney U 테스트 참조?). 그러나 성능 통계의 분포가 매우 중요하지 않으면 평균이 더 낮은 모델을 선택하게 될 것입니다. -대칭.

반면 그리드 검색의 경우 실제로 다른 방법을 비교하는 것이 아니라 유한 데이터 샘플에 맞게 동일한 모델의 (하이퍼) 매개 변수를 튜닝하는 경우 상황이 약간 다릅니다 (이 경우 크로스를 통해 간접적으로) -확인). 나는 이런 종류의 튜닝이 과적 합하기 쉽다는 것을 발견했다.

Gavin C. Cawley, Nicola LC Talbot, "성능 평가에서 모델 선택 및 후속 선택 바이어스에 과적 합", 기계 학습 연구 저널, 11 (Jul) : 2079-2107, 2010. ( www )

모델 선택 기준을 과도하게 맞추지 않기 위해 커널 머신 (예 : SVM)에 대해 비교적 거친 그리드를 사용하는 것이 가장 좋습니다. 또 다른 접근법 (내가 조사하지 않았으므로주의를 기울이십시오!)은 그리드 검색에서 발견 된 최상의 모델보다 통계적으로 열등하지 않은 가장 높은 오류가있는 모델을 선택하는 것입니다 (특히 비관적 인 접근 방식 일 수 있지만) 작은 데이터 세트의 경우).

그러나 실제 솔루션은 그리드 검색을 사용하여 매개 변수를 최적화하는 것이 아니라 베이지안 접근 방식이나 앙상블 방법으로 매개 변수 값을 평균화하는 것입니다. 최적화하지 않으면 과도하게 맞추기가 더 어렵습니다!