교차 유효성 검사를 모델 / 기능 선택에 사용하려면 교차 유효성 검사 통계를 과적 합하고 성능이 저하 된 모델과 최적화 된 교차 유효성 검사 통계를 끝낼 수 있습니다. 상당히 낙관적 인 성능 추정치가 될 수 있습니다. 이것의 효과는 놀라 울 정도로 클 수 있습니다. 기능 선택 설정에서 이에 대한 예는 Ambroise 및 McLachlan 을 참조 하고 모델 선택 설정에서 예로는 Cawley 및 Talbot 을 참조하십시오.
언급하는 것이 좋지만 CV를 잘못 사용하거나 과도하게 신뢰하는 예이며 방법 자체의 일부 단점은 아니라고 두 번 언급해야합니다.
1
그러나 실제로는 일반적으로 잘못 사용되는 방식이므로 교차 유효성 검사에 대해 배울 때 알고 있어야합니다! 더 많은 교차 유효성 검사가 중첩 된 교차 유효성 검사와 같은 좋은 솔루션 인 경우가 많거나 Stone이 "양쪽 교차"유효성 검사를했을 때 더욱 그렇습니다. 이 문제는 모델을 얻도록 최적화 된 기능 또는 모델 선택 기준에 거의 영향을줍니다. 이런 의미에서 교차 검증에 특별한 것은 없습니다.