모델 선택 후 교차 검증 (오류 일반화)

참고 : 사례는 n >> p입니다.

통계 학습의 요소를 읽고 있으며 교차 검증을 수행하는 "올바른"방법에 대한 다양한 언급이 있습니다 (예 : 60 페이지, 245 페이지). 특히, 내 질문은 모델 검색이있을 때 k- 폴드 CV 또는 부트 스트랩을 사용하여 (별도의 테스트 세트없이) 최종 모델을 평가하는 방법입니다. 대부분의 경우 (내장 기능 선택이없는 ML 알고리즘)이있는 것 같습니다

1. 기능 선택 단계
2. 메타 매개 변수 선택 단계 (예 : SVM의 비용 매개 변수)

내 질문 :

1. 전체 교육 세트에서 기능 선택을 수행하고 따로 보관하는 기능 선택 단계를 수행 할 수 있음을 확인했습니다. 그런 다음 k- 폴드 CV를 사용하여 특징 선택 알고리즘이 각 접기에서 사용되며 (매번 선택할 수있는 다른 특징을 얻음) 오류는 평균화됩니다. 그런 다음 모든 데이터 (제외 설정)를 사용하여 선택한 기능을 사용하여 최종 모드를 학습하지만 교차 검증의 오류를 향후 모델의 성능 추정값으로 사용합니다. 이 올바른지?
2. 교차 검증을 사용하여 모델 매개 변수를 선택할 때 나중에 모델 성능을 추정하는 방법 위의 1 단계와 같은 절차는 54 페이지 ( pdf ) 또는 다른 것과 같이 필요한 CV를 사용해야 합니까?
3. 두 단계 (기능 및 매개 변수 설정)를 수행 할 때 어떻게해야합니까? 복잡한 중첩 루프?
4. 별도의 홀드 아웃 샘플이있는 경우 우려가 사라지고 교차 검증을 사용하여 기능 및 매개 변수를 선택할 수 있습니다 (성능 추정치가 홀드 아웃 세트에서 나올 것이므로 걱정하지 않아도 됨)?

기억해야 할 중요한 점은 교차 검증이 (거의) 편견없는 성능 추정치를 제공하기 위해 모델 피팅에 관련된 모든 단계가 교차 검증 절차의 각 접힘에서 독립적으로 수행되어야한다는 것입니다. 가장 좋은 방법은 피처 선택, 메타 / 하이퍼 파라미터 설정을보고 모델 피팅의 필수 부분으로 매개 변수를 최적화하고 다른 두 단계를 수행하지 않고는이 단계 중 하나를 수행하지 않는 것입니다.

Cawley와 Talbot에 의해 입증 된 바와 같이, 그 레시피를 벗어나서 도입 될 수있는 낙관적 편향은 놀라 울 정도로 클 수 있는데, 명백한 이탈에 의해 도입 된 편향은 경쟁하는 분류기들 사이의 성능 차이보다 더 크다. 여전히 나쁜 편향 프로토콜은 하이퍼 파라미터의 튜닝에 더 민감하고 모델 선택 기준을 과도하게 맞추기 쉽기 때문에 나쁜 모델을 가장 선호합니다!

특정 질문에 대한 답변 :

기능 선택은 각 접기마다 개별적으로 수행되므로 1 단계의 절차가 유효하므로 교차 검증하는 것은 최종 모델에 맞는 전체 절차입니다. 교차 검증 추정치는 각 접힘에 대한 데이터 세트가 최종 모델에 사용 된 전체 데이터 세트보다 약간 작기 때문에 약간 비관적 인 편향을 갖습니다.

2의 경우 교차 검증이 모델 매개 변수를 선택하는 데 사용되므로 성능 추정에 사용 된 교차 검증의 각 접힘에서 독립적으로 해당 절차를 반복해야하므로 중첩 된 교차 검증이됩니다.

3의 경우 본질적으로 중첩 중첩 교차 검증을 수행해야합니다. 기본적으로 최종 모델에 맞추기 위해 수행하려는 모든 외부 교차 검증 (성능 추정에 사용)의 각 접기마다 반복해야합니다 .

4-예, 별도의 홀드 아웃 세트가있는 경우 추가 교차 검증없이 편견없는 성능 추정치를 제공합니다.

수집하는 데 수백만 달러가 소요되는 데이터 세트에 대해 광범위한 교차 검증 분석을 수행했으며 사용 가능한 외부 유효성 검사 세트가 없습니다. 이 경우, 유효성을 보장하기 위해 광범위한 중첩 교차 검증을 수행했습니다. 각 트레이닝 세트에서만 기능과 최적화 된 파라미터를 선택했습니다. 큰 데이터 세트의 경우 계산 비용이 많이 들지만 유효성을 유지하기 위해해야했습니다. 그러나 여기에는 복잡한 문제가 있습니다. 예를 들어, 각 트레이닝 세트마다 다른 기능이 선택됩니다.

따라서 제 대답은 외부 데이터 세트에 액세스 할 수없는 경우 합리적인 방법입니다. 외부 데이터 세트가있는 경우 기본 데이터 세트에서 원하는대로 이동하여 외부 데이터 세트에서 한 번 테스트 할 수 있습니다.