일대일 교차 검증은 어떻게 작동합니까? 다른 모델 중에서 최종 모델을 선택하는 방법은 무엇입니까?

데이터가 있고이 데이터로 모델 (선형 회귀 모델)을 만들고 싶습니다. 다음 단계에서는 모델에 LOOCV (Leave-One-Out Cross-Validation)를 적용하여 성능이 어느 정도인지 확인하고 싶습니다.

LOOCV를 올바르게 이해했다면이 샘플 (훈련 세트)을 제외한 모든 샘플을 사용하여 각 샘플 (테스트 세트)에 대해 새 모델을 작성합니다. 그런 다음 모델을 사용하여 테스트 세트를 예측하고 오류 합니다.$(\text{predicted} - \text{actual})$

다음 단계에서는 선택한 함수를 사용하여 생성 된 모든 오류 (예 : 평균 제곱 오류)를 집계합니다. 이 값을 사용하여 모델의 품질 (또는 적합도)을 판단 할 수 있습니다.

질문 : 이 품질-값이 적용되는 모델이 어떤 모델이므로 LOOCV에서 생성 된 지표가 내 사례에 적합한 경우 어떤 모델을 선택해야합니까? LOOCV는 다른 모델을 보았습니다 (여기서 은 샘플 크기 임). 어떤 모델을 선택해야합니까?$n$$n$

• 모든 샘플을 사용하는 모델입니까? 이 모델은 LOOCV 프로세스 중에 계산되지 않았습니다!
• 오류가 가장 적은 모델입니까?

교차 검증은 모델 자체가 아닌 특정 절차에 의해 생성 된 모델의 일반화 성능을 추정하는 방법으로 생각하는 것이 가장 좋습니다. 일대일 교차 검증은 본질적으로 개의 데이터 샘플 에 훈련 된 모델의 일반화 성능의 추정치이며, 일반적으로 샘플 에 훈련 된 모델의 성능에 대한 약간 비관적 인 추정치입니다 .$n-1$$n$

하나의 모델을 선택하는 대신 모델을 모든 데이터에 맞추고 LOO-CV를 사용하여 해당 모델의 성능을 약간 보수적으로 추정해야합니다.

그러나 LOOCV는 분산이 높기 때문에 (다른 임의의 데이터 샘플을 사용하는 경우 얻을 수있는 값이 크게 다름) 성능에 대한 추정기의 선택이 좋지 않은 경우가 종종 있습니다. 모델 선택을 위해 항상 사용하지만 실제로는 저렴하기 때문에 (내가 작업하는 커널 모델에서는 거의 무료입니다).