컴퓨팅 파워 고려 사항을 제외하고, 교차 유효성 검사에서 접기 수 를 늘리면 더 나은 모델 선택 / 검증이 가능합니다 (즉, 접기 수가 많을수록 좋습니다)?

극단적 인 주장을 취하면, 일대일 교차 검증은 폴드 교차 검증 보다 더 나은 모델로 이어질 까요?$K$

이 질문에 대한 몇 가지 배경 : 나는 매우 적은 인스턴스 (예 : 10 긍정적 및 10 부정)로 문제를 해결하고 있으며 내 모델이 일반화되지 않거나 너무 적은 데이터로 과적 합할 수도 있습니다.

일반적으로 K-배보다 더 나은 성능으로 이어질하지 않습니다 교차 검증을--하나를두고이 될 가능성이 더 악화 가 상대적으로 높은 분산을 가지고로 (즉, 그 값은 값보다 다양한 데이터 샘플에 대한 더 많은 변경 k 배 교차 검증). 이는 모델 선택 기준에서 성능이 크게 향상되지 않고 특정 데이터 샘플의 랜덤 변동을 악용하는 방식으로 모델 선택 기준을 최적화 할 수 있다는 의미에서 좋지 않습니다. 즉, 과적 합 가능성이 높습니다. 모델 선택 기준. Leave-One-Out 교차 검증이 실제로 사용되는 이유는 많은 모델의 경우 모델 피팅의 부산물로 매우 저렴하게 평가할 수 있기 때문입니다.

계산 비용이 주로 문제가되지 않는 경우 k- 폴드 교차 검증을 반복하는 것이 더 나은 방법입니다. 여기서 k- 폴드 교차 검증 절차는 매번 다른 임의의 파티션으로 k 개의 분리 된 서브 세트로 반복됩니다. 이것은 분산을 줄입니다.

패턴이 20 개만있는 경우 통계 및 기계 학습에서 무시되는 함정 인 모델 선택 기준을 과도하게 맞출 가능성이 큽니다 (매끄러운 플러그 : 주제에 대한 내 논문 참조 ). 상대적으로 간단한 모델을 선택하는 것이 더 나을 수도 있고 매우 적극적으로 최적화하지 않거나, 베이지안 접근 방식을 채택하고 그 모델의 타당성에 따라 모든 모델 선택에 대한 평균을 계산하는 것이 좋습니다. IMHO 최적화는 통계의 모든 악의 근원이므로, 필요하지 않으면 최적화하지 말고 항상주의해서 최적화하는 것이 좋습니다.

또한 모델 선택을 수행하려는 경우 성능 추정이 필요한 경우 중첩 교차 검증과 같은 것을 사용해야합니다 (예 : 모델 선택을 모델 피팅 프로 시저의 필수 부분으로 간주하고 교차 검증) 게다가).

학습 곡선을 고려하여 K 개의 접기 수 선택

$K$

$K$

요약하면, 학습 곡선이 주어진 훈련 세트 크기에서 상당한 기울기를 갖는 경우, 5 배 또는 10 배 교차 검증은 실제 예측 오차를 과대 평가할 것이다. 이 편견이 실제로 단점인지 여부는 목표에 달려 있습니다. 반면에 일대일 교차 검증은 바이어스가 낮지 만 분산이 클 수 있습니다.

장난감 예제를 사용한 직관적 인 시각화

이 주장을 시각적으로 이해하려면 시끄러운 사인 곡선에 4 차 다항식을 피팅하는 다음 장난감 예제를 고려하십시오.

$1 -$$\pm$

논쟁 논의

훈련 크기가 50 개의 관측치로 증가함에 따라 모델의 성능이 크게 향상됩니다. 예를 들어 숫자를 200으로 더 늘리면 작은 이점 만 가져옵니다. 다음 두 가지 경우를 고려하십시오.

1. $5$$K$

2. $50$$5$$K$

[업데이트]-방법론에 대한 의견

이 시뮬레이션에 대한 코드는 여기에서 찾을 수 있습니다 . 접근 방식은 다음과 같습니다.

1. $sin(x) + \epsilon$$\epsilon$
2. $i$$N$
3. $i$
   • $K$
   • K- 폴드에서 평균 평균 제곱 오차 (MSE) 저장
4. $i$$i$$K$
5. $K$$\{ 5,...,N\}$

다른 방법은 반복 할 때마다 새 데이터 세트를 다시 샘플링하지 않고 매번 동일한 데이터 세트를 다시 섞는 것입니다. 이것은 비슷한 결과를주는 것으로 보입니다.