아시다시피, K-fold 및 random subsampling이라는 두 가지 널리 사용되는 교차 유효성 검사 유형이 있습니다 ( Wikipedia에 설명되어 있음 ). 그럼에도 불구하고, 일부 연구자들은 K- 폴드 CV로 묘사 된 것이 실제로 임의의 서브 샘플링 논문 인 논문을 만들고 출판한다는 것을 알고 있습니다.
물론 그 차이는 눈에 띄지 않으며 내 질문도 있습니다. 한 유형의 결과가 다른 유형과 크게 다른 경우의 예를 생각할 수 있습니까?
답변:
다른 예제를 학습하기 때문에 단순히 다른 결과를 얻을 수 있습니다. 두 결과가 예측 가능한 방식으로 다른 알고리즘이나 문제 영역이 있다는 것을 의심합니다.
물론 차이는 눈에 띄지 않으며 내 질문도 있습니다. 한 유형의 결과가 다른 유형과 크게 다른 경우의 예를 생각할 수 있습니까?
나는 그 차이가 눈에 띄지 않으며, 특별한 예에서만 눈에 띄게 될 것이라고 확신하지 못한다. 교차 검증 및 부트 스트랩 (서브 샘플링) 방법은 설계 매개 변수에 결정적으로 의존하며, 이러한 이해는 아직 완전하지 않습니다. 일반적으로 k- 폴드 교차 검증 내의 결과 는 폴드 수에 결정적으로 의존하므로 서브 샘플링에서 관찰 한 결과와 항상 다른 결과를 기대할 수 있습니다.
적절한 예 : 고정 된 수의 매개 변수를 가진 실제 선형 모델이 있다고 가정하십시오. k- 폴드 교차 검증 (주어진 고정 k로)을 사용하고 관측치 수가 무한대가되도록하면 k- 폴드 교차 검증은 모형 선택에 대해 무조건적으로 일치하지 않습니다. 즉, 잘못된 모형을 식별합니다. 이 놀라운 결과는 Jun Shao, "Cross-Validation에 의한 선형 모델 선택", Journal of the American Statistical Association , 88 , 486-494 (1993) 때문이지만이 논문에서 더 많은 논문을 찾을 수 있습니다.
일반적으로, 적절한 통계 논문은 결과가 변하지 않기 때문에 교차 검증 프로토콜을 지정합니다. 대규모 데이터 세트에 대해 많은 수의 접기를 선택하는 경우 모델 선택시 바이어스를 설명하고 수정하려고합니다.