작은 표본 크기 데이터에 대한 훈련, 교차 검증 및 테스트 세트 크기를 선택하는 방법은 무엇입니까?

샘플 크기가 작고 (예 : N = 100) 두 개의 클래스가 있다고 가정합니다. 머신 러닝을위한 교육, 교차 검증 및 테스트 세트 크기를 어떻게 선택해야합니까?

나는 직관적으로 선택합니다

• 훈련 세트 크기는 50
• 교차 검증 세트 크기 25 및
• 테스트 크기는 25입니다.

그러나 아마도 이것은 다소 의미가 있습니다. 이 값들을 어떻게 결정해야합니까? 다른 옵션을 시도해 볼 수 있습니까 (그렇지 않은 것으로 생각되지만 과도한 학습 가능성이 높아짐)?

수업이 두 개 이상이면 어떻게 되나요?

• 당신은 확실히 매우 비슷한 질문을 발견 : 에 K의 선택 교차 검증을 K-배 ?
  (론 코아 비의 작품 링크 포함)

• 표본 크기가 이미 작은 경우 데이터 중심 최적화를 피하는 것이 좋습니다. 대신 모델 및 응용 프로그램 / 데이터에 대한 지식으로 하이퍼 파라미터를 수정할 수있는 모델로 제한하십시오. 이것은 검증 / 테스트 레벨 중 하나를 불필요하게하여, 남은 교차 검증에서 대리 모델 훈련에 대한 몇 가지 사례를 더 남겨 둡니다.
  IMHO, 당신은 어쨌든 그 샘플 크기를 가진 매우 멋진 모델을 감당할 수 없습니다. 그리고 거의 확실하게 의미있는 모델 비교를 수행 할 여유가 없습니다 (적절한 스코어링 규칙과 쌍으로 된 분석 기법을 사용하지 않는 한 확실하지 않습니다).
  이 결정의 정확한 선택보다 훨씬 더 중요 (예를 들어, 5 배 대 10 배) - 중요한 제외하고 휴가 일 아웃이라고 하지$k$ 일반적으로 권장됩니다.

• 흥미롭게도, 이러한 매우 작은 표본 크기 분류 문제로 인해 적절한 모델 훈련에 비해 검증이 더 어렵습니다 (샘플 크기 요구 측면에서). 이에 대한 문헌이 필요한 경우, 예를 들어 표본 크기 계획에 대한 논문 :
  Beleites, C. 및 Neugebauer, U. 및 Bocklitz, T. and Krafft, C. 및 Popp, J .: 분류 모델의 표본 크기 계획을 참조하십시오. Anal Chim Acta, 2013, 760, 25-33.
  DOI : 10.1016 / j.aca.2012.11.007
  arXiv에 허용되는 원고 : 1211.1323

• 또 다른 중요한 점은 교차 검증 (LOO에 대한 이유 중 하나)을 반복 / 반복 할 수있는 가능성을 잘 활용하는 것입니다.이를 통해 훈련의 교란 (예 : 몇 가지 다른 경우)에 대한 예측의 안정성을 측정 할 수 있습니다. 데이터.

  문학:

  • Beleites, C. & Salzer, R .: 작은 샘플 크기 상황에서 화학량 모델의 ​​안정성 평가 및 개선 Anal Bioanal Chem, 2008, 390, 1261-1271.
    DOI : 10.1007 / s00216-007-1818-6
  • 딕슨, SJ; 하인리히, N .; Holmboe, M .; 쉐퍼, ML; 리드, RR; Trevejo, J. & Brereton, RG : 사전 확률을 세 가지 일반적인 접근 방식으로 통합하여 그룹 크기가 다른 경우 분류 방법 적용 : 시뮬레이션 및 마우스 비뇨기 화학 신호에 적용, Chemom Intell Lab Syst, 2009, 99, 111-120.
    DOI : 10.1016 / j.chemolab.2009.07.016

• 홀드 아웃 테스트 세트에서 단일 실행을 결정하는 경우 (반복 / 반복 없음),

  • 교차 검증으로 수행 할 수있는 대부분의 실수 (잠재적 편견으로 이어질 수 있음)도 홀드 아웃 테스트 세트에서 발생할 수 있습니다.
  • 성능 측정에 대한 결과 신뢰 구간의 너비를 확인하고 결과를 의미있게 해석 할 수 있는지 확인하십시오 (샘플 크기 계획 용지 참조).

표본 크기가 작기 때문에 교차 검증 섹션을 제외하고 60-40 또는 70-30 비율을 사용하는 것이 좋습니다.

Clementine and Data Mining 소개의 2.8 절 과 MSDN Library-Data Mining-Training and Testing Sets 에서 섹션 2.8에서 볼 수 있듯이 70-30 비율이 일반적입니다. Andrew Ng의 머신 러닝 강의에 따르면 60-20-20 비율이 권장됩니다.

도움이 되었기를 바랍니다. 친애하는.