홀드 아웃 세트를 만드는 가장 적절한 방법은 무엇입니까? 일부 주제를 제거하거나 각 주제에서 관찰을 제거하는 방법은 무엇입니까?

26 개의 기능과 31000 개의 행이있는 데이터 집합이 있습니다. 38 명의 피험자 데이터 세트입니다. 생체 인식 시스템입니다. 그래서 나는 주제를 식별하고 싶습니다.

테스트 세트를 사용하려면 일부 값을 제거해야한다는 것을 알고 있습니다.

그래서 무엇을 더 잘하고 왜?

1. (a) 30 명을 훈련 세트로 유지하고 8 명을 시험 세트로 제거

2. (b) 38 명의 피험자를 유지하지만 각각의 열을 제거하십시오. 결국 저는 38 개 과목의 24800 행과 38 개 과목의 6200 행의 훈련 세트로 끝납니다.

Matthew Gunn의 대답은 맞다고 생각하지만 "기록적인"CV는 두 가지 다른 개념을 다룰 수 있습니다.

1. 레코드는 주제 나 시간에 관계없이 무작위로 폴드로 분할됩니다.

2. 레코드는 시간 기반 접기로 분할되며, 테스트 접기가 시작된 후의 데이터를 포함하는 훈련에는 접기가 사용되지 않습니다.

첫 번째 경우 훈련 세트에 테스트 세트 전후의 데이터가 포함될 수 있기 때문에 데이터의 시계열 특성이 손상됩니다. Train / Test의 원칙은 Training 데이터는 현재 알려진 데이터를 나타내고 Test 데이터는 아직 보이지 않는 데이터를 나타냅니다 (아마도 미래부터).

시계열 자기 상관은 옵션 # 2를 손상시킬 수 있습니다. 아마도 모델의 시간 요소는 실제로 중요하지 않으므로 "과거"와 "미래"관측치가 동일 할 것입니다. 이 경우 # 1 또는 # 2가 방법입니다.

계절성 만 있고 트렌드가 아닌 경우, 새로운 과목 (같은 계절성에 영향을받는)을 예측하기 위해 일부 과목에 대한 훈련에 "미래"를 포함시키는 것이 좋습니다. 트렌드가있는 경우 미래에 대한 교육을 통해 프로덕션에서 모델을 사용할 때 실제로 알지 못하는 미래에 대해 알아볼 수 있습니다.

OP의 예에서는 주제별로 좋은 것처럼 들립니다. 그러나 트렌드와 시계열 문제가 모델의 일부인 경우 주제 및 시간 기반 분할을 사용하여 특정 시점 이전에 한 주제 세트를 학습 한 다음 다른 주제를 테스트합니다. 그 특정 시점.

중요한 차이는 당신이 원하는 여부 :

1. [가장 일반적인 경우] : 데이터와 동일한 인구에서 추출한 새로운 주제에 대한 예상 성능을 구성합니다.
2. 표본에서 와 동일한 주제 에서 새로운 관측치에 대한 성과 추정치를 구성합니다 .

가장 일반적인 경우는 사례 번호 (1)입니다. 예를 들어, 응급실로 들어오는 사람의 심장 마비를 얼마나 잘 예측합니까? 그리고 만약 당신이 (1)의 경우에, 당신 은 거의 확실하게 (a) 기록적인 교차 검증보다는 주제별 교차 검증을해야합니다. (1)의 경우에 기록적인 검증을 수행하면 새로운 주제에 대한 불합리한 가짜 예상 성능으로 이어질 수 있습니다.

나는 당신이하려는 일을 정확하게 이해하지 못합니다 (아마도 자체 연구이므로 질문이 완전히 현실적이지는 않습니다). 나는 당신이 어떤 경우에 있는지 모른다. 당신이 훨씬 덜 일반적인 경우에 있다면 (2), 기록적인 현명한 확인은 괜찮을 수도 있습니다.

통계의 일반적인 주제는 독립적 인 것과 상관 된 것에 대해 신중하게 생각하는 것입니다. 일반적으로 독립적 인 관찰은 다른 주제 인 경향이 있습니다 . 새로운 과목의 성과를 예측 하려면 훈련을받지 않은 과목을 테스트해야합니다!

왜 레코드 단위가 아닌 주제별 교차 검증입니까?

일반적인 설정에서 동일한 개인의 반복 관찰은 기능을 조정 한 후에도 서로 상관됩니다. 따라서 기록적인 교차 검증을 통해 테스트 세트 는 트레이닝 세트와 무관합니다! 완벽한 상관 관계의 극단적 인 경우 훈련 세트와 테스트 세트에서 동일한 결과를 얻을 수 있습니다! 테스트 세트에 대한 교육을 받으십시오! 교차 검증에서 측정 된 성능은 새로운 주제에 대한 성능을 예측 하지 않습니다 .

예를 들어, 이 최근 논문 은 레코드 방식의 교차 검증을``Voodoo Machine Learning ''이라고합니다.

그럼에도 불구하고 몇 가지 주제로 할 일 ...

$k=n$

훈련을위한 데이터를 최대화하려면 교차 검증을 위해 한 가지 주제를 생략해야합니다. 각 반복은 다른 보류 주제에 대해 테스트하고 다른 모든 주제에 대해 학습합니다.

$n = 38$

열차 / 테스트 스플릿으로 에뮬레이션하려는 설정을 어떻게 구상하는지에 달려 있습니다. 구체적으로 설명하기 위해 각 행은 하룻밤 동안 대상의 수면 품질을 설명한다고 말합니다.

1. 미래에 각 과목이 먼저 수면 실험실에 와서 몇 밤 동안 수면 품질을 제공 할 수 있습니다. 그런 다음, 이 주제에 대한 미래의 밤 수면 품질을 예측해야합니다 . 이 경우 옵션 b)를 사용합니다. 에서 sklearn사용할 수 있습니다sklearn.model_selection.StratifiedShuffleSplit

2. 앞으로 몇 명의 주제가 먼저 수면 실험실에 와서 몇 밤 동안 수면 품질을 제공 할 가능성이 있습니다. 그 후, 당신은 다른 과목들에 대한 미래의 밤의 수면 질을 예측할 것 입니다. 이 경우 옵션 a)를 사용합니다. 에서 sklearn사용할 수 있습니다sklearn.cross_validation.LeavePLabelOut

나는 응용 프로그램이 알 수없는 주제를 예측하는 것으로 가정합니다. 즉, 시계열 또는 본질적으로 정렬되지 않은 반복 측정이 있는지 여부에 관계없이 알 수없는 대상을 테스트하기 위해 분할을 수행해야 함을 의미합니다.

하지만 38 개의 피험자 만 있다는 것을 고려하면 리샘플링 유효성 검사에 대해 몇 가지 생각을해야합니다. 비슷한 작은 샘플 크기 (더 많은 기능이지만)로 작업 한 경험을 요약하면 다음과 같은 권장 사항이 있습니다.

• 주제별 부트 스트랩 또는 반복 교차 검증을 수행하십시오. 작은 표본 크기 문제에 중요한 모델의 안정성을 평가할 수 있습니다. 불안정성이 문제가되는 경우 결과를 집계 모델에 사용할 수도 있습니다.

• 마 되지 휴가 - 하나의 주제 아웃을한다. 모델 안정성을 측정하거나 줄일 수 없습니다. 또한, 샘플 크기가 작기 때문에 비관적 편향이 큰 상황이 예상됩니다 (예상되는 최소 비관적 편향이 아닌).

• 정확도, 감도, 특이성 등의 전형적인 분류 지수를 사용하고 있고 과제를 올바르게 분류하는 것이 과제 인 경우 : 테스트 결과의 불확실성이 절대 수에 따라 결정되므로 중요한 문제는 성능을 측정하는 것입니다 테스트 사례. 예를 들어, 진정으로 긍정적 인 17 개의 대상 중 17 개의 정확한 예측을 관찰하면 약 80 %에서 100 % 사이의 감도에 대한 95 % 신뢰 구간에 해당합니다.
  즉,이를 기반으로 데이터 중심 모델 최적화를 수행 할 수 없습니다.

• 이것은 여기서 통계적으로 무의미한 비교에서 자원을 낭비하기 때문에 3 세트 분할 (중간 교차 검증)을 설정할 필요가 없음을 의미합니다. 최적화가 거의 보장되지 않습니다. 안정성을 확인하지 마십시오).

• 제안 된 5 (3) 테스트 / 최적화 / 검증 대상에 대한 이항 신뢰 구간에 대한 동일한 계산은 50 % (30 %)까지 모든 정확한 범위에 대해 95 % ci를 생성하므로 완벽한 테스트 결과를 바탕으로 신뢰 구간에는 여전히 50 / 50 추측!

이 주제에 관해 우리가 쓴 몇 가지 논문 :

• 벨리트; Baumgartner, R .; 보 우먼, C .; 소모 르자이, R .; 스타이너, G .; Salzer, R. & Sowa, MG 희소 데이터 세트를 사용한 분류 오류 추정의 편차 감소, Chemom Intell Lab Syst, 79, 91-100 (2005).

• Beleites, C. & Salzer, R .: 작은 샘플 크기 상황에서 화학량 모델의 ​​안정성 평가 및 개선, Anal Bioanal Chem, 390, 1261-1271 (2008). DOI : 10.1007 / s00216-007-1818-6

• Beleites, C. 및 Neugebauer, U. 및 Bocklitz, T. 및 Krafft, C. 및 Popp, J .: 분류 모델의 표본 크기 계획. Anal Chim Acta, 2013, 760, 25-33. DOI : 10.1016 / j.aca.2012.11.007
  arXiv에 허용되는 원고 : 1211.1323