왜 세 개의 파티션입니까? (훈련, 검증, 테스트)

모델을 대규모 데이터 세트에 맞추려고 할 때 일반적인 조언은 데이터를 교육, 검증 및 테스트 데이터 세트의 세 부분으로 분할하는 것입니다.

이는 일반적으로 모델에 세 가지 "수준"매개 변수가 있기 때문입니다. 첫 번째 "매개 변수"는 모델 클래스 (예 : SVM, 신경망, 임의 포리스트)이고 두 번째 매개 변수 세트는 "규정 화"매개 변수 또는 "하이퍼 매개 변수"( 예를 들어 올가미 페널티 계수, 커널 선택, 신경망 구조) 및 세 번째 세트는 일반적으로 "매개 변수"(예 : 공변량에 대한 계수)로 간주됩니다.

모델 클래스와 하이퍼 파라미터의 선택이 주어지면 훈련 세트의 오류를 최소화하는 파라미터를 선택하여 파라미터를 선택합니다. 모델 클래스가 주어지면 검증 세트의 오류를 최소화하여 하이퍼 파라미터를 조정합니다. 테스트 세트에서 성능별로 모델 클래스를 선택합니다.

그러나 왜 더 많은 파티션이 아닌가? 하이퍼 파라미터를 두 그룹으로 나누고 "validation 1"을 사용하여 첫 번째에 맞추고 "validation 2"를 사용하여 두 번째에 맞출 수 있습니다. 또는 훈련 데이터 / 유효 데이터 분할의 크기를 조정될 하이퍼 파라미터로 취급 할 수도 있습니다.

이것은 이미 일부 응용 프로그램에서 일반적인 관행입니까? 최적의 데이터 파티셔닝에 대한 이론적 연구가 있습니까?

먼저 세 파티션이하는 일에 대해 착각했다고 생각합니다. 테스트 데이터를 기반으로 선택하지 않습니다. 알고리즘은 학습 데이터를 기반으로 매개 변수를 조정합니다. 그런 다음 유효성 검사 데이터에서이를 실행하여 알고리즘과 훈련 된 매개 변수를 비교하고 승자를 결정합니다. 그런 다음 테스트 데이터에서 승자를 실행하여 실제 환경에서 얼마나 잘 수행되는지 예측할 수 있습니다.

훈련 데이터는 모델에 비해 적합하기 때문에 검증하지 않습니다. 유효성 검사 단계에서 승자를 얻기 위해 항목을 반복적으로 조정했기 때문에 유효성 검사 단계의 승자 점수에서 멈추지 않으므로 독립적 인 테스트 (구체적으로 조정하지 않은)가 필요합니다. 현재 경기장 밖에서 얼마나 잘 할 수 있을지에 대한 아이디어.

둘째, 여기서 한 가지 제한 요소는 데이터의 양입니다. 대부분의 경우 데이터를 고정 파티션으로 분할하고 싶지 않기 때문에 CV도 마찬가지입니다.

이것은 흥미로운 질문이며 @Wayne의 답변에 도움이된다는 것을 알았습니다.

내 이해에서 데이터 세트를 다른 파티션으로 나누는 것은 작성자의 목적과 실제 응용 프로그램의 모델 요구 사항에 달려 있습니다.

일반적으로 훈련과 테스트라는 두 가지 데이터 세트가 있습니다. 훈련은 모델의 매개 변수를 찾거나 모델에 맞추는 데 사용됩니다. 테스트는 보이지 않는 데이터 (또는 실제 데이터)에서 모델의 성능을 평가하는 데 사용됩니다.

교육에서 한 단계 만 수행하면 교육 및 테스트 (또는 검증) 프로세스가 있음이 분명합니다.

그러나이 방법을 사용하면 모델이 하나의 데이터 집합으로 한 번 훈련 될 때 과적 합 문제가 발생할 수 있습니다. 이것은 실제 문제에서 모델의 불안정성을 초래할 수 있습니다. 이 문제를 해결하는 한 가지 방법은 교육 데이터 세트에서 모델을 교차 검증 (CV)하는 것입니다. 즉, 훈련 데이터 세트를 다른 접기로 나누고 다른 접기로 훈련 된 모델을 테스트하기 위해 한 배를 유지합니다. 승자는 이제 전체 CV 프로세스에서 최소한의 손실 (자신의 목적 함수를 기반으로)을 제공하는 사람입니다. 이런 식으로 우리는 훈련 과정에 지나치게 적합 할 가능성을 최소화하고 올바른 승자를 선정 할 수 있습니다. 보이지 않는 데이터에서 승자를 평가하는 데 테스트 세트가 다시 사용됩니다.