최종 데이터 (생산 준비) 모델을 완전한 데이터 또는 훈련 세트에 대해서만 훈련해야합니까?

훈련 세트에 대해 여러 모델을 훈련시키고 교차 검증 세트를 사용하여 최상의 모델을 선택하고 테스트 세트에서 성능을 측정했다고 가정합니다. 이제 최종 최고의 모델이 하나 있습니다. 사용 가능한 모든 데이터 또는 훈련 세트에 대해서만 훈련 된 선박 솔루션에 대해 교육해야합니까? 후자의 경우 왜?

업데이트 : @ P.Windridge가 지적했듯이 재교육 모델을 배송하는 것은 기본적으로 유효성 검사없이 모델을 배송하는 것을 의미합니다. 그러나 우리는 테스트 세트 성능을보고 할 수 있으며, 그 후에는 최상의 모델과 더 많은 데이터를 사용하기 때문에 성능이 향상 될 것으로 기대되는 완전한 데이터에 대해 모델을 재교육 할 수 있습니다. 그러한 방법론에서 어떤 문제가 발생할 수 있습니까?

전체 샘플을 다시 작성하면 거의 항상 더 나은 모델을 얻을 수 있습니다. 그러나 다른 사람들이 말했듯이 당신은 검증이 없다. 이는 데이터 분할 방식의 근본적인 결함입니다. 데이터가 전체 모델에서 샘플 차이를 직접 모델링 할 수있는 기회를 잃어 버렸을뿐만 아니라 전체 샘플이 15,000 명을 넘지 않는 한 불안정합니다. 이것이 정확성과 안정성을 달성하기 위해 (샘플 크기에 따라) 100 번의 10 배 교차 검증이 필요한 이유이며, 강력한 내부 검증을위한 부트 스트랩이 더 나은 이유입니다. 부트 스트랩은 또한 기능 선택 작업이 얼마나 어렵고 임의적인지를 보여줍니다.

생물 의학 연구 섹션 10.11의 Biostatistics에서 '외부'검증과 관련된 문제에 대해 자세히 설명했습니다 .

다시 훈련 할 필요가 없습니다. 결과를보고 할 때는 테스트 데이터 결과가 훨씬 잘 이해되므로 항상보고해야합니다. 테스트 데이터 세트를 통해 샘플이 아닌 데이터에서 모델이 얼마나 잘 수행되는지를보다 정확하게 확인할 수 있습니다.