나는 여기에서 다양한 스레드를 탐색했지만 정확한 질문에 대답하지 않았다고 생각합니다.
~ 50,000 명의 학생 데이터와 이탈 시간이 있습니다. 잠재적 인 공변량이 많은 비례 위험 회귀 분석을 수행하려고합니다. 또한 중퇴 / 숙박에 대한 로지스틱 회귀 분석을 수행 할 예정입니다. 주요 목표는 새로운 학생 집단을 예측하는 것이지만, 작년의 집단과 크게 다를 것이라고 믿을 이유는 없습니다.
보통, 나는 그런 고급 데이터가없고 어떤 종류의 벌칙에 맞는 모델을 만들지 만 이번에는 int 훈련과 테스트 데이터 세트를 나누고 훈련 세트에서 변수 선택을하는 것으로 생각했습니다. 그런 다음 매개 변수 및 예측 용량을 추정하기 위해 테스트 데이터 세트를 사용합니다.
이것이 좋은 전략입니까? 그렇지 않다면 무엇이 더 낫습니까?
인용은 환영하지만 필수는 아닙니다.
답변:
비슷한 결과 빈도로 경우 데이터 분할이 작동 할 수 있음을 발견했습니다 . 또한 테스트 샘플을 한 번만 사용하는 경우 모델 성능에 대한 편견없는 추정치를 제공하여 모델 선택에 대한 적절한 처벌 (모델 선택이 실제로 필요한 경우 처벌이 더 나은 모델이 될 가능성이 더 높습니다)을 제공합니다. 그러나 매개 변수의 재 추정에 테스트 샘플을 사용하지 마십시오. 데이터 분할은 훈련 샘플을 사용하여 구축 된 모델을 사용하여 "심층 동결"상태로 만들고 조정없이 테스트 샘플에 적용합니다.
나는 교차 검증 생존 예측과 비슷한 과제 를 위해이 논문을 직접 보고있다 . 좋은 비트는 2 장에서 시작합니다.
그 후 내 질문에 대답 할뿐만 아니라 특정 데이터 세트에 대한 최적의 분할을 파악하는 방법을 제공하는 이 백서 를 발견 했습니다 . @FrankHarrell의 "최적 분할 구성"이라는 용어를 사용하여 Google에 감사를 표시했습니다.