모델 구축 프로세스가 대화식 일 때의 백 테스트 또는 교차 검증

백 테스트를 수행하려는 성능의 예측 모델이 있습니다 (예 : 데이터 세트를 가져 와서 이전 시점으로 "되감기"하고 모델의 예상 성능을 확인하십시오).

문제는 내 모델 중 일부가 대화식 프로세스를 통해 빌드되었다는 것입니다. 예를 들어 Frank Harrell의 Regression Modeling Strategies 의 조언에 따라 한 모델에서 제한된 입방 스플라인을 사용하여 피처와 응답 간의 비선형 연관을 처리했습니다. 나는 도메인 지식과 일 변량 연관 강도의 조합을 기반으로 각 스플라인의 자유도를 할당했습니다. 그러나 모델을 허용하려는 자유도는 데이터 세트의 크기에 따라 달라지며 백 테스팅시 크게 달라집니다. 모델을 다시 테스트 할 때마다 자유도를 개별적으로 수동으로 선택하지 않으려면 다른 옵션은 무엇입니까?

다른 예를 들어, 저는 현재 레버리지가 높은 지점을 찾아 이상치 탐지를 위해 노력하고 있습니다. 손으로이 작업을 수행하는 것이 행복하다면, 높은 수준의 각 데이터 지점을보고 데이터가 깨끗한 지 확인하고 데이터를 필터링하거나 손으로 정리합니다. 그러나 이것은 많은 도메인 지식에 의존하므로 프로세스를 자동화하는 방법을 모르겠습니다.

나는 (a) 모델 구축 프로세스의 대화식 부분을 자동화하는 일반적인 문제 또는 (b)이 두 가지 경우에 대한 구체적인 조언 모두에 대한 조언과 솔루션을 높이 평가할 것이다. 감사!

참고로, SE.DataScience에 더 적합 할 수도 있지만 당분간 여기에 대답하겠습니다.

솔루션을 구현할 스크립트를 작성하는 것 외에는 선택의 여지가없는 상황 인 것 같습니다. 스플라인으로 작업 한 적이없는 경우, 이들에 대한 나의 지식은 엄밀히 이론적 인 것이므로 나와 만나지 않고 내가 보지 못한 것이 있으면 알려주십시오.

대체로,이를 구현하기 위해 해결해야 할 몇 가지 다른 항목이있는 것으로 보입니다.

1.) 동적으로 모델 파라미터를 결정합니다. 앞서 도메인 지식과 일 변량 측정 값의 조합을 사용했다고 언급했습니다. 그것은 당신이 heuristically 처리 할 수 ​​있어야 뭔가처럼 보인다. 프로그램이 구현할 규칙 세트에 대해 처음 동의해야합니다. 이러한 규칙의 잠재적 영향에 대해 열심히 생각해야하기 때문에 이는 사소한 작업 일 수도 있고 아닐 수도 있습니다. 이를 위해서는 프로세스의 모든 단계를 다시 방문하여 결정뿐만 아니라 결정의 원인을 분류해야합니다.

2.) 실제로 프로그램을 구현합니다. 성능 테스트를 올바르게 동적으로 유지하고 향후 유지 관리 및 수정을 쉽게하려면이를 어떻게 구성 할 것인지 고려해야합니다. 주요 모델 예측 성능 추정에 일종의 루프를 사용하는 것이 좋으며, 더 나은 유연성을 위해 사용자 정의 가능한 길이를 사용하는 것이 좋습니다. 또한 기능을보다 쉽게 ​​테스트하고 프로그램을 유지 관리 및 수정하기 쉽기 때문에 프로그램에서 수행하려는 각 작업에 대해 별도의 기능을 작성하려고 할 것입니다. 최소한 데이터 세트 선택 (즉, 백 테스트 시점에서 "지나간"기간), 정리 및 유효성 검사 (실제로 고려해야 할 사항)에 대한 기능이 필요할 수 있습니다.

이상치 탐지 및 처리에 대한 귀하의 질문도 이러한 두 가지 우려에 해당하며 주 프로그램 루프 내에 더 작은 루프를 작성하여 계속 "청소"하고 만족할 수있을 때까지 모델을 다시 조정하여 구현에 대해 설명하겠습니다. 그것 (다시, 당신은 자신을 정의해야합니다).

이것이 큰 일처럼 들린다면 그 이유 때문입니다. 사람들은 이런 종류의 작업을 수행하기 위해 전체 소프트웨어 라이브러리를 작성했습니다. 그 외에도 프로세스, 데이터 구조 및 지금까지 작업 한 프로그래밍 언어에 대해 더 잘 알지 못하면 더 구체적인 조언을 제공하기가 어렵습니다.

이 중 하나라도 유용하고 그 중 하나를 확장하고 싶다면 의견을 말하고 알려 주시면 기꺼이 도와 드리겠습니다.

수동 모델 튜닝 노력을 자동화하는 방법을 찾으려고하기보다는 모델 바이어스가 증가하더라도 비용이 훨씬 적게 드는 저 분산 학습자를 조사하여 이러한 문제를 모두 피할 수 있습니다. 대부분의 예측에서 낮은 샘플링 분산으로 귀환되는 백 테스트 결과에 대한 자신감을 원하며, 이미 샘플링 분산 자체를 가지고있는 학습자 위에 자동화 된 튜닝 프로세스를 도입하면 그 목표를 달성 할 수 있습니다. 꼬리가 개를 흔들리는 것처럼 보일지 모르지만 많은 수동 조정 또는 수동 조정이 필요한 것은 진정으로 정직한 백 테스트 환경 IMO의 훌륭한 후보가 아닙니다.