교차 검증을 사용할 때 예측 간격 계산

표준 편차 추정치는 다음을 통해 계산됩니까?

$s_N = \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \overline{x})^2}.$

( http://en.wikipedia.org/wiki/Standard_deviation#Sample_standard_deviation )

10 배 교차 검증에서 샘플링 된 예측 정확도에 대해? 각 폴드 사이에서 계산 된 예측 정확도는 트레이닝 세트 사이의 실질적인 오버랩 때문에 (예측 세트는 독립적이지만) 걱정됩니다. 이를 논의하는 모든 자료는 매우 도움이 될 것입니다.

각 폴드 사이에서 계산 된 예측 정확도는 트레이닝 세트 사이의 실질적인 오버랩 때문에 (예측 세트는 독립적이지만) 걱정됩니다.

IMHO 훈련 세트 사이의 중복이 큰 문제 일 필요는 없습니다. 즉, 모델이 안정적인지 여부를 확인하는 것이 중요합니다. 안정은 교차 검증 대리 모델의 예측이 동등 함을 의미하며 (즉, 독립적 인 경우 모든 모델에서 동일한 예측을 얻을 수 있음) 실제로 교차 유효성 검사는 대체 대리 모델 사이뿐만 아니라 사례. 따라서이 의존성은 우리가 원하는 것의 결과입니다.

이것은 일반적인 질문에 적용됩니다. 이 데이터에 대해 모델을 훈련 하면 예측 간격은 무엇입니까? 문제가 대신 이 모집단의 사례에 대한 모형을 훈련하는 경우 예측 구간은 얼마입니까? 훈련 세트의 중복이 알려지지 않은 양만큼 분산을 과소 평가한다는 것을 의미하기 때문에 답을 구할 수 없습니다.$n$

독립 테스트 세트를 사용한 테스트와 비교하여 어떤 결과가 있습니까?

• 교차 검증 추정치는 동일한 크기의 독립적 인 테스트 세트로 최종 모델을 테스트하는 것보다 분산이 더 클 수 있습니다. 테스트 사례로 인한 분산 외에도 대리 모델의 불안정성으로 인해 분산에 직면하기 때문입니다.

• 그러나 모형이 안정적인 경우이 분산은 작거나 무시할 수 있습니다. 또한 이러한 유형의 안정성을 측정 할 수 있습니다.

• 측정 할 수 없는 것은 전체 데이터 세트가 그 모집단과 비교 된 대표성입니다. 여기에는 최종 모델 편향의 일부가 포함되지만 (작은 독립 테스트 세트에도 편향이있을 수 있음) 교차 검증으로 해당 분산을 추정 할 수 없습니다.

• 응용 실무 ( 이러한 데이터 에 대해 훈련 된 모델의 성능 )에서 예측 구간 계산은 IMHO가 분산 교차 검증의 어떤 부분이 감지 할 수없는 것보다 더 중요한 문제에 직면하게됩니다.

  • 교차 검증은 시간과 무관 한 사례에 대해 성능을 테스트 할 수 없습니다 (일반적으로 미래에 측정되는 사례에는 예측이 필요함)
  • 데이터에 알 수없는 클러스터가 포함되어있을 수 있으며 클러스터 외부 성능이 중요 할 수 있습니다. 클러스터 된 데이터는 교차 유효성 검사에서 설명 할 수있는 가장 중요한 데이터이지만 클러스터링에 대해 알아야합니다.

  이것들은 단순한 교차 검증 대 독립 테스트 세트 이상의 것입니다. 기본적으로 검증 연구를 앉아서 설계해야합니다. 그렇지 않으면 "독립적"테스트 세트가 그다지 독립적이지 않을 위험이 높습니다. 일단 완료되면 어떤 요소가 실질적으로 중요하고 무시할 수 있는지 생각할 수 있습니다. 철저한 검토 후에 교차 검증이 충분하고 독립적 인 검증이 가능한 정보 획득에 비해 너무 비싸기 때문에 합리적으로해야한다는 결론에 도달 할 수 있습니다.

모든 것을 합치면 표준 편차에 대해 일반적인 공식을 사용합니다. $s_{CV}$ 에 비유하여 $RMSE_{CV}$ 테스트 수행 방법을 자세히보고하십시오.