과적 합에 대한 수학적 / 알고리즘 정의

과적 합에 대한 수학적 또는 알고리즘 적 정의가 있습니까?

종종 제공되는 정의는 모든 단일 점을 통과하는 선과 검증 손실 곡선이 갑자기 올라가는 점의 고전적인 2 차원 점의 도표입니다.

그러나 수학적으로 엄격한 정의가 있습니까?

예, (약간 더) 엄격한 정의가 있습니다.

매개 변수 세트가있는 모델이 제공되면, 특정 수의 트레이닝 단계 후에도 샘플 오류 (테스트) 오류가 증가하기 시작하면 트레이닝 오류가 계속 감소하면 모델이 데이터를 과적 합한다고 할 수 있습니다.

^{이 예에서 샘플 (테스트 / 유효성 검증) 오류는 먼저 열차 오류와 일치하여 감소한 다음 90 번째 근방에서 증가하기 시작합니다.}

그것을 보는 또 다른 방법은 편견과 분산에 관한 것입니다. 모델의 샘플 오류는 두 가지 구성 요소로 분해 될 수 있습니다.

• 바이어스 : 추정 모델의 예상 값이 실제 모델의 예상 값과 다르기 때문에 오류가 발생합니다.
• 분산 : 모델이 데이터 세트의 작은 변동에 민감하기 때문에 오류가 발생합니다.

편차가 크지 만 분산이 높을 때 과적 합이 발생합니다. 실제 (알 수없는) 모델이 있는 데이터 세트 의 경우 :$X$

$Y = f(X) + \epsilon$ - 와, 상기 데이터 세트의 기약 노이즈 인 및 , $\epsilon$$E(\epsilon)=0$$Var(\epsilon) = \sigma_{\epsilon}$

예상 모델은 다음과 같습니다.

$\hat{Y} = \hat{f}(X)$ ,

테스트 오류 (테스트 데이터 포인트 )는 다음과 같이 쓸 수 있습니다.$x_t$

$Err(x_t) = \sigma_{\epsilon} + Bias^2 + Variance$

와 와 $Bias^2 = E[f(x_t)- \hat{f}(x_t)]^2$$Variance = E[\hat{f}(x_t)- E[\hat{f}(x_t)]]^2$

(이 분해는 엄격하게 말하면 회귀의 경우에도 적용되지만 유사한 분해는 모든 손실 함수, 즉 분류의 경우에도 적용됩니다).

위의 두 정의는 모델의 복잡성 (모델의 매개 변수 수로 측정)과 관련이 있습니다. 모델의 복잡성이 높을수록 과적 합이 발생할 가능성이 높습니다.

주제에 대한 엄격한 수학적 처리에 대해서는 통계 학습 요소 7 장을 참조하십시오 .

^{모델 복잡성에 따라 바이어스-차이점 트레이드 오프 및 분산 (즉, 오버 피팅)이 증가합니다. ESL 7 장에서 발췌}