편향-분산 트레이드 오프, 추정 자의 편향과 모델의 편향 사이의 관계, 그리고 추정 자의 분산과 모형의 분산 사이의 관계를 이해하려고합니다.

나는 이러한 결론에 도달했다.

• 추정 자의 편향을 무시할 때, 즉 모형의 분산을 무시하는 모형의 편향 만 최소화하려는 경우 (즉, 고려하지 않고 추정 자의 분산을 최소화하는 것을 목표로하는 경우) 데이터를 과적 합하는 경향이 있습니다. 견적 자의 편견도)
• 반대로, 우리는 추정기의 분산을 무시할 때, 즉 모델의 편향을 무시하는 모델의 분산을 최소화하려고 할 때 (즉, 우리는 단지 추정기의 분산도 고려하지 않은 추정기).

내 결론이 맞습니까?

글쎄요. 언급 한 바와 같이, 바이어스 또는 분산을 최소화하기 위해 과학자에게 의도합니다. 실제로 모델의 바이어스 또는 분산을 명시 적으로 관찰 할 수 없습니다 (가능한 경우 모델이 필요하지 않은 실제 신호를 알 수 있음). 일반적으로 특정 데이터 세트에서 모델의 오류율 만 관찰 할 수 있으며 다양한 창의적 기술을 사용하여 샘플 오류율을 추정하려고합니다.

지금 당신은 할 이론적으로 적어도,이 오류 비율이 편견과 분산 용어로 분해 될 수 있다는 것을 알고 있지만 직접 특정 콘크리트 상황에서이 균형을 관찰 할 수 없습니다. 그래서 나는 당신의 관찰을 약간 다음과 같이 다시 언급하겠습니다.

• 편향 항이 표본 외 오차의 대부분을 차지할 때 모형이 데이터에 적합하지 않습니다.
• 분산 항이 표본 외 오차의 대부분을 차지할 때 모형이 데이터에 적합합니다.

일반적으로 모델 편향을 실제로 관찰 할 수 없으므로 확실하게 알 수있는 실제 방법이 없습니다. 그럼에도 불구하고 어떤 상황에 처해 있음을 나타내는 다양한 행동 패턴이 있습니다.

• 과적 합 모델은 훈련 데이터 집합과 비교하여 테스트 데이터 집합에서 적합 성능이 훨씬 나빠지는 경향이 있습니다.
• 언더 피트 모델은 테스트 대 훈련 데이터 세트에서 유사한 성능의 적합도를 갖는 경향이 있습니다.

다음은 모델 복잡성에 따라 유명한 오류율 플롯에서 나타나는 패턴입니다.이 패턴은 통계 학습의 요소에서 비롯된 것입니다.

종종 이러한 플롯은 바이어스 및 분산 곡선으로 겹쳐집니다. 나는 이 멋진 박람회 에서 이것을 가져 왔습니다 .

그러나 실제 상황에서 이러한 추가 곡선 을 실제로 볼 수는 없다는 것을 인식하는 것이 매우 중요 합니다.

장난감 예제를 사용하여 바이어스-분산 트레이드 오프 설명

@Matthew Drury가 지적했듯이 현실적인 상황에서는 마지막 그래프를 볼 수 없지만 다음 장난감 예제는 도움이되는 사람들에게 시각적 해석과 직관을 제공 할 수 있습니다.

데이터 세트 및 가정

$Y$

• $Y = sin(\pi x - 0.5) + \epsilon$$\epsilon \sim Uniform(-0.5,0.5)$
• $Y = f(x) + \epsilon$

$x$$Y$$Var(Y) = Var(\epsilon) = \frac{1}{12}$

$\hat f(x) = \beta_0 + \beta_1x + \beta_1 x^2 + ... + \beta_px^p$

다양한 다항식 모델 피팅

직관적으로, 데이터 세트가 비선형이기 때문에 직선 곡선이 제대로 작동하지 않을 것으로 예상됩니다. 마찬가지로, 매우 다항식을 피팅하는 것은 과도 할 수 있습니다. 이 직감은 아래의 그래프에 반영되어 있으며 열차 및 테스트 데이터에 대한 다양한 모델과 해당 평균 제곱 오류를 보여줍니다.

위의 그래프 는 단일 열차 / 시험 분할에 적용됩니다. 되지만 일반화 여부는 어떻게 알 수 있습니까?

예상 열차 추정 및 MSE 테스트

여기에는 많은 옵션이 있지만 한 가지 방법은 기차 / 테스트간에 데이터를 무작위로 나누는 것입니다. 주어진 분할에 모델을 맞추고이 실험을 여러 번 반복하십시오. 결과 MSE를 플로팅 할 수 있으며 평균은 예상 오차의 추정치입니다.

테스트 MSE가 데이터의 다른 기차 / 테스트 스플릿에 대해 크게 변동하는 것을 보는 것은 흥미 롭습니다. 그러나 충분히 많은 수의 실험에서 평균을 취하면 더 나은 자신감을 얻을 수 있습니다.

$Y$ 이 값보다 결코

 바이어스-분산 분해

여기 에 설명 된 대로 MSE는 3 가지 주요 구성 요소로 나눌 수 있습니다.

$$E[ (Y - \hat f)^2 ] = \sigma^2_\epsilon + Bias^2[\hat f] + Var[\hat f]$$ $$E[ (Y - \hat f)^2 ] = \sigma^2_\epsilon + \left[ f - E[\hat f] \right]^2 + E\left[ \hat f - E[ \hat f] \right]^2$$

우리 장난감의 경우 :

• $f$ 초기 데이터 세트에서 알려짐
• $\sigma^2_\epsilon$ 균일 분포에서 알려져 $\epsilon$
• $E[\hat f]$ 위와 같이 계산할 수 있습니다
• $\hat f$ 밝은 색상의 선에 해당
• $E\left[ \hat f - E[ \hat f] \right]^2$ 평균을 취하여 추정 할 수 있습니다

다음 관계를주는

참고 : 위의 그래프는 학습 데이터를 사용하여 모델에 적합한 다음 train + test에서 MSE를 계산합니다 .