선형 회귀의 바이어스-분산 분해에서의 분산 항

'통계 학습의 요소'에서 선형 모형의 바이어스-분산 분해에 대한 표현은 여기서 은 실제 대상 함수이고 는 모델의 임의 오차의 분산입니다. 및 의 선형 추정기 인 .

E r r (x_{0}) = σ_{ϵ}^{2} + E [f (x_{0}) - E \hat{f} (x_{0})]^{2} + | | h (x_{0}) | |^{2} σ_{ϵ}^{2},

$Err(x_0)=\sigma_\epsilon^2+E[f(x_0)-E\hat f(x_0)]^2+||h(x_0)||^2\sigma_\epsilon^2,$

f (x_{0})

$f(x_0)$

σ_{ϵ}^{2}

$\sigma_\epsilon^2$

y = f (x) + ϵ

$y=f(x)+\epsilon$

\hat{f} (x)

$\hat f(x)$

f (x)

$f(x)$

이 방정식은 대상에 노이즈가없는 경우 즉, 경우 분산이 0이된다는 것을 암시하기 때문에 여기서 문제가됩니다그러나 제로 노이즈로도 분산이 0이 아닌 다른 트레이닝 세트에 대해 다른 추정기 를 얻을 수 있기 때문에 의미가 없습니다 . $\sigma_\epsilon^2=0.$ $\hat f(x_0)$

예를 들어, 목표 함수 가 2 훈련 데이터에이 2 차에서 무작위로 샘플링 된 2 개의 점이 포함되어 있다고 가정합니다 . 분명히, 나는 2 차 목표에서 무작위로 두 점을 샘플링 할 때마다 다른 선형 피팅을 얻을 것입니다. 그렇다면 어떻게 분산이 0이 될 수 있습니까? $f(x_0)$

바이어스 편차 분해에 대한 이해에서 무엇이 잘못되었는지 알아낼 수있는 사람이 있습니까?

regression linear-model bias-variance-tradeoff

— 아비 나브 굽타
소스

편견과 분산의 치료에는 항상 미묘한 미묘함이 있으며, 연구 할 때주의를 기울이는 것이 중요합니다. 해당 장의 섹션에서 ESL의 처음 몇 단어를 다시 읽으면 저자는 이에 대해 약간의 비용을 지불해야합니다.

고정 수량과 임의 수량을 명확히해야하기 때문에 오차율 추정에 대한 논의는 혼란 스러울 수있다

미묘함은 고정되어 있고 무작위 입니다.

선형 회귀의 전통적인 처리에서, 데이터 는 고정되고 알려진 것으로 취급됩니다. ESL의 주장을 따르면 저자도이 가정을하고있는 것을 알 수 있습니다. 이러한 가정 하에서 주어진 의 조건부 분포에서 유일하게 남아있는 임의의 소스 로 귀하의 예제가 작동하지 않습니다 . 도움이된다면 마음에 있는 표기법 을 로 바꾸십시오 . $X$ $y$ $X$ $Err(x_0)$ $Err(x_0 \mid X)$

즉, 귀하의 우려가 유효하지 않다는 것은 아니며, 훈련 데이터의 선택이 실제로 우리 모델 알고리즘에서 무작위성을 도입하고 부지런한 개업의 가이 무작위의 결과에 미치는 영향을 정량화하려고 시도한다는 것은 사실입니다. 실제로 부트 스트래핑 및 교차 유효성 검사의 일반적인 관행이 이러한 임의의 소스를 그들의 추론에 명시 적으로 통합하고 있음을 분명히 알 수 있습니다.

랜덤 트레이닝 데이터 세트의 맥락에서 선형 모델의 편향과 분산에 대한 명시 적 수학적 표현을 도출하려면 데이터 의 랜덤 구조에 대해 몇 가지 가정을해야합니다 . 여기에는 분포에 대한 몇 가지 가정이 포함됩니다 . 이것은 가능하지만 이러한 아이디어의 주류 박람회의 일부가되지는 않았습니다. $X$ $X$

— 매튜 드 루리
소스

저자가 가 고정 되었다고 가정했다는 사실을 분명히 해주셔서 감사합니다. 여기서 wrt not 입니다. 그러나 쓸 수 있습니다. 즉, X를 무작위로 처리하면 . 가 0 이면 여전히 0입니다. 나는이 방정식에 대해 비슷한 의혹을 가지고 있었다.이 게시물에서 나의 파생을 찾을 수있다 : stats.stackexchange.com/questions/307110/…

X

$X$

Y | X

$Y|X$

(X, Y)

$(X,Y)$

E = E_{X} E_{Y | X}

$E=E_XE_{Y|X}$

V a r (\hat{f} (x_{0})) = E_{X} [| | h (x_{0}) | |^{2} σ_{ϵ}^{2}]

$Var(\hat f(x_0))=E_X[||h(x_0)||^2\sigma_\epsilon^2]$

σ_{ϵ}^{2}

$\sigma_\epsilon^2$

— Abhinav Gupta

저자는 모델이 올바르게 지정되었다고 가정합니다. 즉, 올바른 변환이 포함 된 모든 관련 예측 변수 만 포함합니다. 그래도 확인을 위해 내 기억에 의존하는 대신 책으로 돌아 가야했습니다.

— Matthew Drury

'올바로 지정됨'에 의해 목표 기능이 실제로 선형임을 의미한다면 제로 노이즈가 제로 바이어스를 의미한다는 것을 이해합니다. 그러나 목표 함수가 선형이 아니더라도 분산에 대해 정확히 동일한 표현을 얻습니다.

— Abhinav Gupta

사실이지만,이 경우 "올바로 지정됨"은 올바른 예측 변수를 포함 하여 모형에 적합하기 위해 선형 회귀를 사용했음을 의미합니다 . 따라서 실제 관계가 2 차이면 모형에 2 차 항이 포함되어 있다고 가정합니다.

— Matthew Drury