편차-분산 트레이드 오프 파생 이해

난의 편향 - 분산 트레이드 오프의 제 판독하고 통계적 학습 요소 되도록 상기 데이터 모델에서 발생하자 I은 29 페이지의 식 의심이 여기서 무작위 예상 값이 이고 분산 입니다. 모델의 예상 오차 값을 여기서 는 학습자 의 에 대한 예측입니다 . 책에 따르면 오류는

Y = f (x) + ϵ

$Y = f(x)+\epsilon$

ϵ

$\epsilon$

\hat{ϵ} = E [ϵ] = 0

$\hat{\epsilon} = E[\epsilon]=0$

E [(ϵ - \hat{ϵ})^{2}] = E [ϵ^{2}] = σ^{2}

$E[(\epsilon - \hat\epsilon)^2]=E[\epsilon^2]=\sigma^2$

E [(Y - f_{k} (x))^{2}]

$E[(Y-f_k(x))^2]$

f_{k} (x)

$f_k(x)$

x

$x$

E [(Y - f_{k} (x))^{2}] = σ^{2} + B i a s (f_{k})^{2} + V a r (f_{k} (x)) .

$E[(Y-f_k(x))^2]=\sigma^2+Bias(f_k)^2+Var(f_k(x)).$

내 질문은 왜 바이어스 용어가 0이 아닌가? 오류 공식을 개발 중

E [(Y - f_{k} (x))^{2}] = E [(f (x) + ϵ - f_{k} (x))^{2}] = E [(f (x) - f_{k} (x))^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + E [ϵ^{2}] = V a r (f_{k} (x)) + 2 E [(f (x) - f_{k} (x)) ϵ] + σ^{2}

$E[(Y-f_k(x))^2]=\\ E[(f(x)+\epsilon-f_k(x))^2]=\\ E[(f(x)-f_k(x))^2]+2E[(f(x)-f_k(x))\epsilon]+E[\epsilon^2]=\\ Var(f_k(x))+2E[(f(x)-f_k(x))\epsilon]+\sigma^2$

로 독립적 난수이다 $\epsilon$ $2E[(f(x)-f_k(x))\epsilon]=2E[(f(x)-f_k(x))]E[\epsilon]=0$

내가 어디 틀렸어?

— 에마누엘레
소스

답변:

당신은 틀리지 않았지만 이래로 한 단계에서 오류가 발생했습니다 . 는 . $E[(f(x)-f_k(x))^2] \ne Var(f_k(x))$ $E[(f(x)-f_k(x))^2]$ $\text{MSE}(f_k(x)) = Var(f_k(x)) + \text{Bias}^2(f_k(x))$

\begin{aligned} E [(Y - f_{k} (x))^{2}] & = E [(f (x) + ϵ - f_{k} (x))^{2}] \\ = E [(f (x) - f_{k} (x))^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + E [ϵ^{2}] \\ = E [{(f (x) - E (f_{k} (x)) + E (f_{k} (x)) - f_{k} (x))}^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + σ^{2} \\ = V a r (f_{k} (x)) + {Bias}^{2} (f_{k} (x)) + σ^{2} . \end{aligned}

$\begin{align*} E[(Y-f_k(x))^2]& = E[(f(x)+\epsilon-f_k(x))^2] \\ &= E[(f(x)-f_k(x))^2]+2E[(f(x)-f_k(x))\epsilon]+E[\epsilon^2]\\ &= E\left[\left(f(x) - E(f_k(x)) + E(f_k(x))-f_k(x) \right)^2 \right] + 2E[(f(x)-f_k(x))\epsilon]+\sigma^2 \\ & = Var(f_k(x)) + \text{Bias}^2(f_k(x)) + \sigma^2. \end{align*}$

참고 : $E[(f_k(x)-E(f_k(x)))(f(x)-E(f_k(x))] = E[f_k(x)-E(f_k(x))](f(x)-E(f_k(x))) = 0.$

— 그린 파커
소스

이진 결과의 경우 오류 측정 값으로 교차 엔트로피가있는 동등한 증거가 있습니까?

— emanuele

이진 응답으로는 잘 작동하지 않습니다. "통계 학습의 요소"제 2 판의 예 7.2를 참조하십시오.

— Matthew Drury

당신이에서 이동 당신은 어떻게 설명 할 수 ~ ?

E [{(f (x) - E (f_{k} (x)) + E (f_{k} (x)) - f_{k} (x))}^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + σ^{2}

$E\left[\left(f(x) - E(f_k(x)) + E(f_k(x))-f_k(x) \right)^2 \right] + 2E[(f(x)-f_k(x))\epsilon]+\sigma^2$

V a r (f_{k} (x)) + {Bias}^{2} (f_{k} (x)) + σ^{2}

$Var(f_k(x)) + \text{Bias}^2(f_k(x)) + \sigma^2$

— Antoine

바이어스의 몇 가지 단계-분산 분해

실제로, 전체 유도는 많은 영감을받지 않는 대수를 포함하므로 교과서에는 거의 제공되지 않습니다. 다음은 223 페이지의 "통계학 학습 요소" 책의 표기법을 사용한보다 완전한 파생입니다.

우리가 가정하면 그 및 및 우리가 회귀 적합 예상 예측 에러에 대한 식을 유도 할 수있다 제곱 오차 손실을 사용하여 입력 에서 $Y = f(X) + \epsilon$ $E[\epsilon] = 0$ $Var(\epsilon) = \sigma^2_\epsilon$ $\hat f(X)$ $X = x_0$

E r r (x_{0}) = E [(Y - \hat{f} (x_{0}))^{2} | X = x_{0}]

$Err(x_0) = E[ (Y - \hat f(x_0) )^2 | X = x_0]$

편의상 들어 보자 , 및 호출이 및 $\hat f(x_0) = \hat f$ $f(x_0) = f$ $E[f] = f$ $E[Y] = f$

\begin{aligned} E [(Y - \hat{f})^{2}] & = E [(Y - f + f - \hat{f})^{2}] \\ = E [(y - f)^{2}] + E [(f - \hat{f})^{2}] + 2 E [(f - \hat{f}) (y - f)] \\ = E [(f + ϵ - f)^{2}] + E [(f - \hat{f})^{2}] + 2 E [f Y - f^{2} - \hat{f} Y + \hat{f} f] \\ = E [ϵ^{2}] + E [(f - \hat{f})^{2}] + 2 (f^{2} - f^{2} - f E [\hat{f}] + f E [\hat{f}]) \\ = σ_{ϵ}^{2} + E [(f - \hat{f})^{2}] + 0 \end{aligned}

$\begin{aligned} E[ (Y - \hat f)^2 ] &= E[(Y - f + f - \hat f )^2] \\ & = E[(y - f)^2] + E[(f - \hat f)^2] + 2 E[(f - \hat f)(y - f)] \\ & = E[(f + \epsilon - f)^2] + E[(f - \hat f)^2] + 2E[fY - f^2 - \hat f Y + \hat f f] \\ & = E[\epsilon^2] + E[(f - \hat f)^2] + 2( f^2 - f^2 - f E[\hat f] + f E[\hat f] ) \\ & = \sigma^2_\epsilon + E[(f - \hat f)^2] + 0 \end{aligned}$

라는 용어에 대해 위와 유사한 방법을 사용하여 를 더하고 빼서 $E[(f - \hat f)^2]$ $E[\hat f]$

\begin{aligned} E [(f - \hat{f})^{2}] & = E [(f + E [\hat{f}] - E [\hat{f}] - \hat{f})^{2}] \\ = E {[f - E [\hat{f}]]}^{2} + E {[\hat{f} - E [\hat{f}]]}^{2} \\ = {[f - E [\hat{f}]]}^{2} + E {[\hat{f} - E [\hat{f}]]}^{2} \\ = B i a s^{2} [\hat{f}] + V a r [\hat{f}] \end{aligned}

$\begin{aligned} E[(f - \hat f)^2] & = E[(f + E[\hat f] - E[\hat f] - \hat f)^2] \\ & = E \left[ f - E[\hat f] \right]^2 + E\left[ \hat f - E[ \hat f] \right]^2 \\ & = \left[ f - E[\hat f] \right]^2 + E\left[ \hat f - E[ \hat f] \right]^2 \\ & = Bias^2[\hat f] + Var[\hat f] \end{aligned}$

함께 모으기

E [(Y - \hat{f})^{2}] = σ_{ϵ}^{2} + B i a s^{2} [\hat{f}] + V a r [\hat{f}]

$E[ (Y - \hat f)^2 ] = \sigma^2_\epsilon + Bias^2[\hat f] + Var[\hat f]$

왜 대한 의견 $E[\hat f Y] = f E[\hat f]$

Alecos 파파도풀로스에서 촬영 여기

는 우리가 데이터 포인트 기반으로 구성한 예측 변수 임을 기억 하십시오 그래서 우리는이 를 기억하기 위해 을 쓸 수 있습니다 . $\hat f$ $m$ $\{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)}) \}$ $\hat f = \hat f_m$

반면 는 위의 데이터 포인트 에 구성된 모델을 사용하여 새로운 데이터 포인트 에 대해 예측 한 것입니다. 평균 제곱 오차는 다음과 같이 쓸 수 있습니다. $Y$ $(x^{(m+1)},y^{(m+1)})$ $m$

E [{\hat{f}}_{m} (x^{(m + 1)}) - y^{(m + 1)}]^{2}

$E[\hat f_m(x^{(m+1)}) - y^{(m+1)}]^2$

이전 섹션에서 방정식 확장

E [{\hat{f}}_{m} Y] = E [{\hat{f}}_{m} (f + ϵ)] = E [{\hat{f}}_{m} f + {\hat{f}}_{m} ϵ] = E [{\hat{f}}_{m} f] + E [{\hat{f}}_{m} ϵ]

$E[\hat f_m Y]=E[\hat f_m (f+ \epsilon)]=E[\hat f_m f+\hat f_m \epsilon]=E[\hat f_m f]+E[\hat f_m \epsilon]$

방정식의 마지막 부분은

E [{\hat{f}}_{m} (x^{(m + 1)}) \cdot ϵ^{(m + 1)}] = 0

$E[\hat f_m(x^{(m+1)}) \cdot \epsilon^{(m+1)}] = 0$

우리는 점에 대해 다음과 같이 가정합니다 . $x^{(m+1)}$

그것은 한 하지 구성 할 때 사용하는 $\hat f_m$
다른 모든 관측 값과는 독립적입니다. $\{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)}) \}$
무관합니다. $\epsilon^{(m+1)}$

완전한 파생을 가진 다른 소스

— 자비에르 버렛 시콧
소스

왜 입니까? 이 본질적으로 사용하여 구성 되므로 와 이 독립적 이라고 생각하지 않습니다 .

E [\hat{f} Y] = f E [\hat{f}]

$E[\hat{f}Y]=f E[\hat{f}]$

Y

$Y$

\hat{f}

$\hat{f}$

\hat{f}

$\hat{f}$

Y

$Y$

— Felipe Pérez

그러나이 문제는, 본질적으로 동일한 이유

? 의 임의성

오류에서 오는

내가 왜 것 보지 않도록

와

독립, 따라서,

E [\hat{f} ϵ] = 0

$E[\hat{f}\epsilon]=0$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

E (\hat{f} ϵ) = 0

$\mathbb{E}(\hat{f}\epsilon)=0$

— Felipe Pérez

당신의 전제에서 샘플 내 대 샘플 관점이 중요합니다. 너무? 표본만으로 작업 한 경우 잔류 편차 편차 트레이드 오프가 사라짐에 따라

를 참조하십시오 .

ϵ

$\epsilon$

— markowitz

@ FelipePérez 지금까지 내가 이해의 임의성으로

(포인트 트레이닝 세트에서 종료 및 준 기차 테스트 분할에서 오는

훈련 예측 등을). 즉,의 분산

우리가 훈련 세트로 걸릴 수 주어진 고정 된 데이터 세트의 가능한 모든 부분 집합에서 온다. 데이터 세트가 고정되어 있기 때문에, 거기에는 난수의 유입되지

따라서 그리고

과

독립적이다.

\hat{f}

$\hat{f}$

\hat{f}

$\hat{f}$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

— Alberto Santini

편차-분산 트레이드 오프 파생 이해

바이어스의 몇 가지 단계-분산 분해

왜 대한 의견E[f^Y]=fE[f^]E[f^Y]=fE[f^]E[\hat f Y] = f E[\hat f]

완전한 파생을 가진 다른 소스

왜 대한 의견 $E[\hat f Y] = f E[\hat f]$