분산 및 바이어스 제곱으로의 MSE 분해

MSE가 분산과 바이어스의 제곱으로 분해 될 수 있음을 보여주기 위해 Wikipedia의 증거는 그림에서 강조된 단계가 있습니다. 어떻게 작동합니까? 3 단계에서 4 단계로 제품에 대한 기대 수준은 어떻습니까? 두 용어가 서로 독립적 인 경우 두 용어 모두에 기대치를 적용해서는 안됩니까? 그렇지 않은 경우이 단계가 유효합니까? 여기에 이미지 설명을 입력하십시오

random-variable expected-value mse

— statBeginner
소스

답변:

비결은 는 상수라는 것입니다. $\mathbb{E}(\hat{\theta}) - \theta$

— AdamO
소스

아 알 겠어요 여기서 알려지지 않은 것은 추정자입니다. 권리?

— statBeginner 19:43에

예. 기대하는 것은 견적자가 추정 한대로 간다는 것, 즉 를 0으로

E (\hat{θ} - E (\hat{θ}))

$\mathbf{E}(\hat{\theta} - \mathbf{E}(\hat{\theta}))$

— 만듭니다.

죄송합니다, 그 문장은 저에게 의미가 없습니다. 견적자가 예상했던대로 갔다면 그것이 편견이되지 않습니까? = 라고 말하면 설명 할 수 있습니다. = = 0?

E (\hat{θ} - E (\hat{θ}))

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (E (\hat{θ}))

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (\hat{θ})

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\hat{\theta})$

— user1158559

@ user1158559 중간에있는 제품 용어는 상수 값이 예상 값이 0 인 상수 시간입니다. 세타 모자가 바이어스 되어도 여전히 상수 시간 0입니다.

— AdamO

E (\hat{θ}) - θ

$\mathbb{E}(\hat{\theta}) - \theta$ 는 상수가 아니라 변수입니다. 또한, 트릭은 간단 하지 않으며 상수를 가진 는 기본값으로 0이되지 않습니다 (예 : ). 사실에 진짜 트릭 거짓 상기 상수 (와 일체로 꺼낼 수있다) 따라서

E (c)

$\mathbb{E}(c)$

c

$c$

E ((E (\hat{θ}) - θ)^{2}) \neq 0

$\mathbb{E}((\mathbb{E}(\hat{\theta}) - \theta)^2) \neq 0$

\int x p (x)

$\int x p(x)$

\int (\int x p (x)) p (x) = (\int x p (x)) \int p (x) = (\int x p (x)) 1 = (\int x p (x))

$\int (\int x p(x))p(x) = (\int x p(x)) \int p(x) = (\int x p(x)) 1 = (\int x p(x))$

— Sextus Empiricus

Adam의 대답은 가 상수 라는 비결에 대한 것입니다 . 그러나 최종 결과를 찾는 데 도움이되며 위키 백과 기사의 특정 단계에 대한 질문을 명확하게 설명하지 않습니다 (편집 : 지금은 하이라이트 및 3 줄에서 4 줄까지의 단계 에 대해 모호했습니다 ). $E(\hat{\theta}) - \theta$

(질문은 변수 에 관한 것으로 , 상수 와 다릅니다. . 아담의 대답에 내 의견이 잘못 썼다 더 명확하게하기 위해 조건을 확장 : 변수가 추정된다. , 상수이 추정치의 기대입니다 및 실제 값 ) $\mathbb{E}\left[\hat{\theta}\right] - \hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right] - \theta$ $\hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right]$ $\theta$

간계 1 : 고려

변수 $x=\hat{\theta}$

상수 $a=\mathbb{E}\left[ \hat{\theta} \right]$

그리고 상수 $b = \theta$

그런 관계 용이 변수의 순간 발현 변환 규칙을 이용하여 기록 될 수 에 대해 변수 적률 약 . $x$ $b$ $x$ $a$

$\mathbb{E}\left[(x-b)^n\right] = \sum_{i=0}^{n} \binom{n}{i}\mathbb{E}\left[(x-a)^i\right] (a-b)^{n-i}$

트릭 2 : 두 번째 순간에 대해 위의 공식은 요약에 세 개의 항이 있습니다. 때문에 이들 중 하나를 제거 할 수 있습니다 ( ). $i=1$ $\mathbb{E}\left[(\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right])\right] = \mathbb{E}\left[ \hat{\theta} \right] - \mathbb{E}\left[\mathbb{E}\left[ \hat{\theta} \right]\right] = 0$

여기서도 일정한 것으로 무언가를 주장 할 수 있습니다. 즉 경우 상수와 사용하고 , 상수이다, 당신이 얻을 . $\mathbb{E}(a)=a$ $a$ $a=\mathbb{E}(\theta)$ $\mathbb{E}(\mathbb{E}(\theta))=\mathbb{E}(\theta)$

직관적으로 우리가 순간 제조 약 중앙 모멘트와 동일한 (그리고 중앙 홀수 순간은 0이다). 우리는 약간의 타우 톨로지를 얻습니다. 변수 에서 평균을 빼서 평균이 0 인 변수를 생성합니다. 그리고 '평균이 0 인 변수'의 평균은 0입니다. $x$ $a$ $\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right]$

위키 백과 기사는이 두 가지 트릭을 각각 세 번째와 네 번째 줄에 사용합니다.

세 번째 줄의 중첩 된 기대

$\mathbb{E}\left[(\hat{\theta} -\mathbb{E}(\hat{\theta}))(\mathbb{E}({\hat{\theta}})-\theta) \right]$

상수 부분 외부로 가져 가면 단순화됩니다 (트릭 1). $(\mathbb{E}({\hat{\theta}})-\theta)$
라는 용어 는 변수라는 사실을 사용하여 해결합니다 (0과 동일). 평균은 0입니다 (트릭 2). $\mathbb{E}\left(\hat{\theta} -\mathbb{E}(\hat{\theta})\right)$ $\hat{\theta} -\mathbb{E}(\hat{\theta})$

— Sextus Empiricus
소스

$E(\hat{\theta}) - \theta$ 는 상수가 아닙니다.

@ user1158559의 의견은 실제로 올바른 것입니다.

E [\hat{θ} - E (\hat{θ})] = E (\hat{θ}) - E [E (\hat{θ})] = E (\hat{θ}) - E (\hat{θ}) = 0

$E[\hat{\theta} - E(\hat{\theta})] = E(\hat{\theta}) - E[E(\hat{\theta})] = E(\hat{\theta}) - E(\hat{\theta}) = 0$

— 작은 괴물
소스

당신이 보여 주려고하는 것이 보이지 않습니다. 또한 바이어스가 0이 아닐 수도 있지만 이것이 상수가 아님을 의미하지는 않습니다.

— Michael R. Chernick

이기 때문에 상수가 아닙니다. 여기서 는 주어진 훈련 데이터이며, 이는 또한 임의의 변수입니다. 따라서 그 기대치는 일정하지 않습니다.

\hat{θ} = f (D)

$\hat{\theta} = f(D)$

D

$D$

— little_monster

또한 상수가 아니거나 3 단계에서 4 단계가 가능한 방법을 설명 할 수 없다는 사실은 @ user1158559의 의견에서 설명합니다.

— little_monster

@Michael, 그 질문에 혼란이있었습니다. 강조 표시된 부분에는 식이 포함되어 있지만 질문의 본문에는 대신 세 번째 줄에서 네 번째 줄로의 변경에 대해 기대의 중첩을 변경합니다.

E (\hat{θ} - E (\hat{θ})) = 0

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}) )=0$

— Sextus Empiricus