가우스 분포에서 MLE of Variance가 바이어스됨을 이해하는 방법은 무엇입니까?

PRML을 읽고 있는데 그림을 이해하지 못합니다. 그림을 이해하기위한 힌트와 가우시안 분포의 분산 MLE이 왜 편향 될 수 있습니까?

공식 1.55 : 공식 1.56 σ 2 M L E =

$$\mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n$$ $$\sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2$$

직관

바이어스는 사실 (전문 용어 전혀 없음) "으"된다 에 대한 바이어스 μ 2 . 당연한 질문은 "음, 왜 E [ ˉ x 2 ] 가 μ 2에 대해 바이어스 되는지에 대한 직감은 무엇 입니까?" 직감은 제곱이 아닌 표본 평균에서 때로는 과대 평가하거나 때로는 과소 평가 하여 실제 값 μ 를 그리워한다는 것 입니다. 그러나 제곱하지 않으면 과대 평가 및 과소 평가 경향이 서로 상쇄됩니다. 그러나 우리가 ˉ x를 제곱 하면 과소 평가되는 경향이 있습니다 ( μ 의 실제 값을 놓치십시오)$E[\bar{x}^2]$$\mu^2$$E[\bar{x}^2]$$\mu^2$$\mu$$\bar{x}$$\mu$음수))도 제곱되어 양수가됩니다. 따라서 더 이상 취소되지 않으며 과대 평가되는 경향이 있습니다.

왜 뒤에 직관 경우 에 대한 바이어스 μ 2는 아직 불분명하다, 젠슨의 불평등 뒤에 직관 (좋은 직관적 인 설명을 이해하려고 여기를 )과에 적용 E [ X 2 ] .$x^2$$\mu^2$$E[x^2]$

iid 샘플에 대한 분산의 MLE이 편향되어 있음을 증명합시다. 그런 다음 직감을 분석적으로 확인합니다.

증명

하자 σ 2 = 1$\hat{\sigma}^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2$

$E[\hat{\sigma}^2] \neq \sigma^2$

$$E[\hat{\sigma}^2] = E[\frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2] = \frac{1}{N}E[\sum_{n = 1}^N (x_n^2 - 2x_n\bar{x} + \bar{x}^2)] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2]$$

및 ∑ N n = 1 ˉ x 2 = N ˉ x 2 라는 사실을 사용하여 ,$\sum_{n = 1}^N x_n = N\bar{x}$$\sum_{n = 1}^N \bar{x}^2 = N\bar{x}^2$

$$\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - 2N\bar{x}^2 + N\bar{x}^2]=\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - N\bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2] - E[\bar{x}^2] = \frac{1}{N}\sum_{n = 1}^N E[x_n^2] - E[\bar{x}^2] \\= E[x_n^2] - E[\bar{x}^2]$$

E [ x 2 n ] 으로 인해 이후 마지막 단계로$E[x_n^2]$ 가 동일한 분포에서 때문에 n에 걸쳐 동일 .$n$

이제 $\sigma^2_x = E[x^2] - E[x]^2$

$$E[x_n^2] - E[\bar{x}^2] = \sigma^2_x + E[x_n]^2 - \sigma^2_\bar{x} - E[x_n]^2 = \sigma^2_x - \sigma^2_\bar{x} = \sigma^2_x - Var(\bar{x}) = \sigma^2_x - Var(\frac{1}{N}\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n)$$

상수의 제곱을 적절하게 제곱했습니다. 의 그 취출 때VR을($\frac{1}{N}$$Var()$ . 그것에 특별한주의를 기울이십시오!

$$\sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2N \sigma^2_x = \sigma^2_x - \frac{1}{N}\sigma^2_x = \frac{N-1}{N}\sigma^2_x$$

$\sigma_x^2$

직감 분석

$\mu$$\mu$$\mu^2$$E[\bar{x}^2]$$\hat{\sigma}^2$

$\hat{\sigma}_\mu^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \mu)^2$

$E[x_n^2] - E[\bar{x}^2]$$\bar{x}$$\mu$

$$E[x_n^2] - E[\mu^2] = E[x_n^2] - \mu^2 = \sigma^2_x + E[x_n]^2 - \mu^2= \sigma^2_x$$

그것은 편견이 아닙니다!