평균 제곱 오차가 한 추정기의 상대적인 우월성을 평가하는 데 사용됩니까?

13

어떤 매개 변수 대해 두 개의 추정기 및 가 있다고 가정하십시오 . 어떤 추정기가 "더 나은"지를 결정하기 위해 MSE (평균 제곱 오차)를 살펴 볼까요? 다시 말해 우리는 봅니다. 여기서 는 추정기의 치우침이고 는 추정기의 분산입니까? MSE가 더 큰 쪽이 더 나쁜 견적일까요? $\alpha_1$ $\alpha_2$ $x$

M S E = β^{2} + σ^{2}

$MSE = \beta^2+ \sigma^2$

β

$\beta$

σ^{2}

$\sigma^2$

estimation mse

— 다미 엔
소스

10

두 개의 경쟁 추정기 및 경우 여부에 따라 은 더 나은 견적은 전적으로 귀하의 "최고"에 대한 정의에 달려 있습니다. 예를 들어, 편향되지 않은 추정값을 비교하고 "더 나은"경우 분산이 더 낮다는 것을 의미합니다. 예, 이는 이 더 낫다 는 것을 의미합니다 . 는 Least Squares 및 Gaussian log-like와 관련이 있기 때문에 널리 사용되는 기준이지만 많은 통계 기준과 마찬가지로 를 사용하지 않도록주의해야합니다. $\hat \theta_1$ $\hat \theta_2$

M S E ({\hat{θ}}_{1}) < M S E ({\hat{θ}}_{2})

${\rm MSE}(\hat \theta_1) < {\rm MSE}(\hat \theta_2)$

{\hat{θ}}_{1}

$\hat \theta_1$

{\hat{θ}}_{1}

$\hat \theta_1$

M S E

$\rm MSE$

M S E

$\rm MSE$ 응용 프로그램에주의를 기울이지 않고 견적 품질의 척도로 맹목적으로.

를 최소화하기 위해 추정기를 선택하는 것이 특히 합리적이지 않은 상황이 있습니다. 두 가지 시나리오가 떠 오릅니다. ${\rm MSE}$

데이터 세트에 매우 큰 특이 치가있는 경우 MSE에 큰 영향을 미칠 수 있으므로 MSE를 최소화하는 추정기는 이러한 특이 치에 의해 영향을받을 수 있습니다. 이러한 상황에서 추정값이 MSE를 최소화한다는 사실은 특이 치를 제거하면 크게 다른 추정치를 얻을 수 있기 때문에 실제로 많은 것을 알려주지 않습니다. 그런 의미에서 MSE는 특이 치에 "강력한"것이 아닙니다. 회귀의 맥락 에서이 사실은 Huber M-Estimator (이 답변에서 논의)에 동기를 부여한 것으로, 긴 꼬리 오류가있을 때 다른 기준 기능 (제곱 오차와 절대 오차의 혼합)을 최소화합니다 .
경계 매개 변수를 추정하는 경우, 비교 는 그렇지 않은 경우 과대 평가 및 과소 평가하기 때문에 적절하지 않을 수 있습니다. 예를 들어, 분산 추정한다고 가정합니다 . 그런 다음 의식적으로 수량을 과소 평가하면 가 최대 일 수 있지만 과대 평가로 인해 를 훨씬 초과 하는 를 생성 할 수 있습니다 . $\rm MSE$ $\sigma^2$ $\rm MSE$ $\sigma^4$ $\rm MSE$ $\sigma^4$

이러한 결점을보다 명확하게하기 위해, 이러한 문제로 인해 가 추정기 품질의 적절한 척도가 아닐 수 있는 구체적인 예를 들어 보겠습니다 . $\rm MSE$

당신은 샘플이 가정 A로부터 와 유통 $X_1, ..., X_n$ $t$ $\nu>2$ 자유도 을 추정하려고한다고 가정합니다 . 두 개의 경쟁하는 추정기를 고려 와 분명히 그리고 사용하여 파생 될 수있는 $\nu/(\nu-2)$

{\hat{θ}}_{1} : t h e u n b i a s e d s a m p l e v a r i a n c e

$\hat \theta_{1}: {\rm the \ unbiased \ sample \ variance}$

{\hat{θ}}_{2} = 0, r e g a r d l e s s o f t h e d a t a

$\hat \theta_{2} = 0,{\rm \ regardless \ of \ the \ data}$

M S E ({\hat{θ}}_{2}) = \frac{ν^{2}}{(ν - 2)^{2}}

$\rm MSE(\hat \theta_{2}) = \frac{\nu^2}{(\nu-2)^2}$

M S E ({\hat{θ}}_{1}) = {\begin{cases} \infty & if ν \leq 4 \\ \frac{ν^{2}}{(ν - 2)^{2}} (\frac{2}{n - 1} + \frac{6}{n (ν - 4)}) & if ν > 4 . \end{cases}

${\rm MSE}(\hat \theta_{1}) = \begin{cases} \infty &\mbox{if } \nu \leq 4 \\ \frac{\nu^2}{(\nu-2)^2} \left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) & \mbox{if } \nu>4 . \end{cases}$ 이 스레드에서 논의 된 사실 과 분포 의 속성

t

$t$ . 따라서 순진한 추정기는 $\rm MSE$ $\nu < 4$ 일 때마다 표본 크기에 관계없이 의 성능을 능가 합니다. 이는 다소 당황 스럽습니다. 일 때도 성능 이 뛰어나지 만 이는 매우 작은 표본 크기에만 해당됩니다. 위의 결과는 작은 자유도를 갖는 분포 의 긴 꼬리 특성으로 인해 발생 합니다. 는 매우 큰 값을 되고 는 과대 평가에 대해 과도하게 벌점을 부과하지만

(\frac{2}{n - 1} + \frac{6}{n (ν - 4)}) > 1

$\left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) > 1$

t

$t$

{\hat{θ}}_{2}

$\hat \theta_{2}$

M S E

$\rm MSE$

{\hat{θ}}_{1}

$\hat \theta_1$ 이 문제가 없습니다.

결론은 $\rm MSE$ 은이 시나리오에서 가 적절한 측정 추정기 성능이 아니라는 것 입니다. 이는 측면에서 지배적 인 추정값이 우스운 것이기 때문에 분명합니다 (특히 관찰 된 데이터에 변동성이있을 경우 정확할 가능성이 없기 때문에). 아마도 Casella와 Berger가 지적한 것처럼 더 적절한 접근 방식은 Stein 's Loss를 최소화 하는 분산 추정기 를 선택하는 것입니다 . $\rm MSE$ $\hat \theta$

S (\hat{θ}) = \frac{\hat{θ}}{ν / (ν - 2)} - 1 - \log (\frac{\hat{θ}}{ν / (ν - 2)})

$S(\hat \theta) = \frac{ \hat \theta}{\nu/(\nu-2)} - 1 - \log \left( \frac{ \hat \theta}{\nu/(\nu-2)} \right)$

과소 평가는 과대 평가에 똑같이 과소 평가를 부과합니다. 또한 이래로 우리를 정신 건강 상태로 $S(\hat \theta_1)=\infty$ :)

— 매크로
소스

(+1) 멋진 토론. 공평하게 말하면, 다른 기준 (다른 손실 함수)에 대해서도 비슷한 주장을 할 수 있다는 점을 지적해야 할 것입니다.

— MånsT 2016 년

2

일반적으로 예상 손실 대비 모수를 나타내는 위험 함수 를보고 추정자를 평가 합니다. 여기에서 매개 변수를 수정하면 잘못된 분석을 생성했을 수 있습니다. 결국, 그건 항상 올바른 매개 변수와 동일 단지 설정 : 바보 (상수, 데이터 무지) 추정이 매우 낮은 예상 손실을 생성 할 수있는 경우! 이것은 시뮬레이션이 실제로 무엇을 보여 주 었는지 궁금합니다.

— whuber

@ whuber, 나는이 대답을 수정하여 예제를 분석적으로 제공하여 아마도 더 명확하게 만듭니다. 또한 더 적절한 대체 손실 기능을 제공했습니다.

— 매크로

ν

$\nu$

2

$L(\alpha_i) = (\alpha_i - \alpha)^2$

— JMS
소스

2

함수 $f(x) = x^2$ 는 구별 할 수 있기 때문에 이론적 및 수치 적 관점에서 최소 MSE를 쉽게 찾을 수 있습니다. 예를 들어, 보통 최소 제곱에서 적합 경사 및 절편에 대한 명시 성을 해결할 수 있습니다. 수치 적 관점에서 볼 때 파생물이있을 때 더 효율적인 솔버가 있습니다.

평균 제곱 오차는 일반적으로 내 의견으로는 이상 값을 과체중합니다. 그렇기 때문에 평균 절대 오차를 사용하는 것이 더 강력합니다. 즉오류 기능으로. 그러나 구분할 수 없기 때문에 솔루션 작업이 더 어려워집니다. $f(x) = |x|$

오류 항이 정규 분포를 따르는 경우 MSE가 적합합니다. 꼬리가 굵은 경우 절대 값과 같은보다 강력한 선택이 바람직합니다.

— aprokopiw
소스

0

Case & Berger Statistical Inference 2nd edition 332 페이지에서는 MSE가 과대 평가 및 과소 평가에 대해 동일하게 벌칙을 부과한다고 명시하고 있으며, 이는 해당 사례에 적합합니다. 그러나 스케일의 경우 0은 자연적인 하한이므로 추정 문제는 대칭이 아닙니다. 이 경우 MSE를 사용하면 과소 평가를 용서하는 경향이 있습니다.

어떤 추정기가 UMVUE 속성을 만족시키는 지 확인할 수 있습니다. 이는 Cramer-Rao 하한을 사용하는 것을 의미합니다. 페이지 341.

— Tu.2
소스