James-Stein 추정기는 왜 "수축률"추정기로 불리는가?

James-Stein 추정기에 대해 읽었습니다. 이 노트 에서는 다음과 같이 정의 됩니다.

\hat{θ} = (1 - \frac{p - 2}{‖ X ‖^{2}}) X

$\hat{\theta}=\left(1 - \frac{p-2}{\|X\|^2}\right)X$

나는 증거를 읽었지만 다음 진술을 이해하지 못합니다.

기하학적으로 James–Stein 추정기는 각 성분을 원점으로 축소합니다 . $X$

" 각 구성 요소를 $X$ 원점으로 축소 "는 정확히 무엇을 의미합니까? 내가 좋아하는 뭔가 생각

‖ \hat{θ} - 0 ‖^{2} < ‖ X - 0 ‖^{2},

$\|\hat{\theta} - 0\|^2 < \|X - 0\|^2,$ 만큼이 경우에 사실

(p + 2) < ‖ X ‖^{2}

$(p+2) < \|X\|^2$ 이후

” \hat{θ} ” = \frac{” 엑스 ”^{2} - (피 + 2)}{” 엑스 ”^{2}} ” 엑스 ” .

$\|\hat{\theta}\| = \frac{\|X\|^2 - (p+2)}{\|X\|^2} \|X\|.$

$L^2$ 표준 의미에서 JS 추정기는 보다 0에 가깝기 때문에 사람들이 "0으로 축소"라고 말할 때 이것이 의미하는 것 $X$ 입니까?

22/09/2017 기준으로 업데이트 : 오늘 나는 아마도 내가 너무 복잡하다는 것을 깨달았습니다. 그것은 사람들처럼 정말 평균 보인다 한 번 곱 무언가에 의해보다 작은 , 즉, 용어 , 각 구성 요소는 예전보다 작습니다. $X$ $1$ $\frac{\|X\|^2 - (p + 2)}{\|X\|^2}$ $X$

— 3x89g2
소스

그림은 때때로 천 단어의 가치가 있으므로 공유해 드리겠습니다. 아래 는 통계 에서 Bradley Efron (1977) 논문 Stein의 역설에서 나온 그림을 볼 수 있습니다 . 보시다시피, Stein의 추정값은 각 값을 총 평균에 가깝게 이동시키는 것입니다. 평균보다 큰 값을 작게하고 평균보다 작게 값을 크게합니다. 수축이란 평균을 향해 값을 이동 하거나 정규화 된 회귀와 같은 경우에는 0 을 향하여 매개 변수를 0 으로 이동시키는 것을 의미 합니다.

물론, 그것은 축소 자체에 관한 것이 아니라 Stein (1956) 과 James and Stein (1961) 이 증명 한 것은 Stein의 추정기가 총 제곱 오차의 관점에서 최대 가능성 추정치를 지배한다는 것입니다.

{이자형}_{μ} (” {\hat{μ}}^{제이 에스} - μ ”^{2}) < {이자형}_{μ} (” {\hat{μ}}^{미디엄 엘 이자형} - μ ”^{2})

$E_\mu(\| \boldsymbol{\hat\mu}^{JS} - \boldsymbol{\mu} \|^2) < E_\mu(\| \boldsymbol{\hat\mu}^{MLE} - \boldsymbol{\mu} \|^2)$

여기서 , 는 Stein 's Estimator이고 . 두 추정기는 샘플 에서 추정됩니다 . 증명은 원본 용지와 참조하는 용지의 부록에 나와 있습니다. 평범한 영어로, 그들이 보여준 것은 를 동시에 추측하면, 총 제곱 오차의 관점에서, 초기 추측을 고수하는 것과 비교하여 그것들을 축소함으로써 더 잘 할 수 있다는 것입니다. $\boldsymbol{\mu} = (\mu_1,\mu_2,\dots,\mu_p)'$ $\hat\mu^{JS}_i$ $\hat\mu^{MLE}_i = x_i$ $x_1,x_2,\dots,x_p$ $p > 2$

마지막으로 Stein의 추정기는 수축 효과를주는 유일한 추정기가 아닙니다. 다른 예를 들어, 이 블로그 항목 또는 Gelman et al. 이 참조한 Bayesian 데이터 분석 서적을 확인할 수 있습니다 . 정규화 회귀에 대한 스레드를 확인할 수도 있습니다. 예를 들어 수축 방법으로 어떤 문제가 해결됩니까? 또는 회귀 분석에 정규화 방법을 사용해야하는시기는? 이 효과의 다른 실제 적용을 위해.

— 팀
소스

이 기사는 도움이 될 것으로 보이며 읽을 것입니다. 내 생각을 더 설명하기 위해 질문을 업데이트했습니다. 좀 봐 줄래? 감사!

— 3x89g2

@Tim 저는 James-Stein 추정기가 추정기를 MLE보다 0에 가깝게 만든다는 점에서 Misakov의 주장이 합법적이라고 생각 합니다. Zero는이 추정기에서 중심적이고 중심적인 역할을하며 James-Stein 추정기는 다른 센터 나 하위 공간으로 축소되도록 구성 할 수 있습니다 (George, 1986). 예를 들어, Efron과 Morris (1973)는 공통 부분으로 축소되어 대각선 부분 공간에 해당합니다.

θ

$\theta$

— 시안