동일하지 않은 분산을 갖는 James-Stein Estimator

James-Stein 추정값에 대해 내가 찾은 모든 진술은 추정되는 랜덤 변수의 분산이 동일하다고 가정합니다.

그러나이 모든 예는 JS 추정기가 서로 관련이없는 수량을 추정하는 데 사용될 수 있다고 언급합니다. 위키 피 디아 예는 몬태나 빛, 대만의 차 소비, 돼지 무게의 속도입니다. 그러나이 세 가지 수량에 대한 측정 결과에는 "실제"차이가있을 수 있습니다. 이것이 문제가됩니까?

이 질문과 관련하여 이해하지 못하는 더 큰 개념적 문제와 관련이 있습니다. James-Stein Estimator : Efron과 Morris 는 야구 예에서 수축 계수로 를 어떻게 계산 했습니까? $\sigma^2$ 수축 계수 를 다음과 같이 계산합니다 . $c$

c = 1 - \frac{(k - 3) σ^{2}}{\sum (y - \bar{y})^{2}}

$c = 1 - \frac{(k-3) \sigma^2} {\sum (y - \bar{y})^2}$

직관적으로, 항은 실제로 추정되는 수량에 따라 생각합니다 . 그러나 그 질문에 대한 논의는 풀 분산을 사용하는 것에 대해서만 이야기합니다 ... $\sigma^2$ $\sigma^2_i$

누군가이 혼란을 해결할 수 있다면 정말 감사하겠습니다!

estimation shrinkage steins-phenomenon

— exp1orer
소스

분산이 를 왼쪽으로 곱하여 James-Stein 문제로 돌아갈 수 있습니다. 경우 알 수 있지만, 문제의 각 "관찰"에 기초하여 계산 샘플 평균입니다 관찰 우리가 추정 할 수있다 일부 우리가별로 곱 미리 경우 우리는 또한 제임스 - 스타 인 상황을 얻을 희망 대신에.

D = diag (σ_{1}^{2}, \dots, σ_{n}^{2})

$D = \mbox{diag}(\sigma_1^2, \ldots, \sigma_n^2)$

D^{- 1 / 2}

$D^{-1/2}$

D

$D$

m_{i}

$m_i$

D

$D$

\hat{D}

$\hat D$

{\hat{D}}^{- 1 / 2}

$\hat D^{-1/2}$

— guy

@guy : 이것은 현명한 제안이지만 (+1), 이는 모든 변수에 대해 동일한 수축 계수를 초래하지만 분산 / 불확실성에 따라 변수를 다르게 축소하려고합니다. 내가 방금 게시 한 답변을 참조하십시오.

— amoeba

@amoeba 물론; 나는 견적자가 실용적이라고 제안하지 않았으며, 사람들이 왜 OP가 두 번째 단락에서 언급 한 것을 말하는지를 설명했다.

— guy

이 질문은 1970 년대에 Efron & Morris에 의해 작성된 경험적 베이 즈 (Empirical Bayes) 맥락에서 James-Stein 추정기에 관한 고전적인 일련의 논문에서 명확하게 답변되었습니다. 나는 주로 언급하고 있습니다 :

Efron and Morris, 1973, Stein의 추정 규칙 및 경쟁사-경험적 베이 접근
Efron and Morris, 1975, Stein의 추정기와 일반화를 사용한 데이터 분석
Efron and Morris, 1977, Stein의 통계 역설

1977 년 논문은 반드시 읽어야 할 비 기술적 인 설명입니다. 여기에서 야구 타자 예제를 소개합니다 (연결된 스레드에서 설명). 이 예에서 관측 편차는 실제로 모든 변수에 대해 동일해야하며 수축 계수 는 일정합니다. $c$

그러나 그들은 엘살바도르의 여러 도시에서 톡소 플라즈마 증의 비율을 추정하는 또 다른 예를 제시합니다. 각 도시에서 다른 수의 사람들이 조사되었으므로, 개별 관찰 (각 도시에서 톡소 플라즈마 증 비율)은 다른 차이를 갖는 것으로 생각 될 수 있습니다 (조사 된 사람들의 수가 적을수록 차이가 더 큼). 직감은 확실히 분산이 낮은 (불확실성이 낮은) 데이터 포인트는 분산이 높은 데이터 포인트 (높은 불확실성)만큼 크게 축소 할 필요가 없다는 것입니다. 분석 결과는 다음 그림에 나와 있으며 실제로 이러한 상황이 발생할 수 있습니다.

여기에 이미지 설명을 입력하십시오

동일한 데이터와 분석은 훨씬 더 기술적 인 1975 백서와 훨씬 더 우아한 그림으로 제시됩니다 (불행히도 개별 편차를 표시하지는 않음) 섹션 3을 참조하십시오.

여기에 이미지 설명을 입력하십시오

거기 그들은 다음과 같은 단순화 된 경험적 베이 즈 치료법을 제시합니다. 하자 알 수 없습니다. 경우 모든 동일한 표준 경험적 베이 즈 처리를 추정하는 로서 과의 귀납적 평균 계산하는 같이 아무것도 James-Stein 추정기 이외의

X_{i} | θ_{i} \sim N (θ_{i}, D_{i}) θ_{i} \sim N (0, A)

$X_i|\theta_i \sim \mathcal N(\theta_i, D_i)\\ \theta_i \sim \mathcal N(0, A)$

A

$A$

D_{i} = 1

$D_i=1$

1 / (1 + A)

$1/(1+A)$

(k - 2) / \sum X_{j}^{2}

$(k-2)/\sum X_j ^2$

θ_{i}

$\theta_i$

{\hat{θ}}_{i} = (1 - \frac{1}{1 + A}) X_{i} = (1 - \frac{k - 2}{\sum X_{j}^{2}}) X_{i},

$\hat \theta_i = \left(1-\frac{1}{1+A}\right)X_i = \left(1-\frac{k-2}{\sum X_j^2}\right)X_i,$

이제 이면 Bayes 업데이트 규칙은 이며 동일한 경험적 베이 트릭을 사용하여 , 이 경우 에 대한 공식이 없더라도 (용지 참조). 그러나 그들은 $D_i \ne 1$

{\hat{θ}}_{i} = (1 - \frac{D_{i}}{D_{i} + A}) X_{i}

$\hat \theta_i = \left(1-\frac{D_i}{D_i+A}\right)X_i$

A

$A$

\hat{A}

$\hat A$

...이 규칙은 모든 가 같을 때 Stein 's로 축소되지 않으며 대신 Stein 's로 축소되는 [1973 년 논문]에서 파생 된이 추정기의 작은 변형을 사용합니다. 변형 규칙은 다른 값을 추정 각 도시에 대한. 이 경우 규칙의 차이는 미미하지만 가 더 작은 경우 중요 할 수 있습니다 . $D_j$ $\hat A_i$ $k$

1973 년 논문의 관련 섹션은 섹션 8이며, 조금 더 이해하기 쉽습니다. 흥미롭게도, 그들은 위의 의견에서 @guy의 제안에 대해 명백한 의견을 가지고 있습니다.

이 상황에 제임스 - 스타 인 규칙을 일반화하는 아주 간단한 방법을 정의하는 것입니다 , 그래서 , [원본 James-Stein 규칙]을 변환 된 데이터에 적용한 다음 원래 좌표로 다시 변환하십시오. 결과 규칙 은 를 추정각 가 동일한 요소에 의해 원점을 향해 줄어들 기 때문에 이것은 매력적이지 않습니다 . $\tilde x_i = D_i^{-1/2} x_i, \tilde \theta_i = D_i^{-1/2} \theta_i$ $\tilde x_i \sim \mathcal N(\tilde \theta_i, 1)$ $\theta_i$
${\hat{θ}}_{i} = (1 - \frac{k - 2}{\sum [X_{j}^{2} / D_{j}]}) X_{i} .$ $\hat \theta_i = \left(1-\frac{k-2}{\sum [X_j^2 / D_j]}\right)X_i.$ $X_i$

그런 다음 계속 읽어보고 를 추정하기 위해 선호하는 절차를 설명 합니다. 세부 사항에 관심이 있으시면 거기를 살펴보십시오. $\hat A_i$

— 아메바
소스