Stein의 역설이

Stein 's Example 은 평균 μ 1 , … , μ n 및 분산 1을 갖는 정규 분포 변수 의 최대 우도 추정값이 제곱 손실 함수에서 iff n ≥ 3 인 것을 허용하지 않음을 보여 줍니다. 깔끔한 증거를 보려면 Bradley Effron의 대규모 추론 : 추정, 테스트 및 예측 을 위한 경험적 베이 방법의 첫 번째 장을 참조하십시오 .$n$$\mu_1,\ldots,\mu_n$$1$$n\ge 3$

$x \sim \mathcal N(\mu,1)$$\mathbb{E}\|x\|^2\approx \|\mu\|^2+n$

내 질문은 오히려입니다 : 무엇의 특성 차원 공간 (대한 )하지 스타의 모범을 용이하게 부족? 가능한 답은 sphere 의 곡률에 관한 것일 수도 있고 완전히 다른 것일 수도 있습니다 .$n$$n\ge 3$$\mathbb{R}^2$$n$

다시 말해, 왜 MLE가 됩니까?$\mathbb{R}^2$

---

편집 1 : @mpiktas 1.30에서 1.31에 대한 우려에 대한 답변 :

$$E_\mu\left(\|z-\hat{\mu}\|^2\right)=E_\mu\left(S\left(\frac{N-2}{S}\right)^2\right)=E_\mu\left(\frac{(N-2)^2}{S}\right).$$

$$\hat{\mu_i} = \left(1-\frac{N-2}{S}\right)z_i$$ 그래서따라서 우리는 : $$E_\mu\left(\frac{\partial\hat{\mu_i}}{\partial z_i} \right)=E_\mu\left( 1-\frac{N-2}{S}+2\frac{z_i^2}{S^2}\right).$$

$$2\sum_{i=1}^N E_\mu\left(\frac{\partial\hat{\mu_i}}{\partial z_i} \right)=2N-2E_\mu\left(\frac{N(N-2)}{S}\right)+4E_\mu\left(\frac{(N-2)}{S}\right)\\=2N-E_\mu\frac{2(N-2)^2}{S}.$$

편집 2 : 이 백서 에서 Stein은 MLE이 허용된다는 것을 증명합니다 .$N=2$

차원 다변량 정규 랜덤 변수 의 평균에 대한 MLE의 허용 가능성에 대한 경우 과 사이의 이분법 은 확실히 충격적입니다.$d < 3$$d \geq 3$$d$

과 경우 사이에 이분법이 존재하는 확률과 통계의 또 다른 유명한 예가 있습니다. 이것은 격자 에서 간단한 무작위 보행의 반복입니다 . 즉, 차원 단순 랜덤 워크는 1 또는 2 차원에서 반복되지만 차원 에서는 일시적입니다 . 연속 시간 아날로그 (브라운 운동의 형태)도 유지됩니다.$d < 3$$d \geq 3$$\mathbb{Z}^d$$d$$d \geq 3$

두 사람은 밀접한 관련이 있습니다.

래리 브라운 은이 두 질문이 본질적으로 동일하다는 것을 증명했습니다. 즉, 차원 브라운 운동이 반복 되는 경우에만 차원 다변량 법선 평균 벡터 의 최고의 불변 추정량 를 사용할 수 있습니다.$\hat{\mu} \equiv \hat{\mu}(X) = X$$d$$d$

사실, 그의 결과는 훨씬 더 나아갑니다 . 들면 어떤 분별 (즉, 범 베이 즈) 추정기 와 경계 (일반화) 위험이 명시가 (!) 대응 차원 확산하도록 추정기 는 해당 확산이 반복되는 경우에만 허용됩니다.$\tilde{\mu} \equiv \tilde{\mu}(X)$$L_2$$d$$\tilde{\mu}$

이 확산의 국소 평균은 본질적으로 두 추정기, 즉 사이의 불일치 이며 확산의 공분산은 입니다. 이것으로부터, MLE , 우리는 브라운 운동을 (축소 된) 회복한다는 것을 쉽게 알 수 있습니다.$\tilde{\mu} - \hat{\mu}$$2 I$$\tilde{\mu} = \hat{\mu} = X$

어떤 의미에서 우리는 확률 론적 과정의 렌즈를 통해 허용 문제를보고 원하는 결론에 도달하기 위해 잘 연구 된 확산 특성을 사용할 수 있습니다.

참고 문헌

1. L. Brown (1971). 허용 가능한 추정기, 반복 확산 및 불용성 경계 값 문제 . 앤 수학. 통계 , vol. 42 번 3, 855–903 쪽.
2. RN Bhattacharya (1978). 다차원 확산에 대한 불변 측정의 재발 및 존재에 대한 기준 . 앤 잠깐만 , vol. 6 번 4, 541–553.

@cardinal은 큰 대답을했지만 (+1) 증거에 익숙하지 않은 한 전체 문제는 신비로 남아 있습니다. 따라서 Stein의 역설이 및 나타나지 않는 직관적 인 이유에 대해서는 여전히 의문이 남아 있다고 생각합니다 .$\mathbb R$$\mathbb R^2$

나는 1990 년 Stephen Stigler의 수축 추정 에 대한 Galtonian Perspective에서 제공 한 회귀 관점을 매우 유용하게 생각한다 . 독립적 인 측정 고려하십시오 . 각 측정은 관찰되지 않은 측정하고 에서 샘플링됩니다 . 만약 우리가 알고 있다면 쌍 의 산포도를 만들 수 있습니다 :$X_i$$\theta_i$$\mathcal N(\theta_i, 1)$$\theta_i$$(X_i, \theta_i)$

대각선 는 제로 노이즈와 완벽한 추정에 해당합니다. 실제로 노이즈는 0이 아니므로 점이 대각선 에서 수평 방향으로 변위됩니다 . Correspondinly, 의 회귀 직선으로 볼 수 에 . 그러나 우리는 알고 하고 추정 할 우리가 오히려의 회귀 라인을 고려해야하므로, 에 다른 기울기를해야합니다, - 수평 바이어스를 그림 (점선)과 같이,.$\theta = X$$\theta = X$$X$$\theta$$X$$\theta$$\theta$$X$

Stigler의 논문에서 인용 :

Stein 역설에 대한 Galtonian 원근법은 거의 투명하게 만듭니다. 은 "통상의"추정기 의 이론적 인 회귀선으로부터 유도되는 에 . 우리의 목표는 예측할 수 있다면 그 줄은 유용 할 것이다 에서 하지만 우리의 문제, 즉 예측, 반대입니다 에서 제곱 오차의 합을 사용하여 로 기준. 그 기준 들어 선형 추정기는 최적의 최소 제곱 회귀 직선 주어진다 에$\hat \theta_i^0 = X_i$$X$$\theta$$X$$\theta$$\theta$$X$$\sum (\theta_i - \hat \theta_i)^2$$\theta$$X$James-Stein 및 Efron-Morris 추정기는 그 자체로 최적 선형 추정기의 추정기입니다. "일반적인"추정치는 잘못된 회귀선에서 파생되며 James-Stein 및 Efron-Morris 추정기는 근사에서 오른쪽 회귀선까지 도출됩니다.

그리고 이제 중요한 부분이 있습니다 (강조 추가).

우리는 심지어 이유를 볼 수 필요하다 : 만약 또는 의 최소 제곱 라인 에서 점을 통과한다 , 그리고 이에 대한 또는 의 (두 회귀 라인 에 와의 에 ) 각에 동의해야합니다 .$k\ge 3$$k=1$$2$$\theta$$X$$(X_i, \theta_i)$$k=1$$2$$X$$\theta$$\theta$$X$$X_i$

나는 이것이 과 특별한 점을 매우 분명하게 생각한다고 생각합니다 .$k=1$$k=2$