Rao-Blackwell 정리는 왜 합니까?

라오-블랙웰 정리

하자 의 추정 될 와 모든 . 한다고 가정 충분 , 그리고하자 그런 다음 모든 , 가 의 함수가 아닌 한 부등식은 엄격합니다. $\hat{\theta}$ $\theta$ $\Bbb E (\hat{\theta}^2) < \infty$ $\theta$ $T$ $\theta$ $\theta ^ * = \Bbb E (\hat{\theta}|T)$ $\theta$
$E (θ^{*} - θ)^{2} \leq E (\hat{θ} - θ)^{2}$ $\Bbb E (\theta^* - \theta )^2 \leq \Bbb E (\hat{\theta} - \theta )^2$ $\hat{\theta}$ $T$

이 정리를 올바르게 이해하면 대한 통계량 가 충분 하면 가 주어진 조건부 예상 값 이 대한 해결책이라고합니다 $T$ $\theta$ $\hat{\theta}$ $T$ $\min_{\hat{\theta}} \Bbb E$ $(\hat{\theta}-\theta)^2$

내 질문

$\theta^*$ 최소화 하는 것이 맞 습니까? $\Bbb E$ $(\hat{\theta}-\theta)^2$
Rao-Blackwell 정리는 왜 $\Bbb E(\hat{\theta}^2) < \infty$ 합니까?
$\hat{\theta}$ 가 의 함수가 아닌 한 불평등은 왜 엄격한가 $T$ ?

rao-blackwell

— 스탠 순 피케
소스

라오-블랙웰 정리에 대한 직관적이고 공식적인 정당화

— Xi'an

를 찾는 데 필요한 것은 무엇입니까 ?

min_{\hat{θ}} E

$\min_{\hat{\theta}} \Bbb E$

(\hat{θ} - θ)^{2}

$(\hat{\theta}-\theta)^2$

— Stan Shunpike

답변:

아니요, 는 보다 더 나은 추정량 이지만 반드시 최고는 아닙니다 (무엇이든 상관 없습니다) $\theta^*$ $\hat\theta$
추정값에 분산이 없으면 그 위험은 무한하며 에 유한 한 위험이 있다는 보장은 없습니다 ( Horst Grünbusch 가 그의 의견에서 지적한 것처럼 발생할 수 있음 ). $\theta^*$
대한 유한 분산 에서 기대 조건부 분산의 합과 조건부 기대 분산의 합으로 분산 분해 때문에 부등식이 엄격합니다. 예상되는 조건부 분산이 0이 아닌 한 의 함수 인 에 해당합니다. $\hat\theta$ $var (\hat{θ}) = E_{T} [var (\hat{θ} | T)] + {var}_{T} (E [\hat{θ} | T]) = E_{T} [var (θ | T)] + {var}_{T} (θ^{*})$ $\text{var}(\hat\theta)=\mathbb{E}_T[\text{var}(\hat\theta|T)]+ \text{var}_T(\mathbb{E}[\hat\theta|T])=\mathbb{E}_T[\text{var}(\theta|T)]+\text{var}_T(\theta^*)$ $\hat\theta$ $T$

— 시안
소스

ad 2 : 왜 가 불가능 합니까? 를 대한 추정기로 고려하십시오 . 여기서 , 는 관련없는 Cauchy-distributed rv입니다.

E ({\hat{θ}}^{2} | T) < E ({\hat{θ}}^{2}) = \infty

$E(\hat{\theta}^2|T)<E(\hat{\theta}^2)=\infty$

\hat{θ} = X + C

$\hat{\theta} = X + C$

μ

$\mu$

X \sim N (μ, σ^{2})

$X \sim \mathcal{N}(\mu,\sigma^2)$

C

$C$

— Horst Grünbusch

@ HorstGrünbusch 컨디션을했을 때 왜 Cauchy 작품이 사라질까 요? 또한 는 공정한 추정량이 아닙니다.

T

$T$

\hat{θ}

$\hat{\theta}$

— dsaxton

@ HorstGrünbusch 귀하의 에는 조건부 기대치 ( 에는 기대치가 없으므로)가 없으므로 는 정의되지 않은 것 같습니다.

\hat{θ}

$\hat{\theta}$

∣ T

$\mid T$

C

$C$

θ^{*}

$\theta^\ast$

— Juho Kokkala

좋아, 내가 원했던 것은 기대가없는 분산이 아닌 였습니다 . ;) 이제 걸릴 , 즉 학생-t-분산 2 자유도와 함께 와 독립적 인 . 충분한 통계량은 분명히 입니다. 그런 다음 이지만

C

$C$

C \sim t_{2}

$C \sim t_2$

E (C) = 0

$E(C)=0$

C

$C$

X

$X$

X

$X$

E (X + C | X) = E (X | X) + E (C | X) = X + E (C) = X

$E(X+C|X) = E(X|X) + E(C|X) = X + E(C) = X$

\infty = V a r (C) + V a r (X) = V a r (X + C) > V a r (X + C | X) = σ^{2}

$\infty=Var(C) + Var(X) = Var(X+C)>Var(X+C|X)=\sigma^2$

— Horst Grünbusch

따라서 원래 추정기가 무한 분산을 갖는 경우 Rao-Blackwell 추정기가 반드시 무한 분산을 갖는 것은 잘못이라고 생각합니다. (모두 차이가 반드시있을 것이다 그러나 경우에도 무한 가만히 것입니다.)

\infty \leq \infty

$\infty \leq \infty$

— 호르스트 Grünbusch

충분한 통계가되는 것은 고유하지 않습니다. 사소한 것은 전체 데이터로 충분하지만 추정치를 조정해도 아무런 변화가 없습니다. 따라서 최소 평균 제곱 오차를 갖는 데 충분한 통계만으로는 충분하지 않습니다. 충분한 보 완성 (실제로는 충분하고 완전 함)에 대한 증거로 Rao-Blackwell 정리를 사용하는 Lehmann-Scheffé-theorem을 참조하십시오.
둘 다 무한하면 약한 불평등은 항상 사실입니다. 그러나, 반례로서, 의 함수는 아니지만 여전히 무한 분산 ( 만 보유) 인 충분한 통계량을 구성 할 수 있습니다 . $T$ $\leq$

예를 들어 , 및 가진 시프트 된 분포 랜덤 변수 및 다른 독립적 인 랜덤 변수 . 추정 할 매개 변수는 입니다. 원래 견적 도구는 입니다. 충분한 통계는 물론 입니다. Rao-Blackwell 추정량 및 는 모두 무한 분산입니다. 따라서 불평등은 약하게 유지 될 것입니다. 반면에, 의 단순한 함수가 아닙니다 $C_1 \sim t_2 + \mu$ $t_2$ $E(C_1) = \mu$ $Var(C_1) = \infty$ $C_2 \sim t_2$ $\mu$ $\hat{\theta} = C_1 + C_2$ $C_1$ $E(\hat{\theta}|C_1)=C_1$ $\hat{\theta}$ $C_1+C_2$ $C_1$ : 다른 임의의 변수가 포함되므로 세 번째 질문에 대한 마지막 문장과 모순됩니다. 실제로 일부 교과서는 원본 추정기에 대해 무한한 차이를 허용하지만 보유 상태를 명시 할 수 없습니다 . $<$

경우 의 함수이다 , 당신은 인수 분해 정리가로 증명할 수 있습니다 이미 충분하다 . 다시 우리는 아무것도 개선하지 않습니다. 이 경우와는 별도로 불평등은 엄격하며 정리의 사소한 주장이다. $\hat{\theta}$ $T$ $\hat{\theta}$ $\theta$

— 호르스트 그 ün 부쉬
소스