통계에서 완전도를 편향 추정량을 형성하는 것이 불가능한 것으로 정의하는 직관은 무엇입니까 ?

21

고전 통계에서, 데이터 세트 의 통계량 는 매개 변수 대해 완전하도록 정의 정의가 비 편향 추정량 을 형성하는 것은 불가능하다 . 즉, 모든 대해 을 갖는 유일한 방법 은 가 거의 이되도록하는 것입니다. $T$ $y_1, \ldots, y_n$ $\theta$ $0$ $E h(T (y )) = 0$ $\theta$ $h$ $0$

이것 뒤에 직관이 있습니까? 이것을 정의하는 다소 기계적인 방법 인 것처럼 보입니다. 이것은 이전에 요청되었지만, 입문 학생들이 재료를 소화하는 데 더 쉬운 시간을 가질 수있는 직관을 이해하기가 매우 쉬운 지 궁금합니다.

— 사용자 1398057
소스

2

그것은 매우 좋은 질문입니다, 나는 그것을 스스로 파헤쳐 야했습니다. 그것은 그것이 기계적 정의이고 나처럼 표준 실무자에게 직관적으로 의미가없는 이유는 그것이 수학 통계에 근본적인 기여를 입증하는 데 주로 사용되기 때문입니다. 특히, 나의 짧은 검색은 Lehmann-Scheffé 정리와 Basu 정리가 보유하기 위해서는 통계의 완전성 을 요구 한다는 것을 밝혀 냈습니다 . 이것들은 1950 년대 중반의 공헌입니다. 나는 당신에게 직관적 인 설명을 제공 할 수는 없습니다. 그러나 만약 당신이 정말로 그것을 만들고 싶다면, 아마도 증거 협회

— Jeremias K

18

다른 답변에 추가하려고합니다. 첫째, 완전성은 주로 그것을 사용하는 이론에 의해 정당화되는 기술적 조건입니다. 관련 개념과 이론이 어디에서 발생하는지 시작하겠습니다.

하자 우리가 배신 갖는 것으로서 모델링 IID 데이터의 벡터 표현 (가) 여기서 변수 데이터가 합동 인 알 수 없는. 의 조건부 분포가 매개 변수 에 의존하지 않으면 로 충분 합니다 . 인 보조 분배 경우 의존하지 않는다 (패밀리 내의 ). 는 다음 에 관계없이 기대 값이 0 인 경우 0 의 편향 추정량 입니다. $X=(X_1,X_2,\dotsc,X_n)$ $f(x;\theta), \theta \in \Theta$ $\theta$ $T=T(X)$ $X \mid T$ $\theta$ $V=V(X)$ $V$ $\theta$ $f(x;\theta)$ $U=U(X)$ $\theta$ . A는 전체 통계 에 기초하여 제로 중 바이어스 추 만약 있는 경우, 즉, 동일 제로 다음에 ae (모든 ). $S=S(X)$ $S$ $\DeclareMathOperator{\E}{\mathbb{E}} \E g(S)=0 (\text{for all $\theta$})$ $g(S)=0$ $\theta$

이제 충분한 통계량 , 기반으로 두 개의 서로 다른 바이어스되지 않은 추정기가 있다고 가정합니다 . 즉, 기호 및 (모든 ). 그런 다음 는 0으로 편향되지 않은 추정량으로, 동일하게 0 이 아니므로 가 완료되지 않았 음을 나타냅니다. 그래서, 충분한 통계의 완전성 단지 하나의 고유 불편 추정이 존재하는 것을 우리에게 제공 에 따라 $\theta$ $T$ $g_1(T), g_2(T)$

E g_{1} (T) = θ, E g_{2} (T) = θ

$\E g_1(T)=\theta ,\\ \E g_2(T)=\theta$

P (g_{1} (T) \neq g_{2} (T)) > 0

$\DeclareMathOperator{\P}{\mathbb{P}} \P(g_1(T) \not= g_2(T) ) > 0$

θ

$\theta$

g_{1} (T) - g_{2} (T)

$g_1(T)-g_2(T)$

T

$T$

T

$T$

θ

$\theta$

T

$T$ . 그것은 이미 Lehmann-Scheffé 정리에 매우 가깝습니다.

몇 가지 예를 살펴 보겠습니다. 이제 간격 에서 iid 균일 가정 합니다. ( 이 주문 통계 임) 쌍 차이는 충분하지만 완전하지 않습니다. 차이 이 부수적이기 때문에 기대 값을 계산하고 ( 의 함수 임)로 됩니다. $X_1, \dotsc, X_n$ $(\theta, \theta+1)$ $X_{(1)} < X_{(2)} < \dotsm < X_{(n)}$ $(X_{(1)}, X_{(n)})$ $X_{(n)}-X_{(1)}$ $c$ $n$ $X_{(n)}-X_{(1)} -c$ 0이 아닌 편견 추정치가 0이됩니다. 따라서이 경우 충분한 통계는 완전하지 않으며 충분하지 않습니다. 그리고 우리는 그것이 의미하는 것을 볼 수 있습니다 : (모델의 맥락에서) 에 대한 정보가없는 충분한 통계량의 함수가 존재합니다 . 이것은 충분한 통계량으로는 일어날 수 없습니다. 어떤 기능도 유익하지 않다는 점에서 그것은 최대로 유익한 정보입니다. 다른 한편으로, 기대 제로를 갖는 최소의 충분한 통계량의 함수가 있으면, 노이즈 항 으로 볼 수 있고 , 모델의 교란 / 노이즈 항은 기대 제로를 갖습니다. 따라서 우리는 불완전한 통계에 약간의 노이즈 가 있다고 말할 수 있습니다 . $\theta$

이 예에서 범위를 다시보십시오 . 그 분포가에 의존하지 않기 때문에 , 그렇지 않습니다 만 자체 에 대한 정보가 포함 . 그러나 충분한 통계와 함께라면 가능합니다! 어떻게? 이 관찰 되는 경우를 보자. ( 실제로 알려진) 모델의 맥락에서 우리는 대한 완벽한 지식을 가지고있다 ! 즉, 입니다. 대한 다른 값이 또는 연결 확인할 수 있습니다. $R=X_{(n)}-X_{(1)}$ $\theta$ $\theta$ $R=1$ $\theta$ $\theta = X_{(1)}$ $\theta$ $X_{(1)}$ $X_{(n)}$ 가정 된 모델 하에서 불가능한 관찰이다. 반면에 이면 에 가능한 값의 범위 가 상당히 큽니다 (운동 ...). $R=0.1$ $\theta$

이런 의미에서 보조 통계량 에는 이 데이터와 모델을 기반으로 를 추정 할 수있는 정밀도에 대한 정보가 포함되어 있습니다 . 이 예 및 기타 예에서 보조 통계량 "샘플 크기의 역할을 대신합니다". 일반적으로 신뢰 구간과 그와 같은 경우 표본 크기 필요 하지만이 예에서는 조건 신뢰 구간을 만들 수 있습니다. 조건부 신뢰 구간 은 아닌 만 사용하여 계산됩니다 (운동). 이는 추론이 조건부이어야한다는 피셔의 아이디어였습니다. 부수적 인 통계. $R$ $\theta$ $R$ $n$ $R$ $n$

이제 Basu의 정리 : 가 충분하면 보조 통계와 무관합니다. 즉, 조건부 유추를 고려할 필요가 없기 때문에 충분한 통계를 기반으로 한 추론이 더 간단합니다. 무관 한 통계에 대한 컨디셔닝 은 물론 변경되지 않습니다. $T$ $T$

그런 다음 직관을 좀 더 설명하는 마지막 예입니다. 간격에 균일 한 분포로 우리의 균일 한 분포의 일례를 변경 (와 ). 이 경우 통계 는 완전하고 충분합니다. 무엇이 바뀌 었습니까? 완전성은 실제로 모델 의 속성이라는 것을 알 수 있습니다 . 전자의 경우에는 제한된 매개 변수 공간이있었습니다. 이 제한은 주문 통계에 관계를 도입하여 완전성을 파괴했습니다. 이 제한을 제거함으로써 우리는 완전성을 얻게되었습니다! 어떤 의미에서, 완전성이 부족하다는 것은 매개 변수 공간이 충분히 크지 않다는 것을 의미하며,이를 확대함으로써 완전성을 복원 (따라서 더 쉽게 추론 할 수 있음) 할 수 있습니다. $(\theta_1, \theta_2)$ $\theta_1<\theta_2$ $(X_{(1)}, X_{(n)})$

완전성 부족이 매개 변수 공간의 제한으로 인해 발생하는 다른 예,

나의 답변을 참조하십시오 : Fisher 정보는 어떤 종류의 정보입니까?
하자 IID 수 (위치 스케일 모델). 그런 다음 주문 통계는 충분하지만 완료되지 않았습니다. 그러나 이제이 모델을 완전히 비모수 적 모델로 확대하고 여전히 iid이지만 완전히 지정되지 않은 분포 합니다. 그러면 주문 통계가 충분하고 완료됩니다. $X_1, \dotsc, X_n$ $\mathcal{Cauchy}(\theta,\sigma)$ $F$
표준 모수 공간 (즉, 가능한 최대)이있는 지수 패밀리의 경우 최소 통계량도 완료됩니다. 그러나 많은 경우 곡선 곡선 패밀리 에서 와 같이 모수 공간에 대한 제한을 도입하면 완전성이 파괴됩니다.

매우 관련있는 논문은 완전성 해석과 바수 정리입니다.

— 크 제틸 비 할보 르센
소스

7

편견이없는 최고의 추정치 (최소 변동) 이론에서 일부 직관을 사용할 수 있습니다.

만약 다음 의 가장 바이어스 추정량 IFF 제로 모든 비 편향 추정기들과 상관된다. $E_\theta W=\tau(\theta)$ $W$ $\tau(\theta)$ $W$

증명 : 는 편향되지 않은 모든 추정량 0과 관련이없는 편향되지 않은 추정량입니다. 를 와 같은 다른 추정 합시다 . 쓰십시오 . 가정하면, 입니다. 따라서 에 대해 입니다. $W$ $W'$ $E_\theta W'=E_\theta W=\tau(\theta)$ $W'=W+(W'-W)$ $Var_\theta W'=Var_\theta W+Var_\theta (W'-W)$ $W'$ $Var_\theta W'\geq Var_\theta W$

이제 는 편견이없는 최고의 추정량 이라고 가정합니다 . 다른 추정기 를 보자 . 도 대해 편향되지 않습니다. 우리가 있었다면 되도록 이면 대해 를 . 그런 다음 는 편견이없는 최고의 추정기가 될 수 없습니다. QED $W$ $U$ $E_\theta U=0$ $\phi_a:=W+aU$ $\tau(\theta)$

V a r_{θ} ϕ_{a} := V a r_{θ} W + 2 a C o v_{θ} (W, U) + a^{2} V a r_{θ} U .

$Var_\theta \phi_a:=Var_\theta W+2aCov_\theta(W,U)+a^2Var_\theta U.$

θ_{0} \in Θ

$\theta_0\in\Theta$

C o v_{θ_{0}} (W, U) < 0

$Cov_{\theta_0}(W,U)<0$

V a r_{θ} ϕ_{a} < V a r_{θ} W

$Var_\theta \phi_a<Var_\theta W$

a \in (0, - 2 C o v_{θ_{0}} (W, U) / V a r_{θ_{0}} U)

$a\in(0,-2Cov_{\theta_0}(W,U)/Var_{\theta_0} U)$

W

$W$

직관적으로 결과에 따르면 추정기가 최적이면 평균적으로 0에 가까운 추정기와 결합한다는 의미에서 노이즈를 추가하여 개선 할 수 없어야합니다. ).

불행히도, 모든 바이어스되지 않은 추정량을 0으로 특성화하는 것은 어렵습니다. 통계적 가 만족 , 제로 자체가 제로의 유일한 편견 추정치 인 경우 상황이 훨씬 단순 해집니다 . 완전성은 그러한 상황을 설명합니다. $W$ $Cov_\theta(W,0)=0$

— 크리스토프 행크
소스