모수 추정에 관한 문제

하자 및 것을 네 랜덤 변수하여야 . 여기서 은 알 수없는 매개 변수입니다. 또한 , 라고 가정하십시오그렇다면 어느 것이 사실입니까? $Y_1,Y_2,Y_3$ $Y_4$ $E(Y_1)=\theta_1-\theta_3;\space\space E(Y_2)=\theta_1+\theta_2-\theta_3;\space\space E(Y_3)=\theta_1-\theta_3;\space\space E(Y_4)=\theta_1-\theta_2-\theta_3$ $\theta_1,\theta_2,\theta_3$ $Var(Y_i)=\sigma^2$ $i=1,2,3,4.$

A. 는 추정 가능합니다. $\theta_1,\theta_2,\theta_3$

B. 는 추정 가능합니다. $\theta_1+\theta_3$

C. 은 추정 가능하며 은 의 가장 선형적인 편향 추정치입니다 . $\theta_1-\theta_3$ $\dfrac{1}{2}(Y_1+Y_3)$ $\theta_1-\theta_3$

D. 는 추정 가능합니다. $\theta_2$

대답은 C로 나에게 이상해 보입니다 (D를 얻었 기 때문에).

왜 D를 얻었습니까? 이후 입니다. $E(Y_2-Y_4)=2\theta_2$

C가 답이 될 수 있음을 이해하지 못하는 이유는 무엇입니까? . 는 의 편견 추정치이며 분산은 보다 작습니다 . $\dfrac{Y_1+Y_2+Y_3+Y_4}{4}$ $\theta_1-\theta_3$ $\dfrac{Y_1+Y_3}{2}$

내가 잘못하고있는 곳을 알려주세요.

또한 여기에 게시 : /math/2568894/a-problem-on-estimability-of-parameters

self-study estimation inference

— Stat_prob_001
소스

self-study태그를 넣으면 누군가가 와서 질문을 닫을 것입니다.

— Carl

@Carl 끝났는데 왜?

— Stat_prob_001

그들은의 규칙 사이트에 대한, 나의 규칙, 사이트 규칙을.

— Carl

가 ?

Y_{1} \neq Y_{3}

$Y_1\neq Y_3$

— Carl

@Carl 당신은 이런 식으로 생각할 수 있습니다 : 여기서 은 평균이 이고 분산이 rv입니다 . 그리고 여기서 평균이 인 RV 이고 분산

Y_{1} = θ_{1} - θ_{3} + ϵ_{1}

$Y_1=\theta_1-\theta_3+\epsilon_1$

ϵ_{1}

$\epsilon_1$

0

$0$

σ^{2}

$\sigma^2$

Y_{3} = θ_{1} - θ_{3} + ϵ_{3}

$Y_3=\theta_1-\theta_3+\epsilon_3$

ϵ_{3}

$\epsilon_3$

0

$0$

σ^{2}

$\sigma^2$

— Stat_prob_001

답변:

이 답변은 추정 가능성의 검증을 강조합니다. 최소 분산 특성은 2 차 고려 사항입니다.

먼저 선형 모델의 행렬 형식으로 정보를 다음과 같이 요약하십시오. 여기서 (추정 성을 논의하기 위해 순도 가정은 필요하지 않지만 Gauss-Markov 속성에 대해서는 의 spherity를 가정해야합니다 ).

\begin{aligned} (1) & Y := [\begin{matrix} Y_{1} \\ Y_{2} \\ Y_{3} \\ Y_{4} \end{matrix}] = [\begin{matrix} 1 & 0 & - 1 \\ 1 & 1 & - 1 \\ 1 & 0 & - 1 \\ 1 & - 1 & - 1 \end{matrix}] [\begin{matrix} θ_{1} \\ θ_{2} \\ θ_{3} \end{matrix}] + [\begin{matrix} ε_{1} \\ ε_{2} \\ ε_{3} \\ ε_{4} \end{matrix}] := X β + ε, \end{aligned}

$\begin{align} Y := \begin{bmatrix} Y_1 \\ Y_2 \\ Y_3 \\ Y_4 \end{bmatrix} = \begin{bmatrix} 1 & 0 & -1 \\ 1 & 1 & -1 \\ 1 & 0 & -1 \\ 1 & -1 & -1 \\ \end{bmatrix} \begin{bmatrix} \theta_1 \\ \theta_2 \\ \theta_3 \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \varepsilon_3 \\ \varepsilon_4 \end{bmatrix}:= X\beta + \varepsilon, \tag{1} \end{align}$

E (ε) = 0, Var (ε) = σ^{2} I

$E(\varepsilon) = 0, \text{Var}(\varepsilon) = \sigma^2 I$

ε

$\varepsilon$

설계 행렬 가 전체 순위 인 경우 원래 매개 변수 는 고유 최소 제곱 추정값 합니다. 따라서, 어떠한 파라미터 선형 함수로 정의 의 가 명확 최소 제곱 통해 데이터가 추정 될 수 있다는 의미있게 추정은 추정 로 입니다. $X$ $\beta$ $\hat{\beta} = (X'X)^{-1}X'Y$ $\phi$ $\phi(\beta)$ $\beta$ $\hat{\beta}$ $\hat{\phi} = p'\hat{\beta}$

가 전체 순위가 아닌 경우 미묘함이 발생합니다 . 철저한 논의를 위해 아래에서 먼저 몇 가지 표기법과 용어를 수정합니다 (저는 선형 모델 에 대한 좌표없는 접근 , 섹션 4.8. 일부 용어는 불필요하게 기술적으로 들립니다). 또한, 논의는 및 일반 선형 모델 됩니다 . $X$ $Y = X\beta + \varepsilon$ $X \in \mathbb{R}^{n \times k}$ $\beta \in \mathbb{R}^k$

회귀 매니 폴드 로 평균 벡터의 집합이다 따라 변하는 : $\beta$ $\mathbb{R}^k$ $M = {X β : β \in R^{k}} .$ $M = \{X\beta: \beta \in \mathbb{R}^k\}.$

파라 기능 의 선형 작동 , $\phi = \phi(\beta)$ $\beta$ $ϕ (β) = p^{'} β = p_{1} β_{1} + \dots + p_{k} β_{k} .$ $\phi(\beta) = p'\beta = p_1\beta_1 + \cdots + p_k\beta_k.$

위에서 언급했듯이 인 경우 모든 매개 변수 기능 를 추정 할 수있는 것은 아닙니다 . 그러나 기술적으로 예측 가능한 용어의 정의는 무엇 입니까? 작은 선형 대수를 방해하지 않고 명확한 정의를 제공하는 것은 어려운 것 같습니다. 내가 가장 직관적이라고 생각하는 한 가지 정의는 다음과 같습니다 (위에서 언급 한 것과 동일한 참조). $\text{rank}(X) < k$ $\phi(\beta)$

정의 1. 파라 메트릭 함수는때마다라는 의미에서에의해 고유하게 결정되면 추정 할 수 있습니다.는만족. $\phi(\beta)$ $X\beta$ $\phi(\beta_1) = \phi(\beta_2)$ $\beta_1,\beta_2 \in \mathbb{R}^k$ $X\beta_1 = X\beta_2$

해석. 위의 정의는 회귀 매니 폴드 에서 의 매개 변수 공간으로 의 맵핑은 일대일이어야한다고 명시하고 있으며 이는 일 때 (즉, 자체가 1 일 때) 일대일). 때 , 우리는 거기에 존재한다는 것을 알고 등이 . 위의 추정 가능한 정의는 사실상 구조적 결함이있는 파라 메트릭 기능을 배제하여 과 동일한 값으로도 서로 다른 값을 가져 오는 것은 자연스럽지 않습니다. 반면에 추정 가능한 매개 변수 기능 $M$ $\phi$ $\text{rank}(X) = k$ $X$ $\text{rank}(X) < k$ $\beta_1 \neq \beta_2$ $X\beta_1 = X\beta_2$ $M$ $\phi(\cdot)$ 허용 않는 경우 와 , 한 상태로서 실현된다. $\phi(\beta_1) = \phi(\beta_2)$ $\beta_1 \neq \beta_2$ $X\beta_1 = X\beta_2$

동일한 참조 인 발의안 8.4에 나와있는 파라 메트릭 기능의 추정 가능성을 확인하기위한 다른 동등한 조건이 있습니다.

그런 장황한 배경을 소개 한 후에 다시 질문으로 돌아 갑시다.

A. 자체는 이므로 와 함께 가 포함 . 위의 정의는 스칼라 함수에 대해 제공되지만 벡터 값 함수로 쉽게 일반화됩니다. $\beta$ $\text{rank}(X) < 3$ $X\beta_1 = X\beta_2$ $\beta_1 \neq \beta_2$

B. 는 추정 할 수 없습니다. 다시 , 및 을 고려하면 이지만 입니다. $\phi_1(\beta) = \theta_1 + \theta_3 = (1, 0, 1)'\beta$ $\beta_1 = (0, 1, 0)'$ $\beta_2 = (1, 1, 1)'$ $X\beta_1 = X\beta_2$ $\phi_1(\beta_1) = 0 + 0 = 0 \neq \phi_1(\beta_2) = 1 + 1 = 2$

C. 는 추정 가능합니다. 이 때문에 사소 의미 , 즉 입니다. $\phi_2(\beta) = \theta_1 - \theta_3 = (1, 0, -1)'\beta$ $X\beta_1 = X\beta_2$ $\theta_1^{(1)} - \theta_3^{(1)} = \theta_1^{(2)} - \theta_3^{(2)}$ $\phi_2(\beta_1) = \phi_2(\beta_2)$

D. 인 도 어림 . 으로부터 유도 에 또한 간단하다. $\phi_3(\beta) = \theta_2 = (0, 1, 0)'\beta$ $X\beta_1 = X\beta_2$ $\phi_3(\beta_1) = \phi_3(\beta_2)$

추정 가능성이 확인 된 후 의 가우스-마코프 속성에 대한 정리 (제안 8.16, 동일한 참조)가 있다고 주장합니다 . 해당 정리에 따라 옵션 C의 두 번째 부분이 올바르지 않습니다. 가장 좋은 선형 편향 추정값은 아래 정리에 따라 입니다. $\phi(\beta)$ $\bar{Y} = (Y_1 + Y_2 + Y_3 + Y_4)/4$

정리. 하자될 어림 파라 작용하고 최선 바이어스 추정 선형 (일명, 가우스 - 마르코프 추정치)이다어떤 솔루션를 정규 방정식. $\phi(\beta) = p'\beta$ $\phi(\hat{\beta})$ $\hat{\beta}$ $X'X\hat{\beta} = X'Y$

증거는 다음과 같습니다.

증명. 간단한 계산은 정규 방정식이 임을 보여줍니다. , 단순화 후 즉 입니다.
$[\begin{matrix} 4 & 0 & - 4 \\ 0 & 2 & 0 \\ - 4 & 0 & 4 \end{matrix}] \hat{β} = [\begin{matrix} 1 & 1 & 1 & 1 \\ 0 & 1 & 0 & - 1 \\ - 1 & - 1 & - 1 & - 1 \end{matrix}] Y,$ $\begin{equation} \begin{bmatrix} 4 & 0 & -4 \\ 0 & 2 & 0 \\ -4 & 0 & 4 \end{bmatrix} \hat{\beta} = \begin{bmatrix} 1 & 1 & 1 & 1 \\ 0 & 1 & 0 & -1 \\ -1 & -1 & -1 & -1 \end{bmatrix} Y, \end{equation}$ $[\begin{matrix} ϕ (\hat{β}) \\ {\hat{θ}}_{2} / 2 \\ - ϕ (\hat{β}) \end{matrix}] = [\begin{matrix} \bar{Y} \\ (Y_{2} - Y_{4}) / 4 \\ - \bar{Y} \end{matrix}],$ $\begin{equation} \begin{bmatrix} \phi(\hat{\beta}) \\ \hat{\theta}_2/2 \\ -\phi(\hat{\beta}) \end{bmatrix} = \begin{bmatrix} \bar{Y} \\ (Y_2 - Y_4)/4 \\ -\bar{Y} \end{bmatrix}, \end{equation}$ $\phi(\hat{\beta}) = \bar{Y}$

따라서 옵션 D만이 정답입니다.

부록 : 추정 성과 식별성의 연결

내가 학교에있을 때, 교수는 파라 메트릭 기능성 의 추정 이 모델 식별 가능성과 일치 한다고 간단히 언급했다 . 나는이 주장을 당연한 것으로 여겼다. 그러나 동등성을보다 명확하게 설명해야합니다. $\phi$

AC Davison의 논문 통계 모델 p.144 에 따르면 ,

정의 2. 각 모수가 다른 분포를 생성하는파라 메트릭 모델을 identifiable 이라고 합니다 . $\theta$

선형 모델 에 관계없이 spherity 조건 으로이를 재 공식화 될 수 $(1)$ $\text{Var}(\varepsilon) = \sigma^2 I$

\begin{matrix} (2) & E [Y] = X β, β \in R^{k} . \end{matrix}

$\begin{equation} E[Y] = X\beta, \quad \beta \in \mathbb{R}^k. \tag{2} \end{equation}$

응답 벡터 의 첫 번째 모멘트 형식 만 지정한 단순한 모델입니다 . 때 , 모델 식별되기 때문에 의미 (단어 원래의 정의에서 "분포", 자연적으로 평균 "에 감소 " 모델 아래에 있음 ). $Y$ $\text{rank}(X) = k$ $(2)$ $\beta_1 \neq \beta_2$ $X\beta_1 \neq X\beta_2$ $(2)$

이제 이고 주어진 매개 변수 기능 라면 어떻게 정의 1 과 정의 2를 조정 합니까? $\text{rank}(X) < k$ $\phi(\beta) = p'\beta$

음표와 단어를 조작함으로써, ( "증거"가 다소 사소한) 의 추정 가능성은 매개 변수 로 매개 변수화 될 때 모델 를 식별 할 수 있는 것과 같다는 것을 보여줄 수 있습니다. (디자인 매트릭스 는 이에 따라 변경 될 수 있음) 증명하기 위해 가 추정 가능하여 의미 한다고 가정 , 이는 정의에 따라 이므로 모델 을 식별 할 수 있습니다 색인을 생성 할 때 . 반대로 모델 을 식별 할 수 있다고 가정 하면 $\phi(\beta)$ $(2)$ $\phi = \phi(\beta) = p'\beta$ $X$ $\phi(\beta)$ $X\beta_1 = X\beta_2$ $p'\beta_1 = p'\beta_2$ $\phi_1 = \phi_2$ $(3)$ $\phi$ $(3)$ $X\beta_1 = X\beta_2$ 의미 , 이는 입니다. $\phi_1 = \phi_2$ $\phi_1(\beta) = \phi_2(\beta)$

직관적으로, 가 순위가 낮아지면 가 있는 모델 은 매개 변수 중복 (너무 많은 매개 변수)이므로 중복되지 않은 낮은 차원의 재 매개 변수화 (선형 함수 모음으로 구성 될 수 있음)가 가능합니다. 그러한 새로운 표현은 언제 가능합니까? 열쇠는 추정 성입니다. $X$ $\beta$

위의 진술을 설명하기 위해 예제를 다시 생각해 봅시다. 매개 변수 기능 및 가 추정 . 따라서 다음과 같이 재 파라미터 화 된 매개 변수 로 모델 을 다시 작성할 수 있습니다 $\phi_2(\beta) = \theta_1 - \theta_3$ $\phi_3(\beta) = \theta_2$ $(1)$ $(\phi_2, \phi_3)'$

E [Y] = [\begin{matrix} 1 & 0 \\ 1 & 1 \\ 1 & 0 \\ 1 & - 1 \end{matrix}] [\begin{matrix} ϕ_{2} \\ ϕ_{3} \end{matrix}] = \tilde{X} γ .

$\begin{equation} E[Y] = \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 0 \\ 1 & - 1 \end{bmatrix} \begin{bmatrix} \phi_2 \\ \phi_3 \end{bmatrix} = \tilde{X}\gamma. \end{equation}$

분명히 가 전체 순위이므로 새로운 매개 변수 가진 모델을 식별 할 수 있습니다. $\tilde{X}$ $\gamma$

— 잔 시옹
소스

옵션 C의 두 번째 부분에 대한 증거가 필요하면 답변을 보충 해 드리겠습니다.

— 잔 시옹

감사! 그런 자세한 답변을 위해. 이제 C의 두 번째 부분에 대해 : "최고" 가 최소 분산과 관련이 있다는 것을 알고 있습니다. 따라서 가 "최고" 가 아닌 는 무엇입니까?

\frac{1}{4} (Y_{1} + Y_{2} + Y_{3} + Y_{4})

$\dfrac{1}{4}(Y_1+Y_2+Y_3+Y_4)$

— Stat_prob_001 17

오, 나는 그것이 왜 C에서 견적이라고 생각하는지 모르겠습니다. 실제로 가 가장 좋은 견적입니다. 내 답변을 편집합니다

(Y_{1} + Y_{2} + Y_{3} + Y_{4}) / 4

$(Y_1 + Y_2 + Y_3 + Y_4)/4$

— Zhanxiong

정의를 적용하십시오.

기초 기술을 사용하는 방법을 설명하는 세부 정보를 제공합니다. 추정에 대한 특별한 이론을 알 필요가 없으며 의 (마진 적) 분포에 대해 아무것도 가정 할 필요가 없습니다 . 우리는 합동 분배 의 순간 에 대해 하나의 빠진 가정을 제공해야합니다 . $Y_i$

정의

모든 선형 추정치 는 상수 의 경우 입니다 .

t_{λ} (Y) = \sum_{i = 1}^{4} λ_{i} Y_{i}

$t_\lambda(Y) = \sum_{i=1}^4 \lambda_i Y_i$

λ = (λ_{i})

$\lambda = (\lambda_i)$

의 추정 IS 편견 경우 그 기대는 경우에만 . 기대의 선형성으로 $\theta_1-\theta_3$ $\theta_1-\theta_3$

\begin{aligned} θ_{1} - θ_{3} & = E [t_{λ} (Y)] = \sum_{i = 1}^{4} λ_{i} E [Y_{i}] \\ = λ_{1} (θ_{1} - θ_{3}) + λ_{2} (θ_{1} + θ_{2} - θ_{3}) + λ_{3} (θ_{1} - θ_{3}) + λ_{4} (θ_{1} - θ_{2} - θ_{3}) \\ = (λ_{1} + λ_{2} + λ_{3} + λ_{4}) (θ_{1} - θ_{3}) + (λ_{2} - λ_{4}) θ_{2} . \end{aligned}

$\eqalign{ \theta_1 - \theta_3 &= E[t_\lambda(Y)] = \sum_{i=1}^4 \lambda_i E[Y_i]\\ & = \lambda_1(\theta_1-\theta_3) + \lambda_2(\theta_1+\theta_2-\theta_3) + \lambda_3(\theta_1-\theta_3) + \lambda_4(\theta_1-\theta_2-\theta_3) \\ &=(\lambda_1+\lambda_2+\lambda_3+\lambda_4)(\theta_1-\theta_3) + (\lambda_2-\lambda_4)\theta_2. }$

미지수의 계수를 비교 밝혀 $\theta_i$

\begin{matrix} (1) & λ_{2} - λ_{4} = 0 and λ_{1} + λ_{2} + λ_{3} + λ_{4} = 1. \end{matrix}

$\lambda_2-\lambda_4=0\text{ and }\lambda_1+\lambda_2+\lambda_3+\lambda_4=1.\tag{1}$

선형 비 편향 추정의 맥락에서 "최고"는 항상 최소의 분산을 의미합니다. 의 분산 은 $t_\lambda$

Var (t_{λ}) = \sum_{i = 1}^{4} λ_{i}^{2} Var (Y_{i}) + \sum_{i \neq j}^{4} λ_{i} λ_{j} Cov (Y_{i}, Y_{j}) .

$\operatorname{Var}(t_\lambda) = \sum_{i=1}^4 \lambda_i^2 \operatorname{Var}(Y_i) + \sum_{i\ne j}^4 \lambda_i\lambda_j \operatorname{Cov}(Y_i,Y_j).$

진전을 만드는 유일한 방법은 공분산에 대한 가정을 추가하는 것입니다 . 대부분의 경우, 그것들을 규정하려는 의도는 모두 0입니다. (이것은 가 독립적 이라는 것을 의미하지는 않습니다 . 또한, 공분산을 공통 곱셈 상수까지 규정하는 가정을함으로써 문제를 해결할 수 있습니다. 솔루션은 공분산 구조에 의존합니다.) $Y_i$

이후 우리가 구 $\operatorname{Var}(Y_i)=\sigma^2,$

\begin{matrix} (2) & Var (t_{λ}) = σ^{2} (λ_{1}^{2} + λ_{2}^{2} + λ_{3}^{2} + λ_{4}^{2}) . \end{matrix}

$\operatorname{Var}(t_\lambda) =\sigma^2(\lambda_1^2 + \lambda_2^2 + \lambda_3^2 + \lambda_4^2).\tag{2}$

따라서 문제는 제약 조건 을 최소화하는 것 입니다. $(2)$ $(1)$

해결책

제약 조건 하면 모든 를 두 개의 선형 조합으로 표현할 수 있습니다. 하자 및 (선형 독립적이다). 이것들은 과 을 결정하지만 제약 조건은 와 결정 합니다. 우리가해야 할 일은 최소화 할 수 있습니다 , 쓸 수 있습니다 $(1)$ $\lambda_i$ $u=\lambda_1-\lambda_3$ $v=\lambda_1+\lambda_3$ $\lambda_1$ $\lambda_3$ $\lambda_2$ $\lambda_4$ $(2)$

σ^{2} (λ_{1}^{2} + λ_{2}^{2} + λ_{3}^{2} + λ_{4}^{2}) = \frac{σ^{2}}{4} (2 u^{2} + (2 v - 1)^{2} + 1) .

$\sigma^2(\lambda_1^2 + \lambda_2^2 + \lambda_3^2 + \lambda_4^2) = \frac{\sigma^2}{4}\left(2u^2 + (2v-1)^2 + 1\right).$

제약이 없습니다 . 가정 (따라서 변수가 아니라 상수 있음). 이후 및 때만 가장 작은 , 그 현재 분명 독특한 해결책이 $(u,v)$ $\sigma^2 \ne 0$ $u^2$ $(2v-1)^2$ $u=2v-1=0$

λ = (λ_{1}, λ_{2}, λ_{3}, λ_{4}) = (1 / 4, 1 / 4, 1 / 4, 1 / 4) .

$\lambda = (\lambda_1,\lambda_2,\lambda_3,\lambda_4) = (1/4,1/4,1/4,1/4).$

옵션 (C)는 최상의 편향 선형 추정기를 제공하지 않기 때문에 거짓 입니다. 옵션 (D)는 완전한 정보를 제공하지는 않지만 정확하지만

θ_{2} = E [t_{(0, 1 / 2, 0, - 1 / 2)} (Y)]

$\theta_2 = E[t_{(0,1/2,0,-1/2)}(Y)]$

선형 추정기의 기대치입니다.

선형 추정기 기대의 공간에서 생성되지 않기 때문에 그것은도 (A) 나 (B)의 정확한 수 있다는 것을 쉽게 알 수있다 과 없음 또는 이 해당 공간에 있습니다. $\{\theta_2, \theta_1-\theta_3\}$ $\theta_1,\theta_3,$ $\theta_1+\theta_3$

결과적으로 (D)는 고유 한 정답입니다.

— 우버
소스