OLS 계수를 도출하는 대체 방법

에서는 내 다른 질문 , 회답 OLS 계수는 다음 유도를 사용했을

우리는 모델을 가지고 : 여기서 관측이다. 그렇다면 우리가 : 여기서 및 .

$$Y = X_1 \beta + X_2 \beta_2 + Z \gamma + \varepsilon,$$ $Z$ $$\text{plim}\, \hat \beta_{1} = \beta_1 + \gamma \frac{Cov(X_1^*, Z)}{Var(X_1^*)} = \beta_1,$$ $X_1^* = M_2 X_1$$M_2 = [I - X_2(X_2'X_2)^{-1}X_2']$

이것은 에서 본 일반적인 . 이 파생에 대한보다 명확한 설명이 있습니까? 매트릭스 의 이름이 있습니까?$\beta = (X'X)^{-1}X'Y$$M_2$

그만큼 $\mathbf M = \mathbf I-\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X'$ 매트릭스는 매트릭스와 관련된 "애니 힐 레이터"또는 "잔여 메이커"매트릭스입니다 $\mathbf X$. "애니 힐 레이터"라고 불리우 기 때문에$\mathbf M\mathbf X =0$ (자체를 위해 $X$물론 매트릭스). 때문에 "잔여 메이커"라고합니다$\mathbf M \mathbf y =\mathbf {\hat e}$회귀 $\mathbf y = \mathbf X \beta + \mathbf e$.

대칭적이고 dem 등원 매트릭스입니다. 그것은 가우스 마르코프 정리의 증명에 사용됩니다.

또한 Frisch–Waugh-Lovell 정리 에서 사용되는데,이 모델에서 "분할 회귀"에 대한 결과를 얻을 수 있습니다.

$$\mathbf y = \mathbf X_1\beta_1 + \mathbf X_2\beta_2 + \mathbf u$$

우리는 그것을 가지고

$$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2)\mathbf y$$

이후 $\mathbf M_2$ 우리는 위의 내용을 다시 쓸 수 있습니다.

$$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2\mathbf M_2)\mathbf y$$

이후 $M_2$ 우리는 또한 대칭입니다

$$\hat \beta_1 = ([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf X_1])^{-1}([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf y]$$

그러나 이것은 모형에서 가장 작은 제곱 추정기입니다.

$$[\mathbf M_2\mathbf y] = [\mathbf M_2\mathbf X_1]\beta_1 + \mathbf M_2\mathbf u$$

그리고 또한 $\mathbf M_2\mathbf y$ 회귀의 잔차 $\mathbf y$ 매트릭스에서 $\mathbf X_2$ 뿐.

다시 말해 1) 회귀하는 경우 $\mathbf y$ 매트릭스에서 $\mathbf X_2$행렬에 대한이 추정치 의 잔차 만 회귀$\mathbf M_2\mathbf X_1$ 오직 $\hat \beta_1$우리가 얻을 추정치는 회귀 분석을 통해 얻는 추정치와 수학적으로 동일합니다.$\mathbf y$ 둘 다 $\mathbf X_1$ 과 $\mathbf X_2$ 일반적인 다중 회귀 분석과 동시에

이제는 $\mathbf X_1$ 매트릭스가 아니라 단지 하나의 회귀 자입니다. $\mathbf x_1$. 그때$\mathbf M_2 \mathbf x_1$ 변수 회귀의 잔차입니다 $X_1$ 회귀 행렬에 $\mathbf X_2$. 그리고 이것은 직관을 제공합니다 :$\hat \beta_1$ 우리에게 " $X_1$ 그것은 설명 할 수없는 $\mathbf X_2$"부분에 $Y$ 그것은 설명 할 수없는 남아 $\mathbf X_2$".

이것은 고전적인 최소 제곱 대수의 상징적 인 부분입니다.