선형 회귀 : * 왜 * 제곱합을 분할 할 수 있습니까?

이 게시물은 이변 량 선형 회귀 모델을 나타냅니다. $Y_i = \beta_0 + \beta_1x_i$. 나는 항상 총 제곱합 (SSTO)을 오차의 제곱합 (SSE)과 모델의 SSR (제곱합)으로 나누었다. 왜 작동합니까?

나는이 부분 않는 이해 :

$y_i$ : y의 관측 값

$\bar{y}$: 모든 관측 된 의 평균$y_i$

$\hat{y}_i$ : 주어진 관측치의 x에 대한 y의 적합 / 예측 값

$y_i - \hat{y}_i$: 잔차 / 오류 (제곱하고 모든 관측치에 대해 합산 한 경우 SSE 임)

$\hat{y}_i - \bar{y}$: 모형 적합치가 평균과 얼마나 다른지 (모든 관측치에 대해 제곱 및 합산 한 경우 SSR 임)

$y_i - \bar{y}$: 관측 값이 평균과 얼마나 다른지 (모든 관측에 대해 소급하여 합산 한 경우 SSTO 임)

왜 한 번의 관찰만으로도 아무런 문제를 일으키지 않고 이해할 수 있습니다. $(y_i - \bar{y}) = (\hat{y}_i - \bar{y}) + (y_i - \hat{y}_i)$. 그리고 왜 모든 관측치에 물건을 더하고 싶다면 제곱해야하거나 0을 더하는 이유를 이해할 수 있습니다.

내가 이해하지 못하는 부분은 왜 $(y_i - \bar{y})^2 = (\hat{y}_i - \bar{y})^2 + (y_i - \hat{y}_i)^2$(예 : SSTO = SSR + SSE). 당신이 상황이있는 경우에 보인다$A = B + C$그런 다음 $A^2 = B^2 + 2BC + C^2$아니 $A^2 = B^2 + C^2$. 왜 그렇지 않습니까?

당신이 상황이있는 경우에 보인다 $A = B + C$그런 다음 $A^2 = B^2 + 2BC + C^2$아니 $A^2 = B^2 + C^2$. 왜 그렇지 않습니까?

개념적으로는 $BC = 0$ 때문에 $B$ 과 $C$ 직교 (즉, 수직)이다.

---

여기서 선형 회귀와 관련하여 잔차 $\epsilon_i = y_i - \hat{y}_i$ 비정형 예측과 직교 $\hat{y}_i - \bar{y}$. 선형 회귀 예측은 다음과 같은 직교 분해를 생성합니다.$\mathbf{y}$ 비슷한 의미로 $(3,4) = (3,0) + (0,4)$ 직교 분해입니다.

선형 대수 버전 :

허락하다:

$$\mathbf{z} = \begin{bmatrix} y_1 - \bar{y} \\ y_2 - \bar{y}\\ \ldots \\ y_n - \bar{y} \end{bmatrix} \quad \quad \mathbf{\hat{z}} = \begin{bmatrix} \hat{y}_1 - \bar{y} \\ \hat{y}_2 - \bar{y} \\ \ldots \\ \hat{y}_n - \bar{y} \end{bmatrix} \quad \quad \boldsymbol{\epsilon} = \begin{bmatrix} y_1 - \hat{y}_1 \\ y_2 - \hat{y}_2 \\ \ldots \\ y_n - \hat{y}_n \end{bmatrix} = \mathbf{z} - \hat{\mathbf{z}}$$

선형 회귀 (상수 포함) 분해 $\mathbf{z}$ 두 벡터의 합으로 : 예측 $\hat{\mathbf{z}}$ 그리고 잔류 $\boldsymbol{\epsilon}$

$$\mathbf{z} = \hat{\mathbf{z}} + \boldsymbol{\epsilon}$$

허락하다 $\langle .,. \rangle$내적을 나타냅니다 . (더 일반적으로,$\langle X,Y \rangle$내부 제품이 될 수 있습니다 $E[XY]$.)

$$\begin{align*} \langle \mathbf{z} , \mathbf{z} \rangle &= \langle \hat{\mathbf{z}} + \boldsymbol{\epsilon}, \hat{\mathbf{z}} + \boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + 2 \langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \end{align*}$$

마지막 줄은 $\langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle = 0$ (즉 $\hat{\mathbf{z}}$ 과 $\boldsymbol{\epsilon} = \mathbf{z}- \hat{\mathbf{z}}$직교입니다). 증명할 수 있습니다$\hat{\mathbf{z}}$ 과 $\boldsymbol{\epsilon}$ 평범한 최소 제곱 회귀 분석의 구성 방식에 따라 직교합니다. $\hat{\mathbf{z}}$.

$\hat{\mathbf{z}}$의 선형 투영 입니다$\mathbf{z}$회귀 자의 선형 범위 에 의해 정의 된 부분 공간으로$\mathbf{x}_1$, $\mathbf{x}_2$등 ... 잔류 물 $\boldsymbol{\epsilon}$ 따라서 전체 부분 공간과 직교 $\hat{\mathbf{z}}$ (이것은 $\mathbf{x}_1$, $\mathbf{x}_2$등)은 직교합니다. $\boldsymbol{\epsilon}$.

---

내가 정의 한대로 $\langle .,.\rangle$ 내적으로 $\langle \mathbf{z} , \mathbf{z} \rangle = \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle$ 단순히 또 다른 글쓰기 방법입니다 $\sum_i (y_i - \bar{y})^2 = \sum_i (\hat{y}_i - \bar{y})^2 + \sum_i (y_i - \hat{y}_i)^2$ (예 : SSTO = SSR + SSE)

요점은 특정 벡터가 직교하고 피타고라스 정리를 사용한다는 것을 보여줍니다.

다변량 선형 회귀를 고려해 봅시다 $Y = X\beta + \epsilon$. 우리는 OLS 추정기가$\hat{\beta} = (X^tX)^{-1}X^tY$. 이제 견적을 고려하십시오

$\hat{Y} = X\hat{\beta} = X(X^tX)^{-1}X^tY = HY$ (H 행렬은 "모자"행렬이라고도 함)

어디 $H$ Y의 직교 투영 행렬입니다. $S(X)$. 이제 우리는

$Y - \hat{Y} = Y - HY = (I - H)Y$

어디 $(I-H)$ 직교 보체에 투영 행렬입니다 $S(X)$ 어느 $S^{\bot}(X)$. 따라서 우리는$Y-\hat{Y}$ 과 $\hat{Y}$ 직교합니다.

이제 하위 모델을 고려하십시오 $Y = X_0\beta_0 + \epsilon$

어디 $X = [X_0 | X_1 ]$ 마찬가지로 우리는 OLS 추정기와 추정치를 가지고 있습니다. $\hat{\beta_0}$ 과 $\hat{Y_0}$ 프로젝션 매트릭스 $H_0$ 위에 $S(X_0)$. 마찬가지로 우리는 그것을 가지고$Y - \hat{Y_0}$ 과 $\hat{Y_0}$직교합니다. 그리고 지금

$\hat{Y} - \hat{Y_0} = HY - H_0Y = HY - H_0HY = (I - H_0)HY$

또 어디 $(I-H_0)$ 의 보수에 직교 투영 행렬입니다 $S(X_0)$ 어느 $S^{\bot}(X_0)$. 따라서 우리는 직교성이$\hat{Y} - \hat{Y_0}$ 과 $\hat{Y_0}$. 결국 우리는

$||Y - \hat{Y}||^2 = ||Y||^2 - ||\hat{Y}||^2 = ||Y - \hat{Y_0}||^2 + ||\hat{Y_0}||^2 - ||\hat{Y} - \hat{Y_0}||^2 - ||\hat{Y_0}||^2$

그리고 마지막으로 $||Y - \hat{Y_0}||^2 = ||Y - \hat{Y}||^2 + ||\hat{Y} - \hat{Y_0}||^2$

마지막으로 평균 $\bar{Y}$ 단순히 $\hat{Y_0}$ 널 모델을 고려할 때 $Y = \beta_0 + e$.