절편이 포함될 때 선형 회귀의 잔차가 항상 0으로 합산되는 이유는 무엇입니까?

14

회귀 모델에 대한 과정을 밟고 있으며 선형 회귀에 제공되는 속성 중 하나는 절편이 포함될 때 잔차가 항상 0이된다는 것입니다.

왜 이런 경우에 대한 좋은 설명을 제공 할 수 있습니까?

regression residuals

— dts86
소스

3

일 변량 표본에서 왜 각 변수에서 표본 평균을 빼서 얻은 잔차의 합이 0인지에 대해 밀접하게 관련되어 있지만 더 간단한 질문에 대해 먼저 숙고하고 싶을 수 있습니다. (가능한 경우 대수를 따르십시오)

— Glen_b- 복원 Monica Monica

3

"0에서 합계"는 "설명 변수 중 하나에 직교 함"을 의미하는 즉시 답이 기하학적으로 명확 해집니다.

— whuber

18

이것은 일반적인 방정식, 즉 OLS 추정기가 해결하는 방정식에서 직접 이어집니다.

X^{'} \underset{e}{\underset{⏟}{(y - X b)}} = 0

$\mathbf{X}^{\prime} \underbrace{\left( \mathbf{y} - \mathbf{X} \mathbf{b} \right)}_{\mathbf{e}} = 0$

괄호 안의 벡터 는 선형 대수학을 원한다면 물론 잔류 벡터 또는 의 열 공간의 직교 보수에 의 투영입니다 . 이제 행렬 에 벡터로 구성된 벡터를 포함시키는 방법은 기존의 첫 번째 열에 있지 않아도됩니다. $\mathbf{y}$ $X$ $\mathbf{X}$

1^{'} e = 0 ⟹ \sum_{i = 1}^{n} e_{i} = 0

$\mathbf{1}^{\prime} \mathbf{e} = 0 \implies \sum_{i=1}^n e_i = 0$

두 변수 문제에서 제곱 잔차의 합을 최소화하면 우리가 더 쉽게 볼 수 있습니다.

\sum_{i = 1}^{n} (y_{i} - a - b x_{i}) = 0

$\sum_{i=1}^n \left(y_i - a - b x_i \right) = 0$

요격과 관련하여 미분을 취할 때 이것으로부터 우리는 친숙한 견적을 얻는다.

a = \bar{y} - b \bar{x}

$a = \bar{y} - b \bar{x}$

여기서 우리는 추정기의 구성이이 조건을 부과한다는 것을 알 수 있습니다.

— 존
소스

17

다소 직관적 인 설명을 찾고 있다면.

어떤 의미에서, 선형 회귀 모델은 멋진 의미에 지나지 않습니다. 일부 값 에서 산술 평균 $\bar{x}$ 를 위해 모든 편차의 합 (각 편차가 $x_1, x_2, \dots, x_n$ $u_i = x_i - \bar{x}$ )의 평균값 오른쪽은 해당 평균의 왼쪽에있는 모든 편차의 합과 같습니다. 표본의 평균을 설명하는 가장 좋은 방법은 물론이 방법이 좋은 이유는 없지만 직관적이고 실용적입니다. 중요한 점은 이런 식으로 산술 평균을 정의함으로써 일단 산술 평균을 구성한 후에는 그 평균에서 모든 편차가 정의에 의해 0으로 합쳐 져야한다는 것입니다.

선형 회귀 분석에서 이것은 다르지 않습니다. 적합치 (회귀선에 있음)와 선 위에 있는 실제 값 사이의 모든 차이의 합이 회귀선과 아래 의 모든 값 사이의 모든 차이의 합과 정확히 일치하도록 선을 적합시킵니다 . 선. 다시 말하지만, 왜 이것이 이것이 적합을 구성하는 가장 좋은 방법인지는 내재 된 이유가 없지만 간단하고 직관적으로 매력적입니다. 산술 평균과 마찬가지로 :이 방법으로 피팅 된 값을 구성하면 구성에 따라 해당 라인과의 모든 편차가 0으로 합쳐 져야합니다. 그렇지 않으면 OLS 리지 션이 아닙니다.

— 마누엘 R
소스

2

간단하고 간단하며 직관적 인 답변을위한 +1!

대단한 설명이지만 확실하지 않습니다. "또, 왜 이것이 이것이 적합을 구성하는 가장 좋은 방법인지 내재 된 이유는 없지만 간단하고 직관적으로 매력적입니다." 정확합니다. Gauss-Markov Theorem은 OLS 추정값이 BLUE 인 것으로 잘 알려져 있습니다 (최고 (최소-변형) 선형 비 편향 추정치 (가정 가정 가정). 종종 매력적이고 합리적인 것에 대한 우리의 직관적 인 "느낌"도 여기에서와 같이 수학적으로 백업됩니다.

— Meg

3

{\hat{y}}_{i} = β_{0} + β_{1} x_{i, 1} + β_{2} x_{i, 2} + \dots + β_{p} x_{i, p}

$\hat{y}_i = \beta_0 + \beta_1x_{i,1} + \beta_2x_{i,2} +…+ \beta_px_{i,p}$

S S E = \sum_{i = 1}^{n} {(e_{i})}^{2} = \sum_{i = 1}^{n} {(y_{i} - \hat{y_{i}})}^{2} = \sum_{i = 1}^{n} {(y_{i} - β_{0} - β_{1} x_{i, 1} - β_{2} x_{i, 2} - \dots - β_{p} x_{i, p})}^{2}

$SSE=\displaystyle\sum\limits_{i=1}^n \left(e_i \right)^2= \sum_{i=1}^n\left(y_i - \hat{y_i} \right)^2= \sum_{i=1}^n\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^2$

β_{0}

$\beta_0$

\frac{\partial S S E}{\partial β_{0}} = \sum_{i = 1}^{n} 2 {(y_{i} - β_{0} - β_{1} x_{i, 1} - β_{2} x_{i, 2} - \dots - β_{p} x_{i, p})}^{1} (- 1) = - 2 \sum_{i = 1}^{n} e_{i} = 0

$\frac{\partial{SSE}}{\partial{\beta_0}} = \sum_{i=1}^n 2\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^1 (-1) =-2\displaystyle\sum\limits_{i=1}^ne_i=0$ 따라서 선형 회귀 분석에 절편이 포함 된 경우 잔차는 항상 0이됩니다.

— DavidCruise
소스

1

$1$ $X$

1 = X e,

$1 = Xe,$

e

$e$

1^{T} (y - \hat{y})

$1^T(y - \hat{y})$

따라서,

\begin{aligned} 1^{T} (y - \hat{y}) = 1^{T} (I - H) y \\ = & e^{T} X^{T} (I - X (X^{T} X)^{- 1} X^{T}) y \\ = & e^{T} (X^{T} - X^{T} X (X^{T} X)^{- 1} X^{T}) y \\ = & e^{T} (X^{T} - X^{T}) y \\ = & 0. \end{aligned}

$\begin{align} & 1^T(y - \hat{y}) = 1^T(I - H)y \\ = & e^TX^T(I - X(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^TX(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^T)y \\ = & 0. \end{align}$

— 잔 시옹
소스

0

행렬 대수를 사용하는 간단한 파생 :

$\sum e$ $1^Te$

그때

$1^Te = 1^T(M_x y)$ $M_x$ $M_x$ $(M_x1)^Ty$

$M_x$ $1$ $x$ $1$

— 미노
소스

나는 이것이 옳다고 생각하지 않습니다.

— Michael R. Chernick

왜 그런지 설명해 주시면 기꺼이 배우겠습니다

— Mino

0

$e_i = y_i - [1, X] [a, b] = y_i - Xb - a = v_i - a$
$\frac{d}{da} \sum e_i^2 \propto \sum e_i\cdot 1 = \sum v_i - a = 0$ $\hat{a} = \frac{1}{n}\sum v_i$
$\sum e_i = \sum_i v_i - a = \sum_i v_i - \frac{n}{n}\sum_i v_i = 0$

..

— 후나 푸
소스