OLS를 사용하여 잔차의 오차를 회귀 할 때 기울기가 항상 정확히 1 인 이유는 무엇입니까?

10

R에서 간단한 시뮬레이션을 사용하여 오차와 잔차 간의 관계를 실험하고 있습니다. 내가 찾은 것 중 하나는 표본 크기 또는 오차 분산에 관계없이 모델에 적합 할 때 항상 기울기에 대해 정확히 을 얻는다는 것 입니다. $1$

이자형 아르 자형 아르 자형 영형 아르 자형 에스 \sim β_{0} + β_{1} \times 아르 자형 이자형 에스 나는 디 유 ㅏ 엘 에스

${\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals}$

내가하고있는 시뮬레이션은 다음과 같습니다.

n <- 10 
s <- 2.7 

x <- rnorm(n) 
e <- rnorm(n,sd=s)
y <- 0.3 + 1.2*x + e

model <- lm(y ~ x) 
r <- model$res 

summary( lm(e ~ r) )

e및 r높은 (하지만 완벽하게)도 작은 샘플, 상관 관계, 그러나 이것은 자동으로 발생 이유를 알아낼 수 없습니다. 수학적 또는 기하학적 설명이 이해 될 것이다.

regression least-squares residuals

— GoF_Logistic
소스

5

베이스 OX가있는 평면 삼각형 OXY에서 측면 YO 및 XY의 고도는 삼각형 자체의 고도입니다. 위해서는, 그 고도가 계수에 의해 주어진 lm(y~r), lm(e~r)그리고 lm(r~r)따라서 모두 동일해야한다. 후자는 분명히 입니다. 이 세 가지 명령을 모두 사용해보십시오. 마지막 하나 개의 작품을 만들려면 당신의 사본을 만들 필요가 등을, . 회귀의 기하 도형에 대한 자세한 내용은 stats.stackexchange.com/a/113207을 참조하십시오 .

1

$1$ Rrs<-r;lm(r~s)

— whuber

1

감사합니다 @ whuber. 답변을 받아 보시겠습니까? 아니면 이것을 중복으로 표시 하시겠습니까?

— GoF_Logistic

1

나는 그것이 중복이라고 생각하지 않으므로 주석을 답변으로 확장했습니다.

— whuber

11

whuber의 답변은 훌륭합니다! (+1) 나는 나에게 가장 친숙한 표기법을 사용하여 문제를 해결했으며 여기에 포함시키는 것이 덜 흥미롭고 일상적인 파생물이라고 생각했습니다.

하자 , 회귀 모델이 대 및 잡음. 그런 다음 의 열에 대한 의 회귀 는 정규 방정식 추정값은따라서 회귀 잔차 갖는 위한 . $y = X \beta^* + \epsilon$ $X \in \mathbb{R}^{n \times p}$ $\epsilon$ $y$ $X$ $X^T\left(y - X \hat\beta\right) = 0,$

\hat{β} = {({엑스}^{티} 엑스)}^{- 1} {엑스}^{티} 와이 .

$\hat\beta = \left(X^T X \right)^{-1} X^T y.$

아르 자형 = 와이 - 엑스 \hat{β} = (나는 - H) 와이 = (나는 - H) ϵ,

$r = y - X \hat\beta = \left( I - H \right) y = \left( I - H \right) \epsilon,$

H = X (X^{T} X)^{- 1} X^{T}

$H = X (X^T X)^{-1} X^T$

에서 을 회귀 하면 는 대칭적이고 dem 등원이며 이므로 거의 확실합니다. $\epsilon$ $r$

\begin{aligned} ({아르 자형}^{티} 아르 자형)^{- 1} {아르 자형}^{티} ϵ & = {({[(나는 - H) ϵ]}^{티} [(나는 - H) ϵ])}^{- 1} {[(나는 - H) ϵ]}^{티} ϵ \\ = \frac{ϵ^{티} {(나는 - H)}^{티} ϵ}{ϵ^{티} {(나는 - H)}^{티} (나는 - H) ϵ} \\ = \frac{ϵ^{티} (나는 - H) ϵ}{ϵ^{티} (나는 - H) ϵ} \\ = 1, \end{aligned}

$\begin{align*} (r^T r)^{-1} r^T \epsilon & = \left( \left[ \left(I - H\right) \epsilon \right]^T \left[ \left(I - H\right) \epsilon \right] \right)^{-1} \left[ \left(I - H\right) \epsilon \right]^T \epsilon \\ & = \frac{\epsilon^T \left( I - H \right)^T \epsilon}{\epsilon^T \left( I - H \right)^T \left( I - H \right) \epsilon} \\ & = \frac{\epsilon^T \left( I - H \right) \epsilon}{\epsilon^T \left( I - H \right) \epsilon} \\ & = 1, \end{align*}$

I - H

$I-H$

ϵ \notin i m (X)

$\epsilon \not\in \mathrm{im}(X)$

또한, 공변량이 직교하기 때문에 (즉, , 원래의 회귀 분석에 포함 된 경우 잔차에 대한 오차의 회귀를 수행 할 때 절편을 포함하는 경우에도이 인수가 유지됩니다. ). $1^T r = 0$

— 사용자
소스

+1 솔루션이 신중하고 명확하게 작동하는 것을 보는 것이 항상 좋습니다.

— whuber

11

$x$ $e$ $Y=\beta x + e$ $b$ $\beta$ $r = Y - bx$ $O$

$\beta x$ $e$ $Y$ $bx$ $Y-bx$ $r$

$x$ $OY$ $(\beta x)Y$ $r$ $r$ $Y$ $r$ $Y$ $e$ $r$ $e$ $r$ $r$ $r$ $1$

$r$ $e=r+(\beta-b)x$ $Y=e+\beta x = r + (2\beta-b)x$ $x$ $x$ $r$ $r$ $1$ $x$ $r$

— 우버
소스