단순 선형 회귀 분석에서 잔차 분산 공식은 어디에서 오는가?

내가 사용하는 텍스트에 따르면 잔차 의 분산 공식 은 다음과 같습니다. $i^{th}$

$\sigma^2\left ( 1-\frac{1}{n}-\frac{(x_{i}-\overline{x})^2}{S_{xx}} \right )$

잔차가 관측 값과 적합치 의 차이 이므로 믿기가 어렵습니다 . 차이의 분산을 계산하는 경우 최소한 결과 표현식에 "플러스"가 표시됩니다. 파생을 이해하는 데 도움이 될 것입니다. $i^{th}$ $i^{th}$ $i^{th}$

regression variance residuals

— 에릭
소스

텍스트의 일부 " "표시가 " "표시 로 잘못 렌더링 될 수 있습니까?

+

$+$

-

$-$

— whuber

나는 이것을 생각했지만, 본문 (2 개의 다른 챕터)에서 두 번 일어났기 때문에 나는 그것이 불가능하다고 생각했다. 물론 공식의 유도가 도움이 될 것입니다! :)

— Eric

음수는 관측치와 적합치 간의 양의 상관 관계로 인해 차이의 분산이 줄어 듭니다.

— Glen_b-복귀 모니카

@Glen 아래의 행렬 파생과 함께 수식이 의미가있는 이유를 설명해 주셔서 감사합니다.

— Eric

분산과 관련된 "더하기"부호에 대한 직감 (독립 임의 변수의 차이의 분산을 계산할 때도 분산을 추가한다는 사실로부터) 정확하지만 치명적인 불완전 함 : 관련된 임의 변수가 독립적이 아닌 경우 공분산도 포함되며 공분산은 음수 일 수 있습니다. 이 표현 존재하는 거의 가 (나를 등) OP가 될 "해야한다"고 생각했던 문제의 표현처럼, 그리고 그것은이다 의 분산 예측 오류 가 나타내는, , 여기서 : $e^0 = y^0 - \hat y^0$ $y^0 = \beta_0+\beta_1x^0+u^0$

Var (e^{0}) = σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x^{0} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(e^0) = \sigma^2\cdot \left(1 + \frac 1n + \frac {(x^0-\bar x)^2}{S_{xx}}\right)$

예측 오차의 분산과의 편차 사이의 중요한 차이 추정 에러 (즉, 잔여의)는 예측 관찰 에러 용어이다 추정기와 관련되지 않은 값 때문에, 하였다 되지 에서 사용 추정값을 구성하고 추정값을 계산하여 표본을 벗어난 값입니다. $y^0$

두 대수는 정확히 같은 방식으로 점까지 진행 되지만 ( 대신 사용 ) 분기됩니다. 구체적으로 : $^0$ $_i$

간단한 선형 회귀 분석 , , 추정기의 분산 는 여전히 $y_i = \beta_0 + \beta_1x_i + u_i$ $\text{Var}(u_i)=\sigma^2$ $\hat \beta = (\hat \beta_0, \hat \beta_1)'$

Var (\hat{β}) = σ^{2} {(X^{'} X)}^{- 1}

$\text{Var}(\hat \beta) = \sigma^2 \left(\mathbf X' \mathbf X\right)^{-1}$

우리는

X^{'} X = [\begin{matrix} n & \sum x_{i} \\ \sum x_{i} & \sum x_{i}^{2} \end{matrix}]

$\mathbf X' \mathbf X= \left[ \begin{matrix} n & \sum x_i\\ \sum x_i & \sum x_i^2 \end{matrix}\right]$

그래서

{(X^{'} X)}^{- 1} = [\begin{matrix} \sum x_{i}^{2} & - \sum x_{i} \\ - \sum x_{i} & n \end{matrix}] \cdot {[n \sum x_{i}^{2} - {(\sum x_{i})}^{2}]}^{- 1}

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} \sum x_i^2 & -\sum x_i\\ -\sum x_i & n \end{matrix}\right]\cdot \left[n\sum x_i^2-\left(\sum x_i\right)^2\right]^{-1}$

우리는

[n \sum x_{i}^{2} - {(\sum x_{i})}^{2}] = [n \sum x_{i}^{2} - n^{2} {\bar{x}}^{2}] = n [\sum x_{i}^{2} - n {\bar{x}}^{2}] = n \sum (x_{i}^{2} - {\bar{x}}^{2}) \equiv n S_{x x}

$\left[n\sum x_i^2-\left(\sum x_i\right)^2\right] = \left[n\sum x_i^2-n^2\bar x^2\right] = n\left[\sum x_i^2-n\bar x^2\right] \\= n\sum (x_i^2-\bar x^2) \equiv nS_{xx}$

그래서

{({엑스}^{'} 엑스)}^{- 1} = [\begin{matrix} (1 / 엔) \sum {엑스}_{나는}^{2} & - \bar{엑스} \\ - \bar{엑스} & 1 \end{matrix}] \cdot (1 / {에스}_{엑스 엑스})

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} (1/n)\sum x_i^2 & -\bar x\\ -\bar x & 1 \end{matrix}\right]\cdot (1/S_{xx})$

의미하는 것은

바르 ({\hat{β}}_{0}) = σ^{2} (\frac{1}{엔} \sum {엑스}_{나는}^{2}) \cdot (1 / {에스}_{엑스 엑스}) = \frac{σ^{2}}{엔} \frac{{에스}_{엑스 엑스} + 엔 {\bar{엑스}}^{2}}{{에스}_{엑스 엑스}} = σ^{2} (\frac{1}{엔} + \frac{{\bar{엑스}}^{2}}{{에스}_{엑스 엑스}})

$\text{Var}(\hat \beta_0) = \sigma^2\left(\frac 1n\sum x_i^2\right)\cdot \ (1/S_{xx}) = \frac {\sigma^2}{n}\frac{S_{xx}+n\bar x^2} {S_{xx}} = \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right)$

Var ({\hat{β}}_{1}) = σ^{2} (1 / S_{x x})

$\text{Var}(\hat \beta_1) = \sigma^2(1/S_{xx})$

코브 ({\hat{β}}_{0}, {\hat{β}}_{1}) = - σ^{2} (\bar{엑스} / {에스}_{엑스 엑스})

$\text{Cov}(\hat \beta_0,\hat \beta_1) = -\sigma^2(\bar x/S_{xx})$

번째의 나머지는 다음과 같이 정의된다 $i$

{\hat{u}}_{i} = y_{i} - {\hat{y}}_{i} = (β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i} + u_{i}

$\hat u_i = y_i - \hat y_i = (\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i +u_i$

실제 계수들은 회귀 고정 (또는 조건부)는 상수로 간주하고, 에러 항 제로 공분산을 가지고있다 그러나 추정기는 에러 항과 상관되는 상기 추정기는 종속 변수를 포함하기 때문에, 상기 종속 변수 오류 용어를 포함합니다. 그래서 우리는

Var ({\hat{u}}_{i}) = [Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{나는}], 유_{나는})

$\text{Var}(\hat u_i) = \Big[\text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)\Big] + 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

= [σ^{2} + σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}}) + x_{i}^{2} σ^{2} (1 / S_{x x}) + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$=\Big[\sigma^2 + \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right) + x_i^2\sigma^2(1/S_{xx}) +2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

그것을 얻기 위해 조금 포장

Var ({\hat{u}}_{i}) = [σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$\text{Var}(\hat u_i)=\left[\sigma^2\cdot \left(1 + \frac 1n + \frac {(x_i-\bar x)^2}{S_{xx}}\right)\right]+ 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

큰 괄호 안의 용어는 예측 오차의 분산과 정확히 동일한 구조를 갖습니다. 유일한 변경은 대신 을 갖게됩니다 (그리고 분산은 의 변수 이며 ). 이므로 은 추정값에 포함 되지 않으므로 예측 오차의 마지막 공분산 항은 0 이지만 와 는 표본의 일부 이므로 추정 오차에는 이 아닙니다 . 평가자. 우리는 $x_i$ $x^0$ $e^0$ $\hat u_i$ $y^0$ $u^0$ $y_i$ $u_i$

2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i}) = 2 E ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}] u_{i})

$2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i) = 2E\left([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i]u_i\right)$

= - 2 E ({\hat{β}}_{0} u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i}) = - 2 E ([\bar{y} - {\hat{β}}_{1} \bar{x}] u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i})

$=-2E\left(\hat \beta_0u_i\right)-2x_iE\left(\hat \beta_1u_i\right) = -2E\left([\bar y -\hat \beta_1 \bar x]u_i\right)-2x_iE\left(\hat \beta_1u_i\right)$

계산 방식의 마지막 대체 계속, $\hat \beta_0$

. . . = - 2 E (\bar{y} u_{i}) - 2 (x_{i} - \bar{x}) E ({\hat{β}}_{1} u_{i}) = - 2 \frac{σ^{2}}{n} - 2 (x_{i} - \bar{x}) E [\frac{\sum (x_{i} - \bar{x}) (y_{i} - \bar{y})}{S_{x x}} u_{i}]

$...=-2E(\bar yu_i) -2(x_i-\bar x)E\left(\hat \beta_1u_i\right) = -2\frac {\sigma^2}{n} -2(x_i-\bar x)E\left[\frac {\sum(x_i-\bar x)(y_i-\bar y)}{S_{xx}}u_i\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [\sum (x_{i} - \bar{x}) E (y_{i} u_{i} - \bar{y} u_{i})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ \sum(x_i-\bar x)E(y_iu_i-\bar yu_i)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum_{j \neq i} (x_{j} - \bar{x}) + (x_{i} - \bar{x}) σ^{2} (1 - \frac{1}{n})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum_{j\neq i}(x_j-\bar x) + (x_i-\bar x)\sigma^2(1-\frac 1n)\right]$

= - 2 \frac{σ^{2}}{엔} - 2 \frac{({엑스}_{나는} - \bar{엑스})}{{에스}_{엑스 엑스}} [- \frac{σ^{2}}{엔} \sum ({엑스}_{나는} - \bar{엑스}) + ({엑스}_{나는} - \bar{엑스}) σ^{2}]

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum(x_i-\bar x) + (x_i-\bar x)\sigma^2\right]$

= - 2 \frac{σ^{2}}{엔} - 2 \frac{({엑스}_{나는} - \bar{엑스})}{{에스}_{엑스 엑스}} [0 + ({엑스}_{나는} - \bar{엑스}) σ^{2}] = - 2 \frac{σ^{2}}{엔} - 2 σ^{2} \frac{({엑스}_{나는} - \bar{엑스})^{2}}{{에스}_{엑스 엑스}}

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ 0 + (x_i-\bar x)\sigma^2\right] = -2\frac {\sigma^2}{n}-2\sigma^2\frac {(x_i-\bar x)^2}{S_{xx}}$

이것을 잔차의 분산에 대한 표현식에 삽입하면

바르 ({\hat{유}}_{나는}) = σ^{2} \cdot (1 - \frac{1}{엔} - \frac{({엑스}_{나는} - \bar{엑스})^{2}}{{에스}_{엑스 엑스}})

$\text{Var}(\hat u_i)=\sigma^2\cdot \left(1 - \frac 1n - \frac {(x_i-\bar x)^2}{S_{xx}}\right)$

따라서 OP가 사용하는 텍스트를 싫어합니다.

(나는 일부 대수 조작을 건너 뛰었습니다. 요즘 OLS 대수학이 점점 덜 가르쳐지는 것은 놀라운 일이 아닙니다 ...)

일부 이해

따라서 예측할 때 "우리에 대해"(더 큰 차이) 작동하고 추정 할 때 "우리에 대해"(더 낮은 차이) 작동하는 것으로 보입니다. 이것은 왜 훌륭한 적합이 모델의 예측 능력에 나쁜 신호가 될 수 있는지 숙고하기위한 좋은 출발점입니다.
우리는 사실 추정 회귀 변수의 예상 값이 감소 하여 분산을 . 왜? 추정 함으로써 , 우리 는 본질적으로 기대 값을 추정하기 때문에 샘플에 존재 하는 약간의 오차-변이성 에 대해 "눈을 감는다" . 또한 회귀 분석기의 표본 평균에서 회귀 분석기의 관측 편차가 클수록 $1/n$ 이 관측 값과 관련된 잔차의 분산은 다음과 같습니다. 관측 값이 더 이탈 적 일수록 잔차가 덜 이탈 적입니다 ... 그것은 알려지지 않은 오류의 "장소를 점령"함으로써 우리를 위해 일하는 회귀 자의 변동성입니다. 가변성.

그러나 그것은 추정에 좋습니다 . 대한 예측 , 같은 일이 우리에 대해 설정 : 지금, 그러나 불완전, 계정에 변화를 고려하지 않음으로써 (우리가 그것을 예측하기 원하기 때문에), 샘플에서 얻은 우리의 불완전한 추정량은 자신의 약점을 보여 우리가 추정 샘플 평균, 우리는 실제 예상 값을 알지 못합니다-분산이 증가합니다. 우리는 다른 관측치로부터 계산 된 바와 같이 표본 평균에서 멀리 떨어진 을 가지고 있습니다-너무 나쁘다, 예측 오차 분산은 또 다른 부스트를 얻습니다. 왜냐하면 예측 된 은 타락하는 경향이 있기 때문입니다. 과학 언어 "감소 된 예측 오차 분산의 관점에서 최적의 예측 변수는 $y^0$ $x^0$ $\hat y^0$ 평균쪽으로 수축 예측에 따라 변수의 가까운 평균 "". 우리는 종속 변수의 변화 - 우리는 단지 숙박 시도를 복제하려고하지 않는다 ".

— 알레 코스 파파도풀로스
소스

매우 명확한 답변을 주셔서 감사합니다! "직관"이 정확해서 다행입니다.

— Eric

Alecos, 나는 이것이 옳다고 생각하지 않습니다.

— Glen_b-복귀 모니카

@Alecos 실수는 모수 추정값을 오류 항과 관련이없는 것으로 간주합니다. 이 부분 : 이 맞지 않습니다.

Var ({\hat{u}}_{i}) = Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})

$\text{Var}(\hat u_i) = \text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)$

— Glen_b-복귀 모니카

@Eric 앞서 오해 한 점에 대해 사과드립니다. 두 수식 모두에 대한 직감을 제공하려고했습니다.

— Alecos Papadopoulos

+1 왜이 문제에 대해 다중 회귀 분석을 수행했는지 알 수 있습니다. 단순 회귀 분석을 수행하기위한 추가 노력에 감사드립니다.

— Glen_b-복지 주 모니카

다소 간결한 대답, 아마도 지나치게 추상적이고 바람직한 양의 직관적 인 설명이 부족하여 죄송하지만 나중에 다시 돌아와서 몇 가지 세부 정보를 추가하려고 시도합니다. 적어도 짧습니다.

주어진 , $H=X(X^TX)^{-1}X^T$

\begin{array}{rcl} 바르 (와이 - \hat{와이}) & = & 바르 ((나는 - H) 와이) \\ = & (나는 - H) 바르 (와이) (나는 - H)^{티} \\ = & σ^{2} (나는 - H)^{2} \\ = & σ^{2} (나는 - H) \end{array}

$\begin{eqnarray} \text{Var}(y-\hat{y})&=&\text{Var}((I-H)y)\\ &=&(I-H)\text{Var}(y)(I-H)^T\\ &=&\sigma^2(I-H)^2\\ &=&\sigma^2(I-H) \end{eqnarray}$

금후

바르 ({와이}_{나는} - {\hat{와이}}_{나는}) = σ^{2} (1 - h_{나는 나는})

$\text{Var}(y_i-\hat{y}_i)=\sigma^2(1-h_{ii})$

간단한 선형 회귀의 경우 ...이 질문에 대한 답을 제공합니다.

이 응답은 또한 의미한다 : 이후 긍정적으로 상관된다 차이의 분산은 편차의 합보다 작아야한다. $\hat{y}_i$ $y_i$

편집 : 왜 가 dem 등원 인지 설명 . $(I-H)$

(i) 는 dem 등원이다 : $H$

$H^2=X(X^TX)^{-1}X^TX(X^TX)^{-1}X^T$ $= X\ [(X^TX)^{-1}X^TX]\ (X^TX)^{-1}X^T=X(X^TX)^{-1}X^T=H$

(ii) $(I-H)^2= I^2-IH-HI+H^2=I-2H+H=I-H$

— Glen_b-복귀 모니카
소스

나에게 분명하지 않은 한 단계는 왜 이지만 이것은 단순함에 대한 매우 좋은 파생입니다 . 어쨌든 계획을 세울 때 대답을 조금 확장하면 아마도 그것에 대해 조금 말할 수 있습니까?

(I - H)^{2} = (I - H)

$(I-H)^2=(I-H)$

— Jake Westfall

@Jake 마지막에 두 줄 추가

— Glen_b -Reinstate Monica