다중 회귀 계수의 표준 오차?

나는 이것이 매우 기본적인 질문이라는 것을 알고 있지만 어디서도 답을 찾을 수 없습니다.

일반 방정식이나 QR 분해를 사용하여 회귀 계수를 계산하고 있습니다. 각 계수에 대한 표준 오차를 어떻게 계산할 수 있습니까? 나는 보통 표준 오류를 다음과 같이 계산한다고 생각합니다.

$SE_\bar{x}\ = \frac{\sigma_{\bar x}}{\sqrt{n}}$

각 계수에 대한 는 무엇입니까 ? OLS와 관련하여 이것을 계산하는 가장 효율적인 방법은 무엇입니까?$\sigma_{\bar x}$

(통상의 랜덤 요소 가정) 최소 자승 추정을 수행하는 경우, 회귀 파라미터 추정치는 일반적으로 평균 진정한 회귀 파라미터에 동등한 및의 공분산 매트릭스와 분산 여기서, S (2) 잔류 편차이며 X T X 는 설계 행렬입니다. X T는 의 전치이며 X 및 X는 모델 식에 의해 정의된다 Y = X β + ε 와 회귀 파라미터$\Sigma = s^2\cdot(X^TX)^{-1}$$s^2$$X^TX$$X^T$$X$$X$$Y=X\beta+\epsilon$$\beta$ 는 오차 항입니다. 베타 파라미터의 추정 표준 편차에 대응하는 기간을 고려하여 받고있다 ( X T X ) - 1 승산을 잔류 편차의 샘플 추계하고 제곱근 복용. 이것은 매우 간단한 계산은 아니지만 모든 소프트웨어 패키지가 계산하여 출력으로 제공합니다.$\epsilon$$(X^TX)^{-1}$

예

드레이퍼와 (내 의견에서 참조) 스미스의 134 페이지, 그들은 최소 제곱하여 모델을 피팅에 대해 다음 데이터를 제공 여기서 ε ~ N ( 0 , 나는 σ 2 ) .$Y = \beta_0 + \beta_1 X + \varepsilon$$\varepsilon \sim N(0, \mathbb{I}\sigma^2)$

                      X                      Y                    XY
                      0                     -2                     0
                      2                      0                     0
                      2                      2                     4
                      5                      1                     5
                      5                      3                    15
                      9                      1                     9
                      9                      0                     0
                      9                      0                     0
                      9                      1                     9
                     10                     -1                   -10
                    ---                     --                   ---
Sum                  60                      5                    32
Sum of  Squares     482                     21                   528

기울기가 0에 가까워 야하는 예와 같습니다.

$$X^t = \pmatrix{ 1 &1 &1 &1 &1 &1 &1 &1 &1 &1 \\ 0 &2 &2 &5 &5 &9 &9 &9 &9 &10 }.$$

그래서

$$X^t X = \pmatrix{n &\sum X_i \\ \sum X_i &\sum X_i^2} = \pmatrix{10 &60 \\60 &482}$$

and

$$\eqalign{ (X^t X)^{-1} &= \pmatrix{ \frac{\sum X_i^2}{n \sum (X_i - \bar{X})^2} &\frac{-\bar{X}}{\sum (X_i-\bar{X})^2} \\ \frac{-\bar{X}}{\sum (X_i-\bar{X})^2} &\frac{1}{\sum (X_i-\bar{X})^2} } \\ &= \pmatrix{\frac{482}{10(122)} &-\frac{6}{122} \\ -\frac{6}{122} &\frac{1}{122}} \\ &= \pmatrix{0.395 &-0.049 \\ -0.049 &0.008} }$$

where $\bar{X} = \sum X_i/n = 60/10 = 6$.

Estimate for $β = (X^TX)^{-1} X^TY$ = ( b0 ) =(Yb-b1 Xb) b1 Sxy/Sxx

b1 = 1/61 = 0.0163 and b0 = 0.5- 0.0163(6) = 0.402

From $(X^TX)^{-1}$ above Sb1 =Se (0.008) and Sb0=Se(0.395) where Se is the estimated standard deviation for the error term. Se =√2.3085.

Sorry that the equations didn't carry subscripting and superscripting when I cut and pasted them. The table didn't reproduce well either because the spaces got ignored. The first string of 3 numbers correspond to the first values of X Y and XY and the same for the followinf strings of three. After Sum comes the sums for X Y and XY respectively and then the sum of squares for X Y and XY respectively. The 2x2 matrices got messed up too. The values after the brackets should be in brackets underneath the numbers to the left.