회귀 계수의 추정치는 서로 관련이 없습니까?

여기서 는 평균 이고 표준 편차 와 같은 간단한 회귀를 고려하십시오 (정상 가정되지 않음) . 와 의 최소 제곱 추정값은 서로 관련이 없습니까?

Y_{i} = a + b X_{i} + e_{i},

$Y_i = a + b X_i + e_i,$

e_{i}

$e_i$

0

$0$

σ

$\sigma$

a

$a$

b

$b$

regression correlation estimation

— 아르나 브
소스

어떻게 생각해? en.wikipedia.org/wiki/Ordinary_least_squares , "유한 샘플 속성"섹션. 이 질문은이 사이트에서 여러 번 답변되었습니다.

— mpiktas

이것은 실험 설계에서 중요한 고려 사항이며, 추정값 및 사이에 상관 관계가 없거나 매우 적은 것이 바람직 할 수 있습니다 . 이러한 상관 부족은 의 값을 제어함으로써 달성 될 수있다 . $\hat a$ $\hat b$ $X_i$

의 효과를 분석하기 추정에서의 값 (길이의 행 벡터이다 )는 매트릭스에 수직으로 조립되어 의 디자인 매트릭스 분명 (이 데이터는 등 많은 행으로 가지는 ) 두 개의 열 대응하는 는 하나의 긴 (열) 벡터 로 조립된다 . 이러한 용어로, 조립 된 계수에 대해 쓰면 $X_i$ $(1,X_i)$ $2$ $X$ $Y_i$ $y$ $\beta = (a,b)^\prime$

E (Y) = X \cdot β

$\mathbb{E}(Y) = X \cdot \beta$

(일반적으로) 그의 차이 상수이다 독립적 랜덤 변수로 가정 알려지지위한 . 종속 관측 값 는 벡터 값 랜덤 변수 의 한 가지 실현으로 간주 됩니다. $Y_i$ $\sigma^2$ $\sigma \gt 0$ $y$ $Y$

OLS 솔루션은

\hat{β} = {(X^{'} X)}^{- 1} X^{'} y,

$\hat\beta = \left(X^\prime X\right)^{-1} X^\prime y,$

이 행렬이 역이라고 가정합니다. 따라서 행렬 곱셈과 공분산의 기본 속성을 사용하면

Cov (\hat{β}) = Cov ({(X^{'} X)}^{- 1} X^{'} Y) = ({(X^{'} X)}^{- 1} X^{'} σ^{2} X {(X^{'} X)}^{- 1'}) = σ^{2} {(X^{'} X)}^{- 1} .

$\text{Cov}(\hat\beta) = \text{Cov}\left(\left(X^\prime X\right)^{-1} X^\prime Y\right) = \left(\left(X^\prime X\right)^{-1} X^\prime\sigma^2 X \left( X^\prime X \right)^{-1\prime} \right) = \sigma^2 \left(X^\prime X\right)^{-1}.$

행렬 은 모델 매개 변수 해당하는 행과 열이 두 개뿐입니다 . 와 의 상관 관계는 의 대각선 이외의 요소에 비례하며, Cramer 's Rule에 의해 의 두 열의 내적에 비례합니다 . 열 중 하나가 모두 이고 다른 열과의 내적 ( 로 구성됨 )이 합계이므로 $\left(X^\prime X\right)^{-1}$ $(a,b)$ $\hat a$ $\hat b$ $(X^\prime X)^{-1},$ $X$ $1$ $X_i$

$\hat a$ 하고 경우 무상관과의 합 (또는 동등하게 평균) 제로이다. $\hat b$ $X_i$

이 직교성 조건 은 를 최신 화 하여 (각각의 평균을 빼서) 자주 달성됩니다 . 이것은 추정 경사 를 변경하지는 않지만, 추정 된 절편 변경합니다 . 중요한지 여부는 응용 프로그램에 따라 다릅니다. $X_i$ $\hat b$ $\hat a$

설계 행렬 갖 Tthis 분석 회귀 적용 열이 독립 변수 (추가 항목이 이루어져 S) 및 길이의 벡터 것이다 하지만, 그 모든 전과 통과. $p+1$ $p$ $1$ $\beta$ $p+1$

일반적인 언어에서 두 열은 내적이 0 일 때 직교 라고 합니다. 한 열 (즉, 열 )이 다른 모든 열과 직교 인 경우 행 및 열 에 있는 모든 비 대각선 항목이 쉽게 증명되는 대수 사실입니다. 0입니다 (즉, 모든 대한 및 구성 요소 는 0 임). 따라서, $X$ $X$ $i$ $i$ $i$ $(X^\prime X)^{-1}$ $ij$ $ji$ $j\ne i$

두 개의 다중 회귀 계수 추정값 및 는 설계 행렬의 해당 열 중 하나 (또는 둘 다)가 다른 모든 열과 직교 할 때마다 상관이 없습니다. $\hat\beta_i$ $\hat\beta_j$

많은 표준 실험 설계는 열이 서로 직교하도록 독립 변수의 값을 선택하는 것으로 구성됩니다. 이렇게하면 데이터가 수집되기 전에 추정치가 서로 관련이 없음을 보장하여 결과 추정치를 "분리"합니다. (응답에 정규 분포가있는 경우 추정치가 독립적이므로 해석이 크게 단순화됩니다.)

— 우버
소스

대답은 "[...] 대각선이 아닌 요소이며, X의 두 열의 내적입니다." 그러나 아닌 해당 됩니까?

X^{'} X

$X'X$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

— Heisenberg

@Heisenberg 좋은 지적입니다. 나는 이것에 대해 명확하지 않았다. 두 열의 경우 모호하지 않지만 더 많은 열의 경우 프레젠테이션을 향상시키는 방법을 생각해야합니다.

— whuber

@ Heisenberg 나는 당신의 지각 관찰에 감사드립니다 : 그것은 다중 회귀 사건에 대한 토론에서 실질적인 오류를 수정할 수있게했습니다.

— whuber