정규성을 테스트 할 때 잔차 상관 관계가 왜 중요하지 않습니까?

하면 (즉, 선형 회귀 모델에서 유래) 경우 잔차 은 서로 관련이 있으며 독립적이지 않습니다. 그러나 회귀 진단을 수행하고 가정을 테스트하려는 경우 모든 교과서는 Q–Q 플롯과 잔차 에 대한 통계 테스트를 사용하도록 제안합니다 시험 설계되었는지 여부 일부 . $Y = AX + \varepsilon$ $Y$

ε \sim N (0, σ^{2} I) \Rightarrow \hat{e} = (I - H) Y \sim N (0, (I - H) σ_{}^{2})

$\varepsilon \sim \mathcal{N}(0, \sigma^2 I) \hspace{1em} \Rightarrow \hspace{1em} \hat{e} = (I - H) Y \sim \mathcal{N}(0, (I - H) \sigma^2_{})$

{\hat{e}}_{1}, \dots, {\hat{e}}_{n}

$\hat{e}_1, \ldots, \hat{e}_n$

ε \sim N (0, σ^{2} I)

$\varepsilon \sim \mathcal{N}(0, \sigma^2 I)$

\hat{e}

$\hat{e}$

\hat{e} \sim N (0, σ^{2} I)

$\hat{e} \sim \mathcal{N}(0, \sigma^2 I)$

σ^{2} \in R

$\sigma^2 \in \mathbb{R}$

잔차가 상관 관계가 있고 독립적이지 않은 이러한 테스트는 어떻게 중요하지 않습니까? 표준화 된 잔차를 사용하는 것이 좋습니다 : 그것들은 단지 독립적이지 않고 동질적일뿐입니다.

{\hat{e}}_{i}^{'} = \frac{{\hat{e}}_{i}}{\sqrt{1 - h_{i i}}},

$\hat{e}_i' = \frac{\hat{e}_i}{\sqrt{1 - h_{ii}}},$

질문을 바꾸려면 : OLS 회귀의 잔차는 서로 관련이 있습니다. 실제로는 이러한 상관 관계가 너무 작아서 (대부분? 항상?) 잔차가 정규 분포에서 나왔는지 여부를 테스트 할 때 무시할 수 있습니다. 내 질문은 왜?

regression residuals non-independent

— 조란 론 카레 비치
소스

그것들을 동성애로 만듭니다.

— Scortchi-Monica Monica 복원

잔차가 강한 상관 관계가 있거나 최소 제곱 추정 절차에서 발생하는 (매우 미미하고 결과가 아닌) 음의 상관 관계에 대해 우려 할 때 이러한 테스트의 적용 가능성을 묻고 있습니까?

— whuber

@ whuber 최소 제곱 추정 절차에서 발생하는 상관 관계에 대해 묻고 있습니다. 그들이 작고 중요하지 않은 경우, 나는 왜 그런지 알고 싶습니다.

— Zoran Loncarevic

표기법에서 는 의 열 공간 인 투영입니다. 즉, 모든 회귀 변수에 걸쳐있는 부분 공간입니다. 따라서 는 모든 회귀 계에 걸쳐있는 부분 공간에 직교하는 모든 것에 대한 투영입니다. $H$ $X$ $M:=I_{n}-H$

경우 다음 단수 보통 분산 요소는 상태로, 상관 관계가있다. $X\in\mathbb{R}^{n\times k}$ $\hat{e}\in\mathbb{R}^{n}$

오류 은 관찰 할 수 없으며 일반적으로 가 차지하는 부분 공간과 직교하지 않습니다 . 인수를 위해 오류가 있다고 가정하십시오 . 이것이 사실이라면, with 입니다. 이후 , 우리는 분해 할 수 하고 진정한 얻을 . $\varepsilon$ $X$ $\varepsilon\perp\operatorname{span}\left(X\right)$ $y=X\beta+\varepsilon=\tilde{y}+\varepsilon$ $\tilde{y}\perp\varepsilon$ $\tilde{y}=X\beta\in\operatorname{span}\left(X\right)$ $y$ $\varepsilon$

의 기본 이 있고 첫 번째 기본 벡터가 하위 공간 걸쳐 있다고 가정 합니다 및 나머지 span . 일반적으로 는 0이 아닌 구성 요소 를 . 이 0이 아닌 구성 요소는 와 혼합 되므로 에 투영해도 복구 할 수 없습니다 . $b_{1},\ldots,b_{n}$ $\mathbb{R}^{n}$ $b_{1},\ldots,b_{k}$ $\operatorname{span}\left(X\right)$ $b_{k+1},\ldots,b_{n}$ $\operatorname{span}\left(X\right)^{\perp}$ $\varepsilon=\alpha_{1}b_{1}+\ldots+\alpha_{n}b_{n}$ $\alpha_{i}$ $i\in\left\{1,\ldots,k\right\}$ $X\beta$ $\operatorname{span}\left(X\right)$

과 은 단수 차원의 정규 상관 관계를 갖는 진정한 오류를 결코 복구 할 수 없기 때문에 입니다. 여기서 즉 는 단수의 상관 관계가없고 정 분포 정규 분포입니다. 잔차 를 Theil의 BLUS 잔차 라고 합니다. $\varepsilon$ $\hat{e}$ $n$ $\hat{e}\in\mathbb{R}^{n}\mapsto e^{*}\in\mathbb{R}^{n-k}$

e^{*} \sim N_{n - k} (0, σ^{2} I_{n - k}),

$\begin{equation} e^{*}\sim\mathcal{N}_{n-k}\left(0,\sigma^{2}I_{n-k}\right) \textrm{,} \end{equation}$

e^{*}

$e^{*}$

e^{*}

$e^{*}$

짧은 논문의 정규성에 대한 회귀 장애 테스트 에 OLS와 BLUS 잔차의 비교가 있습니다. 테스트 된 Monte Carlo 설정에서 OLS 잔차는 BLUS 잔차보다 우수합니다. 그러나 이것은 당신에게 시작점을 제공해야합니다.

— 마르코 브라이 티그
소스