RSS가 카이 제곱 배 np로 분배되는 이유는 무엇입니까?

OLS 모델에서 RSS (잔여 제곱합)가 ( 는 모델의 매개 변수 수, 관측치 수 )로 분포 된 이유를 이해하고 싶습니다 .

χ^{2} \cdot (n - p)

$\chi^2\cdot (n-p)$

p

$p$

n

$n$

그런 기본적인 질문을 한 것에 대해 사과하지만 온라인 (또는 내 응용 프로그램 중심의 교과서)에서 답을 찾을 수없는 것 같습니다.

regression distributions least-squares

— 탈 갈릴리
소스

대답은 어설 션이 옳지 않다는 것을 보여줍니다. RSS의 분포는 ( 아님)에 분포의 곱한 것입니다. 여기서 는 오류의 실제 분산입니다.

σ^{2}

$\sigma^2$

n - p

$n-p$

χ^{2} (n - p)

$\chi^2(n-p)$

σ^{2}

$\sigma^2$

— whuber

답변:

다음 선형 모델을 고려합니다 : . ${y} = X \beta + \epsilon$

잔차 벡터는 다음과 같이 추정됩니다.

\hat{ϵ} = y - X \hat{β} = (I - X (X^{'} X)^{- 1} X^{'}) y = Q y = Q (X β + ϵ) = Q ϵ

$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon$

여기서, $Q = I - X (X'X)^{-1} X'$ .

관찰 (추적이 순환 전치 하에서 불변) 것을 . 따라서 의 고유 값은 과 (일부 세부 사항은 아래 참조). 따라서, 단일 행렬 가 존재하여 ( 매트릭스가 정상인 경우에만 행렬이 단일 행렬에 의해 대각선 화 될 수있다. ) $\textrm{tr}(Q) = n - p$ $Q'=Q=Q^2$ $Q$ $0$ $1$ $V$

V^{'} Q V = Δ = diag (\underset{n - p times}{\underset{⏟}{1, \dots, 1}}, \underset{p times}{\underset{⏟}{0, \dots, 0}})

$V'QV = \Delta = \textrm{diag}(\underbrace{1, \ldots, 1}_{n-p \textrm{ times}}, \underbrace{0, \ldots, 0}_{p \textrm{ times}})$

자,하자 . $K = V' \hat{\epsilon}$

이후 , 우리가 때문에, . 그러므로 $\hat{\epsilon} \sim N(0, \sigma^2 Q)$ $K \sim N(0, \sigma^2 \Delta)$ $K_{n-p+1}=\ldots=K_n=0$

\frac{‖ K ‖^{2}}{σ^{2}} = \frac{‖ K^{⋆} ‖^{2}}{σ^{2}} \sim χ_{n - p}^{2}

$\frac{\|K\|^2}{\sigma^2} = \frac{\|K^{\star}\|^2}{\sigma^2} \sim \chi^2_{n-p}$

with 입니다. $K^{\star} = (K_1, \ldots, K_{n-p})'$

또한 는 단일 행렬이므로 $V$

‖ \hat{ϵ} ‖^{2} = ‖ K ‖^{2} = ‖ K^{⋆} ‖^{2}

$\|\hat{\epsilon}\|^2 = \|K\|^2=\|K^{\star}\|^2$

그러므로

\frac{RSS}{σ^{2}} \sim χ_{n - p}^{2}

$\frac{\textrm{RSS}}{\sigma^2} \sim \chi^2_{n-p}$

마지막으로,이 결과는

E (\frac{RSS}{n - p}) = σ^{2}

$E\left(\frac{\textrm{RSS}}{n-p}\right) = \sigma^2$

이후 의 최소 다항식 의 다항식 분할 . 따라서 의 고유 값은 과 사이 입니다. 이후 또한 다수 곱한 고유의 합, 우리는 반드시 있음이 다중성와 고유치이다 제로는 다수의와 고유치이다 . $Q^2 - Q =0$ $Q$ $z^2 - z$ $Q$ $0$ $1$ $\textrm{tr}(Q) = n-p$ $1$ $n-p$ $p$

— 옥람
소스

(+1) 정답입니다. 가 실제 대칭 이기 때문에 단일 대신 직교에 대한주의를 제한 할 수 있습니다 . 또한 무엇입니까? 정의되어 있지 않습니다. 인수를 약간 재조정함으로써, 익숙하지 않은 사람들에게 약간의 혼란을 초래할 수있는 경우, 퇴화 법선의 사용을 피할 수도 있습니다.

V

$V$

Q

$Q$

S C R

$\mathrm{SCR}$

— 추기경

@추기경. 좋은 지적. SCR ( 'Somme des Carrés Résiduels'프랑스어)은 RSS 여야합니다.

— ocram

자세한 답변 Ocram에 감사드립니다! 몇 가지 단계를 통해 더 많은 것을 볼 수 있지만 지금 생각할 개요가 있습니다. 감사합니다!

— 탈 Galili

@Glen_b : 아, 며칠 전에 SCR을 SRR로 변경하기 위해 편집했습니다. SCR이 내 의견에 언급되었다는 것을 기억하지 못했습니다. 혼란을 드려 죄송합니다.

— ocram

@Glen_b : RSS : -S를 다시 한 번 의미했습니다. Thx

— ocram

IMHO, 결혼 표기법 문제를 복잡하게 만듭니다. 순수한 벡터 공간 언어가 더 깨끗합니다. 모델은 로 작성 될 수 있습니다. 여기서 는 에 표준 정규 분포를 가지며 는 벡터 부분 공간 에 속한다고 가정합니다 . $Y=X\beta+\epsilon$ $\boxed{Y=\mu + \sigma G}$ $G$ $\mathbb{R}^n$ $\mu$ $W \subset \mathbb{R}^n$

이제 기본 기하학의 언어가 사용됩니다. 최소 자승 추정기 의 이외에 아무것도 없다 : 관찰의 정사영 공간에서 되는 가정이 속하는. 잔차 벡터는 직교 보수에 투영 : 의 에 . 의 차원 은 입니다. $\hat\mu$ $\mu$ $P_WY$ $Y$ $W$ $\mu$ $P^\perp_WY$ $W^\perp$ $W$ $\mathbb{R^n}$ $W^\perp$ $\dim(W^\perp)=n-\dim(W)$

마지막으로, 이고 는 에 표준 정규 분포를 가지므로 제곱 규범은 로 분배 자유도.

P_{W}^{⊥} Y = P_{W}^{⊥} (μ + σ G) = 0 + σ P_{W}^{⊥} G,

$P^\perp_WY = P^\perp_W(\mu + \sigma G) = 0 + \sigma P^\perp_WG,$

P_{W}^{⊥} G

$P^\perp_WG$

W^{⊥}

$W^\perp$

χ^{2}

$\chi^2$

\dim (W^{⊥})

$\dim(W^\perp)$

이 데모는 하나의 정리, 실제로 정의 정리 만 사용합니다.

정의와 정리 . 임의의 벡터 벡터 공간에 표준 정규 분포를 갖는 는 그 값에 걸리는 경우 (하나와 그 좌표를 $\mathbb{R}^n$ $U \subset \mathbb{R}^n$ $U$ $\iff$ 전체적으로) 정규 직교 기준 은 독립적 인 1 차원 표준 정규 분포입니다. $U$

(이 정의-정리로부터 Cochran의 정리는 너무 명백하여 그것을 언급 할 가치가 없다)

— 스테판 로랑
소스