왜의 추적

13

모델 에서 정규 방정식을 사용하여 를 추정 할 수 있습니다 . ${y} = X \beta + \epsilon$ $\beta$

\hat{β} = (X^{'} X)^{- 1} X^{'} y,

$\hat{\beta} = (X'X)^{-1}X'y,$ 우리가 얻을 수있는

\hat{y} = X \hat{β} .

$\hat{y} = X \hat{\beta}.$

잔차 벡터는 다음과 같이 추정됩니다.

\hat{ϵ} = y - X \hat{β} = (I - X (X^{'} X)^{- 1} X^{'}) y = Q y = Q (X β + ϵ) = Q ϵ,

$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon,$

여기서,

Q = I - X (X^{'} X)^{- 1} X^{'} .

$Q = I - X (X'X)^{-1} X'.$

내 질문은 의 결론을 얻는 방법

tr (Q) = n - p .

$\textrm{tr}(Q) = n - p.$

regression least-squares inference

— zhushun0008
소스

12

결론은 단지 벡터 공간의 크기를 계산합니다. 그러나 일반적으로 사실이 아닙니다.

선형 변환 행렬로 표현한다는 행렬 곱셈 쇼의 가장 기본적인 성질 만족 $\mathbb{H}=X(X^\prime X)^{-}X^\prime$

H^{2} = {(X (X^{'} X)^{-} X^{'})}^{2} = X (X^{'} X)^{-} (X^{'} X) (X^{'} X)^{-} X^{'} = H,

$\mathbb{H}^2 = \left(X(X^\prime X)^{-}X^\prime\right)^2=X(X^\prime X)^{-}(X^\prime X)(X^\prime X)^{-}X^\prime=\mathbb{H},$

프로젝션 오퍼레이터 로 전시 . 따라서 그 보완

Q = 1 - H

$\mathbb{Q} = 1 - \mathbb{H}$

(질문에 주어진) 또한 투영 연산자입니다. 의 추적 은 그 랭크 (아래 참조)이며 의 추적 은 입니다. $\mathbb{H}$ $h$ $\mathbb{Q}$ $n-h$

매우 식으로부터는 것을 알 수있다 두 선형 변환의 조성물과 관련된 행렬 와 자체. (제 )를 변형 - 벡터의 에 - 벡터의 . 제 ( ) A로부터 변환 인 에 주어진 $\mathbb{H}$

J = (X^{'} X)^{-} X^{'}

$\mathbb{J}=(X^\prime X)^{-}X^\prime$

X

$X$

J

$\mathbb{J}$

n

$n$

y

$y$

p

$p$

\hat{β}

$\hat\beta$

X

$X$

R^{p}

$\mathbb{R}^p$

R^{n}

$\mathbb{R}^n$

\hat{y} = X \hat{β}

$\hat y = X\hat \beta$ . 최소 2 자릿수 설정에서 항상

(그러나

가 전체 순위가 아닐 때마다

보다 작을 수 있음 ). 결과적으로 조성물의 랭크

계급 초과 할 수

. 그러므로 올바른 결론 은

p

$p$

p

$p$

J

$\mathbb{J}$

H = X J

$\mathbb{H}=X\mathbb{J}$

X

$X$

가 풀 랭크 인경우에만 ; 그리고 일반적으로 . 전자의 경우, 모델은 "식별 가능"이라고한다 ( 계수에 대해). $\text{tr} (\mathbb{Q}) = n-p$ $\mathbb{J}$ $n \ge \text{tr} (\mathbb{Q}) \ge n-p$ $\beta$

가 뒤집을 수없는 경우에만 가 전체 순위가됩니다. $\mathbb{J}$ $X^\prime X$

기하학적 해석

는 벡터 ( "응답"또는 "종속 변수"를 나타냄)에서 의 열에 의해 확장 된 공간( "독립 변수"또는 "공변량"을나타냄)으로의 직교 투영을나타냅니다. 차이 는 임의의 벡터 를 벡터 의 합으로분해하는 방법을 보여줍니다 여기서 첫 번째는 에서 "예측"될 수 있고두 번째는 그것에 수직입니다. . 때 $\mathbb{H}$ $n$ $y$ $X$ $\mathbb{Q}=1-\mathbb{H}$ $n$ $y$

y = H (y) + Q (y),

$y = \mathbb{H}(y) + \mathbb{Q}(y),$

X

$X$

p

$p$ 의 열

생성

차원 공간 (즉,하지 동일 선상)의 랭크

이고

과의 랭크

인

, 반사

표시되지 않은 응답 변동의 추가적인 치수 독립 변수 내에서. 트레이스는 이러한 치수에 대한 대수 공식을 제공합니다.

X

$X$

p

$p$

H

$\mathbb{H}$

p

$p$

Q

$\mathbb{Q}$

n - p

$n-p$

n - p

$n-p$

선형 대수 배경

벡터 공간 ( (예를 들어, ) 상의 투영 연산자 는 되도록 선형 변환 (즉, 의 엔도 모르 프) 이다 . 이것은 그것의 보수 도 투영 연산자로 만듭니다. $V$ $\mathbb{R}^n$ $\mathbb{P}:V\to V$ $V$ $\mathbb{P}^2=\mathbb{P}$ $\mathbb{Q}=1-\mathbb{P}$

Q^{2} = {(1 - P)}^{2} = 1 - 2 P + P^{2} = 1 - 2 P + P = Q .

$\mathbb{Q}^2 = \left(1 - \mathbb{P}\right)^2 = 1 - 2\mathbb{P} + \mathbb{P}^2 = 1-2\mathbb{P}+\mathbb{P} = \mathbb{Q}.$

모든 돌기마다 위해 그 이미지의 모든 요소를 해결 우리가 쓸 수 일부 어디서, $v\in \text{Im}(\mathbb{P})$ $v = \mathbb{P}(w)$ $w\in V$

w = P (v) = P^{2} (v) = P (P (v)) = P (w) .

$w = \mathbb{P}(v) = \mathbb{P}^2(v) = \mathbb{P}(\mathbb{P}(v)) = \mathbb{P}(w).$

어떤 자기 사상의와 관련 의 두 부분 공간이다 : 그것의 커널 $\mathbb{P}$ $V$ 및이미지

ker (P) = {v \in v | P (v) = 0}

$\text{ker}(\mathbb{P}) = \{v\in v\,|\, \mathbb{P}(v)=0\}$

모든 벡터

폼에 기입 할 수

여기서

및

. 따라서 우리는

와

대한기초

를만들 수있다

Im (P) = {v \in v | \exists_{w \in V} P (w) = v} .

$\text{Im}(\mathbb{P}) = \{v\in v\,|\, \exists_{w\in V} \mathbb{P}(w)=v\}.$

v \in V

$v\in V$

v = w + u

$v = w+u$

w \in Im (P)

$w\in \text{Im}(\mathbb{P})$

u \in Ker (P)

$u\in \text{Ker}(\mathbb{P})$

E \cup F

$E \cup F$

V

$V$

E \subset Ker (P)

$E \subset \text{Ker}(\mathbb{P})$

. 경우

유한 차원이다의 행렬

이 기준에 따라서, 하나 개의 블록 (의 동작에 대응하여, 블록 대각 형태 일 것이다

에

) 모두 제로 및 기타 (작용에 대응하는

의

)는

by

항등 행렬과 같습니다. 여기서

의 차원은

입니다.

의 트레이스는대각선의 값의 합이므로

와 같아야합니다. 이 번호는입니다순위의

F \subset Im (P)

$F \subset \text{Im}(\mathbb{P})$

V

$V$

P

$\mathbb{P}$

P

$\mathbb{P}$

E

$E$

P

$\mathbb{P}$

F

$F$

f

$f$

f

$f$

F

$F$

f

$f$

P

$\mathbb{P}$

f \times 1 = f

$f\times 1 = f$

: 이미지의 치수.

P

$\mathbb{P}$

미량의 의 추적 같음 (동일한 의 치수 ) 마이너스 추적 . $1-\mathbb{P}$ $1$ $n$ $V$ $\mathbb{P}$

이러한 결과는 투영의 흔적이 그 순위와 같다는 주장으로 요약 될 수있다 .

— 우버
소스

매우 감사합니다. 나는 당신의 대답으로부터 많은 지식을 배웠습니다.

— zhushun0008

19

@Dougal은 이미 답변을했지만 여기에 조금 더 간단한 답변이 있습니다.

$\newcommand{\tr}{\mathrm{tr}}\tr(A - B) = \tr(A) - \tr(B)$

t r (Q) = t r (I) - t r (X (X^{'} X)^{- 1} X^{'}) .

$\tr(Q) = \tr(I) - \tr(X(X'X)^{-1}X').$

I

$I$

n \times n

$n \times n$

t r (I) = n

$\tr(I) = n$

t r (A B) = t r (B A)

$\tr(AB) = \tr(BA)$

t r (Q) = n - t r ((X^{'} X)^{- 1} (X^{'} X)) .

$\tr(Q) = n - \tr((X'X)^{-1}(X'X)).$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

(X^{'} X)

$(X'X)$

p \times p

$p \times p$

p

$p$

t r (Q) = n - p .

$\tr(Q) = n - p.$

— 볼프강
소스

6

$\newcommand\R{\mathbb R}$ $n \le p$ $X$

$X = U \Sigma V^T$ $\Sigma \in \R^{p \times p}$ $U \in \R^{n \times p}, V \in \R^{p \times p}$ $U^T U = V^T V = V V^T = I_p$ $U U^T$ $p$ $I_n$ ). 그때

\begin{aligned} X (X^{T} X)^{- 1} X^{T} & = U Σ V^{T} (V Σ U^{T} U Σ V^{T})^{- 1} V Σ U^{T} \\ = U Σ V^{T} (V Σ^{2} V^{T})^{- 1} V Σ U^{T} \\ = U Σ V^{T} V Σ^{- 2} V^{T} V Σ U^{T} \\ = U U^{T} . \end{aligned}

$\begin{align} X (X^T X)^{-1} X^T &= U \Sigma V^T (V \Sigma U^T U \Sigma V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T (V \Sigma^2 V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T V \Sigma^{-2} V^T V \Sigma U^T \\&= U U^T .\end{align}$

$U_2 \in \R^{n \times n-p}$ $U_n = \begin{bmatrix}U & U_2\end{bmatrix}$

\begin{aligned} I - X (X^{T} X)^{- 1} X^{T} & = U_{n} U_{n}^{T} - U U^{T} \\ = U_{n} (I_{n} - [\begin{matrix} I_{p} & 0 \\ 0 & 0 \end{matrix}]) U_{n}^{T} \\ = U_{n} [\begin{matrix} 0 & 0 \\ 0 & I_{n - p} \end{matrix}] U_{n}^{T} . \end{aligned}

$\begin{align} I - X (X^T X)^{-1} X^T &= U_n U_n^T - U U^T \\&= U_n \left( I_n - \begin{bmatrix}I_p & 0 \\ 0 & 0\end{bmatrix} \right) U_n^T \\&= U_n \begin{bmatrix}0 & 0 \\ 0 & I_{n-p}\end{bmatrix} U_n^T .\end{align}$

Q

$Q$

Q

$Q$

n - p

$n-p$

p

$p$

Q

$Q$

n - p

$n-p$

— 더갈
소스