특이 값 분해를 사용하여 선형 회귀 모형에서 분산 공분산 행렬 계산

p 회귀 분석기, n 개의 관측치의 설계 행렬이 있고 모수의 표본 분산 공분산 행렬을 계산하려고합니다. svd를 사용하여 직접 계산하려고합니다.

난 설계 행렬의 SVD를 취할 때,이 세 성분을 얻을 R을 사용하고 : 행렬 이다 , 행렬 인 (아마도 고유 값)와, 행렬 인 . 나는 대각선 으로 만들어서 대각선 이 0 인 행렬로 만듭니다.$U$$n \times p$$D$$1\times 3$$V$$3\times 3$$D$$3\times 3$

공분산 공식은 이지만 행렬이 일치하지 않거나 R의 내장 함수에도 가깝지 않습니다 . 누구든지 조언 / 참조가 있습니까? 나는이 분야에서 약간 미숙하다는 것을 인정한다.$V D^2 V'$vcov

먼저, 선형 회귀 모델의 다변량 정규성 가정 하에서

$$\hat{\beta} \sim \mathcal{N}( \beta, \sigma^2 (X^T X)^{-1} ) .$$

이제 $X = U D V^T$ 오른쪽이 X의 SVD 인 경우 $X^T X = V D U^T U D V = V D^2 V^T$. 그 후,

$$(X^T X)^{-1} = V D^{-2} V^T .$$

여전히 분산 추정치가 누락되었습니다.

$$\hat{\sigma}^2 = \frac{1}{n - p} (y^T y - \hat{\beta}^T X^T y) .$$

확인하지 않았지만 vcov가 반환 되기를 바랍니다.$\hat{\sigma}^2 V D^{-2} V^T$.

참고 : 당신이 쓴$V D^2 V^T$입니다. $X^T X$그러나 분산 공분산 행렬에 대한 역수가 필요합니다. 또한$R$이 계산을 수행하려면 수행해야합니다.

vcov.matrix <- var.est * (v %*% d^(-2) %*% t(v))

행렬 곱셈 %*%의 경우 그냥 대신에 사용 합니다 *. var.est위의 잡음 분산 추정치입니다.

(또한, 나는 가정을 $X$ 본격적인 $n \geq p$전역. 그렇지 않은 경우 위의 내용을 약간 수정해야합니다.)