역 계산없이 선형 회귀 문제에 대한 표준 오차 계산

를 반전 것보다 선형 회귀 문제에 대한 표준 오차를 계산하는 더 빠른 방법이 있습니까? 여기에 회귀가 있다고 가정합니다. $X'X$

y = X β + ε,

$y=X\beta+\varepsilon,$

여기서 는 행렬이고 는 벡터입니다. $X$ $n\times k$ $y$ $n\times 1$

최소 제곱 문제 해결 방법을 찾기 위해 무엇이든 할 수 것은 비현실적 입니다. 행렬 에서 QR 또는 SVD 분해를 직접 사용할 수 있습니다. 또는 그라디언트 방법을 사용할 수 있습니다. 그러나 표준 오류는 어떻습니까? 우리는 실제로 의 대각선 의 표준 오차 추정치를 계산하는 자연스럽게 LS 솔루션 만 필요합니다 . 표준 오차 계산을위한 구체적인 방법이 있습니까? $X'X$ $X$ $(X'X)^{-1}$ $\varepsilon$

linear-algebra optimization

— mpiktas
소스

의 당신의 특이 값 분해 (SVD)를 사용하여 최소 제곱 문제를 해결한다고 가정하자 , 주어진 $X$

엑스 = 유 Σ V^{'},

$X = U\Sigma V',$

여기서 와 는 단일이고 는 대각선입니다. $U$ $V$ $\Sigma$

그때

{엑스}^{'} 엑스 = V Σ^{2} V^{'} .

$X'X = V \Sigma^2 V'.$

IFF에 존재하는 있는 경우, 전체 등급 (또는 엄격히 긍정적 특이 값을 갖는다) $(X'X)^{-1}$ $X$

({엑스}^{'} 엑스)^{- 1} = V Σ^{- 2} V^{'} .

$(X'X)^{-1} = V \Sigma^{-2} V'.$

( Math.SE 관련 질문에 대한 답변을 참조하십시오 .)

이미있는 경우 및 계산 반전과 대각 행렬 제곱 (필요 위한 조작 행렬의 열 (또는 행) 행렬), 배율 ( , 동작) 및 단일 행렬 곱하기 (불행히도 ). 이 방법은 수치 적으로 잘 작동합니다. $\Sigma$ $V$ $(X'X)^{-1}$ $n$ $n \times n$ $n^2$ $\mathcal{O}(n^{3})$

희소 행렬의 역의 대각선 요소를 얻는 빠른 방법이 있습니다 ( Yousef Saad 그룹의 연구 및 Lin Lin 등의 연구 참조 ). 그러나 귀하의 경우, 는 아마도 희소하지 않으며 ( 가 있더라도), 이러한 경우에도 이러한 빠른 방법으로 부정확 한 결과를 얻을 수있을 정도로 조건이 좋지 않을 수 있습니다. $X'X$ $X$

— 제프 옥스 베리
소스

+1, 그 멋진 SVD 속성을 잊어 버렸습니다. 다른 답변이 오지 않을 경우는 아주 가까이 (나는 :) 얻을 것으로 기대 나은보다 확실히 크기를하고) 내가 할 싶었던 하나이기 때문에, 나는이 대답을 받아 들일 겁니다

— mpiktas

당신 만의 대각선 요소를 계산하려면 것을 추가해야합니다

, 프로세스는

이미의 SVD가있는 경우

. 원하는 경우 답변에 요약 수식을 작성할 수 있습니다.

(X^{'} X)^{- 1}

$(X'X)^{-1}$

O (n^{2})

$\mathcal{O}(n^2)$

X

$X$

— 제프 옥스 베리

참조가 없습니다. 다만의 대각 요소들에 대한 식 밖으로 확장하는 것

소자 현명한 합산 환산한다.

(X^{'} X)^{- 1}

$(X'X)^{-1}$

— Geoff Oxberry

문제없이 해결할 수 있습니다. V의 행 합을

의 대각선 제곱으로 나눈 값 입니다. 산뜻한.

Σ

$\Sigma$

— mpiktas

마지막 주석을 무시하십시오. 오류가 있습니다. 그래도 올바른 공식을 얻었습니다.

— mpiktas