'고유'가 행렬 반전에 어떻게 도움이되는지 설명

내 질문은 geoR:::.negloglik.GRF또는 에서 악용 된 계산 기술과 관련이 geoR:::solve.geoR있습니다.

선형 혼합 모델 설정에서 : 여기서 와 는 각각 고정 및 랜덤 효과입니다. 또한

Y = X β + Z b + e

$Y=X\beta+Zb+e$

β

$\beta$

b

$b$

Σ = cov (Y)

$\Sigma=\text{cov}(Y)$

효과를 추정 할 때, 계산에 필요가있다 일반적으로 같은 것을 사용하여 수행 할 수 있습니다 , 그러나 때때로 는 거의 돌이킬 수 없으므로 트릭을 사용하십시오.

(X^{'} Σ^{- 1} X)^{- 1} X^{'} Σ^{- 1} Y

$(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1} Y$ solve(XtS_invX,XtS_invY)

(X^{'} Σ^{- 1} X)

$(X'\Sigma^{-1}X)$ geoR

t.ei=eigen(XtS_invX)
crossprod(t(t.ei$vec)/sqrt(t.ei$val))%*%XtS_invY

(볼 수 geoR:::.negloglik.GRF및 geoR:::.solve.geoR) 분해 된 금액 이므로

(X^{'} Σ^{- 1} X) = Λ D Λ^{- 1}

$(X'\Sigma^{-1}X)=\Lambda D \Lambda^{-1}\\$

Λ^{'} = Λ^{- 1}

$\Lambda'=\Lambda^{-1}$

(X^{'} Σ^{- 1} X)^{- 1} = (D^{- 1 / 2} Λ^{- 1})^{'} (D^{- 1 / 2} Λ^{- 1})

$(X'\Sigma^{-1}X)^{-1}=(D^{-1/2}\Lambda^{-1})'(D^{-1/2}\Lambda^{-1})$

두 가지 질문 :

이 고유 분해는 반전에 어떻게 도움이 됩니까? $(X'\Sigma^{-1}X)$
다른 실행 가능한 대안이 있습니까 (강건하고 안정적인)? (예 qr.solve또는 chol2inv?)

— oh 레
소스

1) 고유 분해는 그다지 도움이되지 않습니다. Cholesky 인수 분해보다 확실히 수치 적으로 안정적입니다. 행렬이 잘못 조정되었거나 거의 특이하지 않거나 조건 수가 많은 경우에 유용합니다. 따라서 고유 분해를 사용하면 문제에 대한 해결책을 얻을 수 있습니다. 그러나 이것이 올바른 솔루션 이라는 보장은 거의 없습니다 . 솔직히 를 명시 적으로 뒤집 으면 손상이 이미 완료됩니다. 성형 단지 문제를 악화 수 있습니다. 고유 분해는 전투에서이기는 데 도움이되지만 전쟁은 가장 확실하게졌습니다. $\Sigma$ $X^T \Sigma^{-1} X$

2) 문제의 세부 사항을 알지 못하면 이것이 내가하는 일입니다. 먼저 되도록 에서 Cholesky 인수 분해를 수행하십시오 . 그런 다음 되도록 에서 QR 인수 분해를 수행하십시오 . 정방향 치환을 사용하여 를 계산하십시오 . 명시 적으로 뒤집지 마십시오 . 그러면 여기에서 원하는 오른쪽을 풀 수 있습니다. 그러나 다시 $\Sigma$ $\Sigma = L L^T$ $L^{-1} X$ $L^{-1} X = QR$ $L^{-1} X$ $L$

\begin{matrix} X^{T} Σ^{- 1} X & = & X^{T} (L L^{T})^{- 1} X \\ = & X^{T} L^{- T} L^{- 1} X \\ = & (L^{- 1} X)^{T} (L^{- 1} X) \\ = & (Q R)^{T} Q R \\ = & R^{T} Q^{T} Q T \\ = & R^{T} R \end{matrix}

$\begin{array}{} X^T \Sigma^{-1} X & = & X^T (L L^T)^{-1} X \\ & = & X^T L^{-T} L^{-1} X \\ & = & (L^{-1} X)^T (L^{-1} X) \\ & = & (Q R)^T Q R \\ & = & R^T Q^T Q T \\ & = & R^T R \end{array}$

R

$R$ (또는 ). 필요에 따라 정방향 및 역방향으로 대체하십시오.

R^{T} R

$R^T R$

BTW, 나는 당신의 방정식의 우변이 궁금합니다. 당신은 그것이 라고 썼습니다 . 당신은 아니에요 확신 ? 그럴 경우 오른쪽에서 비슷한 트릭을 사용할 수 있습니다. 그리고 당신이 제공 할 수 쿠데타 드 그레이스 당신이 해결하기 위해 갈 때 : $X^T \Sigma Y$ $X^T \Sigma^{-1} Y$

\begin{matrix} X^{T} Σ^{- 1} Y & = & X^{T} (L L^{T})^{- 1} Y \\ = & X^{T} L^{- T} L^{- 1} Y \\ = & (L^{- 1} X)^{T} L^{- 1} Y \\ = & (Q R)^{T} L^{- 1} Y \\ = & R^{T} Q^{T} L^{- 1} Y \end{matrix}

$\begin{array}{} X^T \Sigma^{-1} Y & = & X^T (L L^T)^{-1} Y \\ & = & X^T L^{-T} L^{-1} Y \\ & = & (L^{-1} X)^T L^{-1} Y \\ & = & (Q R)^T L^{-1} Y \\ & = & R^T Q^T L^{-1} Y \end{array}$

β

$\beta$

\begin{matrix} X^{T} Σ^{- 1} X β & = & X^{T} Σ^{- 1} Y \\ R^{T} R β & = & R^{T} Q^{T} L^{- 1} Y \\ R β & = & Q^{T} L^{- 1} Y \\ β & = & R^{- 1} Q^{T} L^{- 1} Y \end{matrix}

$\begin{array}{} X^T \Sigma^{-1} X \beta & = & X^T \Sigma^{-1} Y \\ R^T R \beta & = & R^T Q^T L^{-1} Y \\ R \beta & = & Q^T L^{-1} Y \\ \beta & = & R^{-1} Q^T L^{-1} Y \end{array}$

R

$R$ 마지막 단계 로요? 그것은 단지 역 대체적이다. :-)

— 빌 워 서너
소스

감사. 이것은 유용한 답변입니다. 명백히 말하면, 당신의 chol / qr 대안이 전쟁에서이기는 데 도움이 될 것입니까? 아니면 고유 한 것보다 게임을 더 잘 이길 수 있습니까?

— qoheleth

대답하기 어려운 질문입니다. Cholesky와 QR 인수 분해를 결합하면 더 나은 답변과 더 빠른 답변 을 얻을 수 있다고 확신합니다 . 그것은이든 바로 대답은 정말 문제의 원인에 따라 달라집니다. 이 경우 두 가지 잠재적 소스가 있습니다. 의 열 이 거의 선형 적으로 의존적이거나 가 특이점에 접근하고 있습니다. 당신이 형성되면 , 이러한 문제는 서로를 증폭. Cholesky + QR 접근 방식은 이러한 문제 중 하나를 완화하지 못하며 완화 할 수 없지만 상황이 악화되는 것을 방지합니다.

X

$X$

Σ

$\Sigma$

X^{T} Σ^{- 1} X

$X^T \Sigma^{-1} X$

— Bill Woessner