그래프 라플라시안 (역) 공분산을 사용하여 다변량 가우스에서 샘플링

우리는 Koutis-Miller-Peng (Spielman & Teng의 작업을 기반으로 함)에서 선형 시스템 를 행렬 대해 매우 빠르게 해결할 수 있음을 알고 있습니다. . $A x = b$ $A$

지금 (첫번째 질문)이 그래프 라플라시안 행렬들 중 하나의 사용을 고려 공분산이나 (두 번째 질문) 역방향 공분산 행렬 제로 평균 다변량 정규 분포 , 또는 . 이러한 각 경우에 대해 두 가지 질문이 있습니다. $A$ $\mathcal{N}(\boldsymbol{0}, A)$ $\mathcal{N}(\boldsymbol{0}, A^{-1})$

A.이 분포에서 얼마나 효율적으로 표본을 추출 할 수 있습니까? (일반적으로 샘플을 그리려면 Cholesky 분해 계산하고 $A = LL^T$ 표준 법선 $y \sim \mathcal{N}(\boldsymbol{0}, I)$ 다음 $x = L^{-1} y$ ).

B. 의 결정 요인을 얼마나 효율적으로 계산할 수 $A$ 있습니까?

Cholesky 분해를 통해 이러한 두 가지를 쉽게 해결할 수 있지만 위에서 언급 한 기술을 사용하지 않는 표준 스파 스 Cholesky 알고리즘을 사용하는 것보다 $L$ 보다 효율적 으로 추출하는 방법을 즉시 알지 못합니다. 작동하지만 희소하지만 높은 트리 폭 그래프에 대해 입방체 복잡성이 있습니다.

— dan_x
소스

두 경우 모두 "효율적"이라고 생각하는 것에 대해 좀 더 구체적으로 설명하는 것이 도움이 될 것입니다. "효율적인"은 "Cholesky 분해에 의존하지 않는"과 동일합니까?

— Suresh Venkat

제안 해 주셔서 감사합니다. 모든 질문에 대한 답은 "Cholesky 분해를 계산해야하며, 매트릭스의 희미 함을 넘어 활용할 수있는 구조는 없습니다"입니다. 이것이 사실인지 알고 싶습니다. (그렇지 않기를 바랍니다). 마지막 단락에서 "효율적으로"와 관련하여, 나는 표준 스파 스 Cholesky 알고리즘보다 더 효율적이라는 것을 의미합니다. Cholesky를 다른 수단을 통해 가능한 한 빨리 계산하기 위해 위에서 언급 한 작업 기법을 사용할 수있는 방법이 있었더라도 흥미로울 것입니다.

— dan_x

에서 샘플링 하려면 사용할 수 있습니다 . 여기서 는 그래프의 발생률 행렬입니다. 따라서 ( 는 모서리) 에서 표준 가우시안에서 샘플링 하여 선형 변환 적용 할 수 있습니다 . 이것이 아래의 제안과 어떻게 비교되는지 모르겠지만 Cholesky 분해를 계산할 필요는 없습니다.

N (0, A)

$N(0,A)$

A = B^{T} B

$A = B^T B$

B

$B$

R^{E}

$\mathbb{R}^E$

E

$E$

B

$B$

— Lorenzo Najt

여기에는 두 가지 별도의 문제가 있습니다.

를 적용하기 위해 에 효율적인 솔버를 사용하는 방법 . $Ax=b$ $A^{1/2}b$
결정자를 계산하는 방법.

짧은 대답은 1) 합리적인 행렬 함수 근사법을 사용하고 2) 그렇지 않지만 어쨌든 필요는 없습니다. 아래 두 가지 문제를 모두 해결합니다.

행렬 제곱근 근사

여기서 아이디어는 스칼라 함수에 대한 합리적인 함수 근사값을 행렬 함수에 대한 합리적인 함수 근사값으로 변환하는 것입니다.

우리는 제곱근 함수를 매우 잘 근사 할 수있는 합리적인 함수가 있음을 알고 있습니다. 양극 용 . 실제로, 간격에 높은 정확도를 얻을 , 당신이 필요 시리즈의 용어. 적절한 가중치 ( )와 극점 ( ) 을 얻으려면 온라인이나 책에서 합리적인 함수 근사치를 찾아보십시오.

\sqrt{x} \approx r (x) := \frac{a_{1}}{x + b_{1}} + \frac{a_{2}}{x + b_{2}} + \dots + \frac{a_{N}}{x + b_{N}},

$\sqrt{x} \approx r(x) := \frac{a_1}{x+b_1} + \frac{a_2}{x+b_2} + \dots + \frac{a_N}{x+b_N},$

b_{i}

$b_i$

[m, M]

$[m,M]$

O (\log \frac{M}{m})

$O(\log \frac{M}{m})$

a_{i}

$a_i$

- b_{i}

$-b_i$

이제이 합리적인 함수를 행렬에 적용하는 것을 고려하십시오.

아르 자형 (ㅏ) = ㅏ_{1} (ㅏ + 비_{1} 나는)^{- 1} + ㅏ_{2} (ㅏ + 비_{2} 나는)^{- 1} + \dots + ㅏ_{엔} (ㅏ + 비_{엔} 나는)^{- 1} .

$r(A) = a_1(A + b_1 I)^{-1} + a_2(A + b_2 I)^{-1} + \dots + a_N(A + b_N I)^{-1}.$

의 대칭성 때문에 , 우리가 의 단일 값 분해 (SVD)이다 . 따라서 합리적인 행렬 근사의 품질은 고유 값의 위치에서 합리적인 함수 근사의 품질과 같습니다. $A$

\begin{aligned} | | A^{1 / 2} - r (A) | |_{2} & = | | 유 (Σ^{1 / 2} - 아르 자형 (Σ)) 유^{※} | |_{2}, \\ = \underset{나는}{최대} | \sqrt{σ_{나는}} - 아르 자형 (σ_{나는}) | \end{aligned}

$\begin{align} ||A^{1/2} - r(A)||_2 &= ||U\left(\Sigma^{1/2} - r(\Sigma)\right)U^*||_2, \\ &= \max_i |\sqrt{\sigma_i} - r(\sigma_i)| \end{align}$

A = U Σ U^{*}

$A = U \Sigma U^*$

A

$A$

의 조건 수 나타내는 하여 , 우리는 적용 할 수 수행함으로써 원하는 공차 형태의 양으로 시프트 그래프 라플라시안 용액 $A$ $\kappa$ $A^{1/2}b$ $O(\log \kappa)$

(ㅏ + 비 나는) 엑스 = 비 .

$(A + bI)x=b.$

이러한 솔루션은 선호하는 그래프 Laplacian 솔버를 사용하여 수행 할 수 있습니다. 저는 멀티 그리드 유형 기술을 선호하지만 인용 한 논문의 기술도 좋습니다. 여분의 는 솔버의 수렴에만 도움이됩니다. $bI$

비대칭 행렬에 적용되는보다 일반적인 복잡한 분석 기술뿐만 아니라이를 논의하는 훌륭한 논문 은 Hale, Higham, Trefethen (2008)에 의한 등고선 적분 에 의한 , 및 관련 행렬 함수 계산을 $A^α$ $\log(A)$ 참조하십시오. ).

결정적인 "계산"

결정 요인을 계산하기가 더 어렵습니다. 내가 아는 한, 가장 좋은 방법은 QR 알고리즘을 사용하여 Schur 분해 를 계산 한 다음 상단 삼각 행렬 의 대각선에서 고유 값을 읽어내는 것 입니다. 여기에는 시간 이 걸립니다 . 여기서 은 그래프의 노드 수입니다. $A = Q U Q^*$ $U$ $O(n^3)$ $n$

그러나 행렬식을 계산하는 것은 본질적으로 잘못된 조건의 문제이므로 큰 행렬의 행렬식을 계산하는 데 도움이되는 논문을 읽은 경우이 방법에 대해 회의적이어야합니다.

운 좋게도 실제로는 결정자가 필요하지 않습니다. 예를 들어

단일 가우스 분포 에서 표본을 추출하기 위해 정규화 상수는 모든 지점에서 동일하므로 계산할 필요가 없습니다. $N(0,A^{-1})$
라플라시안 행렬 가 점 에서 비 가우시안 분포까지의 지역 가우스 근사값의 역 공분산을 나타내는 경우 는 점에서 점 으로 변경됩니다. 그러나 내가 알고있는 모든 효과적인 샘플링 체계 (Markov chain Monte Carlo, 중요도 샘플링 등)에서 실제로 필요한 것은 결정 비율 , . 은 현재 지점이고 는 제안 된 다음 샘플입니다. $A = A_x$ $x$ $데트 (ㅏ_{{엑스}_{0}}^{- 1} ㅏ_{{엑스}_{피}}),$ $\det(A_{x_0}^{-1}A_{x_p}),$ $x_0$ $x_p$

우리는 볼 수 있습니다 신원에 낮은 순위 업데이트로 어디 유효 숫자 하위 순위 업데이트의 순위 은 가우시안이 아닌 실제 분포의 지역 측정입니다. 일반적으로 이것은 행렬의 전체 순위보다 훨씬 낮습니다. 실제로, 이 크면, 실제 분포는 로컬 비 가우시안이므로 로컬 가우시안 근사를 사용하여이 분포를 샘플링하려는 전체 전략에 의문을 제기해야합니다. $A_{x_0}^{-1}A_{x_p}$

ㅏ_{{엑스}_{0}}^{- 1} ㅏ_{{엑스}_{피}} = 나는 + 큐 디 큐^{※},

$A_{x_0}^{-1}A_{x_p} = I + Q D Q^*,$

r

$r$

r

$r$

낮은 순위 계수 및 는 행렬 를 다른 벡터 에 적용하여 랜덤 한 SVD 또는 Lanczos 에서 찾을 수 있습니다. 라플라시안 솔루션. 따라서 이러한 낮은 순위 요인을 얻는 전체 작업은 입니다. $Q$ $D$

ㅏ_{{엑스}_{0}}^{- 1} ㅏ_{{엑스}_{피}} - 나는

$A_{x_0}^{-1}A_{x_p} -I$

O (r)

$O(r)$

O (r max (n, E))

$O(r \max(n,E))$

알기 상기 결정의 비율은이다 $D = \text{diag}(d_1,d_2,\dots,d_r)$

데트 (ㅏ_{{엑스}_{0}}^{- 1} ㅏ_{{엑스}_{피}}) = 데트 (나는 + 큐 디 큐^{※}) = 특급 (\sum_{나는 = 1}^{아르 자형} 로그 디_{나는}) .

$\det(A_{x_0}^{-1}A_{x_p}) = \det(I + Q D Q^*) = \exp\left(\sum_{i=1}^r \log d_i\right).$

이러한 낮은 순위 결정 배급 계산 기법에서 찾을 수 있습니다 지진 반전에 응용 프로그램과 함께 대규모 통계 역 문제에 대한 확률 뉴턴 MCMC 방법 등, 마틴. (2012). 이 논문에서는 연속체 문제에 적용되므로 "그래프"는 3D 공간의 격자이고 그래프 라플라시안은 실제 라플라시안 행렬입니다. 그러나 모든 기술은 일반 그래프 Laplacians에 적용됩니다. 아마도이 기술을 일반 그래프에 적용하는 다른 논문이있을 것입니다 (확장은 사소하고 기본적으로 방금 쓴 것입니다).

— 닉 알거
소스