선형 방정식 시스템을 풀기위한 Krylov 부분 공간 방법의 수렴의 원리는 무엇입니까?

내가 이해하는 것처럼 선형 방정식 시스템을 푸는 반복적 인 방법에는 두 가지 주요 범주가 있습니다.

고정 방법 (Jacobi, Gauss-Seidel, SOR, Multigrid)
Krylov Subspace 방법 (콘쥬 게이트 그라디언트, GMRES 등)

나는 대부분의 고정 방법이 푸리에 오류 모드를 반복적으로 완화 (평활)함으로써 작동한다는 것을 이해합니다. 내가 알기로, Conjugate Gradient 방법 (Krylov subspace 방법)은 번째 잔차에 적용된 행렬의 힘으로부터 최적의 검색 방향 세트를 통해 "스테핑"함으로써 작동합니다 . 이 원리는 모든 Krylov 부분 공간 방법에 공통적인가? 그렇지 않다면, 우리는 일반적으로 Krylov subspace 방법의 수렴의 원리를 어떻게 특성화합니까? $n$

— 바울
소스

고정 방법 분석은 간단한 모델 문제로 인해 편향됩니다. 푸리에 모드로 분석 할 수 있기 때문입니다. 또한 ADI (Alternative Direction Implicit) 및 기타 여러 가지 방법도 무시합니다. 대부분의 "정적 방법"의 요점은 많은 간단한 "근사 적 부분"솔버를 하나의 반복 솔버로 결합하는 것입니다. Krylov 방법의 요점은 주어진 고정 선형 반복의 수렴을 가속화 (또는 심지어 시행)하는 것입니다.

— Thomas Klimpel

귀하의 질문에 대답하기 위해 작성된 것으로 생각되는 논문은 Ipsen and Meyer, Krylov 방법의 기본 개념입니다. 수학. 월간 105 (1998) pp. 889-899. 그것은 사용할 수있는 멋지고 잘 쓰여진 및 명확히 종이의 여기 .

— Andrew T. Barker

@ AndrewT.Barker : 대단해! 고마워 앤드류! :)

— Paul

답변:

일반적으로 모든 Krylov 방법은 본질적으로 매트릭스의 스펙트럼에서 평가할 때 작은 다항식을 찾습니다. 특히 Krylov 방법 의 번째 잔차 (초기 추측 값이 0 임)는 다음과 같은 형식으로 작성 될 수 있습니다. $n$

r_{n} = P_{n} (A) b

$r_n = P_n (A) b$

여기서 은 차수 의 일부 다항식입니다 . $P_n$ $n$

경우 와, diagonalizable입니다 , 우리는이 $A$ $A=V\Lambda V^{-1}$

\begin{array}{rcl} ‖ r_{n} ‖ & \leq & ‖ V ‖ \cdot ‖ P_{n} (Λ) ‖ \cdot ‖ V^{- 1} ‖ \cdot ‖ b ‖ \\ = & κ (V) \cdot ‖ P_{n} (Λ) ‖ \cdot ‖ b ‖ . \end{array}

$\begin{eqnarray*} \|r_n\| &\leq& \|V\|\cdot \|P_n(\Lambda)\|\cdot \|V^{-1}\|\cdot \|b\|\\ &=& \kappa(V) \cdot \|P_n(\Lambda)\| \cdot \|b\|. \end{eqnarray*}$

그 경우 (예를 들어, 대칭 또는 단일) 우리가 알고있는 정상 CG 다른 내적을 이용하여 다항식 구축하면서 Arnoldi 반복을 통해 이러한 다항식 GMRES 구조를 (볼 이 응답 세부 사항)을 . 마찬가지로 BiCG는 비대칭 Lanczos 프로세스를 통해 다항식을 구성하는 반면 Chebyshev 반복에서는 스펙트럼에 대한 사전 정보 (일반적으로 대칭 한정 행렬에 대한 최대 및 최소 고유 값 추정)를 사용합니다. $A$ $\kappa(V) = 1.$

멋진 예로 (Trefethen + Bau에서 동기 부여) 스펙트럼이 다음과 같은 행렬을 생각해보십시오.

매트릭스의 스펙트럼

MATLAB에서는 다음과 같이 구성했습니다.

A = rand(200,200);
[Q R] = qr(A);
A = (1/2)*Q + eye(200,200);

차의 모든 monic 다항식에 대한 잔차 를 실제로 최소화 하는 다항식을 구성하는 GMRES를 고려 하면 후보 다항식을 보면 잔차 이력을 쉽게 예측할 수 있습니다 $n$

P_{n} (z) = (1 - z)^{n}

$P_n (z) = (1-z)^n$

우리의 경우에는

| P_{n} (z) | = \frac{1}{2^{엔}}

$|P_n(z)| = \frac{1}{2^n}$

용 의 스펙트럼 . $z$ $A$

이제 랜덤 RHS에서 GMRES를 실행하고 잔차 이력을이 다항식과 비교하면, 그것들은 상당히 유사해야합니다 (후보 다항식 값은 이므로 GMRES 잔차보다 작습니다 ). $\|b\|_2 > 1$

잔여 역사

— 리드 애치슨
소스

"행렬의 스펙트럼에서 작은"이라는 말의 의미를 명확하게 설명해 주시겠습니까?

— Paul

복소 다항식으로 취하면, 다항식

은

의 스펙트럼을 포함하는 복소 평면 영역에서 작은 계수를 갖습니다 . 고유 값의 산포도에 중첩 된 등고선 그림을 상상해보십시오. 얼마나 작습니까? 문제,

가 정상 인지 여부 및 오른쪽

따라 다릅니다

기본 아이디어는 다항식

시퀀스가 스펙트럼에서 점차 작아지고 작아지기 때문에 내 답변의 잔류 추정치가

이되는 것 입니다.

P_{n}

$P_n$

A

$A$

A

$A$

b .

$b.$

(P_{n})

$(P_n)$

0

$0$

— Reid. Atcheson

@ Reid.Atcheson : 잘 넣었습니다. 나는 쓰는 것을 권장 할 수 있음

로

하고 정상 행렬에 대한 하나라고 언급?

‖ V ‖ ‖ V^{- 1} ‖

$\|V\|\|V^{-1}\|$

κ (V)

$\kappa(V)$

— Jack Poulson

최적의 SOR에 의해 사전 조정 된 라플라시안은이 예시 매트릭스와 매우 유사한 스펙트럼을 갖는다. 자세한 내용은 여기 : scicomp.stackexchange.com/a/852/119

— Jed Brown

엄밀히 말하면 CGNE는 단일 값에만 의존하기 때문에 스펙트럼과 무관합니다.

— Jed Brown

규범에

Reid. Atcheson의 답변에 대한 부록으로 규범과 관련된 몇 가지 문제를 분명히하고 싶습니다. 상기 반복, GMRES 다항식 발견 이 최소화 잔류의 -norm $n^{\mathrm{th}}$ $P_n$ $2$

r_{n} = A x_{n} - b = (P_{n} (A) - 1) b - b = P_{n} (A) b .

$r_n = A x_n - b = \big(P_n(A) - 1 \big)b - b = P_n(A) b .$

가 SPD이므로 가 표준을 유도하고 유도 한다고 가정하십시오 . 그때 $A$ $A$ $A^{-1}$

\begin{aligned} ‖ r_{n} ‖_{A^{- 1}} & = r_{n}^{T} A^{- 1} r_{n} \\ = (A e_{n})^{T} A^{- 1} A e_{n} \\ = e_{n}^{T} A e_{n} \\ = ‖ e_{n} ‖_{A} \end{aligned}

$\begin{align*} \lVert r_n \rVert_{A^{-1}} &= r_n^T A^{-1} r_n \\ &= (A e_n)^T A^{-1} A e_n \\ &= e_n^T A e_n \\ &= \lVert e_n \rVert_{A} \end{align*}$

우리가 오류를 사용한 곳

{이자형}_{엔} = {엑스}_{엔} - {엑스}_{※} = {엑스}_{엔} - {에이}^{- 1} 비 = {에이}^{- 1} {아르 자형}_{엔}

$e_n = x_n - x_* = x_n - A^{-1} b = A^{-1} r_n$

따라서 오류 -norm는 동등 잔류의 규범. 컨쥬 게이트 그라디언트 (conjugate gradient) 는 오차 의 노름을 최소화하여 저에너지 모드를 해결할 때 상대적으로 더 정확합니다. 최소화를 GMRES 등인 잔여의 -norm, 따라서 오류 -norm, 및 저에너지 모드 덜 잘 해결한다는 점에서 더 약하다. 잔차 의 노름은 저에너지 모드에서는 훨씬 약하기 때문에 본질적으로 가치가 없습니다. $A$ $A^{-1}$ $A$ $2$ $A^T A$ $A$

수렴 범위의 선명도

마지막으로, 특히 비정규 연산자에 대한 다양한 Krylov 방법과 GMRES 수렴의 미묘함에 관한 흥미로운 문헌이 있습니다.

Nachtigal, Reddy 및 Trefethen (1992) 비대칭 행렬 반복은 얼마나 빠릅니까? (저자 pdf) 는 한 방법이 다른 모든 방법보다 큰 요인 (적어도 행렬 크기의 제곱근 ) 으로이기는 행렬의 예를 제공합니다.
Embree (1999) GMRES 수렴 범위는 얼마나 기술적인가? pseudospectra와 관련하여 통찰력있는 토론을 제공하여 더 선명한 범위를 제공하고 비대 각화 가능 행렬에도 적용됩니다.
엠브리 (2003) 거북이와 토끼 재개 GMRES (저자 pdf)
Greenbaum, Pták 및 Strakoš (1996) GMRES에 대해 비 증가 수렴 곡선이 가능합니다

— 제드 브라운
소스

Olavi Nevanlinna의 우수 도서를 중단했습니다 : books.google.com/…

— Matt Knepley

간단히 말해서 반복 방법 :

고정 된 방법은 본질적으로 고정 소수점 반복입니다 . 를 풀기 위해 , 당신은 가역 행렬 를 고르고 고정 소수점 찾습니다. 이것은 . 다양한 방법은 의 특정 선택에 해당합니다 (예 : Jacobi 반복의 경우 , 여기서 $Ax=b$ $C$
$엑스 = 엑스 + 기음 비 - 기음 에이 엑스$ $x = x + Cb- CAx$ $\|I-CA\|<1$ $C$ $C=D^{-1}$ $D$ 는 의 대각선 요소를 포함하는 대각선 행렬 입니다. $A$
$U,V\subset \mathbb{C}^n$ $\tilde x \in U$ $b-A\tilde x$ $V$ $U$ $A$ $V$ $V=U$ $V=AU$

$V$ $\tilde x$ $U$ $U$

$U$ $A$ $\tilde x$

이것은 반복적 인 방법에 관한 Youcef Saad의 책 에서 잘 설명되어 있습니다 .

— 크리스찬 클라 슨
소스