Conjugate gradient가 GMRES보다 훨씬 잘 작동하는 문제

17

Conjugate gradient가 GMRES 방법보다 훨씬 우수한 경우에 관심이 있습니다.

일반적으로 CG는 저장이 덜 필요하고 CG에 대한 수렴 률에 대한 이론적 경계가 GMRES의 두 배이기 때문에 많은 SPD (대칭-양의-정의) 경우에 선호됩니다. 그러한 비율이 실제로 관찰되는 데 문제가 있습니까? GMRES가 동일한 수의 spmvs (희소 한 행렬-벡터 곱셈)에 대해 CG에 비해 성능이 우수하거나 유사한 경우에 대한 특성이 있습니까?

linear-solver conjugate-gradient gmres

— piyush_sao
소스

8

CG가 선호하는 한 가지는 잔여 다항식 (GMRES가하는 것)에 대한 이산 $l^2$ 규범을 최소화 하지 않는다는 것입니다. 대신 매트릭스 유도 규범을 최소화하고 있으며, 종종이 매트릭스 유도 규범은 물리적 문제의 불연속 화에 대한 에너지 규범에 매우 가깝게 나타나며, 종종 보존 특성으로 인해 오류를 측정하는 것이 훨씬 합리적인 규범입니다. 물리학에서.

질량 행렬의 hole 레 스키 분해 (Cholesky factorization)를 수행하는 것이 너무 비싸지 않은 경우 GMRES를 사용하여 실제로 이런 종류의 효과를 얻을 수 있습니다. 내부 제품을 원하는 에너지 내부 제품으로 만들 수 있습니다.

그렇다면 CG가 GMRES와 매우 다른 성능을 기대해야하는 경우는 표준 동등성에 내재 된 상수가 매우 다른 경우입니다. 예를 들어 GMRES에서 사용되는 불연속 $l^2$ 규범이 실제로 다항식 구배가 경계 근처에서 가장 가파르면 (따라서 노드 클러스터링) 모든 자유도를 동일하게 처리 하는 고차 스펙트럼-갈 레르 킨 방법에서 이것은 사실 일 수 있습니다. 그 규범 사이의 규범 등가 상수 는 질량 행렬에 의해 주어진 연속 $L^2$ 규범이 매우 클 수 있다고 말합니다 .

— 리드 애치슨
소스

CG, GMRES 및 GMRES + Cholesky 트릭의 고차 수법과 수렴 이력을 사용하여 여기에 예제를 제공하고 싶었지만 불행히도 2 차 문제에 대해 가지고있는 유일한 코드는 비대칭 다양성의 DG입니다. 적용 할 수 없습니다.이 작업을 실제로보고 싶습니다.

— Reid. Atcheson

3

귀하의 답변이 중요한 것으로 생각되지만 귀하가 명확히하기를 바랍니다. 특히,이 질문은 순수한 선형 대수 질문이며, 답은 숫자 PDE에서 물리 규범 및 질량 행렬 등에 대해 이야기합니다. 동일한 Krylov 공간 내에서 다른 규범을 최소화하는 것이 어떻게 다른 반복으로 이어지는 지에 대해 정확하게 말할 수 있습니까?

— 앤드류 T. 바커

수치 적 예를 제외하고는 다른 규범이 실질적으로 다른 답을 산출하는 방법을 설명하는 신중한 이론적 연구가 아직 없다고 생각합니다. 내가 생각하는 문제는 결과가 무증상을 중심으로 돌아가고 고정 선형 시스템의 경우 이론적 결과는 동일한 모듈로 상수 요인이 될 것입니다. 만약 거기에 이론적 인 연구가 있다면 그것들을보고 싶지만, 부서의 수치 선형 대수학 전문가들에게 물었을 때, 다른 규범에 무슨 일이 일어나는지를 보여주는 정확한 이론적 분석이 아직없는 것 같습니다.

— Reid. Atcheson

4

SPD 매트릭스의 경우 GMRES와 CG 사이에는 일반적으로 큰 차이가없는 것으로 생각됩니다.

대칭 양수 한정과 시작 추측 를 풀고 CG 및 GMRES로 반복 생성한다고 가정하고 및 합니다. 두 반복 방법이 구축 될 동일한 크릴 로프 공간에서 . 그들은 약간 다른 방식으로 그렇게 할 것입니다. $Ax = b$ $A$ $x_0 = 0$ $x_k^c$ $x_k^g$ $x_k$ $K_k = \{ b, Ab, A^2b, \ldots \}$

CG 오류 최소화하는 것을 특징으로 에 의해 유도 된 에너지 놈에 , 그래서 $e_k^c = x - x_k^c$ $A$

(ㅏ {이자형}_{케이}^{씨}, {이자형}_{케이}^{씨}) = (ㅏ (엑스 - {엑스}_{케이}^{씨}), 엑스 - {엑스}_{케이}^{씨}) = \underset{와이 \in 케이}{분} (ㅏ (엑스 - 와이), 엑스 - 와이) .

$\begin{equation} (A e_k^c, e_k^c) = (A (x - x_k^c), x - x_k^c) = \min_{y \in K} (A (x-y), x-y). \end{equation}$

GMRES는 대신 잔류 최소화 하고 불연속 규범에서 그렇게하므로 $r_k = b - A x^g_k$ $\ell^2$

({아르 자형}_{케이}, {아르 자형}_{케이}) = (비 - ㅏ {엑스}_{케이}^{지}, 비 - ㅏ {엑스}_{케이}^{지}) = \underset{와이 \in 케이}{분} (비 - ㅏ 와이, 비 - ㅏ 와이) .

$\begin{equation} (r_k, r_k) = (b - A x_k^g, b - A x_k^g) = \min_{y \in K} (b - Ay, b - Ay). \end{equation}$ 이제 오차 방정식

GMRES를 최소화

로쓸 수도 있습니다 . 나는 이것이 SPD 행렬

에만 해당된다는 것을 강조하고 싶다. 그런 다음 CG는

와 관련하여 오류를 최소화합니다

A e_{k} = r_{k}

$A e_k = r_k$

({아르 자형}_{케이}, {아르 자형}_{케이}) = (ㅏ {이자형}_{케이}^{지}, ㅏ {이자형}_{케이}^{지}) = (ㅏ^{2} {이자형}_{케이}^{지}, {이자형}_{케이}^{지})

$\begin{equation} (r_k, r_k) = (A e_k^g, A e_k^g) = (A^2 e_k^g, e_k^g) \end{equation}$

A

$A$

A

$A$

A^{2}

$A^2$

A

$A$

A

$A$

$K_1 = \{ b \}$ $x_1 = \alpha b$

α = \frac{(비, 비)}{(ㅏ 비, 비)}

$\begin{equation} \alpha = \frac{ (b,b) }{ (Ab,b) } \end{equation}$

α = \frac{(ㅏ 비, 비)}{(ㅏ^{2} 비, 비)} .

$\begin{equation} \alpha = \frac{ (Ab,b) }{ (A^2b,b) }. \end{equation}$

A

$A$

(ϵ, 1, 1, 1, \dots)

$(\epsilon,1,1,1,\ldots)$

b = (1, 1, 0, 0, 0, \dots)

$b = (1,1,0,0,0,\ldots)$

ϵ \to 0

$\epsilon \rightarrow 0$

A

$A$

b

$b$ 이 두 가지 차이의 요소가 반복되는 동안 계속되지만 그보다 더 나빠질 것 같지는 않습니다.

— 앤드류 T. 바커
소스

2

b = (1, \sqrt{ϵ}, 0, 0, \dots)

$b = (1,\sqrt{\epsilon},0,0,\dotsc)$

| b | = \sqrt{1 + ϵ}

$|b| = \sqrt{1 + \epsilon}$

b^{T} A b = \sqrt{2} ϵ

$b^T A b = \sqrt{2} \epsilon$ 및

b^{T} A^{2} b = ϵ \sqrt{1 + ϵ^{2}}

b^{T} A^{2} b = ϵ \sqrt{1 + ϵ^{2}}

$b^T A^2 b = \epsilon \sqrt{1 + \epsilon^2}$ . 그러므로

α_{CG} = \frac{ϵ^{- 1} + 1}{\sqrt{2}} \sim ϵ^{- 1}

$\alpha_{\text{CG}} = \frac{\epsilon^{-1}+1}{\sqrt 2} \sim \epsilon^{-1}$ 하지만

α_{GMRES} = \sqrt{\frac{2}{1 + ϵ^{2}}} \sim \sqrt{2}

$\alpha_{\text{GMRES}} = \sqrt{\frac{2}{1 + \epsilon^2}} \sim \sqrt{2}$ . 즉, 초기 벡터는 잔차를 작게 만들기 위해 이미 올바른 배율을 가지지 만 다음과 같이 배율을 조정해야합니다.

ϵ^{- 1}

$\epsilon^{-1}$ 오류를 작게 만듭니다.

— Jed Brown

3

한 가지 점은 CG를 적용 할 수있는 모든 위치에 GMRES가 사용되지 않는다는 것입니다. 이 두 가지를 비교하는 것이 의미가 없다고 생각합니다. SPD 매트릭스의 경우 스토리지 요구 사항과 위에서 언급 한 이유 때문에 CG가 확실히 승자입니다. 흥미로운 질문은 CG의 확장을 찾는 것이 CG를 적용 할 수없는 문제에 적용 할 수 있다는 것입니다. BiCG-stab과 같은 방법으로 GMRES와 같이 선형 적으로 메모리를 증가시킬 필요는 없지만 수렴은 GMRES만큼 좋지 않습니다 (때로는 GMRES를 다시 시작하더라도).

— 사용자 1964178
소스

2

메모리 절약, 안정성 및 수렴 측면에서 GMRES와 BiCG 사이의 간격을 메우는 IDR 체계가 있습니다. ta.twi.tudelft.nl/nw/users/gijzen/IDR.html GMRES에 동의하지 않습니다 CG를 사용할 수 있다면 사용해서는 안됩니다. 에너지 표준을 유도하는 행렬의 콜레 스키 인수 분해를 수행 할 수있는 경우 대칭 Lanczos 반복에이를 공급하고 CG와 매우 유사하게 작동하는 3 기 재귀 솔루션을 얻을 수 있습니다. 물론 CG가 더 쉬운 옵션이지만이 옵션을 사용할 수 있습니다 :)

— Reid. Atcheson

2

예를 들어 Krylov를 더 부드럽게 사용하면 GMRES가 더 높은 고유 값을 목표로하는 더 약한 규범을 사용하므로 더 높은 빈도를 갖는 경향이 있기 때문에 바람직합니다.

— 제드 브라운