연속적인과 완화 (SOR) 방법을 최적화하기위한 휴리스틱이 있습니까?

내가 이해하는 것처럼 연속적인 이완 동작은 매개 변수 를 선택 $0\leq\omega\leq2$ 하고 (가변) 가우스-시델 반복과 이전 시간 단계의 값의 선형 조합을 사용하여 작동합니다 ... 즉

${u}^{k+1} = (\omega){u_{gs}}^{k+1} + (1-\omega)u^{k}$

I 상태 '의사'때문에 임의의 시간 단계에서이 규칙에 따라 갱신 된 최신 정보를 포함한다. ( 일 때 이것은 정확히 가우스-세델입니다). ${u_{gs}}^{k+1}$ $\omega=1$

어쨌든, 공간 분해능이 0에 가까워지면서 포아송 문제에 대해 에 대한 최적의 선택에서 $\omega$ (반복이 다른 것보다 빠르게 수렴되도록) 2에 접근 한다는 것을 읽었습니다 . 다른 대칭적이고 대각선으로 지배적 인 문제에 대해서도 비슷한 경향이 있습니까? 즉, 적응 형 최적화 체계에 포함시키지 않고 오메가를 최적으로 선택할 수있는 방법이 있습니까? 다른 유형의 문제에 대한 다른 휴리스틱이 있습니까? 미완성 ( $\omega<1$ )에 어떤 종류의 문제가 최적입니까?

linear-algebra optimization iterative-method

— 바울
소스

당신의 질문은 아니지만 Salakhutdinov와 Roweis, Adaptive Overrelaxed Bound Optimization Methods 2003, 8p를 참조하십시오. ( 적응 속도 향상이 그렇게 주제에서 벗어난 여기, 벅 당 높은 강타를 가지고 있지만, 분석 할 AFAIK 불가능합니다.)

— 데니스

댐핑 자코비

$A$ $D$ $D^{-1}A$ $[a,b]$ $\omega$

B_{Jacobi} = I - ω D^{- 1} A

$B_\text{Jacobi} = I - \omega D^{-1} A$

[1 - ω b, 1 - ω a]

$[1 - \omega b,1 - \omega a]$

ω_{opt} = \frac{2}{a + b}

$\omega_{\text{opt}} = \frac 2 {a + b}$

ρ_{opt} = 1 - \frac{2 a}{a + b} = \frac{b - a}{a + b} .

$\rho_\text{opt} = 1 - \frac{2a}{a+b} = \frac{b-a}{a+b}.$

a ≪ b

$a \ll b$

b

$b$

a

$a$

연속 이완 (SOR)

$D^{-1}A$ $\mu_\max$ $I - D^{-1} A$ $\mu_\max < 1$

ω_{opt} = 1 + {(\frac{μ_{max}}{1 + \sqrt{1 - μ_{max}^{2}}})}^{2}

$\omega_\text{opt} = 1 + \left( \frac{\mu_\max}{1 + \sqrt{1 - \mu_\max^2}} \right)^2$

ρ_{opt} = ω_{opt} - 1.

$\rho_\text{opt} = \omega_\text{opt} - 1.$

ω_{opt}

$\omega_\text{opt}$ 일 때 2에 접근 합니다.

μ_{max} \to 1

$\mu_\max \to 1$

코멘트

더 이상 1950이 아니며 고정 반복 방법을 솔버로 사용하는 것은 실제로 의미가 없습니다. 대신, 우리는 그것들을 멀티 그리드를 위해 더 매끄럽게 사용합니다. 이러한 맥락에서 우리는 스펙트럼의 상단을 목표로 삼을뿐입니다. SOR의 이완 계수를 최적화하면 SOR이 고주파수의 감쇠를 거의 발생시키지 않으므로 (저주파 수렴을 개선하기 위해) SOR의 에 해당하는 표준 Gauss-Seidel을 사용하는 것이 좋습니다 . 비대칭 문제 및 가변 계수가 높은 문제의 경우 완화되지 않은 SOR ( )이 더 나은 감쇠 특성을 가질 수 있습니다. $\omega = 1$ $\omega <1$

의 두 고유 값을 추정 것은 비용이 많이 들지만 크릴 로프 반복을 사용하여 가장 큰 고유 값을 빠르게 추정 할 수 있습니다. 다항식 스무더 (Jacobi로 사전 조건 지정)는 감쇠 된 Jacobi의 여러 반복보다 더 효과적이며 구성하기가 쉽기 때문에 선호됩니다. 다항식 스무더에 대한 자세한 내용은 이 답변 을 참조하십시오 . $D^{-1}A$

때로는 SOR을 GMRES와 같은 Krylov 방법의 전제 조건으로 사용해서는 안된다고 주장합니다. 이것은 최적의 완화 매개 변수가 반복 행렬의 모든 고유 값을 원에 배치해야한다는 관찰에서 비롯됩니다. 원점을 중심으로합니다. 사전 조정 된 연산자의 스펙트럼

B_{SOR} = 1 - {(\frac{1}{ω} D + L)}^{- 1} A

$B_\text{SOR} = 1 - \left(\frac 1 \omega D + L\right)^{-1} A$

(\frac{1}{ω} D + L)^{- 1} A

$(\frac 1 \omega D + L)^{-1} A$ 반지름이 같은 원에 고유 값이 있지만 1을 중심으로합니다. 조건이 잘못된 연산자의 경우 원의 반지름이 1에 매우 가깝기 때문에 GMRES는 각도 범위에서 원점에 가까운 고유 값을 보지만 일반적으로 좋지 않습니다. 수렴을 위해. 실제로 GMRES는 SOR로 사전 조정될 때, 특히 이미 조건이 잘 조정 된 문제에 대해 합리적으로 수렴 될 수 있지만 다른 사전 조정자가 더 효과적 일 수 있습니다.

— 제드 브라운
소스

나는 더 이상 1950이 아니라는 데 동의합니다 : o), 나는 더 이상 문구 반복 솔버를 사용하는 것이 의미가 없다는 것에 동의하지 않습니다. 우리는 고차 비선형 자유 표면 솔버 (잠재적 흐름 및 오일러 방정식)를 기반으로하는 엔지니어링 응용 솔버를위한 고정 반복 솔버를 사용하여 멀티 그리드 교과서 효율성을 달성 할 수 있습니다. 효율성은 달성 가능한 정확도 내에서 사전 조정 된 GMRES krylov 부분 공간 방법만큼 우수했습니다 (최근의 펍은 여기서 온라인 라이브러리로 제공됩니다.

— Allan P. Engsig-Karup

Gauss-Seidel을 멀티 그리드 (SOR과 같은 방법이 속하는 곳)에서 더 매끄럽게 사용하고 있습니다. 멀티 그리드가 제대로 작동하면 외부 Krylov 방법도 필요하지 않습니다 (논문에는 이러한 비교가 표시되지 않음). 멀티 그리드가 효율성을 잃기 시작하자마자 (예 : 이산화 오류에 도달하기 위해 5 회 이상 반복) 멀티 그리드주기를 중심으로 Krylov 방법을 포장하는 것이 좋습니다.

— Jed Brown

전체 방법은 GS 유형 스무딩을 사용하는 p- 멀티 그리드이지만 모든 연산자가 일정하기 때문에 전체 방법을 고정 반복 방법으로 작성할 수 있습니다. M은 멀티 그리드 방법으로 구성된 사전 조건자를 사용하여 사전 조건이 지정된 Richardson 방법으로 볼 수 있습니다. 분석이 완료되었지만 아직 게시되지 않았습니다. 실제로,이 작품은 당신이 제안한 다른 방향으로 진행되었습니다. 이 연구의 GM (Krelov) 방법 (GMRES)을 버린 다음이 방법이 효율적인 것으로 나타 났으며 메모리 요구 사항이 줄어든 것처럼 고차 다중 그리드 방법으로 바뀌 었습니다.

— Allan P. Engsig-Karup

사용 - 및 -multigrid 크릴 로프이 방법은 외부에서 사용되는지 여부에 무관 물론이다. 다양한 작업의 상대적 비용은 물론 CPU에 비해 GPU마다 다르며 구현마다 차이가 있습니다. 사전 조정 된 Richardson은 결함 수정 방법입니다. Newton과 Picard (있는 경우) 비선형 방법도 마찬가지입니다. 다른 비선형 방법 (NGMRES, BFGS 등)도 히스토리를 사용하며 비선형 성의 상대 강도에 따라 더 좋습니다.

p

$p$

h p

$hp$

— Jed Brown

멀티 그리드 스무더에서, 고차 / 저차 커플 링을 곱하는 것이 때때로 바람직하다 (아키텍처 허용). 이것은 또한 "사전 처리 된 Richardson"제형을 확장시킨다. (저는 지난 주 회의에서 본질적으로 모든 방법을 중첩 된 반복이있는 사전 조건이 지정된 Richardson으로보고 싶었던 사람과의 토론을 가졌습니다. 귀하와 관련이 있지만 귀하의 요점은 토론을 상기시켜주었습니다.)

— Jed Brown