대각선으로 우세한 행렬에 반복적 인 방법을 안전하게 적용

가정은 다음의 선형 시스템이 주어진 여기서 양수 알려진 가중 라플라시안 인 으로 일차원 널 공간 스팬과 확정적 및 의 변환 분산 , 즉 은 함수 값 (미분 값이 )을 변경하지 않습니다 . 양수 항목은 대각선에 있으며, 이는 음의 대각선을 벗어난 항목의 절대 값을 합한 것입니다.

\begin{matrix} (1) & L x = c, \end{matrix}

$Lx=c,\tag1$

L

$L$

s e m i -

$semi-$

1_{n} = (1, \dots, 1) \in R^{n}

$1_n=(1,\dots,1)\in\mathbb{R}^n$

x \in R^{n}

$x\in\mathbb{R}^{n}$

x + a 1_{n}

$x+a1_n$

(1)

$(1)$

L

$L$

하나는 매우하지만, 그 분야에서 학업 인용에서 내가 발견 있습니다 대각선으로 지배적 같은 어원이 그라데이션, 가우스 - 세이들이, 코비, 등의 방법이 여전히 안전하게 해결하는 데 사용할 수 있습니다 . 번역 불변성, 하나 하나의 점 (예. 1 행의 열 제거 해결 안전 때문에 이론적 근거는 그렇게 인 로부터 최초의 엔트리 따라서 변환) (A)에 대각선 지배적 매트릭스. 어쨌든, 원래 시스템은 과 함께 의 전체 형태로 해결됩니다 . $L$ $not~strictly$ $(1)$ $L$ $c$ $L$ $strictly$ $(1)$ $L\in\mathbb{R}^{n\times n}$

이 가정이 맞습니까? 그렇다면 대안의 이론적 근거는 무엇입니까? 방법의 수렴이 여전히 어떻게 유지되는지 이해하려고합니다.

Jacobi 방법이 과 수렴 하면 반복 행렬 의 스펙트럼 반경 에 대해 어떤 상태를 나타낼 수 있습니까? 여기서 는 대각선에 항목이있는 대각선 행렬 입니까? 가 에 대한 일반 컨버전스 보장에서 이렇게 다른 ? 나는의 고유 이후이 부탁 해요 대각선에 라플라시안 행렬 은 범위에 있어야 합니다 . $(1)$ $\rho$ $D^{-1}(D-L)$ $D$ $L$ $\rho(D^{-1}(D-L)\leq1$ $\rho(D^{-1}(D-L))<1$ $D^{-1}L$ $[0, 2]$

원래 작품에서 :

...............................................

각 반복에서 다음 선형 시스템을 해결하여 새 레이아웃 (x (t +1), y (t + 1))을 계산합니다. 일반성의 손실없이 다음 중 하나의 위치를 고정 할 수 있습니다 센서 (국소 응력의 변환 자유도를 활용)는 엄격하게 대각선으로 지배적 인 매트릭스를 얻습니다. 따라서 우리는 안전하게 Jacobi 반복을 사용하여 해결할 수 있습니다 (8)

\begin{matrix} (8) & L \cdot x (t + 1) = L (x (t), y (t)) \cdot x (t) L \cdot y (t + 1) = L (x (t), y (t)) \cdot y (t) \end{matrix}

$L · x(t + 1) = L(x(t),y(t)) · x(t) \\ L · y(t + 1) = L(x(t),y(t)) · y(t) \tag 8$

.......................................

위에서 "반복"이라는 개념은 기본 최소화 절차와 관련이 있으며 Jacobi 반복과 혼동되어서는 안됩니다. 따라서 시스템은 Jacobi에 의해 (반복적으로) 해결 된 다음 솔루션을 (8)의 오른쪽으로 구입하지만 근본적인 최소화의 또 다른 반복을 위해 구입합니다. 이것이 문제를 분명히하기를 바랍니다.

양의 반 정규 행렬에 대해 어떤 반복 선형 솔버가 수렴 한다는 것을 알았습니다 . 더 정교한 답변을 찾고 있습니다.

— 사용자
소스

인용이 많은 작품에 대한 링크 또는 인용을 게시 할 수 있습니까?

— Geoff Oxberry

: 그것은로부터 입수해온 수 citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.164.1421 당신은 모든 일을 읽을 것으로 예상되지 않기 때문에 페이지 7 (아래)에서보세요. 반복 솔버의 선택이 정당하다고 생각하지만 더 나은 (또는 적어도 다른) 근거가 필요하다고 생각합니다.

— usero

이 사람들이 조합 전제 조건과 같은 커뮤니티 출신인지 궁금합니다.

— shuhalo

답변:

Jacobi 반복은 수렴 될 수 있습니다.

가장 먼저 확인해야 할 것은 솔루션의 존재 조건 인 입니다 ( 라고 가정합니다 . 그렇지 않으면 이라고 때문에 ) . 은 열이 직교하는 기본 행렬 인 규칙을 사용 합니다. 귀하의 경우 입니다. $c^T \mathbf{1}_n = 0$ $L=L^T$ $c\in (\mathrm{Ker} L^T)^\perp$ $V_0:=\mathrm{Ker} L = \mathrm{span}\{\mathbf{1}_n\}$ $V_0$ $V_0:=\mathbf{1}_n/\sqrt{n}$

그런 다음 원래 시스템에서 Jacobi 반복 오류에 대해 여기서 은 에 대한 직교 투영법 입니다. 상기 반복에서, 우리가 알고 우리는 반복 행렬이되는 에 , 하지 않도록 다음과 같은 행렬 (제로 제외) 동일한 스펙트럼을 가진다 우리는 의 스펙트럼 반경을 원합니다

e_{1} = (I - D^{- 1} L) e_{0} = (I - D^{- 1} L) (P e_{0} + V_{0} a) = (I - D^{- 1} L) P e_{0} + V_{0} a,

$e_1 = (I-D^{-1}L)e_0 = (I-D^{-1}L) (P e_0 + V_0a)=(I-D^{-1}L) P e_0 + V_0a,$

P := I - V_{0} V_{0}^{'}

$P:=I-V_0V_0'$

V_{1} := V_{0}^{⊥}

$V_1:=V_0^\perp$

P e_{1} = P (I - D^{- 1} L) P e_{0},

$P e_1 = P (I-D^{-1}L) P e_0,$

S

$S$

V_{1}

$V_1$

S := P (I - D^{- 1} L) P .

$S: = P (I-D^{-1}L) P.$

S

$S$

\tilde{S} := (I - D^{- 1} L) P P = (I - D^{- 1} L) P = (I - D^{- 1} L) (I - V_{0} V_{0}^{'}) = I - D^{- 1} L - V_{0} V_{0}^{'} .

$\tilde{S}:= (I-D^{-1}L) P P=(I-D^{-1}L) P=(I-D^{-1}L)(I-V_0V_0')\\ =I-D^{-1}L-V_0V_0'.$

S

$S$ 수렴을 입증하기 위해 하나 미만.

다음 인용문은 오래되었으며 참조 용으로 만 유지됩니다. 새로운 증거를 위해 후에보십시오.

귀하의 경우 그리고 것을 확인할 수 엄격히의 항목된다는 가정하여 대각 지배적 인 다르게 대각선과 음극에 긍정적한다. 의 고유 값을 나타 내기 위해 행렬은 내부 곱 아래에 자체 인접 함을 알 수 $V_0V_0'=\frac{1}{n}\mathbf{1}_{n\times n}.$ $D^{-1}L+V_0V_0'$ $L$ $D^{-1}L+V_0V_0'$ $<x,y>:=y^TDx.$

경우 특정 양식을하지, 난 수렴 질문에 대한 답을 발견하지 않았습니다. 누군가가 이것을 명확히 할 수 있습니까? $V_0$

참고 고유치에 대응하는 고유 벡터 인 의 . 관측에 따라 Jiu Ding과 Ai-Hui Zhou의 일부 응용 프로그램에서 순위 1 업데이트 행렬의 고유 값 에서 정리 2.1을 Theorem 2.1이라고 합니다. $V_0$ $1$ $I-D^{-1}L$

2.1 정리 하자 하고 개의 수 되도록 차원의 열 벡터 의 고유 벡터이다 고유치와 연관 . 그러면 의 고유 값은 대수 다중성을 계산 하는 입니다. $u$ $v$ $n$ $u$ $A$ $\lambda_1$ $A+uv^T$ $\{\lambda_1+u^Tv,\lambda_2,\ldots,\lambda_n\}$

다음으로, 우리의 스펙트럼 알고 와 동일 고유치 것을 제외 후자가 어긋나게 이전에 고유 제로로. 이후 , 우리가 . $\tilde{S}$ $I-D^{-1}L$ $1$ $-1$ $\rho(I-D^{-1}L)\subset (-1,1]$ $\rho(\tilde{S})\subset (-1,1)$

— 후이 장
소스

대답 해줘서 고마워. 비슷한 점은 내가 생각한 것입니다. 즉, 위 의 로 구성된 가중치가있는 라플라시안으로, 고유 값이 내에 있음을 알 수 있습니다 . 따라서 스펙트럼 반경이 (하나의 고유 값은 보다 크고 적어도 하나는 ). 따라서, 반복 행렬의 스펙트럼 반경 미만이고 따라서 수렴 코비와. 아마도 의 스펙트럼 반경 ( 제외 ) 에 대한 위의 가정 은 안전하지 않습니까?

D^{- 1} L

$D^{-1}L$

[0, 2)

$[0, 2)$

(0, 2)

$(0, 2)$

0

$0$

0

$0$

I - D^{- 1} L

$I-D^{-1}L$

1

$1$

I - D^{- 1} L

$I-D^{-1}L$

0

$0$

— usero

난의 스펙트럼 생각 이어야 에서 폐쇄되어, . 나는 당신이 어떻게 배제 시킬 수 있는지 모른다 . 내 관점에서 볼 때 (Gershgorin circle theorem) [ en.wikipedia.org/wiki/Gershgorin_circle_theorem] 은 포함한 추정치 만 줄 수 있습니다 . 이 경우 의 스펙트럼 반지름 추정값 은 이며 커널의 벡터에서 얻을 수있는 동등성 입니다. 나는 당신이 원하는 수렴 은 위의 '답변'에 언급 된 것처럼 직교 보완 공간 있다고 생각합니다 .

D^{- 1} L

$D^{-1}L$

[0, 2]

$[0,2]$

2

$2$

2

$2$

2

$2$

I - D^{- 1} L

$I-D^{-1}L$

\leq 1

$\leq 1$

L

$L$

V_{1}

$V_1$

— 후이 장

math.ucsd.edu/~fan/research/cb/ch1.pdf의 Lemma 1.7 (v)을 볼 수 있습니다. 행렬 은 완전한 그래프에서 가중 라플라시안으로 간주 될 수 있습니다. 제외 . 나는 그것이 수렴 증거에 대한 충분한 인수 것 같다? ........... 당신의 접근 방식은 중심을 넘어 반복의 다른 사전 / 후 처리가 필요합니까 . 난 당신이 소개 때문에 부탁 해요 의 스펙트럼에 대한 그리고 : 스펙트럼 반경 (주어진 의) 있다 의 추가 이면 있습니다.

D^{- 1} L

$D^{−1}L$

2

$2$

c

$c$

V_{0}

$V_0$

I - D^{- 1} L - V_{0} V_{0}^{'}

$I-D^{-1}L-V_0V_0'$

s r

$sr$

I - D^{- 1} L

$I-D^{-1}L$

(0, 1]

$(0, 1]$

- \frac{1}{n}

$-\frac{1}{n}$

s r < 1

$sr<1$

— usero

좋은 책을 찾아 주셔서 감사합니다. 그러나 나는 빨리 볼 수 없다는 것을 알았습니다. 마지막 논증에 대해서는 위의 "답변"과 거의 동일합니다. 그냥 조심, 당신은 추가하지 않는 하지만 , 그것은에 대한 간단한 추가되지 않도록 의 . 일반적으로, 두 행렬의 합은 하지 의 단순한 합 의 개별 행렬.

\frac{1}{n}

$\frac{1}{n}$

\frac{1}{n} 1_{n \times n}

$\frac{1}{n}\mathbf{1}_{n\times n}$

s r

$sr$

I - D^{- 1} L

$I-D^{-1}L$

s r

$sr$

s r

$sr$

— Hui Zhang

당신이 지적한 것이 좋습니다. 당신의 접근이 중심을 넘어서 반복의 다른 사전 / 사후 처리를 요구합니까 c. 을 소개했기 때문에 묻습니다 . 널 공간을 투영하는 것에 대해 이야기하고 있다고 생각했습니다. 그렇다면 영점 공간 투영은 실제로 수렴에 필요합니까?

V_{0}

$V_0$

— usero

Krylov 메소드는 반복되는 공간의 차원을 명시 적으로 사용하지 않으므로 null이 아닌 하위 공간에 반복을 유지하는 한 단일 시스템에서 실행할 수 있습니다. 이것은 일반적으로 각 반복에서 null 공간을 투영하여 수행됩니다. 잘못 될 수있는 두 가지가 있는데, 첫 번째는 두 번째보다 훨씬 일반적입니다.

단수 연산자에 적용 할 때 전제 조건이 불안정합니다. 직접 솔버와 불완전 인수 분해에이 속성이있을 수 있습니다. 실제적으로 우리는 다른 전제 조건을 선택하지만 Zhang (2010) 과 같은 단일 시스템을위한 전제 조건을 설계하는 더 원칙적인 방법이 있습니다.
일부 반복에서 는 널이 아닌 서브 스페이스에 있지만 는 널 공간에 완전히 존재합니다. 이것은 비대칭 행렬에서만 가능합니다. 이 시나리오에서는 수정되지 않은 GMRES가 분류되지만, 분해가없는 변형에 대해서는 Reichel and Ye (2005) 를 참조하십시오 . $x$ $A x$

PETSc를 사용하여 단일 시스템을 해결하려면을 참조하십시오 KSPSetNullSpace(). 대부분의 방법과 전제 조건은 단일 시스템을 해결할 수 있습니다. 실제로 Neumann 경계 조건이있는 PDE의 작은 널 공간은 Krylov 솔버에 널 공간을 알리고 합리적인 전제 조건을 선택하는 한 거의 문제가되지 않습니다.

의견에서 자코비에 관심이있는 것 같습니다. (왜? Jacobi는 멀티 그리드 스무더로 유용하지만 솔버로 사용하기에는 훨씬 더 좋은 방법이 있습니다.) 벡터 에 의 null 공간에 성분이 있을 때 적용된 Jacobi 는 수렴하지 않습니다 . null 공간에 직교하는 솔루션의 일부가 수렴하므로 각 반복에서 null 공간을 투영하면 수렴됩니다. 또는 일관된 및 초기 추측 을 선택 하면 반복 (정확한 산술)이 널 공간에 구성 요소를 누적하지 않습니다. $A x = b$ $b$ $A$ $b$

— 제드 브라운
소스

대각선에 0이 있도록 직교 기준을 변경할 수 있습니다 ( 첫 번째 열이 상수 벡터 인 직교 행렬 를 찾습니다 ). 이 변환 에서 행렬 은 여전히 대칭 양의 반 이지만 첫 번째 대각선 항목은 0이므로 Jacobi의 직접 적용이 실패합니다. 은 밀도가 때문에 실제로는 그렇게하지 않지만 기본은 중요하다는 것을 보여줍니다. 가 널 공간에 대한 직교 기저 인 경우 예상 GMRES는 풀고 있습니다.

Q

$Q$

A_{1} = Q^{T} A Q

$A_1 = Q^T A Q$

A_{1}

$A_1$

A_{1}

$A_1$

Z

$Z$

(I - Z) P^{- 1} A x = (I - Z) P^{- 1} b

$(I-Z)P^{-1} A x = (I-Z)P^{-1} b$

— Jed Brown

흠, 삭제 된 댓글에 답장 한 것 같습니다. 유용한 경우에 대비하여 여기에 의견을 남길 것입니다.

— Jed Brown

답변 주셔서 감사합니다, 그것은 훨씬 높은 전문 수준에 다음 내가 기대했다. 따라서 1) 각 반복에서 null 공간을 투영하는 방법에 대한 지침이 필요합니다. 2) 내 이해에 따르면, 언급 한대로 시스템에 대한 Jacobi 응용 프로그램은 주로 정확한 솔루션으로 수렴 되지 않을 수 있습니다 (즉, iterand가 더 나은 솔루션 추정치를 얻지 못하고 있음). 따라서 다른 전제 조건을 선택하는 것이 좋습니다? 그렇다면 실제로 동작에 대한 동적 검사를 의미하고 문제가 발생하면 (위의 선형 시스템의 경우) 변경됩니까?

d i a g (A)

$diag(A)$

— usero

내 1) 위의 내용은 다음과 같이 간주되어야합니다 : 주로 게시 된 시스템에서 Jacobi 반복을 고려할 때 null 공간을 투영 해야 하며, 그렇다면 업데이트 어떻게 통합 할 수 있습니까? ? 반복 처리 후 대한 후 처리 버전 고려 ?

X_{k + 1} = D^{- 1} (b - (A - D) X_{k})

$X_{k+1}=D^{-1}(b-(A-D)X_k)$

X_{k + 1}

$X_{k+1}$

X_{k}

$X_{k}$

— usero

합리적인 기준으로 Jacobi는 안정적이어야합니다. 대각 행렬 요소가 0 인 경우 대각에 1을 사용할 수도 있으며 투영은 여전히 널 공간을 제거합니다. CG 또는 GMRES와 같은 Krylov 방법을 사용할 계획입니까? 그렇지 않다면 왜 안됩니까? 당신이 있다면, 당신은 null 공간에 대한 직교 기초가 필요합니다. 널 공간에는 상수 모드 만 있으므로 널 공간에 대한 직교 프로젝터는 여기서 는 열 벡터입니다. 널 공간을 제거하는 직교 프로젝터는 따라서 입니다. ( 가 기본 이라면 는 프로젝터입니다.)

N = Z Z^{T}

$N=ZZ^T$

Z

$Z$

I - N

$I-N$

Z

$Z$

N = I - Z Z^{T}

$N=I-ZZ^T$

— Jed Brown