Conjugate Gradient의 최악의 경우는 무엇입니까?

대칭적이고 긍정적 인 보자 . 벡터에 를 곱하는 데 단위의 작업 이 필요하다고 가정하십시오 . 조건 번호가 에서 CG 알고리즘을 수행 하려면 작업 단위 인 이 필요합니다.$A\in \mathbb{R}^{n\times n}$$m$$A$$A$$\kappa$$\mathcal{O} (m\sqrt{\kappa})$

물론, 선언문은 이것이 상한입니다. 그리고 CG 알고리즘은 운이 좋은 초기 추측으로 항상 0 단계로 종료 할 수 있습니다.$\mathcal{O}$

단계 가 필요한 RHS 및 초기 (불운) 추측이 있는지 알고 있습니까? 다시 CG의 최악의 작업 복잡성은 실제로 입니까?$\mathcal{\Theta}(\sqrt{\kappa})$$\Theta( m \sqrt{\kappa})$

이 질문은 전제 조건 (낮은 ) 의 이점이 비용 (높은 )을 초과 했는지 여부를 결정하려고 할 때 발생합니다 . 지금은 장난감 문제로 작업하고 있으며 컴파일 된 언어로 무언가를 구현하기 전에 더 나은 아이디어를 원합니다.$\kappa$$m$

대답은 그렇습니다. 의 수렴 률 한계는 조건 번호가 인 대칭 양의 한정 행렬 집합에 대해 예리합니다 . 다시 말해, 조건 번호보다 에 대해 더 이상 아무것도 알지 못하는 CG는 실제로 반복을 수렴 할 수 있습니다. 느슨하게 말하면, 조건 수 간격 내에서 의 고유 값 이 균일하게 분포 (즉, "페퍼") 되면 상한에 도달합니다 .$(\sqrt{\kappa}-1) / (\sqrt{\kappa}+1)$$\kappa$$A$$\sim\sqrt{\kappa}$$A$$\kappa$

더 엄격한 진술이 있습니다. 결정적 버전이 더 복잡하지만 동일한 원칙을 사용하여 작동합니다.

정리 ( 최악의 선택 ). 어떤 임의의 직교 행렬 선택 보자 수 실수 균일 실제 간격에서 샘플링 및하자 수 실수 샘플링 표준 가우시안의 iid. 정의그런 다음 제한 에서 켤레 그라디언트는 이상의 의 정확한 솔루션에 대한 확률 1과 수렴합니다. 반복.$A$$U$$\lambda_1,\ldots,\lambda_n$$n$$[1,\kappa]$$b=[b_1;\ldots;b_n]$$n$

$$A=U\mathrm{diag}(\lambda_1,\ldots,\lambda_n)U^T.$$ $n\to\infty$$\epsilon$$Ax=b$$\Omega(\sqrt{\kappa}\log\epsilon^{-1})$

증명. 표준 증거는 Greenbaum 's book 또는 Saad ' s book 과 같은 여러 곳에서 발견되는 기술을 사용하여 최적의 체비 쇼프 다항식 근사를 기반으로 합니다.

이것을 원래 질문으로 삼아 : RHS와 단계 가 필요한 초기 (불운) 추측이 있는지 알고 있습니까?$\Theta(\sqrt{\kappa})$

질문에 대한 대답은 "아니오"입니다. 이 답변의 아이디어는 Guido Kanschat의 의견에서 비롯됩니다.

주장 : 주어진 조건 번호 에 대해 CG 알고리즘이 최대 두 단계 (어떤 주어진 RHS 및 초기 추측에 대해)에서 종료 될 조건 번호를 가진 행렬 가 있습니다 .$k$$A$

고려 여기서 . 그런 다음 의 조건 번호 는 입니다. 하자 우변 수 있으며,의 고유 나타낸다 같이 여기서 $A\in \mathbb{R}^{n\times n}$$A=\mathrm{diag}(1,\kappa,\kappa,\ldots, \kappa)$$A$$\kappa$$b\in \mathbb{R}^n$$A$$\lambda_i$

$$\lambda_i = \left\{\begin{array}{ll}1 & i=1\\ \kappa & i\not= 1 \end{array} \right. .$$

우리는 먼저 초기 추측 인 이 0 인 경우를 고려합니다. 나타내고 번째 추정치로서 CG 알고리즘에서. 표시하여 임을 보여줍니다. 입니다. 실제로, 우리는$x^{(0)} \in \mathbb{R}^n$$x^{(2)}\in \mathbb{R}^n$$A^{-1}b$$x^{(2)} =A^{-1}b$$\langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle =0$

$$\begin{align*} \langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle &= \left\| x^{(2)}-A^{-1}b \right\|_A^2 \\ &=\min_{p\in \mathrm{poly}_{1} } \left\| (p(A)-A^{-1}) b \right\|_A^2\\ &=\min_{p\in \mathrm{poly}_{1} } \sum_{i=1}^n (p(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 \\ &\le \sum_{i=1}^n (\widehat{p}(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 = 0 \end{align*}$$

여기서 우리 는 로 정의 된 1 차 다항식 을 사용합니다 . 따라서 우리는 의 경우를 증명했습니다 .$\widehat{p}$$\widehat{p}(x)= (1+\kappa-x)/\kappa$$x^{(0)}= 0$

만약 , 다음 여기서 는 가 대체 된 CG 알고리즘의 두 번째 추정치입니다 . 따라서이 사례를 이전 사례로 줄였습니다. $x^{(0)} \not = 0$$x^{(2)}= \overline{x^{(2)}}+ x^{(0)}$$\overline{x^{(2)} }$$b$$\overline{b} = b-A x^{(0)}$