반복적 방법에 대한“수렴 률”이해

Wikipedia 에 따르면 수렴 속도는 특정 비율의 벡터 규범으로 표현됩니다. 다른 시점에서 (기본적으로 "반복의 시작"과 "종료") "선형"과 "이차"속도의 차이를 이해하려고합니다. 다음과 같이 말할 수 있습니다.

• 선형 수렴 에러의 표준 반복 처리의 에 의해 제한된다$e_{k+1}$$x_{k+1}$$\|e_k\|$

• 이차 수렴 에러의 표준 $e_{k+1}$ 반복 처리의 $x_{k+1}$ 에 의해 제한된다 $\|e_k\|^2$

이러한 해석은 선형 수렴 알고리즘 A1 (임의 초기화 가정)을 몇 번 (소수의) 반복하면, 2 차 수렴 알고리즘 A2를 몇 번 반복하면 더 작은 오류가 발생한다는 것을 의미합니다. 그러나 오차가 줄어들고 제곱으로 인해 나중에 반복하면 A2의 오차가 더 작아집니다.

위의 해석이 유효합니까? 속도 계수 \ lambda 는 무시합니다 $\lambda$.

실제로는 그렇습니다. 가 여전히 큰 동안 , 속도 계수 는 q- 레이트보다는 에러를 지배 할 것이다. (이것은 점근 율이므로, 링크 한 명령문은 로만 제한을 유지합니다 .)$e_k$$\lambda$$k\to\infty$

예를 들어, 최적화의 1 차 방법의 경우 종종 초기에 빠르게 감소하는 오류를 발견 한 다음 수평을 out니다. 반면에 뉴턴의 방법의 경우 초 선형 (또는 2 차) 수렴이 시작되기까지 시간이 걸릴 수 있습니다 (결국 국부적으로 초 선형 수렴). 이러한 이유로 뉴턴 방법으로 전환하기 전에 몇 가지 그래디언트 단계로 시작하거나 처음에는 1 차 방법으로 동작하는 동 토피 또는 준 뉴턴 방법을 사용하고 처음에 접근 할 때 뉴턴 방법으로 전환하는 것이 일반적입니다. 표적.

Christian의 답변 외에도 선형 수렴의 경우 방법이 수렴되면 가 있음을 주목할 가치가 있습니다 . 반면, 2 차 수렴의 경우 이며, 메소드가 수렴한다는 사실이 반드시 가 1보다 한다는 것을 의미하지는 않습니다 . 대신 수렴 조건은$e_{k+1} \le \lambda_1 e_k$$\lambda_1<1$$e_{k+1} \le \lambda_2 e_k^2$$\lambda_2$$\lambda_2 e_1<1$즉, 시작 추측이 충분히 가깝다는 것입니다. 이것은 일반적으로 관찰되는 동작입니다. 2 차 수렴 알고리즘은 솔루션에서 수렴하기 위해 "충분히"시작해야하지만 선형 수렴 알고리즘은 일반적으로 더 강력합니다. 이것이 더 효율적인 알고리즘 (예 : 뉴턴 법)으로 전환하기 전에 선형 수렴 알고리즘 (예 : 가장 가파른 하강 법)의 몇 단계로 시작하는 또 다른 이유입니다.

해석은 질적으로 정확합니다.

선형 및 2 차 수렴은 최악의 경우와 관련이 있으며 특정 알고리즘의 상황은 Wolfgang Bangerth가 제공 한 최악의 경우 분석에서 얻는 것보다 낫지 만 질적 상황은 일반적으로이 분석에 해당합니다.

구체적인 알고리즘 (예를 들어, 최적화에서)에서는 진행이 느려질 때까지 저렴하지만 선형 적으로 수렴하는 방법으로 먼저 반복 한 다음 2 차 (또는 적어도 초 선형) 수렴 방법으로 마무리하는 것이 종종 의미가 있습니다. 실제로, 초 선형 수렴은 초기 느린 수렴 부분이 전체 작업을 지배하는 경향이 있기 때문에 2 차 수렴만큼 좋은 경향이 있습니다.