초기 Hessian 근사치에 대한 BFGS의 감도

함수의 최소값을 찾기 위해 Broyden-Fletcher-Goldfarb-Shanno 메소드를 구현하려고합니다. 두 가지 초기 추측이 필요합니다$x_{-1}$& 및 초기 Hessian Matrix 근사값 . 에 대해 찾은 유일한 요구 사항 은 Hessian이 대칭 양수이면 이어야한다는 것 입니다. Wikipedia를 살펴보면 일반적인 초기 근사값은 (정체 행렬)입니다. 이것은 항상 좋은 초기 입니까? 내가 아닌 다른 선택 할 수 있습니다 어떤 이유가 있습니까 ? 동일한 매트릭스 특성을 만족시키는 다른 B 선택이 방법의 수렴에 크게 영향을 미칩니 까? $x_0$$B_0$$B_0$$B_0$$B_0=I$$B_0$$I$

정당화 된 Hessian 근사값이있는 경우 임의의 것보다 사용하는 것이 좋습니다 $B_0=I$.

편집 : 근거는 솔루션에 가까이 시작하면 $x^*$초기 수렴 률은 $r>0$) $r+1$-단계 선형 $r+1$단계 수렴 계수 $q=\|B_0^{-1}f''(x^*)-G\|$ 이 경우 $<1$ 일부 계급 $r$ 보정 $G$항등 행렬의 따라서 이것을 작게 만드는 것은 매우 소중합니다. 수렴 계수는 시간이 지남에 따라 개선되고 궁극적으로 0 (초 선형 수렴)에 접근하지만 많은 실제 문제 (특히 고차원 문제)에서는 초 선형 영역에 도달하기에 충분한 반복을 수행하지 않습니다. 따라서 초기 속도는 매우 중요합니다.

한 가지 중요한 경우는 비선형 최소 제곱 문제를 해결할 때입니다 (최소화 $\|F(x)\|_2^2$), 가우스 뉴턴 근사치 $B_0=F'(x_0)^TF'(x_0)$초기 Hessian의 2 차 도함수없이 계산할 수 있습니다. 그것을 사용하여 BFGS 방법은 불변, 즉 선형 변환에서 불변을 정의합니다.$x$ 뉴턴의 방법과 같이 일반적으로 매우 유익합니다.

또 다른 중요한 경우는 일련의 관련 문제를 해결할 때입니다. 종종 이전 문제의 최종 Hessian 근사값으로 솔버를 다시 시작하면 필요한 반복 횟수가 크게 줄어 듭니다.