BFGS 업데이트에 대한 직관적 동기

나는 수치 분석 설문 수업을 가르치고 있으며 최적화에 대한 배경 / 직관이 제한된 학생들을 위해 BFGS 방법에 대한 동기를 찾고 있습니다!

모든 것이 수렴한다는 것을 증명할 시간은 없지만 BFGS Hessian 업데이트가 나타나는 이유에 대해 합리적인 동기를 부여하려고합니다. 유사하게, Broyden의 근본 찾기 방법 (내 글은 여기에 있습니다 )은 야곱 인의 현재 근사치가 구 자코비 안과의 차이 $\|J_k-J_{k-1}\|^2_{\textrm{Fro}}$ 를 최소화하도록 요구함으로써 동기를 부여 할 수 있습니다. 최신 종을 고려합니다 : .$J_k(\vec x_k-\vec x_{k-1})=f(\vec x_k)-f(\vec x_{k-1})$

BFGS 업데이트의 파생은 훨씬 더 복잡하고 어둡게 보입니다! 특히, 나는 업데이트가 순위 2이거나 특정 형태를 취해야 한다고 선험적 으로 가정하고 싶지 않습니다 . Broyden과 같은 BFGS Hessian 업데이트에 대한 짧은 변형의 동기가 있습니까?

볼록한 비용 함수를 고려할 때 BFGS의 도출은보다 직관적입니다.

그러나 일부 배경 정보가 필요합니다. 볼록 기능 을 최소화하려고합니다 . 근사값 x k 가 있다고 가정하십시오 . 그리고, 하나의 최소 근사 F 버림 테일러 전개의 최소 의해 F ( X K + P ) ≈ F ( X (K) ) + ∇ F ( X (K) ) T P

$$f(x) \to \min_{x\in \mathbb R^n}.$$ $x_k$$f$ 즉, 하나 개 보인다 P 되도록 ( * ) 최소화 및 집합 X K + 1 : = X K + P . ( * ) - " p 와 관련하여"의 기울기를 계산하고이를 0으로 설정하면 관계 H ( x k ) [ x k + 1 - x k ] = ∇ f ( x k + 1 ) $$f(x_k+p) \approx f(x_k) +\nabla f(x_k)^Tp + \frac{1}{2}p^T H(x_k)p. \quad(*)$$ $p$$(*)$$x_{k+1} := x_k + p$$(*)$$p$ 여기서, H는 또는 헤 시안 행렬 '그라디언트 코비안'이다. $$H(x_k)[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k),$$ $H$

Hessian의 계산과 반전이 비싸기 때문에 ...

---

... 짧은 대답

(Broyden의 업데이트 참조) BFGS 업데이트 은 스마트하게 선택된 가중치 Frobenius 규범에 따라 " H - 1 k - H - 1 " W 를 최소화 합니다.$H_{k+1}^{-1}$

$$\|H_k^{-1} - H^{-1}\|_W$$

1. $H[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k)$
2. $H^T = H$

---

$W$$\|H\|_W := \|W^{1/2}HW^{1/2}\|_F$ $G:=\int_0^1 H(x_k + \tau p) d\tau$$\alpha_k = 1$

주요 포인트는 다음과 같습니다.

• 이차 근사에 대한 솔루션으로 실제 비용에 대한 솔루션을 근사하려고합니다.
• 헤 시안의 계산 및 그 역은 비싸다. 간단한 업데이트를 선호합니다.
• 업데이트는 실제 Hessian이 아닌 역수에 대해 최적으로 선택 됩니다.
• 그것이 순위 2 업데이트라는 것은 Frobenius 규범에서 가중치의 특정 선택의 결과입니다.

$p$