비선형 프로그래밍에서 SQP가 Augmented Lagrangian보다 나은 이유는 무엇입니까?

Galahad [1]에 대한 기술 보고서에서 저자는 일반적인 비선형 프로그래밍 문제와 관련하여

우리에게 SQP (sequential quadratic programming) 방법이 장기적으로 (증강 라그랑지안 방법보다) 더 성공적 일 것이라는 의심은 없었습니다.

그 신념의 근거는 무엇입니까? 즉, SQP 방법이 Augmented Lagrangian 방법보다 더 빠르고 안정적이어야한다는 이론적 결과가 있습니까?

[1] Galad, Gould, Orban 및 Toint의 대규모 비선형 최적화를위한 스레드 안전 Fortran 90 패키지 라이브러리

nonlinear-programming

— cjordan1
소스

SQP 방법을 사용하면 목표를 두 배로 구분할 수 있어야하며 (cf https://en.m.wikipedia.org/wiki/Sequential_quadratic_programming ), 증강 라그랑지안 은 목표를 구분할 수없는 경우에도 작동합니다 (따라서 이미지 처리 커뮤니티에서 최근에 부활 한 경우 참조 : ftp ftp : //arachne.math.ucla.edu/pub/camreport/cam09-05.pdf )

나는 galahad 소프트웨어에 대해 잘 모르지만, 차별화 가능한 최적화 문제를 해결해야한다면 목적 함수를 차별화 할 수있는 방법을 사용하면 훨씬 나아질 것입니다.

— 드 락소
소스

SQP에 두 배의 차별화 가능한 목적 함수가 필요하다는 것은 사실이 아닙니다. 목적 함수의 차이가 적 으면 수렴 률이 더 작은 방법을 얻을 수 있지만, 이는 확대 된 라그랑지안 방법과 동일합니다.

— Wolfgang Bangerth

외부 반복 측면에서 SQP는 2 차 도함수 정보를 포함하므로 승리해야하지만 ADMM과 같은 증강 된 래그 랑 지안 방법은 그렇지 않습니다.

그러나 명심해야 할 점은 이러한 방법에 대한 각 반복에는 선형 시스템을 해결하는 것이 포함되므로 이러한 시스템을 쉽게 해결할 수있는 방법을 고려해야합니다.

증강 된 래그 랑 지안 (대체) 방법의 경우, 각 반복은 와 같이 해결합니다 여기서 는 알려진 객관적인 함수에서 직접 처리하거나 다루기가 더 쉬운 순방향 연산자입니다. 전제 조건이며 는 페널티 매개 변수입니다. (예를 들어, 문제는 이며 일부 정규화 및 제약이 있습니다.)

(A^{T} A + ρ I) x = b,

$(A^TA + \rho I)x = b,$

A

$A$

ρ

$\rho$

min_{x} | | A x - b | |^{2}

$\min_x ||Ax-b||^2$

SQP 방법의 경우 와 같은 것을 풀고 있습니다 여기서 는 Hessian (또는 근사치)이며 일반적으로 벡터에 대한 동작 측면에서 암시 적으로 만 사용할 수 있으며 는 그래디언트입니다. Hessian은 뿐만 아니라 구속 조건과 정규화를 선형화하는 데 따른 다른 행렬과 행렬 역의 조합도 포함합니다.

H x = g,

$Hx = g,$

H

$H$

g

$g$

A

$A$

전제 조건 Hessians는 꽤 까다로운 사업이며 전제 조건을 사전 조정하는 것보다 훨씬 덜 연구됩니다. 표준 방법은 L-BFGS를 사용하여 Hessian의 역을 근사화하는 것이지만 Hessian의 역률이 높은 경우에는 효과가 제한적입니다. 또 다른 대중적인 방법은 저역 행렬과 역행렬 행렬의 합으로 Hessian을 근사화하는 것이지만 어려운 문제에 대한 효과도 제한적입니다. 다른 인기있는 Hessian 추정 기법은 희소 근사를 기반으로하지만 연속성 문제는 종종 희소 근사가 나쁜 Hessians를 가지고 있습니다.

— 닉 알거
소스

+1, 담요 진술에 대해주의하고 싶지만 (특히이 답변을 의미하지는 않습니다). 예를 들어, PDE- 제약 된 최적화에서 적용 하면 비선형 PDE가 해결되는 경우가 종종 있으며 , 두 개의 선형 PDE를 해결하여 를 적용 할 수 있습니다. 원래 PDE가 불쾌한 경우 훨씬 저렴하고 사전 조건을 쉽게 조정할 수 있습니다.

A

$A$

H

$H$

— Christian Clason

따라서 두 개의 PDE를 풀면 를 적용 할 수 있지만 을 적용하려면 솔버에서 kryolv 반복마다 2 개의 PDE를 풀어야 합니다. 반면에 는 순방향 연산자이므로 일반적으로 PDE 해결이 전혀 필요하지 않습니다. 전형적으로, 매트릭스 명시 적으로, 예를 들어 메시상의 5 점 유한 차분 스텐실로 알고있다 . 대한 Preconditioners 위한 빌드 preconditioners로 사용할 수 있습니다 ,하지만 전제 조건의로 사용하는 것이 어렵 .

H

$H$

H^{- 1}

$H^{-1}$

A

$A$

A

$A$

A

$A$

A^{T} A + ρ I

$A^TA + \rho I$

H

$H$

— Nick Alger

경우 (비선형 PDE 제약 최적화의 경우되지 않음)는 선형 전달 연산자, 다음 코스의 정확하다. 그렇지 않으면 적용 하려면 뉴턴 반복 (또는 고정 소수점 반복) 마다 선형 PDE 솔버가 필요하며 그 다음에 (항상 선형 임)에 대한 다른 PDE 솔버가 필요합니다 . 두 가지 방법 중 어느 것이 더 적은 총 작업량을 요구하는지 (즉, 선형 PDE 해결 횟수로) 특정 문제에 크게 의존합니다. 다른 직업을위한 다른 도구는 내가 말하는 전부입니다.

A

$A$

A

$A$

A^{T}

$A^T$

— Christian Clason

직업마다 다른 도구에 동의합니다. 내가 염두에두고있는 PDE 제한 최적화 문제에 대한 Gauss-Newton 되도록 -이고 및 전체 독일인이 플러스 다른 용어이다. 따라서 는 두 개의 역을 포함하고 은 두 개의 역을 포함합니다.

min_{q, u} \frac{1}{2} | | C u - y | |^{2} + \frac{α}{2} | | R q | |^{2}

$\min_{q,u} \frac{1}{2}||Cu - y||^2 + \frac{\alpha}{2}||Rq||^2$

A u = q

$Au=q$

H = A^{- T} C^{T} C A^{- 1} + α R^{T} R

$H = A^{-T}C^TCA^{-1} + \alpha R^T R$

H

$H$

H^{- 1}

$H^{-1}$

— Nick Alger

그리고 제약 조건 를 염두에 두었습니다 (예 : 는 를 의 솔루션 에 매핑 합니다.이 매개 변수는 식별 또는 토폴로지 최적화에 나타납니다).

S (q) = u

$S(q) = u$

S

$S$

q

$q$

u

$u$

- \nabla \cdot (q \nabla u) = f

$-\nabla\cdot(q\nabla u) = f$

— Christian Clason