pde- 제약 된 최적화를위한 인접 방법의 비용 이해

인접 기반 최적화 방법이 PDE 제한 최적화에 어떻게 작동하는지 이해하려고합니다. 특히, 설계 변수의 수가 많지만 "방정식의 수가 적은"문제에 대해 인접 방법이 더 효율적인 이유를 이해하려고합니다.

내가 이해하는 것 :

다음 PDE 제한 최적화 문제를 고려하십시오.

min_{β} I (β, u (β)) s . t . R (u (β)) = 0

$\min_\beta \text{ } I(\beta,u(\beta))\\ s.t. R(u(\beta))=0$

여기서 $I$ 는 벡터 설계 변수 의 (충분히 연속적인) 목적 함수이고, 설계 변수에 의존하는 $\beta$ 필드 변수 미지수 의 벡터이며 $u(\beta)$ , $R(u)$ 는 PDE의 잔차 형식입니다.

분명히 우리는 I와 R의 첫 번째 변형을

δ I = \frac{\partial I}{\partial β} δ β + \frac{\partial I}{\partial u} δ u

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u$

δ R = \frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial u} δ u = 0

$\delta R = \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u = 0$

lagrange multipliers 의 벡터를 소개 $\lambda$ 하면 목적 함수의 변동은 다음과 같이 쓸 수 있습니다.

δ I = \frac{\partial I}{\partial β} δ β + \frac{\partial I}{\partial u} δ u + λ^{T} [\frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial u} δ u]

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u + \lambda^T\left[ \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u\right]$

용어를 정리하면 다음과 같이 쓸 수 있습니다.

δ I = [\frac{\partial I}{\partial β} + λ^{T} \frac{\partial R}{\partial β}] δ β + [\frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u}] δ u

$\delta I = \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta\beta + \left[\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}\right]\delta u$

따라서, 와 같은 를 풀 수 있다면 $\lambda$

\frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u} = 0 (adjoint equation)

$\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}=0 \text{ (adjoint equation)}$

그런 다음 기울기 가 평가됩니다. 디자인 변수 측면에서만 . $\delta I= \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta \beta$ $\beta$

따라서 인접 기반 최적화 알고리즘은 다음 단계를 반복합니다.

주어진 현재 설계 변수 $\beta$
필드 변수 대한 해를 (PDE에서). $u$
lagrange multipliers 대한 해를 구합니다 (adjoint equation) $\lambda$
그라디언트 계산 $\frac{\partial I}{\partial \beta}$
업데이트 설계 변수 $\beta$

내 질문

이 '트릭'이 디자인 변수의 수가 많은 경우 반복 당 최적화 비용을 어떻게 개선합니까? 인접 방법의 기울기 평가 비용이 설계 변수의 수와 '독립적'이라고 들었습니다. 그러나 이것이 정확히 어떻게 사실입니까?

나는 어떻게 든 간과하고있는 것이 분명하다고 확신한다.

optimization pde

— 바울
소스

그건 그렇고, Lagrange multiplier는 일반적으로 변형이 아닌 목적 함수에 추가됩니다. 따라서 . 에 대한 도함수 를 0으로 설정하면 인접 방정식이 생성되고, 이것을 (및 상태 방정식 의 솔루션 를 대한 도함수에 삽입 하면 기울기가 나타납니다. PDE의 약한 공식으로 시작하면 훨씬 간단 해집니다. 테스트 기능 대신 Lagrange 승수를 삽입하십시오. 강력한 형태 또는 부분 통합이 필요하지 않습니다.

min_{u, β} max_{λ} I (u, β) + λ^{T} R (u, β)

$\min_{u,\beta}\max_\lambda I(u,\beta) + \lambda^T R(u,\beta)$

u

$u$

u

$u$

R (u, β) = 0

$R(u,\beta)=0$

β

$\beta$

— Christian Clason

시뮬레이션에서 가장 비싼 부분은 해결 단계입니다. Adjoint를 사용하면 n + 1 해소가 필요한 유한 차이에 비해 훨씬 더 저렴한 두 가지 해로 구배를 얻을 수 있습니다. n은 모델의 자유 매개 변수의 수입니다.

— stali

답변:

이 '트릭'이 디자인 변수의 수가 많은 경우 반복 당 최적화 비용을 어떻게 개선합니까?

선형 대수 관점에서 비용에 대해 생각합니다. ( Lagrange multiplier 접근법보다 직관적 인 Stephen G. Johnson의 메모를 참조하십시오 ). 앞으로 접근하는 방식은 감도를 직접 해결하는 것입니다.

\begin{aligned} \frac{\partial u}{\partial β} = - {(\frac{\partial R}{\partial u})}^{- 1} \frac{\partial R}{\partial β} \end{aligned}

$\begin{align} \frac{\partial{u}}{\partial{\beta}} = -\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}} \end{align}$

vector 의 각 매개 변수에 대한 선형 시스템을 해결 한 다음 평가합니다. $\beta$

\begin{aligned} \frac{d I}{d β} = \frac{\partial I}{\partial β} + \frac{\partial I}{\partial u} \frac{\partial u}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} + \frac{\partial{I}}{\partial{u}}\frac{\partial{u}}{\partial{\beta}}, \end{align}$

여기서 는 총 도함수를 나타내고 은 부분 도함수를 나타냅니다. $\mathrm{d}$ $\partial$

인접 접근법은

\begin{aligned} \frac{d I}{d β} = \frac{\partial I}{\partial β} - \frac{\partial I}{\partial u} {(\frac{\partial R}{\partial u})}^{- 1} \frac{\partial R}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} - \frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}}, \end{align}$

따라서 인접 변수 (Lagrange multiplier) 는 다음과 같이 정의 할 수 있습니다 $\lambda$

\begin{aligned} - \frac{\partial I}{\partial u} {(\frac{\partial R}{\partial u})}^{- 1} = λ^{T}, \end{aligned}

$\begin{align} -\frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1} = \lambda^{T}, \end{align}$

인접 방정식에 해당

\begin{aligned} \frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u} = 0. \end{aligned}

$\begin{align} \frac{\partial{I}}{\partial{u}} + \lambda^{T}\frac{\partial{R}}{\partial{u}} = 0. \end{align}$

이러한 용어 재 그룹화는 각 매개 변수에 대한 선형 해석 대신 하나의 선형 해석 만 필요하므로 많은 매개 변수의 경우 인접 평가가 저렴합니다.

인접 방법의 기울기 평가 비용이 설계 변수의 수와 '독립적'이라고 들었습니다. 그러나 이것이 정확히 어떻게 사실입니까?

완전히 독립적이지 않습니다. 아마도 및 은 매개 변수 수에 따라 증가합니다. 그러나 선형 크기는 의 크기가 변하지 않는 한 여전히 같은 크기 입니다. 해석은 함수 평가보다 훨씬 비싸다는 가정이 있습니다. $(\partial{I}/\partial{\beta})$ $(\partial{R}/\partial{\beta})$ $u$

— 제프 옥스 베리
소스

간단히 말해서, 장점은 그 계산 감소 목적의 파생 상품에 사실에서 비롯 , 당신은 정말의 파생 알 필요가 없습니다 에 대한 별도의 객체로, 그 일부만 변형됩니다 . $I(\beta,u(\beta))$ $u(\beta)$ $\beta$ $I(\beta,u(\beta))$

좀 더 편한 표기법으로 바꾸겠습니다 : ( 는 디자인 변수, 는 상태 변수, 는 목표입니다. 하자 말의 따라서 음함수 정리를 적용하기 좋은 충분하다 방정식 가있는 유일한 솔루션 에 대하여 연속 미분 가능하다 및 유도체 는 ( 및 는 부분 도함수입니다) .

min_{y, u} J (y, u) subject to e (y, u) = 0

$\min_{y,u} J(y,u) \quad\text{subject to}\quad e(y,u)=0$

u

$u$

y

$y$

J

$J$

e (y, u)

$e(y,u)$

e (y, u) = 0

$e(y,u)=0$

y (u)

$y(u)$

u

$u$

y^{'} (u)

$y'(u)$

\begin{matrix} (1) & e_{y} (y (u), u) y^{'} (u) + e_{u} (y (u), u) = 0 \end{matrix}

$e_y(y(u),u)y'(u) + e_u(y(u),u) = 0\tag{1}$

e_{y}

$e_y$

e_{u}

$e_u$

이는 축소 된 목적 정의 할 수 있음을 의미하며 , 이는 또한 차별화 할 수 있습니다 ( 가있는 경우). 구배 를 특징 짓는 한 가지 방법 은 지향성 미분을 통하는 것입니다 (예를 들어, 설계 공간의 기초와 관련하여 모든 부분 미분을 계산). 여기서, 방향의 지향성 유도체 같은 연쇄 법칙에 의해 주어진 경우 니스이며 계산하기 만 어려운 일이며 주어진위한 . 이것은 에 곱하여 수행 할 수 있습니다. $j(u):=J(y(u),u)$ $J(y,u)$ $\nabla j(u)$ $h$

\begin{matrix} (2) & j^{'} (u; h) = ⟨ J_{y} (y (u), u), y^{'} (u) h ⟩ + ⟨ J_{u} (y (u), u), h ⟩ . \end{matrix}

$j'(u;h) = \langle J_y(y(u),u),y'(u)h \rangle + \langle J_u(y(u),u),h\rangle.\tag{2}$

J

$J$

y^{'} (u) h

$y'(u)h$

h

$h$

(1)

$(1)$

h

$h$ 오른쪽에서 (내재적 함수 정리가 허용하는) 해결, 즉 을 입력하고이 표현식을 연결하십시오 . PDE- 제약 된 최적화에서, 이는 설계 공간의 모든 기본 벡터 에 대해 선형화 된 PDE를 해결하는 것과 관련이 있습니다.

y^{'} (u) h

$y'(u)h$

\begin{matrix} (3) & [y^{'} (u) h] = e_{y} (y (u), u)^{- 1} [e_{u} (y (u), u) h] \end{matrix}

$[y'(u)h] = e_y(y(u),u)^{-1} [e_u(y(u),u)h]\tag{3}$

(2)

$(2)$

h

$h$

그러나, 우리 가 와 같은 연산자 찾으면 이것은 원하는 기울기 여야합니다. 찾고 , 우리는 쓸 수 ( 은 인접 연산자 임), 계산해야 할 것은 입니다. 그 사용 , 이것을 사용하여 수행 될 수있다 , 즉, 연산 및 설정 PDE 제한 최적화에서 $\nabla j$

j^{'} (u; h) = ⟨ \nabla j, h ⟩ for all h,

$j'(u;h) = \langle \nabla j,h\rangle\qquad \text{for all }h,$

(1)

$(1)$

⟨ J_{y} (y (u), u), y^{'} (u) h ⟩ = ⟨ y^{'} (u)^{*} J_{y} (y (u), u), h ⟩

$\langle J_y(y(u),u),y'(u)h \rangle = \langle y'(u)^*J_y(y(u),u),h \rangle$

y^{'} (u)^{*}

$y'(u)^*$

y^{'} (u)^{*} j_{y} (y (u), u)

$y'(u)^*j_y(y(u),u)$

(A B)^{*} = B^{*} A^{*}

$(AB)^* = B^* A^*$

(3)

$(3)$

λ := e_{y} (y (u), u)^{- *} J_{y} (y (u), u)

$\lambda:= e_y(y(u),u)^{-*}J_y(y(u),u)$

\nabla j (u) = e_{u} (y (u), u)^{*} λ + J_{u} (y (u), u) .

$\nabla j(u) = e_u(y(u),u)^*\lambda +J_u(y(u),u).$

J_{y} (y (u), u)

$J_y(y(u),u)$ 일반적으로 일종의 잔차이며 를 계산 하면 디자인 공간의 크기에 관계 없이 단일 (선형) 인접 PDE를 풀어야합니다. (실제로 이것은 분산 매개 변수, 즉 가 일부 무한 차원 Banach 공간의 함수 인 경우 에도 가능합니다. 첫 번째 방법은 불가능합니다.)

λ

$\lambda$

u

$u$

— 크리스찬 클라 슨
소스