Hamilton-Jacobi-Bellman 방정식 풀기; 최적을 위해 필요하고 충분한가?

다음의 미분 방정식 여기서 는 상태이고 는 제어 변수입니다. 해결책은 여기서 은 주어진 초기 상태입니다.

\begin{aligned} \dot{x} (t) = f (x (t), u (t)) \end{aligned}

$\begin{align} \dot x(t)=f(x(t),u(t)) \end{align}$

x

$x$

u

$u$

\begin{aligned} x (t) = x_{0} + \int_{0}^{t} f (x (s), u (s)) d s . \end{aligned}

$\begin{align} x(t)=x_0 + \int^t_0f(x(s),u(s))ds. \end{align}$

x_{0} := x (0)

$x_0:=x(0)$

이제 다음 프로그램 여기서 은 시간 기본 설정을 나타내고 는 값이고 목적 함수. 전형적인 경제적 인 적용은 최적 성장의 Ramsey-Cass-Koopmans 모델입니다. Hamilton-Jacobi-Bellman 방정식은

\begin{aligned} V (x_{0}) := max_{u} \int_{0}^{\infty} e^{- ρ t} F (x (t), u (t)) d t \\ s . t . & \dot{x} (t) = f (x (t), u (t)) \\ x (0) = x_{0} \end{aligned}

$\begin{align} &V(x_0) := \max_u \int^\infty_0 e^{-\rho t}F(x(t),u(t))dt\\ s.t.~&\dot x(t)=f(x(t),u(t))\\ &x(0) = x_0 \end{align}$

ρ > 0

$\rho > 0$

V (\cdot)

$V(\cdot)$

F (\cdot)

$F(\cdot)$

\begin{aligned} ρ V (x) = max_{u} [F (x, u) + V^{'} (x) f (x, u)], \forall t \in [0, \infty) . \end{aligned}

$\begin{align} \rho V(x)=\max_u [F(x,u) + V'(x)f(x,u)],\quad \forall t\in[0,\infty). \end{align}$

용 HJB를 해결했다고 가정 해보십시오 $V$ . 그런 다음 의해 최적의 제어가 제공됩니다

\begin{aligned} u^{*} = \arg max_{u} [F (x, u) + V^{'} (x) f (x, u)] . \end{aligned}

$\begin{align} u^*=\arg\max_u [F(x,u) + V'(x)f(x,u)]. \end{align}$ 상태와 제어에 대한 최적의 궤적을 얻습니다.

{(x^{*} (t), u^{*} (t)) : t \in [0, \infty)}

$\{(x^*(t),u^*(t)):t\in[0,\infty)\}$ .

위키 기사는 말한다

...하지만 전체 상태 공간에서 풀렸을 때 HJB 방정식은 최적의 조건이 필요합니다.

발의안 3.2.1의 Bertsekas (2005) Dynamic Programming and Optimal Control , Vol 1, 3rd ed에서 그는 $V$ 에 대한 해답 이 최적의 비용 함수이고 관련 $u^*$ 가 최적 이라고 언급합니다 . 그러나 그는 그것을 분명히 정리 정리로 선언했다.

실제로, 나는 단지 HJB를 풀고 관련 상태 및 제어 궤적을 복구했다면, 추가적인 최적 조건에 대해 걱정할 필요가 없는지 확인하고 싶습니다.

해결책

나는 시도한다

나는 HJB 방정식 자체에 의해 최대 원리로부터 필요한 조건을 도출 할 수 있다고 생각합니다.

hamiltonian 정의

\begin{aligned} H (x, u, V^{'} (x)) := F (x, u) + V^{'} (x) f (x, u) \end{aligned}

$\begin{align} H(x,u,V'(x)) := F(x,u) + V'(x)f(x,u) \end{align}$

우리는

\begin{aligned} ρ V (x) = max_{u} H (x, u, V^{'} (x)) \end{aligned}

$\begin{align} \rho V(x)=\max_u H(x,u,V'(x)) \end{align}$

이것은

\begin{aligned} ρ V (x) = H (x, u^{*}, V^{'} (x)) . \end{aligned}

$\begin{align} \rho V(x)= H(x,u^*,V'(x)). \end{align}$

과 함께 임의의 함수 을 . 이제 $q:[0,\infty)\to\mathbb{R}$ $q(0)=\lim_{t\to\infty} q(t)=0$

\begin{aligned} x = x^{*} + ε q \end{aligned}

$\begin{align} x = x^*+\varepsilon q \end{align}$

여기서 은 매개 변수입니다. 이 단어를 최대화 된 하밀 토니 아어에 연결하면 $\varepsilon\in\mathbb{R}$

\begin{aligned} ρ V (x^{*} + ε q) = H (x^{*} + ε q, u^{*}, V^{'} (x^{*} + ε q)) . \end{aligned}

$\begin{align} \rho V(x^*+\varepsilon q)= H(x^*+\varepsilon q,u^*,V'(x^*+\varepsilon q)). \end{align}$

에서 우리는 최적의 솔루션을 가지고있다. 따라서 과 차별화 하여 1 차 주문 조건 $\varepsilon = 0$ $\varepsilon$

\begin{aligned} ρ V^{'} q = H_{x} q + H_{V^{'}} V^{″} q . \end{aligned}

$\begin{align} \rho V'q = H_x q + H_{V'}V''q. \end{align}$

이제 인접 변수를 정의하십시오

\begin{aligned} λ = V^{'} (x) . \end{aligned}

$\begin{align} \lambda = V'(x). \end{align}$

시간이 지남에 따라 차별화

\begin{aligned} \dot{λ} = V^{″} \dot{x} . \end{aligned}

$\begin{align} \dot \lambda = V''\dot x. \end{align}$

그 양해

\begin{aligned} H_{V^{'}} = f (x, u) = \dot{x} . \end{aligned}

$\begin{align} H_{V'} = f(x,u) = \dot x. \end{align}$

모든 것을 하면

\begin{aligned} ρ λ = H_{x} + \dot{λ} . \end{aligned}

$\begin{align} \rho \lambda = H_x + \dot \lambda. \end{align}$

그게 다야. 따라서 HJB를 해결하는 것은 실제로 최적의 상태로 필요하고 충분합니다 (여기서는 생략 됨). 누군가 그것을 위키에 추가해야합니다. 그러한 문제에 대해 생각하는 사람들의 시간을 절약 할 수 있습니다.

그러나 횡단 조건 이 (가) 없습니다.

\begin{aligned} lim_{t \to \infty} e^{- ρ t} λ (t) = 0 \end{aligned}

$\begin{align} \lim_{t\to\infty} e^{-\rho t}\lambda(t) = 0 \end{align}$

II 시도

기능 정의

\begin{aligned} J (u) := \int_{0}^{\infty} e^{- ρ t} F (x, u) d t \end{aligned}

$\begin{align} J(u):=\int^\infty_0 e^{-\rho t}F(x,u)dt \end{align}$

참고 의 정의에 의해 입니다. 보수 함수에 중립 항을 추가합니다.

\begin{aligned} \int_{0}^{\infty} e^{- ρ t} λ [f (x, u) - \dot{x}] d t = 0 \end{aligned}

$\begin{align} \int^\infty_0{e^{-\rho t}\lambda[f(x,u) - \dot x]dt} = 0 \end{align}$

\dot{x} = f (x, u)

$\dot x = f(x,u)$

\begin{aligned} J (u) & = \int_{0}^{\infty} e^{- ρ t} [F (x, u) + λ f (x, u)] d t - \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t \\ = \int_{0}^{\infty} e^{- ρ t} H (x, u, λ) - \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t \end{aligned}

$\begin{align} J(u)&=\int^\infty_0 e^{-\rho t}[F(x,u)+\lambda f(x,u)]dt - \int^\infty_0{e^{-\rho t}\lambda\dot xdt}\\ &=\int^\infty_0 e^{-\rho t}H(x,u,\lambda) - \int^\infty_0{e^{-\rho t}\lambda\dot xdt} \end{align}$

rhs에 올바른 용어의 일부로 통합하면

\begin{aligned} \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t = [e^{- ρ t} λ (t) x (t)]_{0}^{\infty} - \int_{0}^{\infty} e^{- ρ t} x (\dot{λ} - ρ λ) d t \end{aligned}

$\begin{align} \int^\infty_0{e^{-\rho t}\lambda\dot xdt} = [e^{-\rho t}\lambda(t)x(t)]^\infty_0 - \int^\infty_0{e^{-\rho t}x(\dot \lambda-\rho\lambda)dt} \end{align}$

해당 용어를

\begin{aligned} J (u) = \int_{0}^{\infty} e^{- ρ t} [H (x, u, λ) + x (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) x (t) + λ (0) x (0) \end{aligned}

$\begin{align} J(u)=\int^\infty_0 e^{-\rho t}[H(x,u,\lambda) + x(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)x(t) + \lambda(0)x(0) \end{align}$

정의

\begin{aligned} x & = x^{*} + ε q \\ u & = u^{*} + ε p \end{aligned}

$\begin{align} x &= x^*+\varepsilon q\\ u &= u^*+\varepsilon p \end{align}$

이것은

\begin{aligned} J (ε) = \int_{0}^{\infty} e^{- ρ t} [H (x^{*} + ε q, u^{*} + ε p, λ) + (x^{*} + ε q) (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) [x^{*} (t) + ε q (t)] + λ (0) x (0) \end{aligned}

$\begin{align} J(\varepsilon)=\int^\infty_0 e^{-\rho t}[H(x^*+\varepsilon q,u^*+\varepsilon p,\lambda) + (x^*+\varepsilon q)(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)[x^*(t)+\varepsilon q(t)] + \lambda(0)x(0) \end{align}$

최대 대한 FOC $J_\varepsilon = 0$

\begin{aligned} J_{ε} = \int_{0}^{\infty} e^{- ρ t} [H_{x} q + H_{u} p + q (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) q (t) = 0 \end{aligned}

$\begin{align} J_\varepsilon=\int^\infty_0 e^{-\rho t}[H_x q + H_u p + q(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)q(t) = 0 \end{align}$

이후 및 미 제약이다 우리 있어야 $q$ $p$

\begin{aligned} H_{u} & = 0 \\ H_{x} & = ρ λ - \dot{λ} \\ lim_{t \to \infty} e^{- ρ t} λ (t) & = 0 \end{aligned}

$\begin{align} H_u &= 0\\ H_x &= \rho\lambda - \dot \lambda\\ \lim_{t\to\infty}e^{-\rho t}\lambda(t) &= 0 \end{align}$

mathematical-economics reference-request dynamic-programming

— 우 둔
소스

필요하고 충분한 조건을 아직 식별 했습니까?

— Jamzy

이것은 어떤 경제적 맥락에서 나옵니까?

— Stan Shunpike

예를 들어 cer.ethz.ch/resec/people/tsteger/Ramsey_Model.pdf에

— 없는

이 스레드는 실제로 econ에 연결되어 있지 않기 때문에 math.stackexchange.com에 더 적합하다고 생각합니다 . 모드는 그것을 전송할 수 있습니다.

— clueless

나는 여기에 무엇이 있는지 잘 모르겠습니다. Bertsekas가 HJB를 해결하는 데 충분하다면 "추가적인 최적 조건에 대해 걱정할 필요가 없습니다". HJB가 해결되지 않은 경우 "필요하고 충분한"에 대한 "충분한"만 발생합니다.이 경우 "해결책이 없음을 의미하지는 않습니다". 그건 그렇고, 당신의 시도 I과 II는 여기에 귀중한 내용입니다-첫 번째는 HJB와 최적 제어 사이의 링크를 보여주고, 두 번째는 최적 제어 FOC를 도출하는 방법을 보여줍니다.

— Alecos Papadopoulos

(이것은 아마도 주석으로 간주되어야합니다.)

HJB 방정식을 풀면 최적의 해를 얻는 것으로 충분합니다. 따라서 귀하는 귀하의 질문에 대답하는 것으로 생각되는 "다른 최적 조건에 대해 걱정하지 마십시오".

정리의 "필요한"구성 요소에 대해 우려하는 것 같습니다. 성명서의 필요성 측면은 다음과 같습니다. 최적 솔루션이있는 경우 HJB 방정식에 대한 솔루션이 있어야합니다.

나는이 특정 문제로 일하지는 않았지만 일반적으로 대답은 차별화 할 수있는 함수 V를 기대하지 않는다는 것입니다. 따라서 방정식에 대한 해결책은 없습니다. 대신, 일반화 된 파생 상품을보고 HJB 방정식을 부등식으로 변환해야합니다. 이 경우 "점도 솔루션"을 얻을 수 있습니다. 일반화 된 파생 상품을 사용하도록 확장하면 그러한 솔루션이 항상 존재 함을 증명할 수 있습니다. 귀하의 증거를 밝히면 차별화 가능성을 가정 할 때 필요 조건에 도움이되지 않습니다.

— 브라이언로만 추크
소스