Bellman 방정식에 대한 솔루션은 고정 소수점입니다

최근에 동적 최적화를 공부하기 시작했습니다. Bellman 방정식의 가치 함수가 수축 매핑의 고정 된 점이라는 사실을 내 머리에 감쌀 수는 없습니다. 한국인 내 이해 오히려 순이다 문제가 한정된 경우에, 말 : 우리가 미리 시퀀스의 최대 가능 값을 알고있는 것처럼, 우리는, 끝에서 벨만 방정식을 구축 . 마지막 기간부터 출발 T , 우리는 현재주기 유틸리티 반영한 최적 용어 가산함으로써 극대화 반복 U ( C의 t를 ) 우리는 시간에 도달 할 때까지

$$\sum_{t=0}^T \beta^tu(c_t)$$ $T$$u(c_t)$$0$. 여기에서 수축 매핑이 어떻게 작동하는지 명확하게 볼 수 있습니다. 그러나 무한한 경우를 이해하기가 쉽지 않습니다. Bellman 연산자 를 반복 $(Bv)(x)$하여 가치 함수를 찾을 때까지 정책 함수의 "보정"을 수행 한다고 가정 할 수 있습니다. (즉, 횡단 조건을 고려할 때 가능한 최대 유틸리티) $(Bv)(x)=v(x)$. 적어도 올바른 방향으로 생각하고 있습니까, 아니면이 생각을 다른 방식으로 이해해야합니까? 미리 감사드립니다. (또한 이것은 .stackexchange에 대한 첫 번째 질문이며 내 질문을 표시하는 데 문제가 있으면 알려주십시오.)

나는 이것에 대해 결코 전문가가 아니지만 이것이 도움이 될 것입니다. 다음은 벨만 방정식에 대한 간단한 예입니다.

$V(y) = \max_x u(x,y) + \beta V(y')$

$s.t. \, y' = f(x,y)$

이것은 알려지지 않은 함수 V의 함수 방정식입니다.이 문제에 대한 해결책은 위의 방정식을 만족시키는 함수 V입니다. 방정식을 보면 솔루션이 벨만 방정식의 RHS에서 연산자의 고정 점이어야 함이 분명합니다. 올바른 V와 임의의 y를 취하고 계산하면

$\max_x u(x,y) + \beta V(y')$

$s.t. \, y' = f(x,y)$

얻습니다 . Bellman 방정식의 RHS 인 연산자는 함수에서 작동하며 솔루션은 함수의 일부 공간에서 고정 소수점입니다.$V(y)$

이 고정 점이 존재하는지, 어떻게 찾는 지 다른 질문입니다. 여기에서는 수축 매핑 이론에 호소합니다. u에 대한 일반적인 가정하에 제공 하면 위의 최대화 단계는 V에 대한 추측에 대한 수축 매핑입니다. 이는 고유 한 고정 소수점 V가 존재한다는 것을 의미하며, 연속 반복하여 찾으십시오.$\beta<1$