다른 모든 정책보다 나은 정책이 항상 하나 이상있는 이유는 무엇입니까?

강화 학습 과제를 해결한다는 것은 대략 장기적으로 많은 보상을 얻는 정책을 찾는 것을 의미합니다. 유한 MDP의 경우 다음과 같은 방법으로 최적의 정책을 정확하게 정의 할 수 있습니다. 가치 함수는 정책에 대한 부분적 순서를 정의합니다. 정책 $\pi$ 정의는보다 더 나은 또는 정책과 동일합니다 $\pi'$ 의 기대 수익보다 크거나 그와 같은 경우 $\pi'$ 모든 국가에 대해. 즉, $\pi \geq \pi'$ 경우에만, $v_\pi(s) \geq v_{\pi'}(s)$ , 모두 $s \in \mathcal{S}$ . 다른 모든 정책보다 나은 정책은 항상 하나 이상 있습니다. 이것이 최적의 정책입니다.

markov-process reinforcement-learning

— sh1ng
소스

Puterman의 "Markov Decision Processes"장 6.2에는 Banach의 고정 소수점 정리를 사용하는 매우 자세한 증명이 나와 있습니다.

— Toghs

답변:

인용 된 부분을 지나면 동일한 단락이 실제로이 정책이 무엇인지 알려줍니다. 모든 정책에서 최선의 조치를 취하는 정책입니다. MDP에서 한 주에서 취한 조치는 다른 주에서 취한 조치에 대한 보상에 영향을 미치지 않으므로 주별로 정책을 최대화 할 수 있습니다.

— 돈 레바
소스

이 답변이 완전히 틀리지 않습니까? 어떻게 국가별로 정책 상태를 최적화하면 최적의 정책으로 이어질 수 있습니까? 난 상태 통해 최적화하면

그리고 저 소요

에서 최적화 다음과

최적 값 함수에 이르게

그러나있는 다른 정책가

에 suboptimally 오퍼

및 최적이

의 값 함수는

보다 큽니다 . 그러한 거친 분석으로 어떻게 이것을 배제 할 수 있습니까?

S_{t}

$S_t$

S_{t + 1}

$S_{t+1}$

S_{t + 1}

$S_{t+1}$

V_{t + 1}

$V_{t+1}$

S_{t}

$S_t$

S_{l}

$S_l$

S_{l}

$S_l$

V_{t + 1}

$V_{t+1}$

— MiloMinderbinder

최적의 정책 경우 @MiloMinderbinder

선택하는

, 다음의 값

의 값보다 높은

S_{t}

$S_t$

S_{t + 1}

$S_{t+1}$

S_{t + 1}

$S_{t+1}$

S_{l}

$S_l$

— Don Reba

내 잘못이야. 오타가 수정 : '이 답변이 완전히 틀린가요? 상태별로 정책 상태를 최적화하면 최적의 정책으로 이어진다 고 어떻게 말할 수 있습니까? 난 상태 통해 최적화하면

그리고 날 소요

에서 최적화 다음과

최적 값 함수에 이르게

의

이지만되는 다른 정책가

리드 비록

차선책 이므로

의 값 함수

S_{t}

$S_t$

S_{t + 1}

$S_{t+1}$

S_{t + 1}

$S_{t+1}$

V_{t + 2}

$V_{t+2}$

S_{t + 2}

$S_{t+2}$

S_{t}

$S_t$

S_{l + 1}

$S_{l+1}$

S_{t + 1}

$S_{t+1}$ 이 정책에서는

보다 높지만

의 값 함수는 상태별로 상태를 최적화하여 찾은 정책보다 높습니다. 이것이 어떻게 당신을 배제합니까? '

V_{l + 1}

$V_{l+1}$

S_{t + 2}

$S_{t+2}$

— MiloMinderbinder

의 정의는 이것이 미래의 수익을 설명해야하기 때문에 처음부터 이런 일이 발생하지 못하게 할 것이라고 생각합니다 .

V

$V$

— Flying_Banana

그러면 질문은 다음과 같습니다. 왜

가 존재합니까? Banach Fixed Point Theorem :-)

q_{*}

$q_*$

— Fabian Werner

최적의 정책이 존재하는 것은 분명하지 않습니다. 이유를 확인하기 위해 value 함수는 정책 공간에서 부분적인 순서 만 제공합니다. 이것은 다음을 의미합니다.

π^{'} \geq π ⟺ v_{π^{'}} (s) \geq v_{π} (s), \forall s \in S

$\pi' \geq \pi \iff v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S$

이는 부분적인 순서 일 뿐이므로 과 두 정책 이 비교할 수없는 경우가있을 수 있습니다 . 즉, 상태 공간의 서브 세트가있다 및 그러한 : $\pi_1$ $\pi_2$ $S_1$ $S_2$

v_{π^{'}} (s) \geq v_{π} (s), \forall s \in S_{1}

$v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S_1$

v_{π} (s) \geq v_{π^{'}} (s), \forall s \in S_{2}

$v_{\pi}(s) \geq v_{\pi'}(s),\forall s \in S_2$

이 경우 한 정책이 다른 정책보다 낫다고 말할 수 없습니다. 그러나 한정된 가치 함수를 갖는 유한 MDP를 다루는 경우 그러한 시나리오는 절대 발생하지 않습니다. 여러 개의 최적 정책이있을 수 있지만 정확히 하나의 최적 값 함수가 있습니다.

이를 증명하려면 Banach Fixed Point 정리를 이해해야합니다. 자세한 분석은를 참조하십시오 .

— 카르 틱 티아 가라 얀
소스

$\newcommand{\mc}{\mathcal} \newcommand{\mb}{\mathbb}$

환경

우리는 다음의 설정을 고려하고 있습니다 :

개별 동작
이산 상태
바운드 보상
고정 정책
무한한 지평선

\begin{matrix} (1) & π^{*} \in \arg max_{π} V^{π} (s), \forall s \in S \end{matrix}

$\pi^\ast \in \arg \max_\pi V^\pi(s), \forall s \in \mc{S} \tag{1}$

\begin{matrix} (2) & V^{*} = max_{π} V^{π} (s), \forall s \in S \end{matrix}

$V^\ast = \max_\pi V^\pi (s), \forall s \in \mc S \tag{2}$

\begin{matrix} (3) & V^{*} = V^{π^{*}} \end{matrix}

$V^\ast = V^{\pi^\ast} \tag{3}$

질문

모든 대해 동시에 (1)을 만족하는 하나 이상의 가 있음을 증명하는 방법은 무엇입니까? $\pi^\ast$ $s \in \mc{S}$

증거 개요

구조물 최적 방정식 우리가 식을 통해 정의에 해당한다는 2 단계에서 증명할 최적 값 함수의 임시 대리 정의로서 사용한다. (2).
$\begin{matrix} (4) & V^{*} (s) = max_{a \in A} [R (s, a) + γ \sum_{s^{'} \in S} T (s, a, s^{'}) V^{*} (s^{'})] \end{matrix}$ $V^\ast(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V^\ast(s^\prime)] \tag{4}$
식 (4)와 식 (2)를 통해 최적의 값 함수를 정의하는 동등성을 도출하십시오.

(사실 우리는 식 (2)에서 식 (4)를 구성했기 때문에 충분 함이 명백하기 때문에 증거에 필요한 방향 만 필요합니다.)
식 (4)에 대한 고유 한 솔루션이 있음을 증명하십시오.
2 단계에서는 3 단계에서 얻은 솔루션도 식 (2)에 대한 솔루션이므로 최적의 값 함수임을 알 수 있습니다.
최적의 값 함수에서 각 상태에 대한 식 (4)의 최대화 조치를 선택하여 최적의 정책을 복구 할 수 있습니다.

단계의 세부 사항

이후 , 우리가 . 임의의 존재한다면 되도록 우리 수 극대화 나은 정책을 선택 통해 . $V^\ast(s) = V^{\pi^\ast}(s) = \mb E_a [Q^{\pi^\ast}(s, a)]$ $V^{\pi^\ast}(s) \le \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$ $\tilde{s}$ $V^{\pi^\ast} \neq \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$ $Q^{\ast} (s, a) = Q^{\pi^\ast} (s, a)$ $a$

(=>)

1 단계를 따릅니다.

(<=)

즉, 가 만족시키는 경우 , . $\tilde V$ $\tilde V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) \tilde V(s^\prime)]$ $\tilde V(s) = V^\ast(s) = \max_\pi V^\pi(s), \forall s \in \mc S$

정의 최적 벨만 연산자 로서 따라서 우리의 목표는 이면 . 우리는 이것을 Puterman [1]에 따라 두 가지 결과를 결합하여 보여줍니다 .

\begin{matrix} (5) & T V (s) = max_{a \in A} [R (s, a) + γ \sum_{s^{'} \in S} T (s, a, s^{'}) V (s^{'})] \end{matrix}

$\mc T V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V(s^\prime)] \tag{5}$

\tilde{V} = T \tilde{V}

$\tilde V = \mc T \tilde V$

\tilde{V} = V^{*}

$\tilde V = V^\ast$

a) 이면 입니다. $\tilde V \ge \mc T \tilde V$ $\tilde V \ge V^\ast$

b) 이면 입니다. $\tilde V \le \mc T \tilde V$ $\tilde V \le V^\ast$

증명:

ㅏ)

임의의 경우 , 여기에서 는 결정 규칙 (특정 시간의 행동 프로파일)입니다. 는 즉각적인 보상의 벡터 표현입니다 로부터 유도 되고 는 로부터 유도 된 전이 행렬 이다. $\pi = (d_1, d_2, ...)$

\begin{aligned} \tilde{V} & \geq T \tilde{V} = max_{d} [R_{d} + γ P_{d} \tilde{V}] \\ \geq R_{d_{1}} + γ P_{d_{1}} \tilde{V} \end{aligned}

$\begin{align} \tilde V &\ge \mc T \tilde V = \max_{d} [ R_d + \gamma \, P_d \tilde V] \\ &\ge R_{d_1} + \gamma \, P_{d_1} \tilde V \\ \end{align}$

d

$d$

R_{d}

$R_d$

d

$d$

P_{d}

$P_d$

d

$d$

유도에 의해, 임의의 , 여기서 는 아래 의 단계 전이 행렬을 나타냅니다 . $n$

\tilde{V} \geq R_{d_{1}} + \sum_{i = 1}^{n - 1} γ^{i} P_{π}^{i} R_{d_{i + 1}} + γ^{n} P_{π}^{n} \tilde{V}

$\tilde V \ge R_{d_1} + \sum_{i=1}^{n-1} \gamma^i P_\pi^i R_{d_{i+1}} + \gamma^n P_\pi^n \tilde V$

P_{π}^{j}

$P_\pi^j$

j

$j$

π

$\pi$

이후 우리가 따라서 있습니다. 이 모든에 대해 보유 이래로 , 우리는 결론 b)

V^{π} = R_{d_{1}} + \sum_{i = 1}^{\infty} γ^{i} P_{π}^{i} R_{d_{i + 1}}

$V^\pi = R_{d_1} + \sum_{i=1}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}$

\tilde{V} - V^{π} \geq \underset{\to 0 as n \to \infty}{\underset{⏟}{γ^{n} P_{π}^{n} \tilde{V} - \sum_{i = n}^{\infty} γ^{i} P_{π}^{i} R_{d_{i + 1}}}}

$\tilde V - V^\pi \ge \underbrace{\gamma^n P_\pi^n \tilde V -\sum_{i=n}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}}_{\rightarrow 0 \ \text{as}\ n\rightarrow \infty}$

\tilde{V} \geq V^{π}

$\tilde V \ge V^\pi$

π

$\pi$

\tilde{V} \geq max_{π} V^{π} = V^{*}

$\tilde V \ge \max_\pi V^\pi = V^\ast$

1 단계부터 수행합니다.

삼

최적의 Bellman 연산자는 규범 의 축소입니다 ( cf. [2]. $L_\infty$

증명 : 에 대해 여기서 (*)에서 $s$

\begin{aligned} | T V_{1} (s) - T V_{2} (s) | & = | max_{a \in A} [R (s, a) + γ \sum_{s^{'} \in S} T (s, a, s^{'}) V_{1} (s^{'})] - max_{a^{'} \in A} [R (s, a^{'}) + γ \sum_{s^{'} \in S} T (s, a^{'}, s^{'}) V (s^{'})] | \\ \overset{(*)}{\leq} | max_{a \in A} [γ \sum_{s^{'} \in S} T (s, a, s^{'}) (V_{1} (s^{'}) - V_{2} (s^{'}))] | \\ \leq γ ‖ V_{1} - V_{2} ‖_{\infty} \end{aligned}

$\begin{align} \left\vert \mc T V_1(s) - \mc TV_2(s) \right\vert &= \left\vert \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V_1(s^\prime)] -\max_{a^\prime \in \mc A} [ R(s, a^\prime) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a^\prime, s^\prime) V(s^\prime)]\right\vert \\ &\overset{(*)}{\le} \left\vert \max_{a \in \mc A} [\gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) (V_1(s^\prime) - V_2(s^\prime))] \right\vert \\ &\le \gamma \Vert V_1 - V_2 \Vert_\infty \end{align}$

max_{a} f (a) - max_{a^{'}} g (a^{'}) \leq max_{a} [f (a) - g (a)]

$\max_a f(a) - \max_{a^\prime} g(a^\prime) \le \max_a [f(a) - g(a)]$

따라서 Banach 고정 소수점 정리에 따르면 에는 고유 한 고정 소수점이 있습니다. $\mc T$

참고 문헌

[1] Puterman, Martin L ..“Markov 결정 과정 : 이산 확률 론적 동적 프로그래밍.” (2016).

A. 라자 릭. http://researchers.lille.inria.fr/~lazaric/Webpage/MVA-RL_Course14_files/slides-lecture-02-handout.pdf

— 아이리스
소스