어떤 시점에서 기준선이 상태에 대해 조건부 인 이유는 무엇입니까?

로봇 공학에서 보강 학습 기술은 로봇의 제어 패턴을 찾는 데 사용됩니다. 불행히도 대부분의 정책 기울기 방법은 통계적으로 편향되어있어 로봇을 안전하지 않은 상황에 놓을 수 있습니다. Jan Peters and Stefan Schaal의 2 페이지를 참조하십시오 : 정책 기울기를 이용한 운동 기술 강화 학습, 2008

모터 기본 학습을 사용하면 정책 기울기 매개 변수 최적화가 학습 단계를 목표로 지정하므로 문제를 극복 할 수 있습니다.

인용 :“그라디언트 추정치가 편향적이지 않고 학습률이 sum (a) = 0을 충족하는 경우 학습 프로세스는 최소한 로컬 최소값으로 수렴하도록 보장됩니다. [...] 따라서 생성 된 데이터에서만 정책 경사도를 추정해야합니다. 작업 실행 중 ”(같은 용지의 4 페이지)

Berkeley RL 클래스 문제 1 의 과제에서, 차감 된 기준선이 타임 스텝 t의 상태 함수 인 경우 정책 그라디언트가 여전히 편향되어 있지 않음을 표시하도록 요청합니다.

나는 그러한 증거의 첫 단계가 무엇인지 고민하고 있습니다. 누군가 올바른 방향으로 나를 가리킬 수 있습니까? 나의 초기 생각은 어떻게 든 t (st)에 대한 기대를 T에 대한 조건부로 만들기 위해 총 기대 법칙을 사용하는 것이었지만 확실하지 않습니다. 미리 감사드립니다 :)

_{방정식의 원래 png로 연결}

기대했던 반복 법칙을 사용하면

$\triangledown _\theta \sum_{t=1}^T \mathbb{E}_{(s_t,a_t) \sim p(s_t,a_t)} [b(s_t)] = \nabla_\theta \sum_{t=1}^T \mathbb{E}_{s_t \sim p(s_t)} \left[ \mathbb{E}_{a_t \sim \pi_\theta(a_t | s_t)} \left[ b(s_t) \right]\right] =$

적분으로 작성하고 그라디언트를 내부 (선형성)로 이동

$= \sum_{t=1}^T \int_{s_t} p(s_t) \left(\int_{a_t} \nabla_\theta b(s_t) \pi_\theta(a_t | s_t) da_t \right)ds_t =$

이제 움직일 수 있습니다 $\nabla_\theta$ (선형성으로 인해) $b(s_t)$ (에 의존하지 않습니다 $a_t$) 외부의 내부 통합을 형성하십시오.

$= \sum_{t=1}^T \int_{s_t} p(s_t) b(s_t) \nabla_\theta \left(\int_{a_t} \pi_\theta(a_t | s_t) da_t \right)ds_t=$

$\pi_\theta(a_t | s_t)$ (조건부) 확률 밀도 함수이므로 전체에 통합 $a_t$ 주어진 고정 상태 $s_t$ 같다 $1$:

$= \sum_{t=1}^T \int_{s_t} p(s_t) b(s_t) \nabla_\theta 1 ds_t =$

Now $\nabla_\theta1 = 0$, which concludes the proof.

It appears that the homework was due two days prior to this answer's writing, but in case it is still relevant in some way, the relevant class notes (which would have been useful if provided in the question along with the homework) are here.

The first instance of expectation placed on the student is, "Please show equation 12 by using the law of iterated expectations, breaking $\mathbb{E}_{\tau \sim p \theta(\tau)}$ by decoupling the state-action marginal from the rest of the trajectory." Equation 12 is this.

$\sum_{t = 1}^{T} E_{\tau \sim p \theta(\tau)} [\nabla_\theta \log \pi_\theta(a_t|s_t)(b(s_t))] = 0$

The class notes identifies $\pi_\theta(a_t|s_t)$ as the state-action marginal. It is not a proof sought, but a sequence of algebraic steps to perform the decoupling and show the degree to which independence of the state-action marginal can be achieved.

This exercise is a preparation for the next step in the homework and draws only on the review of CS189, Burkeley's Introduction to Machine Learning course, which does not contain the Law of Total Expectation in its syllabus or class notes.

All the relevant information is in the above link for class notes and requires only intermediate algebra.