정책 외 학습과 정책 외 학습의 차이점은 무엇입니까?

인공 지능 웹 사이트는 정책 외 및 정책 외 학습을 다음과 같이 정의합니다.

"외교 정책 학습자는 상담원의 행동과 독립적으로 최적 정책의 가치를 학습합니다. Q- 학습은 정책 외 학습자입니다. 정책 외 학습자는 탐구 단계를 포함하여 상담원이 수행하는 정책의 가치를 학습합니다 "

그들이 나에게 아무런 영향을 미치지 않는 것 같아서 이것에 관해 당신의 설명을 부탁하고 싶습니다. 두 정의가 모두 동일한 것 같습니다. 내가 실제로 이해 한 것은 모델이없는 모델 기반 학습이며, 문제가있는 학습과 관련이 있는지 모르겠습니다.

상담원의 행동과는 별도로 최적의 정책을 배우는 것이 어떻게 가능합니까? 에이전트가 작업을 수행 할 때 정책이 학습되지 않습니까?

우선, 요원이 탐욕스러운 행동 을해야 할 이유가 없다 . 상담원은 탐색 하거나 옵션 을 따를 수 있습니다 . 이것은 정책 정책을 정책 외 학습과 분리하는 것이 아닙니다.

Q- 러닝이 정책 외의 이유는 다음 주 의 Q- 값 과 욕심 많은 행동 사용하여 Q- 값을 업데이트하기 때문 입니다. 다시 말해, 탐욕 정책을 따르지 않는다는 사실에도 불구하고 탐욕 정책을 따른다고 가정 할 때 국가 행동 쌍에 대한 수익 (총 할인 된 미래 보상)을 추정합니다 .$s'$a ' $a'$

사르 사 온 정책이라는 이유는 다음 상태의 Q 값 사용하여 Q-값을 갱신하도록 인 과 현재 정책의 동작 . 현재 정책을 계속 준수한다고 가정하면 상태-조치 쌍에 대한 수익을 추정합니다.$s'$"$a''$

현재 정책이 욕심 많은 정책 인 경우 구별이 사라집니다. 그러나 그러한 에이전트는 탐색하지 않기 때문에 좋지 않습니다.

온라인에서 무료로 제공되는 책을 보셨습니까? Richard S. Sutton과 Andrew G. Barto. 강화 학습 : 소개. 제 2 판, MIT Press, Cambridge, MA, 2018.

정책 내 방법은 정책을 제어에 사용하면서 정책의 가치를 추정합니다.

에서는 오프 정책 방식, 동작을 생성하는 데 사용되는 정책은, 착신 동작 평가 및 개선 정책에 무관 할 수 있고, 정책을 호출 추정 정책.

이 분리의 장점은 추정 정책이 결정론적일 수 있고 (예 : 탐욕스러운) 행동 정책이 모든 가능한 조치를 계속 샘플링 할 수 있다는 것입니다.

자세한 내용은 Reinforcement Learning : Introduction to Barto and Sutton, first edition의 섹션 5.4 및 5.6을 참조하십시오 .

정책 외 방법과 정책 외 방법의 차이점은 특정 정책을 처음으로 따를 필요가 없으므로 에이전트가 무작위로 행동 할 수 있으며 그럼에도 불구하고 정책 외 방법으로도 최적의 정책을 찾을 수 있다는 것입니다. 반면에 정책에 따라 방법은 사용되는 정책에 따라 다릅니다. 정책 외의 Q-Learning의 경우 탐색 중에 사용 된 정책과 관계없이 최적의 정책을 찾게되지만 다른 주를 충분히 방문한 경우에만 해당됩니다. Watkins 의 오리지널 논문 에서 Q-Learning의 매우 훌륭한 속성을 보여주는 실제 증거를 찾을 수 있습니다 . 그러나 트레이드 오프 (trade-off)가 있으며, 오프 정책 방법은 정책 정책 방법보다 속도가 느린 경향이 있습니다. 다른 흥미로운 요약 과의 링크 두 가지 유형의 메소드의 특성

우선, 실제로 정책 ( 로 표시 )의 의미는 무엇입니까? 정책 액션 지정 즉 촬영되며, 상태 (또는보다 정확하게 확률이 작용하는 것이있다 상태에서 촬영 ).$\pi$a s π a s
$a$$s$$\pi$$a$$s$

$Q(s,a)$$a$$s$
$\pi$$\pi(a|s)$

$Q(s,a)$

$Q(s,a)$$\pi$
$Q(s,a)$

$Q(s,a) \leftarrow Q(s,a)+\alpha(r+\gamma Q(s',a')-Q(s,a))$$a'$$\pi$

$Q(s,a) \leftarrow Q(s,a)+\alpha(r+\gamma \max_{a'}Q(s',a')-Q(s,a))$' S '$a'$$s'$

서튼의 책에서 : "이전 섹션의 정책에 근거한 접근 방식은 실제로 타협입니다. 최적의 정책이 아니라 여전히 탐색중인 거의 최적의 정책에 대한 행동 가치를 배웁니다.보다 직접적인 접근 방식은 두 가지 정책을 사용하는 것입니다. 학습되고 최적의 정책이되는 정책과 탐색 적이며 행동을 생성하는 데 사용되는 정책을 대상 정책이라고하며 행동을 생성하는 데 사용되는 정책을 행동 정책이라고합니다. 이 경우 우리는 학습이 목표 정책“o data”데이터를 통해 이루어지며 전체 프로세스를 o-policy learning이라고합니다.