«reinforcement-learning» 태그된 질문

모델 프리와 모델 기반 강화 학습의 차이점은 무엇입니까? 시행 착오를 통해 학습하는 모든 모델 프리 학습자는 모델 기반으로 재구성 될 수있는 것 같습니다. 그렇다면 언제 모델이없는 학습자가 적절한가?

28 reinforcement-learning  comparison  model-based  model-free 

내가 이해하는 한, Q- 러닝 및 정책 그라디언트 (PG)는 RL 문제를 해결하는 데 사용되는 두 가지 주요 접근법입니다. Q- 러닝은 특정 주에서 취해진 특정 행동의 보상을 예측하는 것을 목표로하지만 정책 그라디언트는 행동 자체를 직접 예측합니다. 그러나 두 접근법 모두 나에게 동일하게 보입니다. 즉, 행동에 대한 최대 보상을 예측하는 것 (Q- …

20 reinforcement-learning  q-learning  policy-gradients  comparison 

5in-a-row / gomoku를 재생할 수있는 AI를 만들고 싶습니다. 제목에서 언급했듯이 강화 학습을 사용하고 싶습니다. 내가 사용 정책 그라데이션 기준으로, 즉 강화, 방법. 가치와 정책 함수 근사를 위해 신경망을 사용 합니다 . 그것은 컨볼 루션되고 완전히 연결된 레이어를 가지고 있습니다. 출력을 제외한 모든 레이어가 공유됩니다. 정책의 출력 계층에는 (보드 크기) 출력 …

20 machine-learning  reinforcement-learning  game-ai  combinatorial-games 

강화 학습과 그 변형을 공부하고 있습니다. 알고리즘이 작동하는 방식과 MDP에 적용되는 방법을 이해하기 시작했습니다. 내가 이해하지 못하는 것은 MDP의 상태를 정의하는 과정입니다. 대부분의 예제와 자습서에서는 그리드의 사각형 또는 이와 유사한 사각형과 같은 간단한 것을 나타냅니다. 보행하는 로봇 학습 등과 같은보다 복잡한 문제의 경우 이러한 상태를 정의하는 방법은 무엇입니까? 학습 또는 …

14 reinforcement-learning 

예를 들어, 이 논문 의 제목은 "경험이 재생되는 샘플 효율적인 배우-비평가"입니다. 샘플 효율 이란 무엇이며 중요도 샘플링 을 사용하여이를 달성 할 수있는 방법은 무엇 입니까?

14 reinforcement-learning  statistical-ai  importance-sampling 

게임 이외의 응용 프로그램에서 강화 학습을 가르치는 방법이 있습니까? 인터넷에서 찾을 수있는 유일한 예는 게임 에이전트입니다. VNC가 강화 네트워크를 통해 게임에 대한 입력을 제어한다는 것을 이해합니다. CAD 소프트웨어로 이것을 설정할 수 있습니까?

13 reinforcement-learning  applications 

Tensorflow 위에 구축 된 매우 우수한 Tensorforce 라이브러리 덕분에 PPO 에이전트로 강화 학습 모델을 코딩하고 있습니다. 첫 번째 버전은 매우 간단했으며 이제 각 단계에서 모든 작업을 사용할 수없는 더 복잡한 환경으로 뛰어 들었습니다. 5 개의 동작이 있고 그 가용성이 내부 상태 (이전 동작 및 / 또는 새로운 상태 / 관찰 …

13 deep-learning  reinforcement-learning 

강화 학습을 살펴보고 특히 OpenAI Gym AI와 함께 사용할 자체 환경을 만드는 과정을 살펴 보았습니다. stable_baselines 프로젝트의 에이전트를 사용하여 테스트하고 있습니다. 거의 모든 RL 예제에서 주목 한 것은 네트워크에 드롭 아웃 레이어가 전혀없는 것 같습니다. 왜 이런거야? DQN을 사용하여 통화 가격을 시뮬레이션하는 환경과 구매 및 판매시기를 배우는 간단한 에이전트를 만들었습니다. …

13 machine-learning  reinforcement-learning  overfitting  dropout 

OpenAIGym 의 Lunar Lander와 같은 문제에 대한 솔루션을 설계 할 때 강화 학습은 상담원이 성공적으로 착륙 할 수 있도록 적절한 조치 제어를 제공하는 유혹적인 수단입니다. 그러나 PID 컨트롤러 와 같은 제어 시스템 알고리즘이 강화 학습만큼 좋지는 않지만 적절한 작업을 수행 하는 사례는 무엇 입니까? 같은 질문 이 하나 이 질문의 …

12 reinforcement-learning  ai-design  control-theory 

I 관통가는 이 DQN의 구현 및 I은 라인 124, 125 Q 개의 상이한 네트워크가 초기화 된 것을 알 수있다. 내 이해로, 하나의 네트워크가 적절한 조치를 예측하고 두 번째 네트워크는 Bellman 오류를 찾기 위해 목표 Q 값을 예측한다고 생각합니다. Q 값을 단순히 예측하여 두 경우 모두에 사용하는 단일 네트워크를 만들 수없는 …

12 reinforcement-learning  q-learning  dqn 

학습률 에 대한 다음 조건 ( Robins-Monro 조건 )이 충족 되는 경우 테이블 형식 Q- 러닝 알고리즘은 최적의 함수 를 찾을 수 있습니다.큐QQ큐※Q∗Q^* ∑티α티( s , a ) = ∞∑tαt(s,a)=∞\sum_{t} \alpha_t(s, a) = \infty ∑티α2티( s , a ) &lt; ∞∑tαt2(s,a)&lt;∞\sum_{t} \alpha_t^2(s, a) < \infty 여기서 는 상태 와 연관된 …

12 reinforcement-learning  q-learning  deep-rl  proofs  function-approximation 

저는 Richard S. Sutton과 Andrew G. Barto의 강화 학습 : 소개 (2017 년 11 월 5 일 초안 작성) 책을 읽고있었습니다 . 271 페이지에, 일시적인 Monte-Carlo Policy-Gradient Method의 의사 코드가 제시되어 있습니다. 이 의사 코드를 보면 할인 상태가 업데이트 상태에서 한 번, 반환 내에서 두 번째로 할인율이 2 번 나타나는 …

11 reinforcement-learning  algorithm  rl-an-introduction  reinforce 

머신 러닝을 배우고 자하는 학생으로서, 공부를 시작하는 방법과 최신 상태를 유지하는 방법을 알고 싶습니다. 예를 들어, 저는 RL 및 MAB 문제에 대해 기꺼이 노력하고 있지만 이러한 주제에 대한 거대한 문헌이 있습니다. 또한 이러한 주제는 AI 및 ML, 운영 연구, 제어 공학, 통계 등과 같은 다른 커뮤니티의 연구원이 연구합니다. 매주이 주제에 …

11 machine-learning  reinforcement-learning  research  markov-decision-process 

TRPO (Trusted Region Policy Optimization) 및 PPO (Proximal Policy Optimization)는 최첨단 정책 그라디언트 알고리즘입니다. 단일 연속 동작을 사용하는 경우 일반적으로 손실 함수에 대해 확률 분포 (예 : 가우시안)를 사용합니다. 대략적인 버전은 다음과 같습니다. L ( θ ) = 로그( P(ㅏ1) ) ,엘(θ)=로그⁡(피(ㅏ1))ㅏ,L(\theta) = \log(P(a_1)) A, 어디 ㅏㅏA 보상의 장점입니다 피(ㅏ1)피(ㅏ1)P(a_1) …

11 deep-learning  reinforcement-learning  trpo 

환경이 확률 론적이라면 최적 정책은 항상 확률 적 (즉, 상태에서 행동에 대한 확률 분포로의지도)인가? 직관적으로 환경이 결정론적인 경우 (즉, 에이전트가 상태 인 경우)sss 그리고 행동을 취한다 aaa다음 상태 s′s′s' 시간 단계에 관계없이 항상 동일하면 최적의 정책도 결정 론적이어야합니다 (즉, 행동에 대한 확률 분포가 아니라 상태에서 행동으로의 맵이어야 함).

10 reinforcement-learning  stochastic-policy  deterministic-policy  policy  environment