转自我的博客
论文
-
题目: Hierarchical Deep Reinforcement Learning: Integrating Temporal Abstraction and Intrinsic Motivation
-
作者: Tejas D. Kulkarni, Karthik R. Narasimhan, Ardavan Saeedi, Joshua B. Tenenbaum
-
论文: https://arxiv.org/abs/1604.06057
-
年份: 2016
-
参考: https://github.com/aleju/papers/blob/master/neural-nets/Hierarchical_Deep_Reinforcement_Learning.md
总结
1.主要贡献
- 提出了一种分层强化学习方法
- 该方法使用了长期目标(long-term goal)指导短期动作(short-term choice)的选择
2.主要方法
- 两个重要组件
- Meta-controller
- 负责生成长期目标long term goal;
- 通过训练Meta-controller使其能够根据当前state来选取目标goal，使得extrinsic reward最大;
- 当且仅当底层执行器Controller完成一个episode或者达成某个Meta-controller产生的goal的时候，Meta-controller再去产生新的目标goal。
- Controller
- 从环境中获取当前state，并从Meta-controller中获取当前目标goal;
- 基于当前goal和当前的state，来选取最大化intrinsic reward期望的action，这里与传统的rf相同只是增加了目标goal，这里通过估计action-value function (
Q
1
(
s
t
,
a
t
;
θ
1
,
g
t
)
Q_1(s_t, a_t;\theta_1,g_t)
Q1(st,at;θ1,gt) )来做;
- Reward 是 intrinsic的，在agent内部，这个intrinsic reward由Critic网络产生，当且仅当当前的目标达到时，才会产生intrinsic reward。
- 在蒙特祖玛的复仇(Montezuma’s Revenge)上实验
- 目标Goal是一些手动设置的特定游戏object，比如钥匙，在实验中，将设置一个与游戏屏幕大小相等的遮罩层，当且仅当目标object的位置上的二进制位是1，其他像素上的二进制值为0；
- Meta-controller通过Q function选择要到达的下一个Goal;
- Controller根据Q function选择能够到达Goal的action, 其不断迭代选择action，直到其完成一个episode或到达Goal；
- 每当达到目标Goal时，Critic都会向Controller提供内在奖励(intrinsic reward);
- CNN用于Meta-controller和Controller，在架构上类似于Atari-DQN论文(shallow CNNs);
- 使用两个Replay buffer，一个用于Meta-controller(大小为40k)，一个用于Controller(大小为1M);
- Meta-controller和Controller两者都遵循epsilon-greedy。Epsilon从1.0开始，减小至0.1;
- 折扣因子γ为0.9;
- 使用SGD优化。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
