写在前面
最近几年来，强化学习应该是人工智能领域相当热门的领域。但是，对于刚入门的学生来说，看了一些基础的课程资料，花了很长时间掌握了基本的算法，也做了一些自己领域的应用。但是对于这个领域的热门方向还是不太好把握，包括作者本人。我最近在reddit上面的强化学习社区看到了一个比较热门的讨论，希望对大家有所帮助。特别是那些入门之后，也没有老师指导，不知道接下来该做什么的学生。
问题
链接: link
ulopes404: 强化学习领域有哪些研究课题？ RL 中最热门/最有前途的研究课题是什么？ 我是 RL 的新手，正在迈出第一步。 从我的角度来看，离线强化学习似乎是一个很有前途的方向，最近取得了进展。 谁能指出其他方向？我感到有点失落，因为要涵盖的主题太多，而且我没有教授来指导我。
回答
nacho_rz：就我个人而言，我认为 RL 确实有机会改进机器人的长期规划。我认为最近的基于模型的方法（如 Dreamer 和 TD-MPC）是该领域的有希望的方向，但我希望看到它们被应用于更多以规划为导向的任务，而不是控制。
seattlesweiss: 这是一个很好的问题！谢谢你的提问。 我在 的研究伙伴谈论的热门话题是分布式学习(out-of-distribution learning)、规划和模型逼近。 不过，重要的是，我们还需要在环境方面做更多的工作。我们需要更好的环境，我们需要它们更具可扩展性。 到目前为止，最常见的模拟环境已经被打败了。国际象棋、围棋和雅达利是 RL 研究的常见环境，代理在其中许多环境中都达到了超人的表现。许多环境太容易预测了，只会导致记忆。我们需要更好的环境，以有趣的方式挑战智能体，需要泛化和更高层次的思考。 此外，许多环境在 CPU 上运行，因此难以扩展。我们需要在 GPU/TPU 上原生运行的环境，以便真正测试当前代理的极限。否则，我们永远不会知道代理是否是问题所在，或者我们是否因为计算限制而没有获得足够的数据。
VirtualHat：我认为多智能体强化学习（MARL）是强化学习中一个很有前途的方向。那里有很多工作要做，如果做得好，它会提供很多现实世界的价值。
kuziwa：逆强化学习也在逐渐兴起
Unfinished-plans：对于稀疏奖励的处理也是一个感兴趣的课题
NiconiusX：就我个人而言：
在有监督、对比、表征学习和强化学习之间架起一座桥梁。我们将 Vision 和 NLP 与这些技术和 Transformer 统一起来。我们可以将 RL 放在同一个框架中吗
从内在动机（如新颖性、好奇心等）中获取想法到我们的标准算法（如 PPO）中，因此它们通常会对其进行改进，并且每个人都可以轻松使用它们
强化学习中的Transformers能走多远
一如既往：提高sample的效率。我们能否让现实世界中的学习真正成为可能
在 RL 算法方面改进 sim to real的差距
reply to NiconiusX -> PM_ME_FREE_GAMES：你似乎在描述CoBERL
passevengravity：为什么没人提到meta-RL？
reply to passevengravity -> rlopes404：你能指出meta-RL的一个很好的介绍吗？我找不到一个好的。
reply to rlopes404 -> passevengravity：也许先尝试 Lil’Log，然后在 Chelsea Finn 的 GitHub 和一大堆论文中有这个 maml 实现。
Turbulent-Point-9332：我身边的研究人员倾向于把transformer引入RL
GarantBM：分布式强化学习是当今研究正在发展的东西。顺便说一句，包括我自己。
Blasphemer666：我的研究兴趣是离线强化学习。IMHO是离实际的AI和实际世界问题最接近的。
写在后面
看完之歌讨论，大家对自己以后的研究方向是不是稍微清晰一点了。
