如今,大多数人工智能(AI)系统都是基于处理任务的单个代理,或者在对抗模型的情况下,是一些相互竞争以改善系统整体行为的代理。然而,现实世界中的许多认知问题是大群人建立的知识的结果。以自动驾驶汽车场景为例,任何座席的决策都是场景中许多其他座席行为的结果。金融市场或经济中的许多情景也是大型实体之间协调行动的结果。我们如何模仿人工智能(AI)代理中的行为?
多智能体强化学习(MARL)是深度学习学科,侧重于包含多个代理的模型,这些代理通过动态地与其环境交互来学习。在单一代理强化学习场景中,环境状态仅由于代理的动作而改变,在MARL场景中,环境受到所有代理的操作。从这个角度来看,我们是否将MARL环境视为元组{X1-A1,X2-A2 … .Xn-An},其中Xm是任何给定的代理,Am是任何给定的动作,然后环境的新状态是由A1xA2x … .An定义的一组连接动作的结果。换句话说,MARL场景的复杂性随着环境中代理的数量而增加。
MARL场景的另一个复杂性增加与代理的行为有关。 在许多情况下,MARL模型中的代理可以协同,竞争或表现出中立行为。 为了处理这些复杂性,MARL技术借鉴了博弈论中的一些想法,这对于具有多个参与者的模型环境非常有用。 具体来说,大多数MARL场景可以使用以下游戏模型之一来表示:
·静态游戏:静态游戏是指所有玩家同时做出决策(或选择策略)的游戏,而不了解其他玩家正在选择的策略。即使可以在不同的时间点做出决定,游戏也是同步的,因为每个玩家都没有关于他人决定的信息;因此,就好像决定是同时做出的。
·舞台游戏:舞台游戏是在静态游戏的某个阶段出现的游戏。换句话说,游戏规则取决于具体阶段。囚徒困境是舞台游戏的典型例子
·重复游戏:当玩家通过多次玩类似的舞台游戏(例如囚徒的困境)进行互动时,游戏被称为重复游戏。与曾经玩过一次的游戏不同,重复游戏允许策略取决于过去的动作,从而允许声誉效果和报应。
大多数MARL场景可以建模为静态,阶段或重复游戏。游戏理论中的新领域,例如平均场比赛在MARL场景中变得非常有价值(更多关于未来的帖子)。
MARL Algorithms and Game Theory
最近,我们看到研究实验室中生成的MARL算法数量激增。 跟上所有的研究是非常困难的,但在这里我们也可以使用一些博弈论的想法。 我见过了解MARL空间的最佳分类法之一是将代理人的行为分为完全合作,完全竞争或混合。 以下是使用该分类标准对MARL空间的快速分类。
在该级别,我们可以添加另一个有趣的分类标准,该标准基于MARL系统中的代理需要执行的任务类型。 例如,在某些MARL环境中,代理商会在完全隔离其他代理商的情况下做出决策,而在其他情况下,代理商会与合作伙伴或竞争对手进行协调。
MARL代理商面临的挑战
MARL模型为深度学习任务提供了切实的好处,因为它们是现实世界中许多认知活动的壁橱代表。但是,在实施此类模型时需要考虑很多挑战。在没有尝试提供详尽的列表的情况下,在考虑实施MARL模型时,任何数据科学家都应该首先考虑三个挑战:
1.维度的诅咒:深度学习系统的着名挑战在MARL模型中尤为重要。随着代理/玩家数量的增加,许多适用于某些游戏环境的MARL策略都会失败。
2.培训:在MARL情景中,协调大量代理人的培训是另一场噩梦。通常,MARL模型使用一些培训政策协调机制来最小化培训任务的影响。
3.歧义:MARL模型非常容易受到代理歧义情形的影响。想象一下多人游戏,其中两个代理在环境中占据完全相同的位置。为了应对这些挑战,每个代理商的政策都需要考虑其他代理商采取的行动。
MARL模型被称为未来十年最相关的深度学习学科。当这些模型处理更复杂的场景时,我们可能会看到更多来自博弈论的想法成为MARL场景的基础。