DeepMind AI与人类合作玩夺旗策略游戏,表现与人类玩家相当

DeepMind最近发布用强化学习训练AI模型的新进展,在复杂多人连接3D游戏《雷神之锤III竞技场》中的夺旗竞赛场景,AI玩家的表现已达人类水准,能够成功地与人类玩家合作,不仅如此,该AI模型的研究成果,也可以扩展到《雷神之锤III竞技场》完整的游戏场景中,该研究显示多代理人(multi-agent)训练​​在AI领域开发上的潜力。

这个研究的目标是多代理人学习,也就是每个个别的代理人都必须独立行动,并学会与其他代理人交互和合作,DeepMind指出,地球上有数十亿的人居住,每个人都有自己的目标和活动,但是仍然可以通过团体组织和社会聚集在一起,展现出集体智能,这就是DeepMind期望AI玩家能学会的能力,不过,这也是一个非常困难的任务,因为环境一直在改变。

为了研究这道难题,DeepMind利用3D第一视角的多人连接游戏,来训练AI模型,这些游戏能够代表最受欢迎的游戏种类,并且也因为沉浸式的游戏方式,可以收集到数百万游戏玩家的想象,也能使AI学习到策略、技巧、手眼协调和团队合作,对AI玩家来说,挑战是要直接从原始的像素数据直接学习,并产生动作,这样的复杂度也使得第一视角的多人连接游戏,成为丰富的AI训练资源。

首先,DeepMind训练AI玩家学习像其他玩家一样行动,而且要学会与同队的玩家合作,不管是AI或是人类玩家,夺旗竞赛的规则很简单,但是动态的变化却很复杂,两个队伍各自的玩家要在给定的地图上,抢夺对方队伍的旗帜带回自己的基地,同时又要保护自己队伍的旗帜,若点击持有自己队伍旗帜的敌对玩家,就能将旗帜送回原本的基地,在5分钟内拥有最多旗帜的队伍即获胜。

从游戏AI玩家的角度来看,夺旗竞赛需要玩家与团队合作一起对抗敌人,为了让研究变得更有趣,DeepMind为夺旗竞赛增添了一些变量,每个竞赛中的地图配置都不相同,如此一来,AI玩家就被迫要找出通用的策略,而不是靠着记忆地图来完成任务,除此之外,为了确保竞争环境公平,AI玩家和人类玩家是用类似的方式玩夺旗游戏,AI玩家观察像素图像的串流数据,并通过模拟游戏控制器来产生执行动作。

DeepMind所用的强化学习有3大概念,第一,DeepMind训练了一群AI玩家,而不是只有一个,因此,AI之间可以互相学习,提供多样的队友或是敌人,第二,每个AI玩家都会学习自己的内部奖励信号,使得AI产生自己的内部目标,像是抢夺旗帜,第三,AI玩家执行游戏的时间区段的分为快和慢两种,来改善AI使用内存和产生一致行动串行的能力。

发表评论