DeepMind发布游戏增强学习框架OpenSpiel

DeepMind研究团队发布了一个称为OpenSpiel的游戏面向增强学习框架,提供了增强学习需要的环境以及算法,可用于一般增强学习、搜索以及规划的研究,并提供了分析增强学习动态的工具,以及常用的评估指标。

研究人员提到,OpenSpiel的目标是要促进在多种游戏类型,发展多代理增强学习,跟一般的游戏训练环境相似,但是更强调学习的部分而非竞争的形式。研究人员希望OpenSpiel可以在通用增强学习上,达到Atari学习环境在单一代理人增强学习的地位,对通用增强学习的发展产生重大的影响。

OpenSpiel提供了一个可让研究人员在各种基准游戏中,评估游戏以及算法的框架,OpenSpiel内置了各式包括世界网格游戏、拍卖游戏,以及矩阵游戏等20多种不同类型的游戏,这些游戏涵盖单一或多个代理人的零和、合作、一般和对局(General-Sum)游戏,还有一次性以及连续性游戏研究。这些游戏以C++撰写,并以Python打包。

OpenSpiel的算法则是以C++或是Python实例,官方提到,这2种语言的API几乎相同,因此当开发者需要,能够简单地在这两种语言间切换使用,而绝大部分学习算法都是以Python使用Tensorflow撰写,官方目前正发展PyTorch和JAX的支持。另外,OpenSpiel函数库的一个子集被移植到了Swift上,因此开发者也能在MacOS设备上进行研究。

DeepMind只在Linux上测试OpenSpiel,但研究人员提到,虽然他们没有在MacOS和Windows上进行测试,但是在编译以及执行上,预计不会有太大的问题发生。OpenSpiel主要设计理念为简单以及最小化,使用了参照实例而非完全优化以及高性能的程序代码,而且尽可能维持最小依赖性,降低兼容性问题发生的可能性。

最近也有不少组织推出了增强学习的研究工具,像是Google大脑就开源了足球增强学习环境项目Google Research Football,脸书也发布增强学习平台Horizo​​n,英特尔也在RL Coach中推出一系列增强学习的工具。

发表评论