Google开源可自动寻找最佳机器学习模型的平台

Google发布开源机器学习模型搜索平台Model Search,供研究社群更容易地取用AutoML解决方案,Model Search能够让研究人员高效且自动地开发机器学习模型,该平台与领域知识无关,可以找到适用各种问题与资料集的模型架构,最大程度减少程序开发时间与工作量,Model Search是以Tensorflow构建而成,因此可以在单台机器或是分布式设备中运行。

近年出现的AutoML算法,可以让研究人员不需要手动实验,就能找到合适的神经网络,Google提到,使用正确的配置甚至可以得到比手动更好的结果,只不过这些算法运算量通常很大,所以在融合之前,需要训练数千个模型,而且搜索空间仅能针对特定领域,无法在跨领域良好地运行。

为了解决这些问题,Google发布了开源Model Search平台,该模型搜索系统是由多个训练程序(Trainer)、搜索算法、转移学习算法和用来存储各种评估模型的数据库所组成,能以自适应的方式,执行各种机器学习模型的训练工作和评估实验。

每个训练程序皆独立完成实验,但其他训练程序也都可以从实验中获得知识,每个周期开始,搜索算法都会查询已完成的实验,并且决定下一步要尝试的项目,并对当下所找到的最佳模型架构进行一些变异,并将模型结果反馈给训练程序。

Model Search中实例的搜索算法具有适应性、贪婪和渐增特性,所以收敛的速度比增强式学习还要快,但是却又能模仿增强式学习,达到兼具深度与广度的探索,更快地找到最佳结果。而为了要进一步提高效率和准确性,Google提到,Model Search使用知识蒸馏(Knowledge Distillation)和权重共享,使得各种内部实验可进行转移学习,以加快训练速度,并且有更高的机会发现更好的架构。

Model Search可以显著地提升模型生产速度,Google将Model Search用于探索关键字标记与语言识别模型,不到200次迭代,就能获得比专家设计更好的模型,少使用了13万可训练参数。

Google还使用Model Search,来找出适用于CIFAR-10图像资料集的图像分类模型架构,而Model Search仅经过209次模型实验,就达到基准测试91.83精准度,相较于之前使用增强学习的研究,要达到相同的精准度,必需要经过1,160次的实验。