Google用新方法缩放网络模型,提高准确率却不会牺牲性能

Google AI研究团队最近发布了缩放卷积式网络(CNN)模型的新方法,利用简单却高效的复合系数,通过更结构化的方式,来缩放CNN模型,有别于任意扩展模型维度的传统方法,像是宽度、深度,或是用更高分辨率的图像当训练数据,Google研究团队的方式是针对每个维度,用固定的系数,一致地扩展,利用该方法搭配上Google的自动建模工具AutoML,Google开发出一系列更小更快的模型EfficientNet,性能可以快上10倍。

CNN模型的开发通常是用固定的资源成本,当有更多资源时,为了达到更好的准确率,就会扩展CNN模型,举例来说,可以增加ResNet网络的层数,从ResNet-18扩展至ResNet-200,传统任意扩展模型维度的方法,虽然也可以改善准确率,但是需要经过繁杂的手动优化过程,且通常需要牺牲性能,Google的目标是要找出提升准确率的同时,又能保持性能的缩放模型方法。

为了理解缩放模型的影响,Google研究团队有系统地研究了扩张模型不同维度所产生的影响,当扩张个别维度能够改善模型表现在,Google观察如何平衡模型其他所有的维度,以最好地改善整体的表现。第一步,Google用网格搜索(grid search)来找出扩展不同维度之间的关系,如此一来,能够确定每个维度的适当系数,接着,用这些系数来将原本的模型缩放成目标模型大小,或是符合预算的模型。

此外,由于EfficientNet模型展现出显著的性能改善,Google希望EfficientNet模型能成为未来计算机视觉任务的新基础,因此,Google团队开源发布所有EfficientNet一系列的模型。