在今年稍早之际发布训练（Training）基准测试分数之后，MLPerf日前发布推理（Inference）基准测试的第一组得分结果。
与目前有5家公司所参加共63项MLPerf基准测试项目的训练回合相比，有更多的公司提交了结果。共有来自14个组织的500多个分数得到了验证。其中包括几家创业公司的数字，然而一些知名的创业公司显然没有参加。
在支持可让系统直接对决之严格条件的封闭专区（Closed Division），结果显示性能上有5个数量级的差异，并且在预估功耗方面跨越了3个数量级。在开放专区（Open Division），厂商的提交可以使用一系列的模型，包括低精准度的实例。
Nvidia宣称取得封闭专区所有商用组件类别的第一名。在数据中心类别的其他领导厂商包括Habana Labs、Google和英特尔（Intel），而Nvidia则在边缘类别中与Intel及高通（Qualcomm）一较高下。
“Nvidia是唯一一家拥有量产晶体硅、软件、可程序性及人才，同时发布所有类型MLPerf基准测试成绩，并赢得几乎所有测试类别的公司，”市场研究公司Moor Insights and Strategy分析师Karl Freund指出：“GPU的可程序性为将来的MLPerf版本提供了独特的定位……我认为这在在展露了Nvidia实力的广度，以及挑战者的利基本质。但随着时间的推移，许多竞争对手将逐渐成熟，因此Nvidia需要在硬件和软件方面持续创新。”
Nvidia公布显示测试结果判定的图表，针对商用组件的所有4个封闭专区测试场景皆名列第一。
这些场景代表不同的使用案例。例如针对数据中心推理的脱机和服务器场景。脱机场景表示要对大量照片进行脱机照片标记作业，并测量纯数据传输总量。服务器场景表示来自不同用户的多个请求，在不可预测的时间提交请求，并在固定时间内测量数据传输总量的使用案例。边缘场景包括单一串流与多串流，前者会对象是行动手机App的单一图片进行推理计时，后者则会测量多摄影机系统中有多少串流图片能被同步推论。
参赛公司可以提交所选机器学习模型的结果，这些模型在四个场景分别执行图像分类、对象检测和语言转译。
Nvidia在服务器和脱机类别所有5个基准测试拿下第一
“从数据中心的结果来看，Nvidia在服务器和脱机类别的所有5个基准测试中皆拔得头筹，”Nvidia加速运算产品管理总监Paresh Kharya表示：“我们的图灵GPU在商用解决方案方面远胜其他公司。”
Kharya特别强调了一个事实，也即Nvidia是唯一一家提交数据中心类别中所有5个基准测试模型结果的公司，而在服务器类别（这是更困难的场景）中，Nvidia的性能表现皆高出竞争对手甚多。
数据中心领域最接近Nvidia表现的竞争对手是以色列创业公司Habana Labs，拥有Goya推理芯片。
“Habana是唯一一个全面投产高性能晶体硅的挑战者，有望支持功耗数据的下一版本MLPerf组件应该会有更好表现。”分析师Karl Freund表示。
Habana Labs指出，基准测试分数纯粹基于性能，功耗并非测量标的，不包含实用性（比如考虑某个解决方案是采无风扇冷却还是水冷式设计），也不包含成本。
Habana并通过开放专区来展现低延迟能力，延迟的限制比封闭专区更严格，并提交多串流场景的结果。
在边缘基准测试，Nvidia拿下商用解决方案之封闭专区所有四个类别的冠军头衔。高通Snapdragon 855系统单芯片与Intel Xeon CPU则在单一串流类别紧跟其后，然而高通和Intel都没有提交更困难的多串流场景测试结果。
另外MLPerf发布许多“预览版”系统（即未正式上市的系统）测试结果，包括专门针对Intel’s Nervana NNP-I的阿里巴巴旗下“平头哥”公司“含光”（Hanguang）芯片、以色列创业公司Halio的Hailo-8，以及Centaur Technologies的参考设计。与此同时，研发类的主要参赛厂商是一家鲜为人知的韩国创业公司Furiosa AI。
（首图来源：Nvidia）