采用Ampere架构的NVIDIA Orin低功耗SoC在MLPerf性能测试中创下AI推论新纪录，推升了边缘AI运算的性能标杆。
MLPerf是由学术界、研究实验室和业界人士共同组成组织，旨在打造公正且能够反映实际应用场景的AI运算测试基准。在最新的MLPerf 2.0规范中，在边缘运算环境导入多资料流（Multi Stream）测试项目，测量边缘运算设备在多摄影机、多传感器场景的性能表现，以得到更贴近真实使用情况的数据。
Orin是针对边缘AI运算设计的低功耗SoC，除了能搭配Hyperion自动驾驶汽车平台应于车用计算机，也适合多种机器人应用。在最新MLPerf 2.0性能测试中，Jetson AGX Orin的性能最高可达前代Jetson AGX Xavier的5倍，同时提供平均2倍的电力效率。
MLPerf测试包含推荐系统、自然语言处理、语音识别、医学图片、图片分类、对象侦测等多个项目。
MLPerf 2.0导入多资料流（Multi Stream）测试项目，测量边缘运算设备在多摄影机、多传感器场景的性能表现。
根据最新MLPerf 2.0性能测试，Jetson AGX Orin的性能最高可达前代Jetson AGX Xavier的5倍，同时提供平均2倍的电力效率。
Jetson AGX Orin的性能表现也高于竞争对手Qualcomm Cloud AI100DM.2。
同为PCIe适配器形式的产品NVIDIA A100也有高于Qualcomm Cloud AI100 PCIe的表现。
各测试项目中A100的性能皆领先Cloud AI100 PCIe，但部分项目的电力效率落后。
在特定项目中，NVIDIA A100甚至有105倍于处理器的AI运算性能。
从测试数据可以看到多执行实例GPU仅会损失2%的性能。
NVIDIA也通过数据表示现有的A100GPU在众多测试项目都有出色表现，而且NVIDIA是唯一在所有MLPerf测试中都有提交成绩的公司，并通过测试成绩说明多执行实例GPU（Multi-Instance GPU，MIG）能在几乎不影响性能的前提下进行GPU的虚拟化，增加使用弹性。