NVIDIA发布Tao与Fleet Command模型再训练与部署组件

为了进一步强化企业导入AI的速度,NVIDIA通过NGC目录提供预先训练AI模型,并在GTC21发布Tao与Fleet Command等模型再训练与部署组件,强化边缘AI应用。

NVIDIA除了供应AI运算所需的硬件平台外,也提供许多AI应用程序,举例来说包含

不过对于用户或企业而言,在备妥AI相关的软、硬件之后,工作才刚刚开始,接下来还需要准备庞大的资料集,并花费大量时间进行AI模型的训练。

为了缩短导入AI的流程,NVIDIA通过NGC目录提供超过100种预先训练的模型,种类包含语言建模、翻译、自动语音识别、文本转语音、推荐系统、图片分割、物体侦测等不同应用领域,用户可以直接将软件或容器部署至本机、云计算或边缘的计算机、服务器、Kubernetes、虚拟计算机等设备运行。

不过就算有了预先训练模型,也可能会遇到训练使用的资料集跟使用现场的情况有所落差,所以导致AI推论准确度不如预期的状况。然而许多资料集因为商业或机密考量而无法与所有用户分享,造成修正模型的阻碍。

NVIDIA研发了许多用途各异的AI应用程序。

NGC目录提供超过100种预先训练的模型。

为了解决这个问题,NVIDIA推出Tao框架,让用户能够通过输入少量资料(可能少至100组资料),重新训练预先训练模型,强化AI推论准确度,将过去需要花费数日甚至数周的模型调整时间缩短至数小时,能让多方研究人员训练共享的模型,又同时确保资料隐私。

另一方面,Tao也能通过剪枝(Pruning)与量化(Quantization)等优化方式在不影响准确度的前提下,降低运算复杂度与模型尺寸,节省占用的计算资源并提升性能表现。

当用户更新模型之后,可以通过一站式的Fleet Command管理组件快速更新并部署,节省将资料部署至边缘节点所需的时间与人力。

Tao框架可以通过少量资料重新训练预先训练模型。

举例来说,在汽车维修中心通过AI判断人员位置,会因现场跟训练资料集的差距,造成准确度不理想的问题。

Tao可以通过输入大约100组图像资料,将准确度由65%提升至91%,并可通过剪枝与量化降低运算复杂度,缩小模型尺寸并提升性能。

经Tao优化的模型能更准确判断人员位置。

Fleet Command是针对边缘运算设计的管理组件。

Fleet Command可以通过网络快速更新并部署优化模型。

NGC、Tao、Fleet Command能够有效缩短导入AI的流程。