AWS推出采用Nvidia T4 GPU的EC2实例,加速AI应用及图形运算

AWS现在更新EC2的G系列实例,新推出采用Nvidia T4 Tensor Core GPU的6个配置G4实例,以及裸机实例,这些实例是专为机器学习的训练和推理、视频转码、游戏串流以及远程绘图工作站应用程序设计,G4目前已经可在全球9个AWS地区开始使用。

G4实例最多能够配置4个Nvidia T4 Tensor Core GPU,每个GPU具有320个Turing Tensor核心、2,560个CUDA核心和16 GB内存。T4 GPU除了可以处理机器学习推理、计算机视觉、视频处理和即时自然语言处理外,而且因为拥有RT核心,所以可高效率的进行硬件加速光线关注,用户可以从AWS市场中下载Nvidia Quadro虚拟工作站,执行即时光线关注渲染,加快多媒体娱乐和建筑等领域的应用。

G4实例使用由AWS订制的第二代英特尔Xeon可扩展处理器,提供最多64个vCPU,并且构建于AWS Nitro系统之上,Nitro本地端NVMe存储构建区块提供最高达1.8TB容量,而Nitro网络构建模块则支持高速ENA网络。官方提到,英特尔AVX512深度学习增强功能,通过增加一组新的矢量神经网络指令(VNNI)扩展了AVX-512,而这些指令加速了推理算法中,内部循环低精度的乘法与加法运算。

最新的AWS Deep Learning AMI(Amazon Machine Image)也已经支持G4实例,官方将g3.16xlarge实例与g4dn.12xlarge实例进行了基准测试,比较两实例使用可扩展深度学习框架MxNet进行推理和训练工作负载的速度,G4速度快了约2倍,而机器学习函数库Tensorflow推理和训练的速度,也快了2倍。基准测试使用FP32数值精度进行运算,官方提到,如果用户使用混合精度FP16以及低精度INT8,则会获得更多的性能加速。

目前G4可以于美东、美西、欧洲和亚太等9个区域使用,AWS提到,他们也将在Amazon SageMaker和Amazon EKS集群中提供G4。