特斯拉宣称自建超级计算机已达全球第7大

特斯拉宣称自建的超级计算机集群,运算速度已经达到全球超级计算机排名第7的水准。

特斯拉工程经理Tim Zaman上周通过推特宣布公司将赞助8月29日到9月1日举行的MLSysConf大会,也将展示特斯拉AI团队开发的Nvidia A100 GPU超级计算机硬件成果。

Zaman说现在这个系统已升级到7,360颗A100(80GB)GPU,以GPU数量来看的话,相当于全球第7大。这个数字也比去年的5,760颗多了1,600颗,增加28%。

Nvidia A100 GPU为Nvidia为数据中心设计的Ampere架构GPU,具备80GB HBM2e内存,内存带宽到2TB/s,用电量高达400W。它也相当适合用于AI模型训练、资料分析及高性能计算(HPC)应用之执行。

特斯拉并未说明这座AI系统的实际运算性能。Tom’s Hardware报道,使用数量6,144颗A100 GPU的美国国家能源研究科学计算中心(National Energy Research Scientific Computing Center,NERSC)Perlmutter超级计算机基准测试性能达70.87 petaflops,而HPC Wire估计特斯拉的AI超级计算机可能达到每秒100 petaflops。

不过未来特斯拉自建超级计算机可能逐渐转向自家芯片。马斯克于2020年宣布他们自行开发训练神经网络的超级计算机以处理大量图片资料,名为Dojo。他当时也为这项计划公开征才。这个部门位于加州帕罗奥图市、德州奥斯汀及西雅图。

配合Dojo,特斯拉也正在开发专用的D1 Dojo ASIC芯片,强调将具备极大运算性能(362 TFLOPS)、传输率及带宽,完全专为ML训练和高速带宽而设计。