Nvidia发布新一代的Hopper GPU架构

Nvidia于本周举行的GTC会议上发布了新一代的Nvidia Hopper架构,以及首款基于该架构的Nvidia H100 GPU。

Nvidia Hopper将接替两年前发布的Nvidia Ampere架构,但采用第二代的安全多实例GPU(Multi-Instance GPU,MIG)技术,允许单一GPU可被分成7个更小且隔离的实例来处理不同形态的任务,Hopper架构得以在云计算环境中于每个GPU实例上提供安全的多租户配置,而延伸最多7倍的MIG能力。

此外,该架构也是为了加速新一代AI任务而设计,具备强大的运算能力及快速的内存,以处理日益增加的网络与资料集;架构中的Transformer Engine也将加快AI性能,把训练庞大模型的时间从数天缩短至数小时。

采用Hopper架构的H100采用台积电4纳米制程,配备超过800亿个晶体管,是首款支持PCIe Gen5及首款使用HBM3的GPU产品,提供每秒3TB的内存带宽,号称只要20个H100 GPU就能支撑全球的网络流量,允许客户得以根据即时资料进行推论,提供先进的推荐系统与大型语言模型。

Nvidia宣称H100改善了AI推论及训练能力,可借由超大规模的AI模型来执行即时与沈浸应用,让聊天机器人使用全球最强大的可定制化语言模型Megatron 530B时,且其吞吐量最高可达前一代的30倍,同时满足即时对话AI所要求的亚秒级延迟。

现阶段包括阿里云、百度智能云、AWS、Baidu AI Cloud、Microsoft Azure、Oracle Cloud与腾讯云,都已计划要采用基于Hopper架构的Nvidia H100 GPU实例。

发表评论