Nvidia于本周举行的GTC会议上发布了新一代的Nvidia Hopper架构，以及首款基于该架构的Nvidia H100 GPU。
Nvidia Hopper将接替两年前发布的Nvidia Ampere架构，但采用第二代的安全多实例GPU（Multi-Instance GPU，MIG）技术，允许单一GPU可被分成7个更小且隔离的实例来处理不同形态的任务，Hopper架构得以在云计算环境中于每个GPU实例上提供安全的多租户配置，而延伸最多7倍的MIG能力。
此外，该架构也是为了加速新一代AI任务而设计，具备强大的运算能力及快速的内存，以处理日益增加的网络与资料集；架构中的Transformer Engine也将加快AI性能，把训练庞大模型的时间从数天缩短至数小时。
采用Hopper架构的H100采用台积电4纳米制程，配备超过800亿个晶体管，是首款支持PCIe Gen5及首款使用HBM3的GPU产品，提供每秒3TB的内存带宽，号称只要20个H100 GPU就能支撑全球的网络流量，允许客户得以根据即时资料进行推论，提供先进的推荐系统与大型语言模型。
Nvidia宣称H100改善了AI推论及训练能力，可借由超大规模的AI模型来执行即时与沈浸应用，让聊天机器人使用全球最强大的可定制化语言模型Megatron 530B时，且其吞吐量最高可达前一代的30倍，同时满足即时对话AI所要求的亚秒级延迟。
现阶段包括阿里云、百度智能云、AWS、Baidu AI Cloud、Microsoft Azure、Oracle Cloud与腾讯云，都已计划要采用基于Hopper架构的Nvidia H100 GPU实例。