Cerebras公开全球首个人类大脑级AI解决方案,台积电7纳米制程扮核心角色

人工智能 (AI) 创新计算解决方案创业公司企业Cerebras Systems表示,目前人脑含约100万亿个神经元突触,但最大AI硬件集群约才人类大脑规模1%,或约1万亿个神经元突触量,称为参数。这些AI硬件处理器集群仅为人类大脑一小部分,却占用数英亩空间和数万亿瓦功率,且需要专门团队操作。基于以上因素,Cerebras Systems于24日推出世界第一个人类大脑级AI解决方案,能支持超过120万亿个参数运算模型。

Cerebras Systems强调,世界第一个人类大脑级AI解决方案是使单个小型冰箱大小,内置CS-2运算系统的AI硬件系统支持超过120万亿个参数的模型。Cerebras Systems采用4项业界领先技术,包括Cerebras Weight Streaming新软件执行架构、Cerebras MemoryX内部内存扩展技术、Cerebras SwarmX高性能互联接构技术、Selectable Sparsity动态收集技术。

Cerebras Weight Streaming技术首次完成芯片外存储模型参数的能力,同时提供与芯片相同的训练和推理性能。新执行模型分解计算和参数存储,允许研究人员独立灵活扩展规模和速度,并消除挑战大型小型处理器集群的延迟和内存带宽问题。极简化工作负载分配模型,设计目的是让用户可从使用一个CS-2运算系统,或扩展到最多192个CS-2运算系统,无需变更软件。

Cerebras MemoryX是内存扩展技术。MemoryX提供高达2.4PB高性能内存。CS-2运算系统可支持有多达120万亿个参数的模型。Cerebras SwarmX是高性能、人工智能优化通信结构,使Cerebras Systems最多于192个CS-2运算系统连接1.63亿个AI优化核心,协同工作以训练单个神经网络。

Selectable Sparsity技术使用户在模型选择权重稀疏程度,并直接减少浮点运算的耗耗时间 (FLOPs) 和解决时间。权重稀疏(weight sparsity)是机器学习研究的重要领域,图形处理单元效率极低,过去一直难以突破发展。如今通过可选择权重稀疏性使CS-2运算系统加速工作,并使用每种可用类型的稀疏性,包括非结构化和动态权重稀疏性,更短时间内生成答案。

通过技术组合,Cerebras Systems表示,用户能轻松解锁大脑规模的神经网络,并将工作分配到大量人工智能优化的核心集群。Cerebras Systems能在模型大小、计算集群能力和大规模编程的简单性方面设置新基准。

整个系统核心Cerebras CS-2人工运算系统核心部分,由Wafer Scale Engine (WSE-2) 处理器提供动力。这是有史以来最大的芯片和最快的AI处理器,由芯片代工龙头台积电7纳米制程生产。WSE-2是有2.6万亿个晶体管和850,000个AI优化核心的单个芯片级芯片。目前最大图形处理单元只有540亿个晶体管,比WSE-2少了2.55万亿个晶体管。WSE-2还拥有比图形处理单元竞争对手多123倍的核心和1,000倍的高性能内置内存。

WSE-2处理器大小特别适用Cerebras架构。与图形处理单元不同,传统架构下,少量芯片内存需要跨多个芯片分区运算大型模型,但WSE-2处理器可适应和执行非常多层面,无需传统屏断或分区执行运算。芯片上异植内存的方式,适合每个模型层而不需要分区能力,代表每个CS-2运算系统可赋给相同神经网络工作负载,并每一层进行相同计算,独立于整个网络。对用户来说,简单性允许将模型从单个CS-2运算系统扩展到任意大小集群,无需任何软件更改。

(首图来源:Cerebras Systems)

发表评论