8 月 25 日报道，那个打造出世界最大计算芯片的硅谷明星创企 Cerebras Systems，正将“做大做强”的战略贯彻到极致!
今日凌晨，Cerebras Systems 宣布推出世界上第一个人类大脑规模的 AI 解决方案，一台 CS-2 AI 计算机可支持超过 120 万亿参数规模的训练。相比之下，人类大脑大约有 100 万亿个突触。
此外，Cerebras 还实现了 192 台 CS-2 AI 计算机近乎线性的扩展，从而打造出包含高达 1.63 亿个核心的计算集群。
Cerebras 成立于 2016 年，迄今在 14 个国家拥有超过 350 位工程师，此前 Cerebras 推出的世界最大计算芯片 WSE 和 WSE-2 一度震惊业界。
WSE-2 采用 7nm 工艺，是一个面积达 46225 平方毫米的单晶圆级芯片，拥有 2.6 万亿个晶体管和 85 万个 AI 优化核，无论是核心数还是片上内存容量均远高于迄今性能最强的 GPU。
WSE-2 被集成在 Cerebras CS-2 AI 计算机中。随着近年业界超大规模 AI 模型突破 1 万亿参数，小型集群难以支撑单个模型的高速训练。
而 Cerebras 最新公布的成果，将单台 CS-2 机器可支持的神经网络参数规模，扩大至现有最大模型的 100 倍 —— 达到 120 万亿参数。
在国际芯片架构顶会 Hot Chips 上，Cerebras 联合创始人兼首席硬件架构师 Sean Lie 详细展示了实现这一突破的新技术组合，包括 4 项创新：
(1)Cerebras Weight Streaming：一种新的软件执行架构，首次实现在芯片外存储模型参数的能力，同时提供像片上一样的训练和推理性能。这种新的执行模型分解了计算和参数存储，使得扩展集群大小和速度更加独立灵活，并消除了大型集群往往面临的延迟和内存带宽问题，极大简化工作负载分布模型，使得用户无需更改软件，即可从使用 1 台 CS-2 扩展到 192 台 CS-2。
(2)Cerebras MemoryX：一种内存扩展技术，为 WSE-2 提供高达 2.4PB 的片外高性能存储，能保持媲美片上的性能。借助 MemoryX，CS-2 可以支持高达 120 万亿参数的模型。
(3)Cerebras SwarmX：是一种高性能、AI 优化的通信结构，将片上结构扩展至片外，使 Cerebras 能够连接多达 192 台 CS-2 的 1.63 亿个 AI 优化核，协同工作来训练单个神经网络。
(4)Selectable Sparsity：一种动态稀疏选择技术，使用户能够在模型中选择权重稀疏程度，并直接减少 FLOP 和解决时间。权重稀疏在机器学习研究领域一直颇具挑战性，因为它在 GPU 上效率极低。该技术使 CS-2 能够加速工作，并使用包括非结构化和动态权重稀疏性在内的各种可用稀疏性类型在更短的时间内生成答案。
Cerebras 首席执行官兼联合创始人 Andrew Feldman 称这推动了行业的发展。阿贡国家实验室副主任 Rick Stevens 亦肯定这一发明，认为这将是我们第一次能够探索大脑规模的模型，为研究和见解开辟广阔的新途径。
一、Weight Streaming：存算分离，实现片外存储模型参数
使用大型集群解决 AI 问题的最大挑战之一，是为特定的神经网络设置、配置和优化它们所需的复杂性和时间。软件执行架构 Cerebras Weight Streaming 恰恰能降低对集群系统编程的难度。
Weight Streaming 建立在 WSE 超大尺寸的基础上，其计算和参数存储完全分离。通过与最高配置 2.4PB 的存储设备 MemoryX 结合，单台 CS-2 可支持运行拥有 120 万亿个参数的模型。
参与测试的 120 万亿参数神经网络由 Cerebras 内部开发，不是已公开发布的神经网络。
在 Weight Streaming 中，模型权重存在中央芯片外存储位置，流到晶圆片上，用于计算神经网络的每一层。在神经网络训练的 delta 通道上，梯度从晶圆流到中央存储区 MemoryX 中用于更新权重。
与 GPU 不同，GPU 的片上内存量很小，需要跨多个芯片分区大型模型，而 WSE-2 足够大，可以适应和执行超大规模的层，而无需传统的块或分区来分解。
这种无需分区就能适应片上内存中每个模型层的能力，可以被赋予相同的神经网络工作负载映射，并独立于集群中所有其他 CS-2 对每个层进行相同的计算。
这带来的好处是，用户无需进行任何软件更改，就能很方便地将模型从运行在单台 CS-2 上，扩展到在任意大小的集群上。也就是说，在大量 CS-2 系统集群上运行 AI 模型，编程就像在单台 CS-2 上运行模型一样。
Cambrian AI 创始人兼首席分析师 Karl Freund 评价道：“Weight Streaming 的执行模型非常简洁、优雅，允许在 CS-2 集群难以置信的计算资源上进行更简单的工作分配。通过 Weight Streaming，Cerebras 消除了我们今天在构建和高效使用巨大集群方面所面临的所有复杂性，推动行业向前发展，我认为这将是一场变革之旅。”
二、MemoryX：实现百万亿参数模型
拥有 100 万亿个参数的人脑规模级 AI 模型，大约需要 2PB 字节的内存才能存储。
前文提及模型参数能够在片外存储并高效地流至 CS-2，实现接近片上的性能，而存储神经网络参数权重的关键设施，即是 Cerebras MemoryX。
MemoryX 是 DRAM 和 Flash 的组合，专为支持大型神经网络运行而设计，同时也包含精确调度和执行权重更新的智能。
其架构具有可扩展性，支持从 4TB 至 2.4PB 的配置，支持 2000 亿至 120 万亿的参数规模。
三、SwarmX：几乎线性扩展性能，支持 192 台 CS-2 互连
虽然一台 CS-2 机器就可以存储给定层的所有参数，但 Cerebras 还提议用一种高性能互连结构技术 SwarmX，来实现数据并行性。
该技术通过将 Cerebras 的片上结构扩展至片外，扩展了 AI 集群的边界。
从历史上看，更大的 AI 集群会带来显著的性能和功率损失。在计算方面，性能呈亚线性增长，而功率和成本呈超线性增长。随着越来越多的图形处理器被添加到集群中，每个处理器对解决问题的贡献越来越小。
SwarmX 结构既做通信，也做计算，能使集群实现接近线性的性能扩展。这意味着如果扩展至 16 个系统，训练神经网络的速度接近提高 16 倍。其结构独立于 MemoryX 进行扩展，每个 MemoryX 单元可用于任意数量的 CS-2。
在这种完全分离的模式下，SwarmX 结构支持从 2 台 CS-2 扩展到最多 192 台，由于每台 CS-2 提供 85 万个 AI 优化核，因此将支持多达 1.63 亿个 AI 优化核的集群。
Feldman 说，CS-2 的利用率要高得多。其他方法的利用率在 10%~20% 之间，而 Cerebras 在最大网络上的利用率在 70%~80% 之间。“今天每个 CS2 都取代了数百个 GPU，我们现在可以用集群方法取代数千个 GPU。”
四、Selectable Sparsity：动态稀疏提升计算效率
稀疏性对提高计算效率至为关键。随着 AI 社区努力应对训练大型模型的成本呈指数级增长，用稀疏性及其他算法技术来减少将模型训练为最先进精度所需的计算 FLOP 愈发重要。
现有稀疏性研究已经能带来 10 倍的速度提升。
为了加速训练，Cerebras 提出一种新的稀疏方法 Selectable Sparsity，来减少找到解决方案所需的计算工作量，从而缩短了应答时间。
Cerebras WSE 基于一种细粒度的数据流架构，专为稀疏计算而设计，其 85 万个 AI 优化核能够单独忽略 0，仅对非 0 数据进行计算。这是其他架构无法做到的。
在神经网络中，稀疏有多种类型。稀疏性可以存在于激活和参数中，可以是结构化或非结构化。
Cerebras 架构特有的数据流调度和巨大的内存带宽，使此类细粒度处理能加速动态稀疏、非结构化稀疏等一切形式的稀疏。结果是，CS-2 可以选择和拨出稀疏，以产生特定程度的 FLOP 减少，从而减少应答时间。
结语：新技术组合让集群扩展不再复杂
大型集群历来受设置和配置挑战的困扰，准备和优化在大型 GPU 集群上运行的神经网络需要更多时间。为了在 GPU 集群上实现合理的利用率，研究人员往往需要人工对模型进行分区、管理内存大小和带宽限制、进行额外的超参数和优化器调优等复杂而重复的操作。
而通过将 Weight Streaming、MemoryX 和 SwarmX 等技术相结合，Cerebras 简化了大型集群的构建过程。它开发了一个全然不同的架构，完全消除了扩展的复杂性。由于 WSE-2 足够大，无需在多台 CS-2 上划分神经网络的层，即便是当今最大的网络层也可以映射到单台 CS-2。
Cerebras 集群中的每台 CS-2 计算机将有相同的软件配置，添加另一台 CS-2 几乎不会改变任何工作的执行。因此，在数十台 CS-2 上运行神经网络与在单个系统上运行在研究人员看来是一样的，设置集群就像为单台机器编译工作负载并将相同的映射应用到所需集群大小的所有机器一样简单。
总体来说，Cerebras 的新技术组合旨在加速运行超大规模 AI 模型，不过就目前 AI 发展进程来看，全球能用上这种集群系统的机构预计还很有限。
