Cerebras拆分推理方案让GPU与自研芯片各司其职

一、核心突破与产品

北京时间 2026 年 11 月 17 日,美国人工智能芯片公司 Cerebras 宣布,拆分推理(disaggregated inference)已在其推理云上投入生产。拆分推理把一次推理请求分成两个阶段:提示预处理(prefill)交给图形处理器完成,响应生成(decode)交给 Cerebras 自家的 CS-3 晶圆级芯片系统完成。在这次生产部署中,预处理由 AMD Instinct 图形处理器负责,解码由 Cerebras CS-3 系统负责。Cerebras 称,这一组合在每兆瓦吞吐量上达到纯 CS-3 方案的 5 倍,且生成速度没有下降。实测数据来自 11 月 14 日 Cerebras 推理云上一个共享的 GPT-OSS-120B 模型端点,对比的是启用拆分推理前后的每兆瓦吞吐量,并以聚合推理基线为 1 倍进行归一化。Cerebras 还面向基础设施合作伙伴推出了拆分推理软件平台,提供完整方案和仅解码两种选择:完整方案包含预处理引擎、解码引擎和负责搬运模型状态的 KV Portal;仅解码方案允许合作伙伴保留自己的推理框架和预处理引擎,只使用 Cerebras 的解码引擎和 KV Portal。首批早期合作伙伴包括亚马逊云科技(Amazon Web Services,AWS)、Fireworks AI、Gimlet Labs 和 General Compute。

二、底层架构与关键参数

拆分推理的出发点是预处理与解码对硬件的需求完全不同。预处理需要一次性处理整段输入提示,计算密集,适合图形处理器并行处理;解码是逐个 token 自回归生成,受显存带宽限制,对片上存储容量和带宽更敏感。Cerebras 认为 CS-3 系统的优势正在解码阶段:Cerebras 称,CS-3 的片上静态随机存储器(SRAM)容量约为典型 GB300 图形处理器的 350 倍,显存带宽约为 5400 倍,因此把解码留在 CS-3 上,把预处理交给图形处理器,可以让两类硬件各做最擅长的事。拆分推理的软件栈在两个池子之间路由请求,管理副本容量和健康状态:预处理引擎可以使用开源推理引擎 vLLM 或 SGLang,解码引擎由 Cerebras 提供,KV Portal 通过远程直接内存访问(RDMA)技术在两类系统之间搬运模型状态。Cerebras 表示,拆分推理方案兼容 AMD 图形处理器,也兼容其他图形处理器,并非只绑定单一供应商。Cerebras 计划在 2027 年年底前,把拆分推理广泛部署到 Cerebras 推理云和合作伙伴部署的数百兆瓦算力规模上。需要提醒的是,5 倍的数字来自 Cerebras 自身的单端点实测,对照基线是纯 CS-3 配置,而非图形处理器方案,Cerebras 也没有公布绝对的每秒 token 数和功耗数字,实际收益会随工作负载和配置变化。

三、产业生态与行业影响

Cerebras 的拆分推理反映了推理市场正在发生的结构性变化:推理需求已经大到单一芯片难以兼顾成本与速度,混合硬件正在成为现实选择。过去,推理服务商往往在图形处理器和专用芯片之间二选一;拆分推理提供了一条中间路线,让图形处理器处理提示,让专用芯片负责生成,理论上可以同时拿到图形处理器的通用性和专用芯片的速度。亚马逊云科技、Fireworks AI 等合作伙伴的加入,说明云厂商和推理平台对这一路线有实际兴趣,Cerebras 也借此把自己的市场从单纯卖芯片扩展到了推理云和合作伙伴部署。另一方面,拆分推理的成败取决于跨硬件的协同成本:提示状态要在图形处理器和 CS-3 系统之间搬运,网络延迟和软件复杂度都可能抵消部分收益,Cerebras 用 KV Portal 和 RDMA 技术回应了这一问题,但大规模部署的稳定性仍需验证。总体看,拆分推理的意义不在于 5 倍这个数字本身,而在于它证明了异构推理可以投入生产:未来的推理基础设施可能不再是单一芯片的天下,而是多种硬件按阶段分工的组合。

信源跟踪: Cerebras、AI Nightly | 数据时间: 北京时间 2026-11-17

类似文章

发表回复