苹果联手康奈尔发布视频模型每帧仅需36毫秒
一、核心突破与产品
北京时间 2026 年 11 月 18 日,苹果(Apple)与康奈尔大学(Cornell University)联合发布视频生成模型 FastFrames,论文于 11 月 17 日提交至 arXiv,编号为 arXiv:2611.23226。FastFrames 是一组自回归视频扩散模型,包含 13 亿参数的 FastFrames-S 和 140 亿参数的 FastFrames-L 两个版本,生成分辨率为 832×480 的视频,每段视频 81 帧,帧率为 每秒 16 帧。FastFrames 最核心的指标是延迟:FastFrames-S 在单块 英伟达 B200 图形处理器上,每生成一帧只需 36 毫秒,相当于每秒生成 28 帧;FastFrames-L 在 8 块 B200 组成的节点上,每帧只需 45 毫秒,相当于每秒 22 帧。苹果与康奈尔大学的研究团队指出,36 毫秒已经低于 50 毫秒的交互延迟门槛,意味着视频生成可以接近实时交互的速度,用于游戏、虚拟现实和实时影像创作。FastFrames 的代码、权重和项目页面已经公开,研究团队还发布了经过优化的 LingBot 1.3B 模型,支持流畅的相机条件控制。
二、底层架构与关键参数
FastFrames 的提速思路不是单纯减少去噪步数,而是重新分析自回归视频生成的耗时分布。研究团队以当时最快的少步自回归视频扩散基线 Causal Forcing++ 为对照,发现基线在 480p 分辨率下每帧需要 272 毫秒,其中扩散采样只占约三成时间,变分自编码器(VAE)解码占 147 毫秒,另外一次扩散变换器评估只为刷新键值缓存。FastFrames 把这两处耗时大户同时换掉:一是用基于 ConvNeXt 的像素头取代变分自编码器解码器,像素头在低空间分辨率上运行,再经过一个线性层把隐变量还原为像素;二是用轻量网络取代原来专门刷新键值缓存的扩散变换器评估。经过这两处替换,FastFrames-S 在单块 B200 上每帧总耗时降至 36 毫秒,比 272 毫秒的基线快约 7.6 倍。在生成质量上,FastFrames-S 的 VBench 总分为 84.23 分,FastFrames-L 为 84.44 分,与基线的 84.11 分基本相当。两个版本均由 Wan2.1-14B 模型通过 Causal Forcing++ 方法蒸馏得到,采用两步扩散采样。需要注意的是,FastFrames-L 在单块图形处理器上每帧需要 158 毫秒,45 毫秒的成绩依赖 8 块 B200 节点,实际部署成本仍需结合硬件条件评估。
三、产业生态与行业影响
FastFrames 把视频生成的竞争焦点从画质拉回到了延迟。过去一年,视频生成模型不断刷新分辨率和时长指标,但交互场景始终受制于逐帧等待:用户输入指令后,模型需要数百毫秒才能给出下一帧,难以用于实时游戏和虚拟现实。FastFrames 用 36 毫秒的单帧延迟证明,自回归视频扩散模型可以在保持质量的前提下进入交互区间,这为实时视频创作、虚拟主播和具身智能的视觉反馈提供了新的技术选项。苹果与康奈尔大学公开代码和权重的做法,也让中小团队可以直接复现和改进这套方法,而不必从零搭建视频扩散管线。不过,FastFrames 目前仍有明显边界:输出固定为 832×480 分辨率和每秒 16 帧,单段视频约 5 秒,更长视频需要自回归拼接,画质和连贯性能否保持仍需验证。总体看,FastFrames 的意义在于指明了一个方向:视频生成的下一个突破口可能不在更大的模型,而在把每一帧的等待时间压缩到人感觉不到的程度。
信源跟踪: 苹果、康奈尔大学、AI Weekly | 数据时间: 北京时间 2026-11-18
