阿布扎比人工智能大学发布开源模型舰队
一、K2-Horizon 模型舰队发布
阿联酋穆罕默德·本·扎耶德人工智能大学(MBZUAI)旗下基础模型研究所(IFM)2026 年 11 月 17 日发布开源语言模型舰队 K2-Horizon,共 6 款模型,从 9 亿参数(0.9B)稠密模型到 3750 亿参数、每 Token 激活 230 亿参数的混合专家(MoE)旗舰模型 375B-A23B,面向推理、编程与智能体任务。开放程度按 LLM360 开源科学标准衡量:公开全部中间训练检查点、约 10 万亿(10T)合成预训练 Tokens 的数据管线,而不仅是模型权重。其中 4 款模型(3.7B、7B、32B、36B-A4B)共享同一 22 万亿 Tokens 预训练语料与训练方法。旗舰 375B-A23B 分两个阶段用 15.1 万亿 Tokens 训练,使用英伟达 H200 芯片,提供 FP8 与 NVFP4 量化版本。论文 11 月 16 日提交 arXiv(编号 2611.21003),作者 94 人,全部成果发布于 ifm.ai/k2。从最小的 9 亿参数模型到最大的 375B-A23B 旗舰模型,6 款模型的跨度覆盖了从轻量部署到大规模推理的不同需求。
二、开放程度与关键技术细节
技术层面,K2-Horizon 提出价值混合注意力(MoVA,把混合专家用于注意力价值投影)与 softplus 注意力门控,以及无损扩散适配器 Uno。其中 36B-A4B 模型以约七分之一的激活参数接近同数据训练的 32B 稠密模型水平,显示出混合专家架构在参数效率上的优势。基准测试方面,据论文称,旗舰模型在 Toolathlon-Verified(工具使用基准)上得分 65.3,领先 GLM-5.2、MiniMax M3、Nemotron 3 Ultra 等开源模型,并超过 GPT-5.6 Terra,以上均为作者自报成绩。需要如实说明的是,375B 与 36B 两款模型目前只发布权重,完整训练数据与代码承诺后续发布,尚未全部公开,因此这次发布在开放程度上的兑现仍有待后续跟进。4 款中小模型共享同一 22 万亿 Tokens 预训练语料与训练方法的做法,让不同规模模型之间的对比更具可比性,也让研究者可以沿着同一条训练路线复现和检验结果。旗舰模型分两个阶段用 15.1 万亿 Tokens 训练,并提供 FP8 与 NVFP4 量化版本,兼顾了训练规模与实际部署时的推理成本。
三、开源生态与后续待兑现承诺
K2-Horizon 的发布给开源模型生态带来了一支规模跨度很大的新舰队:从 9 亿参数的轻量稠密模型到 3750 亿参数的混合专家旗舰模型,研究者可以根据推理、编程与智能体任务的不同需求选择合适的规模,而不必在单一尺寸上勉强适配。公开全部中间训练检查点与约 10 万亿合成预训练 Tokens 数据管线的做法,比只公开权重更进一步,让外部研究者能够追踪训练过程、复现关键步骤,这正是 LLM360 开源科学标准所强调的开放程度。全部成果发布于 ifm.ai/k2,论文作者 94 人,规模本身也说明这是一次机构级的系统性投入,而不是个别团队的单点尝试。值得留意的是,375B 与 36B 两款模型目前只发布权重,完整训练数据与代码承诺后续发布,开放承诺的最终成色要等后续发布兑现后才能判断。开源模型的竞争正在从比拼基准分数转向比拼开放的可验证程度,谁公开的训练细节越多、越可复现,谁的研究就越容易被社区信任和使用,K2-Horizon 在这个方向上已经迈出了很实在的一步。
信源跟踪: MBZUAI / IFM(Hugging Face 论文) | 数据时间: 北京时间 2026-11-17
