法国OVHcloud发布七十亿参数高效小模型

一、每Token仅激活十亿参数的小模型发布

法国云计算公司OVHcloud于2026年11月17日发布小型语言模型Olala mini 7A1B,总参数70亿,采用混合专家(MoE)架构,每层设置256个专家,处理单个Token时仅激活10亿参数。Olala mini 7A1B的上下文窗口为3.2万Tokens,计划在年底发布的1.1版中扩展至12.8万Tokens。OVHcloud的官方发布会定于11月19日举行,模型权重计划通过Hugging Face发布,但发布会当天是否上线尚未确认。OVHcloud把Olala mini 7A1B定位为以极低激活参数量做实用推理的产品,主打成本与效率。70亿总参数与10亿激活参数的组合,是Olala mini 7A1B在发布时最受关注的一组数字。

二、混合专家架构压低单次推理计算量

Olala mini 7A1B的架构特点是参数总量与激活量之间的巨大落差:总参数70亿,每层256个专家,处理单个Token时仅激活10亿参数,混合专家(MoE)架构让模型在保持能力的同时把每次推理的实际计算量压到很低。上下文窗口方面,当前版本为3.2万Tokens,OVHcloud计划在年底发布的1.1版中把上下文窗口扩展至12.8万Tokens,扩展至4倍的窗口将让Olala mini 7A1B能够处理更长的文档与对话。OVHcloud定于11月19日举行官方发布会,模型权重计划通过Hugging Face发布,发布会当天是否上线尚未确认,这一时间表留给开发者一个明确的等待节点。对开发者来说,1.1版的窗口扩展意味着同一模型可以在年底覆盖更长的输入,这对文档问答与长对话场景尤为重要。

三、小模型转向单位成本下的实用能力

小型语言模型的竞争焦点正在从参数规模转向单位成本下的实用能力,Olala mini 7A1B以每Token仅激活10亿参数的设计切入这一赛道,OVHcloud显然希望用成本与效率吸引对推理开支敏感的用户。Hugging Face作为权重发布渠道的选择,也让Olala mini 7A1B更容易进入开源社区的视野,开发者可以在发布会之后直接下载试用。如果1.1版能够如期把上下文窗口扩展至12.8万Tokens,Olala mini 7A1B在长文档处理场景中的可用性将明显提升,而这正是小型模型最常被质疑的短板之一。

信源跟踪: OVHcloud 官方 | 数据时间: 北京时间 2026-11-17

类似文章

发表回复