Thinking Machines发布可在笔记本运行的开源小模型

一、264 亿参数小模型可跑笔记本

Thinking Machines Lab 于北京时间2026年11月20日发布开源小模型 Inkling 2 Mini,模型以 Apache 2.0 协议开放权重,通过 Hugging Face 分发,同时在 Thinking Machines Lab 自家推理与定制平台 Tinker 上提供调用与微调服务。Inkling 2 Mini 接受文本与图像输入并输出文本,支持 100万 token 上下文,定位是通用多模态模型,面向智能体与工具调用系统、编程助手、聊天机器人与检索增强生成等开发者场景。模型最受关注的特点是体积小到可以在笔记本电脑上运行:权重几乎全部采用 NVFP4 低精度格式,显存占用约 20GB,Thinking Machines Lab 演示了模型在一台 M5 Pro 芯片的 MacBook Pro 上离线运行,数分钟内生成一个可玩的飞行模拟器。

二、循环架构与 NVFP4 压缩

Inkling 2 Mini 采用混合专家(Mixture-of-Experts)架构,总参数 264亿,每步激活 34亿参数,同时是一台循环 Transformer:24 层解码器中,中间 12 层对每个 token 重复运行三次,计入循环后每 token 的等效权重激活量为 54亿。权重精度方面,20 层使用 NVFP4 格式,最后 4 层使用 MXFP8 格式,训练与部署采用同一精度,避免了量化转换带来的精度损失,单个检查点大小约 20GB。本地运行需要至少 32GB 统一内存的 Mac 系统,支持的推理框架包括 SGLang、vLLM、Ollama、Unsloth 与 llama.cpp,Hugging Face 还提供了 Transformers 与 MLX 的接入支持。性能方面,Thinking Machines Lab 自称 Inkling 2 Mini 在编程基准 DeepSWE v1.1 上解决 48.2% 的任务,在 Vals Index v2.2 上得分 46.5%,优于所有 1000 亿参数以下的开源权重模型,必须注明的是,这些成绩来自 Thinking Machines Lab 自测数据,未经第三方核验。

三、开源小模型挑战大模型

Inkling 2 Mini 的发布延续了 Thinking Machines Lab 以小模型挑战大模型的主线:用循环复用中间层的方式,让 264 亿参数的模型获得接近更大模型的推理效果,同时把显存占用压到笔记本可以承受的 20GB 水平。第三方评测机构 Artificial Analysis 的测算显示,Inkling 2 Mini 在其智能指数上与 Qwen3.8-27B 最高配置持平,而每个任务的成本约为后者的六分之一、耗时约为四分之一,低成本本地推理的吸引力正在被数据验证。对开发者而言,Apache 2.0 协议的开放权重意味着模型可以自由用于研究、微调与集成进第三方产品,配合 Ollama 与 llama.cpp 等本地框架,离线编程助手与本地智能体成为可落地的选择。从产业角度看,Inkling 2 Mini 代表的路线正在改变小模型的竞争维度:参数规模不再是唯一标尺,循环架构、低精度训练与本地部署的组合,正在把前沿能力推向消费级设备。不过,自测基准成绩仍需独立复核,模型在非编程任务上的表现也未完全公开,开发者在选型时仍应以自己的实际任务测试为准。

信源跟踪: Thinking Machines Lab / Hugging Face 博客 | 数据时间: 北京时间2026-11-20

类似文章

发表回复