Inkling 2 Mini:专为本地部署打造的高性能模型

Inkling 2 Mini 是 Thinking Machines Lab 发布的新模型,定位为本地 AI 场景设计的紧凑多模态 MoE。它的物理总参数约 26B,每个 token 只激活 3B 参数,支持 1M token 上下文,能同时接收图像和文本输入。模型以混合精度存储,expert 权重用 NVFP4 和 MXFP8,另附带一个 DSpark drafter,以少量内存代价换取额外加速。

架构上,Inkling 2 Mini 用循环来增加容量。它共有 24 个 decoder 物理层,但中间 12 层会循环访问三次,逻辑上等效于 48 层(6+3×12+6),每个 token 仍执行 48 次 layer visit。hidden size 是 2,304,每层从 128 个 expert 中路由 8 个(对比 Inkling 2 Small 的 384 个)。循环的关键是跨 pass 通信:每一轮经过中间核心时都从同一输入出发(前 6 层输出),每层用自己的 learned query 从上一轮输出读取 message,一个小 gate controller 决定当前输入与 message 的混合比例,因此每一轮都在修正上一轮的结果。每个 6 层 block 含 5 个 sliding-window 层和 1 个 full-attention 层,局部窗口 1,024 token;注意力用 24 个 query head、8 个 KV head,full-attention 层用动态 key/value convolution。四个 rank-64 gate 把 message 混进 query、key、value 和 MoE 输入。Router 归一化所选 expert 的分数并把权重按 8 缩放。循环层权重复用减少了 checkpoint 存储的独立层数,但每个 visit 仍保留自己的 KV 和 short-convolution 状态。

研究变体 TML-d24-varloop-research 也一并发布,训练时接受可变循环次数。把循环从 3 次调成 1 或 2 次,推理会明显变快,生成质量略降;官方确认它能跑通,但尚未深入评估。

基准方面,官方称 Inkling 2 Mini 在 Artificial Analysis Intelligence Index v5(AAv5)中达到同类 SOTA。与 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B、Nemotron 3.5 Super VL 相比,在 48 个基准中领先 32 个,覆盖 coding、autoresearch、agentic search、tool use、视觉理解与生成、推理与知识、安全与对齐。本地编码场景,它领先 FrontierCode v2.0,在 Terminal-Bench 4.0 与 Qwen3.8-27B 持平,在 AutomationBench-AA v1.0.6 上落后 Qwen。完整分数在 model card。

部署支持完整:transformers 用 AutoModelForMultimodalLM 直接加载,固定循环和研究变体都支持;Llama App 与 llama.cpp 提供 IQ4_NL 4-bit 与 Q8_0 8-bit 的 GGUF 量化;MLX 支持已上游到 mlx-lm,且能直接用原始 checkpoint 而不重新量化,保留原生 NVFP4+MXFP8 精度;SGLang day-zero 支持,需要运行在 SM103 上,可通过 –enable-multimodal 打开多模态,用三层 DSpark draft 做 speculative decoding。官方在单张 NVIDIA B300 上对比了有无推测解码的生成速度,每个请求 1,024 token 输入、生成 1,024 token,并发从 1 测到 64。模型还支持 reasoning effort 调节(默认 high 0.9)与工具调用。

最后的 vibe test 演示更接近真实使用。同一个 WebGL shader prompt 下,Inkling 2 Mini 与 Qwen 3.8 27B 各自生成了日落飞行场景;给 Inkling 一张梵高《星月夜》参考图,它在 Pi 编码环境里写出单 HTML 文件,用 WebGL2 fragment shader 程序化生成动态星夜,迭代 24 轮截图自查,最终在 Apple M4 Max 上以 1080p 60fps 逐帧录制;给一张手绘 Trip Split 线框图,它生成可交互的账单分摊应用,第一次尝试就通过全部 13 项检查,加入 $90 晚餐后总金额从 $405 变为 $495;4-bit 量化版也能从一句 prompt 做出带自绘 SVG 和匹配逻辑的 plant therapy 网站;它还能配合 Pi coding agent 把自己构建成浏览器 agent。这些不是严格评测,但展示了模型在长链路代码任务上的实用性。

官方强调 Inkling 2 Mini 比 Inkling 2 Small 小很多,设计目标就是本地运行。更多验证仍然需要。

Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup

查看原文