ARTICLE / 技术手记
AI 热点快报:Inkling 2 Mini 让本地推理不能只看 token 数(2026-11-22)
Thinking Machines Lab 发布开放权重的 Inkling 2 Mini,每生成一个 token 会重复运行中间层,选型时要实测完成任务的时间、资源占用和成功率。
事件与背景#
11 月 20 日,Thinking Machines Lab 发布了开放权重的 Inkling 2 Mini。它有 264 亿总参数,但特别之处不在参数量:模型共有 24 层,中间 12 层用同一组权重执行三遍,首尾各执行一遍,所以每生成一个 token,实际执行 48 次层计算。模型卡把常规活跃参数与计入循环后的每 token 等效活跃参数分开列出,分别约为 34 亿和 54 亿。[1][2]
这让常用的效率指标有了一个盲点:两个模型生成同样多的 token,每一步消耗的计算可能不同;反过来,每一步更贵的模型也可能更早交付可用结果。厂商在 DeepSWE v1.1 上报告了 48.2% 的任务解决率,测试使用 mini-swe-agent v2.4.6;结果可以作为试用理由,但不能当作换成自家编码工具后的验收成绩。Hacker News 讨论里也有读者把判断加了一个前提:跑分能否在真实场景中站得住。[1][2][3]
可核对来源(均经 curl 验证返回 HTTP 200):
为什么现在重要#
- 输出变短,不等于任务更快。 层循环复用同一组权重,却不省掉重复执行;厂商公告的速度图也标明,它展示的是指定带宽、精度和单请求批量下的理论上限,不是每款笔记本的实测值。[1] 对部署决策而言,流式输出快不快仍然有用,但采购和选型更该看从提交任务到测试通过用了多久,以及失败重试消耗了多少资源。
- 能装下权重,不代表工作时还有余量。 官方模型卡列出约 20 GB 的混合精度检查点,并把 32 GB 及以上统一内存的 Apple silicon 设备列为支持配置;厂商的离线展示用的是 48 GB MacBook Pro。[1][2] 对团队而言,能否在编辑器、构建工具和推理同时运行时维持响应,比单独启动模型更能判断这台设备是否适合日常开发。
- 多做内部计算,不等于知道更多事实。 厂商在另行发布的可变循环研究版本上观察到,增加循环次数有助于部分长上下文任务,但没有改善多项知识密集型测评;这不是正式版开放了循环次数开关。[1] 产品上可以先让它处理证据已经在手边的工作,比如依据仓库现有代码和测试提交一个局部修改,而不是把更强的推理当作最新文档或可信检索的替代品。
- 解释文字不是操作审计。 厂商的可变循环实验中,增加循环次数可以让模型写出的推理过程变短。[1] 因此,编码助手即使说明得很清楚,也不应仅凭文字获准写入工作区;用改动清单、测试结果和人工确认做验收,才能区分模型声称做了什么和工具实际执行了什么。
工程师/产品人今天能做什么#
- 第 1 天:从近期工单选一组可复跑任务。 混合失败测试定位、局部重构和文档修订,用历史提交构造起点,在试验前写好通过条件。至少保留一类当前助手常做错的任务,让试验有机会暴露真实短板,而不是只重演顺手的演示。
- 第 2–3 天:与现用方案做同条件对照。 固定仓库快照、工具权限、上下文上限和超时;记录首个输出时间、到验收通过的总耗时、峰值内存和重试次数。超时和失败也记入结果,避免只统计成功样本,得出新模型更快的错觉。
- 第 4–5 天:在目标设备上测资源争用。 先测单任务冷启动,再保持编辑器和构建工具开启,复跑长输入及并发请求。记录量化版本和运行时版本;一旦出现交换空间持续增长、界面卡顿或任务超时,就按实际体验下调并发或输入上限。
- 第 6–7 天:写清哪些任务留在本地。 先开放低风险且可自动验收的改动,跨模块修改和高权限操作仍需人工复核;本地任务超时后,如果允许使用云端,先明确哪些数据能发送、何时获得用户确认。最后用一页结果记录适用任务、停止条件和回退路径。
待观察#
- 是否出现独立复测,在固定硬件、精度和工具配置下公开完整任务用时、失败分布与资源占用,而不只是报告模型的生成速度。
- 不同本地运行时能否在同一批开发任务上获得接近的结果;尤其是更紧凑的量化版本,节省的内存是否会被成功率下降和重试抵消。