ARTICLE / 技术手记
AI 热点快报:FrontierHarness 把 Agent 选型从模型榜单改成组合验收(2026-11-18)
Runta 的 FrontierHarness Eval v1.1 报告显示,同一模型搭配不同执行框架,平均任务推理成本可相差 1.8—5.0 倍,工程选型应同时验证成功率与交付成本。
事件与背景#
11 月 17 日,Runta 发布 FrontierHarness Eval v1.1,联合推理服务商 Baseten,把编码 Agent 的比较单位从“哪个模型强”推进到“哪个模型与执行框架搭配更划算”。这里的 harness 不只是聊天界面,而是组织提示词、工具调用、上下文、重试与停止条件的执行框架。
报告称,测试覆盖 22 种配置、5 个开放模型、62 个终端任务,每项尝试 4 次,共 27,280 次运行。最值得关注的不是冠军,而是组合效应:固定模型后,最贵与最便宜框架的平均任务推理成本相差 1.8—5.0 倍;Codex CLI 的任务成本排名,在 GLM-5.3 上为第一,在 Kimi-K3 上却是第十六。这些是测试方报告的结果,不是本文独立复现。
来源与核查入口如下,发布前均经 curl 验证返回 HTTP 200,且正文与主题匹配:
- Runta:FrontierHarness Eval v1.1 报告:实验设置、成本定义、排名与局限。
- FrontierHarness 公开评测入口:提供评测说明与交互榜单。抓取到的静态说明写的是 21 种配置,与报告的 22 种不一致;本文的实验规模采用有日期的报告口径,不把两页视为相互验证。
- Claude Code 团队谈验证机制:11 月 16 日发布的相邻工程实践,强调真实运行与独立检查。它不是上述榜单的复核来源。
这次发布的信号是:Agent 的采购和升级,不能再只换一个模型名,然后默认旧框架仍然最优。
为什么现在重要#
1. 模型与框架是需要一起验收的配置。 报告里,不同模型对应的“最佳性价比”框架不同;但除部分组合外,领先者的统计稳定性有限,作者也提醒几个百分点的通过率差距可能只是打平。影响判断:团队应维护候选组合,而不是把公开榜单第一名固化成基础设施。
2. 更贵的执行过程不等于更高的完成率。 报告分别统计平均任务成本和“平均任务成本除以通过率”的每次通过成本,后者才把失败消耗算进去。作者还指出,64.5% 的标价推理支出落在未通过的运行上。影响判断:产品若只展示单次请求价格,就可能掩盖一项功能反复尝试后仍未交付的真实代价。
3. 提示词变短,不代表账单一定变小。 在这组实验中,初始提示词大小、工具数量与每次通过成本没有明显相关关系,执行步数却呈正相关。作者解释,每一步都会再次发送上下文,累计输入才是大头。影响判断:优化应先检查无效搜索、重复读文件和低效修复循环,而不是仅削减系统提示词。这里是相关性观察,不足以证明“少走一步必然更好”。
4. 验证能力正在成为交付能力的一部分。 报告发现,五个最佳性价比框架的失败运行中,68%—82% 以最终回答结束,而不是撞上时限;其中存在自信地声称完成、却没通过验证的案例。Claude Code 团队的文章则主张把检查规则隔离于被检查的改动之外。影响判断:面向用户的完成状态应来自测试或业务证据,不能直接复制 Agent 的收尾语气。
工程师/产品人今天能做什么#
以下是一周内可执行的本地验证计划,不是照搬公开榜单的推荐采购清单。
- 前两天,建立小型真实任务集。 从近期已解决工单中挑选缺陷修复、脚本处理和跨文件修改,固定起始提交与验收条件;删掉生产凭证,禁止访问标准答案。每个任务保留机器可检查的完成证据。
- 第三至四天,只比较少量组合。 先固定当前模型,比较现用框架与一个替代方案;再替换一个候选模型。记录工具版本、参数、超时、供应商及重复运行结果,不把不同环境的成绩直接拼成排名。
- 第五天,统一成本账本。 同时报通过率、每任务推理成本、每次通过成本和耗时;另列容器、外部工具与人工复核支出。不要把报告的标价推理估算当成自己的全链路账单。
- 第六至七天,加一个独立完成门槛。 给最常见任务配冒烟测试或端到端检查,要求保存退出码、产物和对应提交;先以观察模式记录“Agent 宣布完成但验收失败”,确认误报后再阻断发布。修复不能随手放宽自己的裁判规则。
对产品负责人,最直接的改变是把“生成了多少代码”换成“多少任务在预算内通过验收”。对工程负责人,则是把模型、框架、供应商与验收器作为同一份配置管理。
待观察#
- 能否迁移到其他环境? 当前报告只覆盖五个开放模型、单一推理服务商和这组终端任务;缓存计费、闭源模型及长周期项目可能改变排序,不能外推为所有编码场景的结论。
- 公开口径何时对齐? 榜单静态页与报告的配置数尚不一致,交互榜单本次未做完整复算;后续应核对任务清单、配置版本及日志,而不是只读摘要数字。
- 完成前检查究竟省多少钱? 作者提出这种可能性,但明确表示尚未测试。它也会增加检查开销,下一步值得比较的是净收益与漏检率,而非单纯增加验证次数。