我先联网核实 HarnessMM 这篇论文的具体方法与实验数据。
论文原文、实验表格和第三方解读都已核对,下面按固定板式输出。
HarnessMM 实测:Agent 最多省 87.93% token,但 "90%" 只对 DeepSeek Harness 成立
"让 Agent 少花 90% token" 这个说法基本成立,但要加两个限定:一是这个数字来自 DeepSeek Harness 在 HumanEval 98 道题上的 87.93%,四舍五入才是 90%;二是同一套方法用在 Codex 上只省了 29.54%。这篇由清华大学与微软亚洲研究院四位作者完成的论文《HarnessMM: Recursive Self-Improvement for Harness Token Efficiency》2026 年 10 月 23 日挂上 arXiv,核心做法一句话说清:Agent 跑任务时,工具返回结果后 harness 往往还要再叫一次大模型来 "决定下一步",可这一步其实前面那次调用早就定好了,HarnessMM 就是把这些 "已定的决定" 存下来,条件满足时直接执行,跳过那次多余的推理调用。具体收益:HumanEval 上 Codex 成功率守住 90.82%、每任务 token 从 66.72k 降到 47.02k(省 29.54%);DeepSeek Harness 成功率从 71.43% 升到 85.71%、token 从 96.28k 降到 11.62k(省 87.93%),付费模型调用从 954 次降到 415 次,147 次回调被 "认证跳过"。代价是它并非万能:Terminal-Bench 上 Codex 成功率从 77.78% 掉到 55.56%,AIME 上反而比无技能基线贵 28.34%。ai-news.ikangai.com
一、重复调用到底浪费在哪
先把 harness 解释清楚:它是把模型和工具串起来跑任务的那层脚手架,管上下文、管工具调用、管多步循环。问题出在 "每一步都要问一遍模型" 这个默认设计上。
一个典型编码任务是 "写代码→编译→跑测试",实际发生的是:
| 步骤 | 工具返回 | harness 默认动作 | 浪费点 |
|---|---|---|---|
| 1 | 写完文件 | 再叫一次模型决定下一步 | 下一步其实已定:执行编译命令 |
| 2 | 编译成功(return code 0) | 再叫一次模型决定下一步 | 下一步其实已定:跑测试命令 |
| 3 | 测试失败,报错信息新出现 | 叫模型是正确的 | 这里有真正的语义不确定性 |
| 4 | 修复后重跑 | 再叫一次模型 | 若修复方案已在步骤 3 确定,这次调用可省 |
论文把这个现象拆成两种不确定性:语义不确定性(该做什么,必须靠模型推理)和执行不确定性(做了之后会返回什么,只能等工具)。传统 harness 把两者混在一起,用同一次模型调用去处理,于是 "已经想清楚、只等结果" 的那些步骤也被重复推理了一遍。arXiv
二、方法拆成四件东西
HarnessMM(Harness Minus Minus,名字就是 "把 harness 减一减")插入一个控制器在模型 — 工具的交界处,模型权重、工具、任务接口都不动。四个组件各管一件事:
| 组件 | 全称 | 作用 | 类比 |
|---|---|---|---|
| EDG | Executable Decision Graphs(可执行决策图) | 存下已确定的动作、字面参数、步骤间因果依赖、公开守卫条件 | 提前写好的执行脚本 |
| GDR | Guarded Decision Reuse(带守卫的决策复用) | 观察工具回执,判断守卫是否满足,满足就激活存好的决策 | 脚本里的 if 判断 |
| CCS | Certified Callback Substitution(认证回调替换) | 通过原生接口执行存好的动作,并记录 "某次慢回调被移除" 的凭证 | 留痕的跳过记录 |
| Selector | 类型化选择器 | 挑一个可用决策,或弃权;弃权就退回原模型 | 不确定就不动手 |
再往上一层是RSI(Recursive Self-Improvement,递归自我改进):用训练反馈反复打磨 "配套的 harness 配置",每轮由验证集挑出保留的候选,选中后在测试前冻结。这样做的目的不是让模型变强,而是让 harness 的复用策略越来越贴合任务分布。
有一条设计原则值得单独说:表示本身限制了反馈能改什么。EDG 里存的是明确的动作和字面参数,工具回执只能决定 "能不能执行",不能改写 "要执行什么"。这一条把 "复用" 和 "乱猜" 隔开了 —— 也解释了为什么它在多数场景能保住甚至提升成功率。arXiv
三、四组主结果,把 "90%" 还原成真实数字
| 数据集/任务数 | Harness | 成功率变化 | 每任务 token(k) | 节省 | 付费调用变化 |
|---|---|---|---|---|---|
| HumanEval/98 | Codex | 90.82% → 90.82%(不变) | 66.72 → 47.02 | 29.54% | 524 → 499(18 次跳过) |
| HumanEval/98 | DeepSeek Harness | 71.43% → 85.71% | 96.28 → 11.62 | 87.93% | 954 → 415(147 次跳过) |
| MBPP-sanitized/257 | DeepSeek Harness | 90.27% → 91.83% | 53.98 → 10.61 | 约 80.3% | — |
| MBPP-sanitized/257 | Codex | 91.83% → 90.66% | 129.55 → 49.22 | 约 62.0% | — |
HumanEval 那 96.28k 到 11.62k 的落差最抓眼球,但要注意分母:DeepSeek Harness 原本每任务要花将近 100k token,属于 "特别费" 的那一类;Codex 原本 66.72k,属于中等。同一个方法,落在基线越差的 harness 上,降幅越夸张。按 "每解决一道题的 token" 折算,DeepSeek Harness 从约 134.8k 降到约 13.6k,接近 10 倍,这个算法比单看百分比更能说明体感。FourWeekMBA
四、消融实验:到底是哪一部分在省钱
这篇论文的消融做得比较扎实,把 "复用" 和 "跳过回调" 分开测了:
| 配置 | 成功率 | 每任务 token(k) | 相对完整版 |
|---|---|---|---|
| 完整 HarnessMM | 93.77% | 13.17 | 基准 |
| 去掉 GDR(决策图只用一次) | 93.00% | 18.03 | 成本高 26.91% |
| 去掉 CCS(保留回调) | 93.39% | 16.37 | 成本高 19.52% |
| 完全禁用 EDG 执行 | 95.33% | 16.19 | token 多 18.62%,但多解 4 题 |
前三行说明 "持久复用" 和 "回调替换" 两个机制各自贡献了可观的节省(26.91% 和 19.52%);第四行是个诚实的反例:禁用决策图执行后 token 更多,可成功率反而更高(95.33%),也就是这套机制在某些任务上确实用 "少解几道题" 换来了 "省 token"。论文没有把这个结果藏起来,这一点值得肯定。
再看跨任务的表现差异,也能看出方法的边界:
| 基准 | 结果 | 对比基线 |
|---|---|---|
| SearchQA(验证集) | 76.76% EM,0.99k token / 任务 | 比无技能省 19.08%、比 SkillOpt 省 38.57%、比 AutoSaddler 省 20.75% |
| AIME(560 题) | 87.14% 正确率,5.90k token / 任务 | 比无技能贵 28.34%、比 AutoSaddler 贵 20.44%,只比 SkillOpt 省 14.94% |
| GAIA2(480 场景) | 43.96% 成功,639.64k token / 任务 | 比无技能省 12.41%、比 SkillOpt 省 17.00%、比 AutoSaddler 省 17.17% |
| ALFWorld | 66.20% 成功,31.12k token / 任务 | 比 SkillOpt 少 69.29% 的模型 token |
| Terminal-Bench(18 题) | Codex 成功率 77.78% → 55.56% | 明显掉点 |
AIME 那一行特别有参考价值:数学题属于 "生成的推理本身就占大头" 的任务,无技能基线每任务只用 0.22k 输入、4.38k 输出,几乎没有可跳过的重复调用,HarnessMM 加上创作、选择、恢复的额外开销后反而更贵。这说明这套方法省的是 "重复决策",不是 "推理本身"。arXiv
五、为什么 DeepSeek Harness 降得最狠
两个 harness 同样是 "每步问一遍模型",降幅差了三倍,原因在任务流的可预测性上:
- 编码任务的步骤链高度确定。写完代码之后必然要编译,编译成功之后必然要跑测试,这些动作在写代码那一刻就能定下来,守卫条件也简单(return code 是否为 0)。可跳过的调用占比因此很高。
- DeepSeek Harness 的基线调用密度更大。954 次付费调用、96.28k token,说明它原本在多步循环里问模型的频次明显高于 Codex,可压缩的空间自然更大。
- Codex 本身已经做过一些上下文与循环优化。它的 66.72k 基线相对精简,524 次调用里能被认证跳过的只有 18 次,压缩空间本来就小。
- RSI 让配套配置更贴任务分布。在 MiniWoB++ 的 32 个训练任务上跑八轮,成功率从 34.38% 升到 90.63%,token 从 3.26k 降到 1.06k(-67.43%),第八轮两边都解出 29/32,仅 "持久化" 这一项就省 29.83%,每任务调用从 1.47 降到 1.03。这说明方法的上限不只取决于初始设计,还取决于配置能迭代到什么程度。
FourWeekMBA
六、想自己用,先做这五件事
| 动作 | 具体做法 | 判断标准 |
|---|---|---|
| 数重复决策 | 翻现有 agent 日志,统计 "工具回执后模型输出与上次规划重复" 的比例 | 重复率低于 30%,收益有限 |
| 看缓存计费 | 确认供应商对 prefix cache 的计费方式 | 缓存折扣大时,跳过调用省的边际收益会变小 |
| 划清可复用边界 | 只对 "参数完全字面化、守卫可判定" 的步骤做 EDG | 需要模糊判断的步骤一律留在模型侧 |
| 留好弃权通道 | Selector 弃权必须退回原模型,不能硬执行 | 弃权率过高说明守卫设计不合理 |
| 单独测高风险基准 | 像 Terminal-Bench 这种多分支调试任务要单独跑 | 成功率掉超过 5 个点就不要上生产 |
论文自己在结论里也提醒了两件事:节省幅度取决于供应商的缓存计费口径,以及 "有多少动作其实早就定好了";作者创作、选择、恢复的成本在某些情况下会超过省下的调用成本。这两句比任何百分比都重要。ai-news.ikangai.com
七、这篇论文的位置
放到更大的图景里看,HarnessMM 解决的是 agent 效率里一个被忽略的角落:大家习惯在 "压缩提示词、裁剪历史、换更小的模型、做快慢路由" 上省成本,却很少问一句 "这次推理调用本来需不需要发生"。它给出的答案是工程化的 —— 不改模型、不改工具、不改任务接口,只在决策边界上加一层控制器和一张可执行决策图。
但它的适用范围是有形状的:步骤可预测、参数可字面化、守卫可判定的任务(写代码、跑测试、固定流程的检索与操作)收益最大;需要连续语义判断的任务(数学推理、开放域搜索、多分支调试)收益小甚至为负。 "少花 90% token" 这个标题在 DeepSeek Harness + HumanEval 这个组合上成立,换到 Codex 就是 29.54%,换到 Terminal-Bench 还会掉点。真正值得抄的不是那个百分比,而是 "把已确定的决定变成可执行、可验证、可弃权的承诺" 这个思路 —— 它比任何单点优化都更接近 agent 工程化的正路。
Microsoft Learn
【相关 FAQ】
问题 1:HarnessMM 是什么,它怎么让 Agent 少花 90% 的 token?
回答 1:HarnessMM 是清华大学与微软亚洲研究院提出的 harness token 效率方法,全称 Harness Minus Minus,2026 年 10 月 23 日发布于 arXiv(编号 2610.32813)。它不改模型权重,只在模型与工具的交界处插入控制器,用可执行决策图(EDG)存下 "已被推理确定、只等工具回执" 的动作与字面参数,再用带守卫的决策复用(GDR)判断条件是否满足、用认证回调替换(CCS)直接执行并跳过那次多余的推理调用。在 DeepSeek Harness 上它把 Agent 每任务 token 从 96.28k 降到 11.62k,省 87.93%,接近 "90%",但需注意这个降幅只在该 harness 与 HumanEval 组合上成立。
问题 2:HarnessMM 让 Agent 省 token 的效果在所有框架上都一样吗?
回答 2:不一样,差异很大。同一套 HarnessMM 用在 Codex 上,HumanEval 的每任务 token 只从 66.72k 降到 47.02k,省 29.54%,成功率守住 90.82%;用在 DeepSeek Harness 上才达到 87.93% 的降幅,成功率还从 71.43% 升到 85.71%。原因是 DeepSeek Harness 原本的调用密度更高(954 次付费调用降到 415 次),可压缩空间更大;Codex 基线更精简,524 次调用里只有 18 次能被认证跳过。所以 "Agent 省 90% token" 是特定组合的结果,不能当作通用承诺。
问题 3:HarnessMM 的 EDG、GDR、CCS 分别解决什么问题?
回答 3:三者是串起来的。EDG(可执行决策图)解决 "存什么"—— 存已确定的动作、字面参数、步骤因果依赖和公开守卫;GDR(带守卫的决策复用)解决 "什么时候能用"—— 观察工具回执是否满足守卫条件,满足才激活;CCS(认证回调替换)解决 "怎么执行并留痕"—— 通过原生接口执行存好的动作,同时记录被移除的那次慢回调凭证。此外还有一个类型化选择器,遇到新语义决策、守卫不支持的证据或自身弃权时,会把控制权退回原模型,避免硬执行。这套分工保证了 "复用" 不会变成 "瞎猜"。
问题 4:HarnessMM 在哪些任务上会让 Agent 效果变差?
回答 4:目前已知两类。一类是多分支调试任务,Terminal-Bench 的 18 道题上 Codex 成功率从 77.78% 掉到 55.56%;另一类是推理本身占大头的任务,AIME 560 题上 HarnessMM 每任务用 5.90k token,比无技能基线的 0.22k 输入加 4.38k 输出反而贵 28.34%。另外在 MBPP 消融里,完全禁用 EDG 执行的配置 token 多 18.62% 却多解 4 道题,说明这套机制在某些任务上是用 "少解题" 换 "省 token"。判断标准很直接:任务步骤越不可预测,Agent 用 HarnessMM 的收益越可能为负。
问题 5:想在现有 Agent 里用 HarnessMM,最该先做哪一步?
回答 5:先数重复决策,再谈改造。具体做法是翻现有 Agent 的运行日志,统计 "工具回执之后模型的输出与上一次规划高度重复" 的比例,这个比例基本就是 HarnessMM 能省的上限;同时确认模型供应商的 prefix cache 计费口径,因为缓存折扣大时跳过调用的边际收益会变小。落地时只对参数完全字面化、守卫可判定的步骤建 EDG,并保留选择器弃权退回原模型的通道,最后一定要像 Terminal-Bench 那样单独测高风险基准,成功率掉超过 5 个点就不要上生产。论文自己也提示,作者创作、选择与恢复的成本可能超过省下的调用成本。
【参考资料】
- [2026-11-02](L'agente di codifica AI di Tsinghua-Microsoft ha utilizzato l'88% di token in meno)FourWeekMBA
- [2026-11-01](HarnessMM reuses settled agent decisions to cut HumanEval token use by 87.93%)IKANGAI AI News
- [2026-10-26](智能体框架:Harness 功能矩阵)Microsoft Learn
- [2026-10-23](HarnessMM: Recursive Self-Improvement for Harness Token Efficiency)arXiv
【免责声明】
本文基于 arXiv 公开论文(编号 2610.32813,2026 年 10 月 23 日提交)及其全文 HTML 版本、第三方技术媒体报道与微软官方文档整理,仅作技术解读,不构成对论文结论正确性的独立验证、也不构成任何工程选型或采购建议。文中所有性能数字均取自论文表格与正文,其中 HumanEval、MBPP-sanitized、Terminal-Bench、GAIA2、AIME、SearchQA、ALFWorld、MiniWoB++ 的样本量与成功率均为论文自报口径,未经第三方复现;"90% token 节省" 系对 87.93% 的四舍五入表述,仅在 DeepSeek Harness 与 HumanEval 98 道测试任务这一特定组合下成立,Codex 上对应数字为 29.54%,Terminal-Bench 上还出现成功率下降。论文作者隶属清华大学与微软亚洲研究院,本文未对其署名顺序、作者姓名与贡献做逐一核对,引用时以 arXiv 页面信息为准。节省幅度依赖模型供应商的缓存计费方式与任务中 "已确定动作" 的实际占比,作者创作、选择、恢复的开销可能超过被省去的调用成本,实际部署效果需以自有日志与基准测试为准。
本文来自作者[磁芯追踪]投稿,不代表品途网立场,如若转载,请注明出处:https://m.pintu360.com/kjkx/202611/1485960.html
评论列表(4条)
我是品途网的签约作者“磁芯追踪”!
希望本篇文章《让Agent少花90%token?清华 × 微软亚研提出HarnessMM,减少智能体的重复调用》能对你有所帮助!
本站[品途网]内容主要涵盖:范文、经验、百科
本文概览:我先联网核实 HarnessMM 这篇论文的具体方法与实验数据。