
Harness 适配器:让模型适配你的框架,提升性能并降本

模型厂商在训练时追求通用性能,并不会专门针对你实际使用的 agent harness 和任务分布做优化。把模型接进某个 harness,性能和成本其实都有余量。Hugging Face 团队的做法是:用 RL 在目标 harness 内训练一个 LoRA adapter,把模型针对这个组合的性能榨出来。
具体效果很直接:Qwen3.8-27B 在 pi harness 的 Terminal-Bench 2.1 得分从 39% 提到 55% pass@1,平均 token 从 2.9K 降到 1.5K。增益主要来自模型推理更少、调用工具更少、第一次就做对的概率更高。
训练协议的核心是让 harness 原样运行,通过 harness 和 vLLM 之间的 proxy 记录真实产生的 token 供 trainer 学习,而不是像多数 RL 框架那样重新实现 agent loop。数据集从 Hub 检索约 59,000 个 Harbor 任务,过滤后剩 1,127 个候选,再经 openenv validate 语义检查,858/1127 通过;错误答案控制暴露了有缺陷的 verifier。之后用基础模型做难度检查:Qwen3.8-27B 在 442 个任务上尝试 4 次(部分 8 次),151 个全对、120 个全错,171 个时对时错,构成合格集。最终 278 个直接进入训练集,被拒任务交给 Tasksmith 修复并复杂化后重走流程。
作者用四组各 32 任务的短训练检验过滤器是否影响学习:未验证、已验证、不合格、合格集。训练用 TRL AsyncGRPOTrainer,LoRA all-linear,rollout 阶段关 thinking。奖励是 verifier 正确性加 0.1 工具效率 bonus。LR 扫描发现 1e-5 几乎不改善、1e-4 导致 rollout 崩溃、5e-5 短程最好但长程不稳定,最终采用 2e-5。每 adapter 用 2×B200,一个跑 vLLM 一个跑训练。最终数据混合为 750 个自建 RL 任务加 300 个 Termgrade 任务。safeagents 全程在环,三次训练共检查 1.3M 次工具调用,拦截 647 次,且拦截数随训练下降。
三个 adapter(pi、OpenCode、Hermes Agent)各自训练完成后,作者尝试合并成单个 super-adapter。adapter 间权重更新的余弦相似度仅 0.01–0.02,近乎正交,利于合并。沿 rank 维拼接,rank 从 32 到 96。比较 1/3、1/2、1 三种缩放,最终选 1/2(这个权重是在 Terminal-Bench 2.1 上用 step-120 适配器选的,所以 Terminal-Bench 数字略乐观)。不加思考时,super-adapter 在六个 harness–benchmark 组合上全部超过基础模型,平均 pass@1 从 39.5%→49.0%,71 个任务新解、34 个丢失;开启 thinking 后,它甚至超过基础模型的 thinking 模式,五个组合胜、一个平(55.5%→63.5%)。效率同样明显:在共同解决的任务上,thinking off 时工具调用少 53–73%、token 少 44–60%;thinking on 时在 SWE-bench Pro 上工具调用仍少 31–48%。
如果只用一个 harness 且不开 thinking,建议用对应专用 adapter。三者在各自 harness 上均优于基础模型:SWE-bench Pro hard 51 上 pi 从 39.2% 到 64.7%,hermes 29.4%→43.1%,opencode 35.3%→51.0%;Terminal-Bench 2.1 提升 +6.0 到 +16.3。工具调用在共同解决任务上 SWE-bench Pro 减 56–72%、Terminal-Bench 减 53–70%。跨 harness 测试显示能力可迁移:pi adapter 在 OpenCode 下匹配其专用,在 Hermes 下保留约三分之二增益。在 300 个 AutomationBench 任务上(OOD,用 AutomationBench 自己的 agent loop),各 adapter 与基础模型差距基本在噪声内,Hermes 略低 5.3 点。
作者也观察到一个有趣现象:非 thinking 模式下,适配后的模型在调用工具前会生成一些类似思考的短文本,看起来是“推理泄漏”——模型学会从非思考版逃逸到思考版。作者认为这不否定结果,因为相同 token 预算下 adapter 仍大幅超过非思考基础模型并接近思考版性能;但确实需要后续研究,包括对纯 thinking 模型应用同一 pipeline,以及探索混合 thinking / 非 thinking 训练。

