「Harness」到底指什么
直译是马具、挽具,放在 AI 里就是套在模型外面的那层架子:它能调用哪些工具、在哪个沙箱里跑、输出先过哪些检查、跑完拿什么标准打分、失败了怎么重试。模型只负责生成,剩下的都算 harness。
举个写代码 agent 的例子
让模型改一个函数,光把代码贴给它,效果一般。给它接上测试命令、lint、git diff 查看、失败日志回传,让它改完自己跑一遍再决定要不要继续——同一模型,通过率往往能上一个台阶。变的不是脑子,是它手边多了什么、能看见多少反馈。
为什么这条容易被忽略
大家习惯把结果归因到「换了更强的模型」,但很多时候真正变好的是提示模板、工具描述、重试策略或者评测脚本。做对比实验时如果两套 harness 不一样,跑分其实没有可比性。
动手建议
先别急着换模型。把任务拆清楚,补上自动检查和失败回传,加一层简单的重试,通常比升级一档 API 更划算,也更可控。等这套架子稳了,再换模型,才知道提升到底来自哪儿。