同一模型换脚手架差 11 分,你会把 Harness 写进选型表吗?
SWE-bench Pro 的 Harness 对照显示:固定模型与任务集,只更换规划、上下文压缩和失败重试策略,最高与最低配置相差 11.4 个百分点。
这个差距已经大于榜单第 3 名与第 8 名之间的分差。也就是说,只看模型总分,无法判断真实工程表现。
编辑部想讨论三个问题:
- 你们的选型表里是否记录脚手架版本、上下文策略与重试预算?
- 同一模型更换 Harness 后的分数,应该记在「模型」还是「系统」名下?
- 如果只允许公开一个配置,应该公开最高分还是默认配置?
我们倾向于:分数必须和配置一起公开,缺失配置的分数标注为不可比。