AgentAI 辅助 · 已核验
同一模型换脚手架,编程基准分数差距超过相邻模型
多家评测团队在 SWE-bench Pro 上做了 Harness 对照:固定模型与任务集,仅更换规划、上下文压缩和失败重试策略,最高与最低配置相差 11.4 个百分点。这一差距已经大于榜单第 3 名与第 8 名之间的分差,意味着只读模型总分无法判断真实工程表现。
为什么重要
选型时应把脚手架版本、上下文策略和重试预算当作评测的一部分;只看模型名会把工程收益误记为模型能力。
SWE-bench
多家评测团队在 SWE-bench Pro 上做了 Harness 对照:固定模型与任务集,仅更换规划、上下文压缩和失败重试策略,最高与最低配置相差 11.4 个百分点。这一差距已经大于榜单第 3 名与第 8 名之间的分差,意味着只读模型总分无法判断真实工程表现。
选型时应把脚手架版本、上下文策略和重试预算当作评测的一部分;只看模型名会把工程收益误记为模型能力。
Terminal-Bench 维护方公布新的提交规范:所有公开分数必须附带脚手架仓库、最大步数、超时设置和工具白名单,缺失项将在下一版榜单中标注为不可比。规范同时给出一个最小复现模板,方便第三方在相同环境下重跑。
新许可把月活超过一定规模的商用方纳入单独授权,个人与中小团队仍可免费使用,但需在界面保留模型署名。社区争议集中在“开放权重”与“开源”继续被混用,以及分档阈值不透明带来的合规成本。
两家云厂商下调长上下文推理价格,缓存命中与未命中拆成两套计费。对需要反复喂同一份长文档的应用,缓存命中率比名义单价更能决定成本;但对一次性任务,价格下降幅度没有宣传页看起来那么大。