2026 年 11 月 3 日 · 周二

4 条资讯 · 4 个来源 · 最近核验 11/03 10:05

AgentAI 辅助 · 已核验

同一模型换脚手架,编程基准分数差距超过相邻模型

多家评测团队在 SWE-bench Pro 上做了 Harness 对照:固定模型与任务集,仅更换规划、上下文压缩和失败重试策略,最高与最低配置相差 11.4 个百分点。这一差距已经大于榜单第 3 名与第 8 名之间的分差,意味着只读模型总分无法判断真实工程表现。

为什么重要

选型时应把脚手架版本、上下文策略和重试预算当作评测的一部分;只看模型名会把工程收益误记为模型能力。

SWE-bench
时间发布 11/03 00:00核验 11/03 10:05
  1. 研究

    终端基准发布脚手架披露规范,要求随分数提交配置

    Terminal-Bench 维护方公布新的提交规范:所有公开分数必须附带脚手架仓库、最大步数、超时设置和工具白名单,缺失项将在下一版榜单中标注为不可比。规范同时给出一个最小复现模板,方便第三方在相同环境下重跑。

  2. 开源

    又一家开放权重模型收紧商用条款,改为分档许可

    新许可把月活超过一定规模的商用方纳入单独授权,个人与中小团队仍可免费使用,但需在界面保留模型署名。社区争议集中在“开放权重”与“开源”继续被混用,以及分档阈值不透明带来的合规成本。

  3. 产业AI 辅助 · 已核验

    长上下文价格继续下探,1M tokens 档位出现新的低价区间

    两家云厂商下调长上下文推理价格,缓存命中与未命中拆成两套计费。对需要反复喂同一份长文档的应用,缓存命中率比名义单价更能决定成本;但对一次性任务,价格下降幅度没有宣传页看起来那么大。