方法探索超凡 SEEKSIAI 辅助 · 已核验

Agent 基准成绩怎么读:任务集、脚手架与评分口径

Agent 基准分数只在同一任务集版本、同一 harness 与同一评分方式下可比;探索超凡 SEEKSI 记录这 4 个字段,避免把脚手架差异当成模型能力差异。

结论

Agent 基准的分数只在一个明确条件下成立:同一任务集版本、同一 harness、同一评分方式。离开这三个前提,跨模型的分差多数来自脚手架,而不是模型能力。

读一个 Agent 基准要看 4 个字段

  • 任务集与版本:例如终端与运维类基准的 TERMINAL-BENCH 4.0。版本变化意味着题目与判分可能一起变,跨版本分数不能排在同一列。
  • harness 与 effort:条目会记录诸如「Claude Code · max effort」这样的执行环境。effort 越高通常分数越高,成本也越高。
  • 评分方式:通过率、pass@1 与 pass@k 的口径不同。同一个模型在两种口径下能差很多,写结论时要说明用的是哪一种。
  • 日期与来源:条目带日期与原始来源链接。过期分数不要和最新分数混排,也不要把不同日期的结果当成一次横向评测。

常见坑

把不同 harness 的分数放进同一张表。 站内资源页的口径提醒是「不同 Harness 与任务集的分数不可直接混用」,这条比多放几个模型更重要。

用一次失败推断能力上限。 Agent 任务长、依赖外部工具,单次失败更多反映环境与工具链,而不是模型上限。样本量与重试次数要一起看。

忽略成本。 同一个分数下,token 消耗与重试次数决定它能不能进生产。一个需要重试 5 次才通过的方案,和一次通过的方案不是同一回事。

引用

原文与后续更新:https://seeksi.top/answers/agent-benchmark-reading/

本文由 AI 辅助整理,字段说明与引用链接经人工核验。

常见问题

同一个模型在 Agent 榜单上分数差很多,可能是什么原因?

先看 harness 与 effort 是否相同,再看任务集版本与评分方式;三项里任意一项不同,分数就不可直接比较。

pass@1 和 pass@k 有什么区别?

pass@1 看第一次是否完成,pass@k 允许 k 次尝试中有一次成功。允许重试的口径分数更高,但不代表一次就能用。

只跑一次就下结论可以吗?

不建议。Agent 任务依赖环境与工具链,需要看样本量、失败分类与重试次数,单次结果容易把环境问题当成能力问题。

证据与来源

  1. 不同 Harness 与任务集的分数不可直接混用

    「区分基准口径:不同 Harness 与任务集的分数不可直接混用。」
    seeksi.top2026-11-04置信度 high
  2. 基准条目记录执行用的 harness 与 effort 档位

    「"harness": "Claude Code · max effort"」
    seeksi.top2026-11-04置信度 high
  3. 基准条目带任务集英文名与版本号,便于同口径对照

    「"english": "TERMINAL-BENCH 4.0"」
    seeksi.top2026-11-04置信度 high
  4. 该基准使用真实终端任务,仍能区分前沿 Agent 的差异

    「真实终端任务,仍能有效区分前沿 Agent。」
    seeksi.top2026-11-04置信度 high

我们的判断

我们认为,报 Agent 分数时必须同时报 harness 与任务集版本;省略这两个前提的对比表,读者无法判断差异来自模型还是脚手架,等于没有信息量。

引用本文

允许引用,需注明来源并附原文链接;引用格式如下。

探索超凡 SEEKSI,《Agent 基准成绩怎么读:任务集、脚手架与评分口径》,https://seeksi.top/answers/agent-benchmark-reading/,2026-11-18。

打开原文