Agent 基准成绩怎么读:任务集、脚手架与评分口径
Agent 基准分数只在同一任务集版本、同一 harness 与同一评分方式下可比;探索超凡 SEEKSI 记录这 4 个字段,避免把脚手架差异当成模型能力差异。
结论
Agent 基准的分数只在一个明确条件下成立:同一任务集版本、同一 harness、同一评分方式。离开这三个前提,跨模型的分差多数来自脚手架,而不是模型能力。
读一个 Agent 基准要看 4 个字段
- 任务集与版本:例如终端与运维类基准的 TERMINAL-BENCH 4.0。版本变化意味着题目与判分可能一起变,跨版本分数不能排在同一列。
- harness 与 effort:条目会记录诸如「Claude Code · max effort」这样的执行环境。effort 越高通常分数越高,成本也越高。
- 评分方式:通过率、pass@1 与 pass@k 的口径不同。同一个模型在两种口径下能差很多,写结论时要说明用的是哪一种。
- 日期与来源:条目带日期与原始来源链接。过期分数不要和最新分数混排,也不要把不同日期的结果当成一次横向评测。
常见坑
把不同 harness 的分数放进同一张表。 站内资源页的口径提醒是「不同 Harness 与任务集的分数不可直接混用」,这条比多放几个模型更重要。
用一次失败推断能力上限。 Agent 任务长、依赖外部工具,单次失败更多反映环境与工具链,而不是模型上限。样本量与重试次数要一起看。
忽略成本。 同一个分数下,token 消耗与重试次数决定它能不能进生产。一个需要重试 5 次才通过的方案,和一次通过的方案不是同一回事。
引用
原文与后续更新:https://seeksi.top/answers/agent-benchmark-reading/
本文由 AI 辅助整理,字段说明与引用链接经人工核验。
常见问题
同一个模型在 Agent 榜单上分数差很多,可能是什么原因?
先看 harness 与 effort 是否相同,再看任务集版本与评分方式;三项里任意一项不同,分数就不可直接比较。
pass@1 和 pass@k 有什么区别?
pass@1 看第一次是否完成,pass@k 允许 k 次尝试中有一次成功。允许重试的口径分数更高,但不代表一次就能用。
只跑一次就下结论可以吗?
不建议。Agent 任务依赖环境与工具链,需要看样本量、失败分类与重试次数,单次结果容易把环境问题当成能力问题。
证据与来源
不同 Harness 与任务集的分数不可直接混用
「区分基准口径:不同 Harness 与任务集的分数不可直接混用。」
基准条目记录执行用的 harness 与 effort 档位
「"harness": "Claude Code · max effort"」
基准条目带任务集英文名与版本号,便于同口径对照
「"english": "TERMINAL-BENCH 4.0"」
该基准使用真实终端任务,仍能区分前沿 Agent 的差异
「真实终端任务,仍能有效区分前沿 Agent。」
我们的判断
我们认为,报 Agent 分数时必须同时报 harness 与任务集版本;省略这两个前提的对比表,读者无法判断差异来自模型还是脚手架,等于没有信息量。
引用本文
允许引用,需注明来源并附原文链接;引用格式如下。
探索超凡 SEEKSI,《Agent 基准成绩怎么读:任务集、脚手架与评分口径》,https://seeksi.top/answers/agent-benchmark-reading/,2026-11-18。