榜单分数怎么读:维度口径、误差带与更新频率
探索超凡 SEEKSI 的榜单分数按 Arena 文本总榜口径统计,分维度分数来自不同任务子集,不合成综合分;数据每日 00:20 导出,超过 48 小时按过期处理。
结论
榜单分数是特定口径下的偏好估计,不是「模型能力总分」。读榜按三步走:确认维度口径、看误差带与样本量、核对导出时间。三步缺任何一步,名次只能当参考。
口径:综合与分维度不是同一件事
综合维度采用 Arena 文本总榜口径,衡量的是跨任务混合偏好;推理、编程、中文、Agent 是各自的任务子集,样本量小于总榜。站内口径说明写得很直接:分维度分数来自不同子集,不能混成一个综合分。
这意味着「综合第 3、编程第 9」不是自相矛盾,而是两个不同问题的答案。要判断编程能力就看编程子集;要用一个数字对外沟通,才回到综合维度,并说明它衡量的是混合偏好。
误差带怎么用
每个分数后面跟着误差值,样本量同时展示。当两个模型的分差小于各自误差之和时,正确结论是「同一档」,而不是「A 比 B 强」。名次按该维度全体模型计算,筛选不重排名次,因此筛选后的列表仍然可以按同一把尺子读。
更新与版本
公开快照以 generated_at 标注导出时间(UTC ISO8601),数据每日 00:20(CST)导出,超过 48 小时按过期处理。页面同时标注评测日期与样本量,跨版本只做分段对比,不做连续曲线。
引用
原文与后续更新:https://seeksi.top/answers/leaderboard-score-method/
本文由 AI 辅助整理,口径与数字经人工核验。
常见问题
榜单分数是综合分吗?
综合维度是 Arena 文本总榜口径,衡量跨任务的混合偏好;推理、编程、中文、Agent 是不同任务子集,站内明确不把子集分数混成一个综合分。
两个模型分差很小,怎么判断谁更强?
当分差小于两者误差之和时,应视为同一档;要区分它们需要更多样本,或看更贴近使用场景的子集分数。
榜单多久更新一次?
数据每日 00:20(CST)导出一次快照,页面标注导出时间;超过 48 小时的快照按过期处理。
证据与来源
站内口径说明:分维度分数来自不同子集,不能混成一个综合分
「分维度分数来自不同子集,不能混成一个综合分」
综合维度采用 Arena 文本总榜口径,衡量跨任务混合偏好
「Arena 文本总榜口径,跨任务混合偏好」
误差重叠时视为同一档,价格单位为每百万 tokens
「头部模型分差可能小于置信区间;误差重叠时视为同一档。价格按输入/输出分别展示,单位统一为每百万 tokens;数据由平台每日定时刷新。」
公开快照标注导出时间,超过 48 小时视为过期
「说明:generated_at 为 UTC ISO8601;超过 48 小时视为过期快照;items 字段语义随数据集不同,见页面内数据表。」
数据快照每日 00:20(CST)导出一次
「语言:zh-CN | 更新:每日(数据快照于 00:20 CST 导出)| 引用:允许,需注明「探索超凡 SEEKSI」并附原文链接」
我们的判断
我们认为,没有误差带与样本量的名次只能当参考;分差落在误差带内时,正确说法是「同一档」,而不是「前者更强」。
引用本文
允许引用,需注明来源并附原文链接;引用格式如下。
探索超凡 SEEKSI,《榜单分数怎么读:维度口径、误差带与更新频率》,https://seeksi.top/answers/leaderboard-score-method/,2026-11-18。