观测面
8 项
能力 / 性能 / 视频 / 多模态 / Agent / 鉴证 / 安全 / 计费
单项周期
3–10
工作日,按任务集与样本量确定
交付标准
证据可回
结论、过程数据与复现脚本同包交付
回复时限
1–2
工作日内答复需求,先谈口径再报价
CAPABILITIES / 测评能力

按问题选能力,不按榜单选能力

每张卡片给出适用场景、交付物与参考周期;点「详情」看口径与输入要求。

  1. 01

    文本模型能力测评

    综合、推理、编程、中文与长上下文分维度打分,误差与样本量同时给出。

    • 分维度评分表
    • 失败样本清单
    • 复现命令与配置
    3–7 个工作日
  2. 02

    性能与容量压测

    首 token 延迟、TPS、P95、并发与限流行为,把「快不快」变成可复核的曲线。

    • 压测报告与曲线
    • 限流 / 429 行为记录
    • 压测脚本
    2–5 个工作日
  3. 03

    视频模型测评

    文生 / 图生 / 首尾帧、镜头运动、时长分辨率、角色与场景一致性、音画同步。

    • 样片矩阵
    • 逐镜质检表
    • 一致性与漂移统计
    5–10 个工作日
  4. 04

    图像与多模态测评

    文生图 / 图生图 / 编辑、构图保留、文字渲染、参考图一致性与超分画质。

    • 对照样张
    • 评分与失败分类
    • 推荐参数
    3–7 个工作日
  5. 05

    Agent 能力测评

    编码、终端、浏览器、工具编排与长任务;固定脚手架、重试预算与上下文策略。

    • 任务集与轨迹
    • 成功 / 失败归因
    • 脚手架配置快照
    5–12 个工作日
  6. 06

    模型鉴证与协议核验

    版本指纹、接口协议一致性、参数与返回字段、能力声明与实际行为、渠道差异。

    • 鉴证结论与证据链
    • 协议差异表
    • 版本指纹记录
    3–7 个工作日
  7. 07

    安全与合规测评

    越狱与提示注入、敏感内容、工具越权、数据外泄与审核策略的有效性。

    • 风险清单
    • 可复现用例
    • 修复建议与复测
    5–10 个工作日
  8. 08

    计费与成本核验

    计费口径、token 计量、缓存与批处理、失败重试扣费,对齐账单与实测。

    • 账单对账表
    • 成本模型
    • 计费差异说明
    3–5 个工作日
PROCESS / 合作流程

四步,先对齐口径再开跑

  1. 01

    需求澄清

    确认模型与版本、要回答的问题、可接受的样本量与时间。1–2 个工作日。

  2. 02

    方案与报价

    给出任务集、指标、交付物与排期;需要 NDA 的在这一步签。2–3 个工作日。

  3. 03

    执行与留痕

    按固定配置跑测,过程数据全程留痕;中途发现口径问题会先同步再继续。1–3 周。

  4. 04

    报告与复现包

    结论先行 + 证据链 + 复现脚本;可加做一次你方环境的重跑验证。3–5 个工作日。

DELIVERABLES / 交付物

报告不是结论,是可复核的过程

  • 结构化报告

    结论、误差、样本量、版本与日期在同一页;不把不同口径的分数混成一个总分。

  • 证据链

    原始请求与响应、抽帧与日志(脱敏后)可逐条回到报告里的结论。

  • 复现包

    脚本、配置与样本集,能在我方或你方环境重跑;换版本后知道哪里会变。

  • 边界声明

    样本外推、未验证能力与已知局限明确写出,不把「没测到」写成「没问题」。

BOUNDARY / 边界

不接的单,会直接说

  • 不替代厂商 SLA 与合规认证:测评结论只描述测到的样本与版本,不出具认证证书。
  • 不做无来源的排名:没有样本量、误差与配置的「第一」不给。
  • 不推断未公开能力:没有测到的部分写「未验证」,不用行业传闻补位。
  • 不外传客户数据:默认测评结束即删除原始请求,可签 NDA 或全程在你方环境执行。
FAQ / 常见问题

开始之前,先把这几件事问清

和公开榜单有什么区别?

公开榜单回答「大家怎么排」,测评服务回答「你的场景下能不能用」。任务集、样本量、版本与配置按你的业务重设,结论带误差带,不出无来源的名次。

需要我提供什么?

模型接入方式(API Key 或私有端点)、代表任务或脱敏样本、可接受的调用预算,以及你想回答的那个问题。没有明确选型时可以只给候选清单。

能出「可发布」的验收结论吗?

可以,但结论只覆盖本次测得的版本、配置与样本,并标注未验证部分。发布验收通常包含门禁矩阵、结构化报告与证据封存三件套。

支持本地 / 私有化模型吗?

支持。本机已有 ComfyUI 视频与图像链路、LoRA 训练与超分环境,也可以在你方机器上部署测评脚本,只回传指标与脱敏证据。

数据怎么处理?

默认只用于本次测评,测评结束后按约定删除原始请求;需要留档的只保留脱敏后的证据。可签 NDA,也可全程在你方环境执行。

INQUIRY / 需求单

说说你要回答的问题

不需要先有完整方案。写下模型、场景与时间要求即可,回复时会一起确认指标与样本量。

  • 1–2 个工作日内答复,先对齐口径再报价
  • 没有明确选型可以填「待推荐」
  • 不想填表也可以在社区发帖并 @editor,公开可追溯
去社区提问 →
提交后 1–2 个工作日内答复