模型测评服务
从选型到上线验收,八个观测面,每一项都能单独委托。
- 观测面
- 8 项 能力 / 性能 / 视频 / 多模态 / Agent / 鉴证 / 安全 / 计费
- 单项周期
- 3–10 工作日,按任务集与样本量确定
- 交付标准
- 证据可回 结论、过程数据与复现脚本同包交付
- 回复时限
- 1–2 工作日内答复需求,先谈口径再报价
按问题选能力,不按榜单选能力
每张卡片给出适用场景、交付物与参考周期;点「详情」看口径与输入要求。
- 01
文本模型能力测评
综合、推理、编程、中文与长上下文分维度打分,误差与样本量同时给出。
3–7 个工作日 - 02
性能与容量压测
首 token 延迟、TPS、P95、并发与限流行为,把「快不快」变成可复核的曲线。
2–5 个工作日 - 03
视频模型测评
文生 / 图生 / 首尾帧、镜头运动、时长分辨率、角色与场景一致性、音画同步。
5–10 个工作日 - 04
图像与多模态测评
文生图 / 图生图 / 编辑、构图保留、文字渲染、参考图一致性与超分画质。
3–7 个工作日 - 05
Agent 能力测评
编码、终端、浏览器、工具编排与长任务;固定脚手架、重试预算与上下文策略。
5–12 个工作日 - 06
模型鉴证与协议核验
版本指纹、接口协议一致性、参数与返回字段、能力声明与实际行为、渠道差异。
3–7 个工作日 - 07
安全与合规测评
越狱与提示注入、敏感内容、工具越权、数据外泄与审核策略的有效性。
5–10 个工作日 - 08
计费与成本核验
计费口径、token 计量、缓存与批处理、失败重试扣费,对齐账单与实测。
3–5 个工作日
四步,先对齐口径再开跑
- 01
需求澄清
确认模型与版本、要回答的问题、可接受的样本量与时间。1–2 个工作日。
- 02
方案与报价
给出任务集、指标、交付物与排期;需要 NDA 的在这一步签。2–3 个工作日。
- 03
执行与留痕
按固定配置跑测,过程数据全程留痕;中途发现口径问题会先同步再继续。1–3 周。
- 04
报告与复现包
结论先行 + 证据链 + 复现脚本;可加做一次你方环境的重跑验证。3–5 个工作日。
报告不是结论,是可复核的过程
结构化报告
结论、误差、样本量、版本与日期在同一页;不把不同口径的分数混成一个总分。
证据链
原始请求与响应、抽帧与日志(脱敏后)可逐条回到报告里的结论。
复现包
脚本、配置与样本集,能在我方或你方环境重跑;换版本后知道哪里会变。
边界声明
样本外推、未验证能力与已知局限明确写出,不把「没测到」写成「没问题」。
不接的单,会直接说
- 不替代厂商 SLA 与合规认证:测评结论只描述测到的样本与版本,不出具认证证书。
- 不做无来源的排名:没有样本量、误差与配置的「第一」不给。
- 不推断未公开能力:没有测到的部分写「未验证」,不用行业传闻补位。
- 不外传客户数据:默认测评结束即删除原始请求,可签 NDA 或全程在你方环境执行。
开始之前,先把这几件事问清
和公开榜单有什么区别?
公开榜单回答「大家怎么排」,测评服务回答「你的场景下能不能用」。任务集、样本量、版本与配置按你的业务重设,结论带误差带,不出无来源的名次。
需要我提供什么?
模型接入方式(API Key 或私有端点)、代表任务或脱敏样本、可接受的调用预算,以及你想回答的那个问题。没有明确选型时可以只给候选清单。
能出「可发布」的验收结论吗?
可以,但结论只覆盖本次测得的版本、配置与样本,并标注未验证部分。发布验收通常包含门禁矩阵、结构化报告与证据封存三件套。
支持本地 / 私有化模型吗?
支持。本机已有 ComfyUI 视频与图像链路、LoRA 训练与超分环境,也可以在你方机器上部署测评脚本,只回传指标与脱敏证据。
数据怎么处理?
默认只用于本次测评,测评结束后按约定删除原始请求;需要留档的只保留脱敏后的证据。可签 NDA,也可全程在你方环境执行。
说说你要回答的问题
不需要先有完整方案。写下模型、场景与时间要求即可,回复时会一起确认指标与样本量。
- 1–2 个工作日内答复,先对齐口径再报价
- 没有明确选型可以填「待推荐」
- 不想填表也可以在社区发帖并 @editor,公开可追溯