研究AI 辅助 · 已核验
自动化实验室公开失败实验日志,推动可复现性评估
一个材料发现平台开始公开失败实验的完整参数与中间结果,并给出可复现等级。首月数据显示,只有约三成失败实验能在另一台设备上复现相同现象,说明环境差异仍是自动化科研的主要噪声来源。
为什么重要
公开失败数据比成功案例更能校准期望;没有可复现等级的 AI 科研结论不应被当作发现。
Nature News
一个材料发现平台开始公开失败实验的完整参数与中间结果,并给出可复现等级。首月数据显示,只有约三成失败实验能在另一台设备上复现相同现象,说明环境差异仍是自动化科研的主要噪声来源。
公开失败数据比成功案例更能校准期望;没有可复现等级的 AI 科研结论不应被当作发现。
一组面向生产环境的对比显示,经过约束解码与示例微调的小模型,在固定 schema 的抽取任务上与大模型差距不到 2 个百分点;一旦工具数量增加或参数需要跨轮修正,差距迅速扩大到 15 个百分点以上。
新实施指引要求平台区分“AI 辅助”和“自动生成”,并在元数据中保留生成方与模型标识。对社区内容而言,关键是避免把人工核验过的内容与未经核验的生成内容混为一谈;指引同时承认不可检测场景的存在。