BioBasicsBench:衡量 AI 智能体湿实验室日常分析

一套名叫 BioBasicsBench 的新基准,由作者团队与酶设计公司 Ligo 合作推出,用来衡量 AI 智能体处理日常湿实验室分析的能力。日常科研不是看论文里挑好的图,而是面对失败实验、模糊图像、互相矛盾的观察。现有基准多用论文图表构建,缺少这种模糊性和排错过程。BioBasicsBench 的 100 个任务覆盖蛋白方法、成像与细胞计数、定量与测定、核酸方法、分子克隆五类常规工作,输入直接用凝胶图、菌落板照片、显微镜堆栈、测序读数、酶标仪导出数据和实验台视频,还附带梯状图、质粒图谱等参考资料。

每个任务由科学家用自己的实验数据编写,搭配专家级评分标准。任务要经过三重审查:未参与撰写的 Ligo 科学家内部审、湿实验室 PhD 外部审、再一轮内部审。智能体返回结构化答案,按标准逐条给分,所以能区分结论对但分析不全的情况。大多数任务同时考生物知识、图像解读、错误识别和实验流程理解。

评估覆盖七款模型:GPT-5.2、GPT-5.4、GPT-5.5、GPT-5.6 Sol、GPT-6.1 Sol、GPT-6 Luna、GPT-6 Astra,共 37 种模型与推理强度设置,每个设置跑 5 次 × 100 任务,总计 18,500 个结果。在最高推理档 xhigh 上,GPT-6 Astra 平均拿到 66.7% 的可用分数,GPT-5.6 Sol 只有 43.8%。即使降低推理强度,Astra 也明显超过上一代,说明更强的原生多模态能力可能是这类任务的关键。

文章用三个例子说明 Astra 的进步。第一个是死细胞染色:GPT-5.6 Sol 看到死细胞染料信号就下结论,但检测窗口还会收到另一种染料的串扰,Astra 识别出这种模糊性,要求加对照来分离信号。第二个是克隆实验:GPT-5.6 Sol 看到阴性对照平板上没有菌落就下结论,Astra 发现那块平板标签写错了抗生素(标注 Kan50,实际实验用的是氨苄西林),于是拒绝把它当作可靠对照。第三个是显微镜系列图像:GPT-5.6 Sol 试图解释细胞为什么消失,Astra 认出那是一组不同深度的 z-stack 扫描。

但高分不代表能在实验室做可靠判断。Astra 仍有几类硬伤。它会让熟悉的假设压过对照:在菌落 PCR 结果中,它正确区分了两组条带,却假设更大的 PCR 产物才是成功克隆,据此选出 4、6、7、8 号泳道,而参考对照比较选的是 5、9、10 号泳道;实验身份被颠倒,后续会纯化到错误的质粒。它还会无视与自己偏好相矛盾的数据:在显微镜图像里,Astra 总结说液泡一般比细胞更暗,却漏掉了同一视野里更亮的部分;它其实检查过那些区域,甚至提到对比度随焦点变化,但最终只把更暗写进结论。它还会数错菌落:计数标记与单个菌落对不上,挤在一起的菌落没分开、可见菌落漏数、空琼脂被算成菌落,这块平板相对参考值大约多计了 12%;多计会按同等比例高估 DNA 导入细胞的效率。

BioBasicsBench 把这些日常环节变成可评测的目标:解读原始数据、检查对照、识别结论站不住的情况。按这个方向进步,科学家能少花时间在重复排错上,多花时间决定下一步做哪个实验。发布方还表示,跟踪这些能力也有助于评估生物安全与生物安保方面的含义。

Measuring how AI agents handle everyday wet-lab science

查看原文