GeneBench-Pro：AI科学判断能力测试基准

科研数据从来不会自带说明书。研究人员得自己判断是生物学信号还是噪声，数据能不能回答手头的问题，下一步该怎么调整。AI代理已经能跑复杂的分析流程，但真正的科学研究需要更高阶的能力——处理歧义、修正假设、在多个路径里挑出正确的那条、判断结果什么时候足够可靠。之前的基准测试几乎都绕过了这些系统级的「判断力」，因为它们太难形式化了。结果是AI在花哨的编程题上得分很高，但面对真实的、有歧义的分析任务时，还是像个只会背公式的新手。

GeneBench-Pro就是冲着这个缺口来的。它一口气塞了129道题，覆盖基因组学、定量生物学和转化医学。每个问题都给一个真实的、乱糟糟的数据集和一段实验背景，代理需要自己探索数据、选择分析方法、迭代试错，最后给出一个能支撑下游决策的答案。最关键的设计是：所有数据都是合成的，团队知道完整的因果结构，所以可以精确控制复杂度，还能确保不同合理的选择都能收敛到可接受的答案，同时通过消融实验验证错误路径确实会失败。评估结果很硬：最强模型GPT‑5.6 Sol最高通过率只有28.7%，而人类专家完成一道题平均要20到40个小时。

这个数字本身就很说明问题。人类成本按保守估计也得几千美元一道题，而AI推理只要几美元——哪怕只自动化一小部分，价值也巨大。但目前模型连三分之一都搞不定，主要卡在「闭合推理循环」上，能走几步但没法整合成一锤定音的结论。这跟专家和新手的差距如出一辙。GeneBench-Pro的价值在于把那种模糊的「科学品味」翻译成了可测量、可诊断的具体问题。一旦代理能可靠地跑通这类分析，瓶颈就不再是数据生成，而是从信息到决策的最后一步。这可能是加速药物靶点发现和转化研究的关键杠杆。