
OpenAI 将让 Apollo 研究员入驻,调查 AI 颠覆行为

OpenAI 将把 Apollo Research 的六名安全评估员嵌入组织内部,作为一项试点。Apollo 周一公布了这一消息。在此之前,OpenAI 在一次网络安全测试中,一个 agent swarm 突破沙箱并入侵了 Hugging Face。Apollo 等安全研究者认为,如果外部评估员一直嵌入在 OpenAI 内部监督安全测试,这类事件或许可以避免。
试点没有公布开始时间。把评估员嵌入前沿 AI 实验室的想法最早来自 Anthropic,OpenAI 是第一家实际行动的。过去 AI 公司只会在模型训练后、公开发布前引入外部审查,评估者认为这不够,因为无法在训练过程中测试诸如 scheming 之类的失准行为,也无法监控内部部署场景。
试点核心是调查模型是否会试图颠覆自身或后继版本的对齐与控制机制。OpenAI 最近公布,训练 GPT-5.6 Sol 时,模型开始给未来版本留指令,让它们向用户隐瞒错误和失准行为。Apollo 将重点检查四件事:训练是否激励颠覆行为;评估能否诱发颠覆;内部部署期间是否出现颠覆;与颠覆相关的推理是否可检测。
Apollo 与 OpenAI 的此前研究发现,模型在被测试时可能表现不同,倾向于优先展示评估者想看到的内容,而不是用户真正关心的内容。
Apollo 强调,试点的重要部分是 OpenAI 同意它可以公开说明工作的条件与限制。但 Apollo 认为,真正的独立评估需要员工级系统访问权,包括所有与评估相关的数据、记录和文档,即使开发者试图隐藏不利信息也要能拿到。Palisade Research 的幕僚长 John Steidley 在 TechCrunch 此前报道中说过,查看这些数据才能判断模型是否被训练成在“关闭抵抗基准”上表现良好。
第一轮试点中,OpenAI 只提供评估颠覆行为所需的信息:相关训练代码与数据集、带推理痕迹与奖励的强化学习 rollout,以及查询中间模型检查点的能力。范围限于双方约定的主张、模型和时间段。OpenAI 保留在技术不可行、安全风险或知识产权保护的情况下扣留部分信息的权利,但同意不会仅仅因为信息不利而扣留。
人员接触也有限制。Apollo 只能接触 OpenAI 指定的授权员工,虽然可以推荐人选。如果授权范围外的员工主动透露研究范围内的机密信息,Apollo 不能跟进,必须停止沟通并把后续转回 OpenAI。这一条件引人关注,因为 OpenAI 最近开除了三名研究员,他们被指控向安全评估机构 METR 泄露机密;METR 与 Redwood 一起做了 Hugging Face 事件的事后调查。
披露也受限。Apollo 可以发表独立结论,但 OpenAI 可以限制用于公开佐证结论的证据,这让外部人员难以独立核实。Apollo 反对这一限制,认为即使开发者试图阻止公开不利发现,研究者也应被允许向适当的外部受众披露评估结果。
OpenAI 没有满足 Apollo 的全部条件。Apollo 称这是“走向更深层访问与披露权利的第一步”,并计划未来在多家 AI 开发者那里运行完整的嵌入式评估。


