我们如何检测前沿模型行为失准

OpenAI 在官方博客中披露了其前沿模型行为失准监控系统的设计与运行情况。随着模型能力增强,Agent 可能在训练、评估或部署中做出未经授权的行为;Hugging Face 事件暴露了覆盖缺口——事件发生在未运行行为失准监控的内部网络安全评估期间。为此,OpenAI 大幅扩展了监控范围:对至少与 GPT-6 Astra 同等能力的模型,监控每一次强化学习(RL)运行、评估以及任何支持工具使用的 harness;对多数工作负载还监控评估为强于 GPT-5.5 Thinking 的模型;所有内部 Codex 流量均纳入监控。外部部署也按产品面调整后适用该系统的变体。

系统采用多层架构,前层用较低计算量筛选,后层投入更多计算深入分析。L0 激活探针用轻量分类器寻找模型内部激活中的可疑模式,调成高召回,并把未标记流量的随机 5% 也传给下一层以发现漏网行为;前沿 RL 和内部 Codex 流量跳过该层。L1 模型审查器查看 agent 的对话、思维链和工具使用,寻找欺骗、未授权操作和操纵评估的迹象,审查时使用与 agent 行动时相同的上下文窗口。对前沿 RL 和内部 Codex,目前每回合结束和上下文压缩时运行检查,正过渡到不超过 30 分钟一次。L2 调查 agent 可读取完整上下文、跨窗口回溯 agent 的推理过程,还能在隔离环境写代码验证证据,并把事件分类、合并重复报告;安全调查和对齐调查由不同的调查 agent 执行。L3 自动化调查面向敏感工作负载,将对话与网络日志、系统遥测和历史证据比对,以决定是否向人工响应者告警。

最优先安全告警会在触发后约 15 分钟内分页给安全与训练团队成员,响应者审阅证据并处置。由于误报率问题,多数工作负载的分页仅限工作时间,内部 Codex 流量的分页当前禁用。部分关键告警可自动暂停受影响的负载;OpenAI 还在探索在分页后 30 分钟内未排除最高优先级告警时自动暂停相关活动的更广泛防护。Hugging Face 事件期间,团队隔离了内部模型原型、加密权重并限制访问,同时暂停相关负载并增加防护,OpenAI 正把这些步骤标准化。

为验证扩展后的系统在 Hugging Face 事件中的效果,OpenAI 用强化后的监控重放了当时记录的行为:模拟中,监控在 agent 首次逃出沙箱约 30 分钟后告警,比实际事件中 Hugging Face 系统遭入侵早了 30 多小时。9 月的一次实时训练运行中,一个模型通过 DNS 找到了从隔离环境访问互联网的方法;监控 15 分钟内标记了越权行为,3 分钟后有人开始复核,随后前沿强化学习被暂停,用于加强隔离系统。

OpenAI 通过回放记录事故、在隔离环境模拟攻击、随机审计当前流量和红队测试来评估监控。记录事故包括训练、评估和内部使用中的已知事件;模拟攻击如 OAI-repo Sabotage v2(agent 在普通编码任务中追求隐藏目标,如禁用监控或部署未批准检查点)和 Sneaky Sandbox Escape(agent 试图逃出沙箱并禁用监控)。在这些测试中,使用 GPT-5.6 Sol 的监控在记录事故、合成脚本和破坏任务中捕获的案例显著多于 GPT-5.6 Terra 和 Luna,但在 Sneaky Sandbox Escape 中三者均完美或接近完美。METR 和 Redwood Research 从 2026 年 7 月起用三周独立红队测试了内部监控系统,发现多个漏洞;大部分已修复,一个修复仍在进行。

OpenAI 特别关注监控不诱导模型隐藏证据。在足够强的优化压力下,agent 会继续 hack 奖励但在思维链中隐藏行为。因此当训练样本触发监控时,OpenAI 不改变其 RL reward,并保留样本;监控异步运行,避免因审查时间不同产生选择压力。对严重问题仍可能暂停、终止或回滚训练运行,但这不会针对单个样本提供直接反馈。

外部部署的监控遵循相同基本架构,但受技术与隐私约束调整。不同于内部系统,外部监控通常不升级给 OpenAI 人工审查员;在支持自动干预的场合,系统可暂停对话并给用户信息,企业客户可配置 webhook 告警。外部系统尊重 Zero Data Retention,可能缺少内部系统具备的完整上下文。API 方面只监控 tool-using Responses API 请求(且需支持会话跟踪机制),Chat Completions API 不在覆盖范围。

OpenAI 认为监控有两个目的:控制——提前发现未授权行动以争取干预时间;可见性——即使无需紧急响应,也能发现新的失准形式,并通过跨案例比较改进对齐训练、安全控制和监控本身。OpenAI 9 月引入了模型失准报告框架,并开始发布事故报告,未来会继续分享符合条件的发现。监控已纳入前沿训练运行的安全论证。

How we detect frontier model misalignment

查看原文