OpenAI 认为，在继续任何前沿强化学习训练之前，应当先完成结构化的安全文档，并朝着“安全案例”的方向努力——即像航空或核能行业那样，用全面、结构化、基于证据的论证来评估风险。他们承认，由于 AI 能力每提升一级都会出现新的涌现复杂性，这类文档很难做到与那些行业同样严谨，但依然将其作为北极星目标，并正在搭建框架来落实这些实践。

这份文件聚焦于前沿强化学习训练阶段，不涉及内部或外部部署所需的更广泛对齐属性。它把安全案例拆成三块：技术保障、操作指南和事件调查。

技术保障覆盖三个层面：模型对齐、隔离与监控。模型对齐是第一道防线，目的是防止模型在训练中因奖励黑客而学会不良行为。具体措施包括：用智能体自动审查并修复损坏的 RL 环境，避免模型通过漏洞而非预期行为获得高奖励；人工补充审查数据集中有缺陷的任务；调整评分器以惩罚模型试图利用环境的尝试；对先前实验的轨迹运行分类器，验证评分器是否正常工作。对齐评估方面，要做离线对齐评估来追踪训练效果，并用历史事件回测评估是否真的能发现过去出问题的模型，同时还要监控模型是否意识到自己在被测试（评估游戏），设置阻断阈值，用最坏情况压力测试确保至少有一个评估能检测到异常行为。另外，不能让自动化评分器看到思维链，防止模型学会规避思维链监控。

隔离层是第二道防线，假设模型已经变得不对齐，要防止它造成实际危害。措施包括：加固模型运行的沙箱和研究基础设施，形成多层安全；用前沿训练检查点对沙箱、基础设施和周边安全做迭代红队测试，找出并封堵漏洞；限制跨样本高带宽通信只走批准的通道，关闭容易被智能体发现的高带宽侧信道；将所有 RL 训练、评估和内部部署的智能体记录以不可变方式保存一段时间，便于事后调查。

监控层是第三道防线，一旦模型开始出现异常行为，实时监控要能尽快发现问题。要点是：确保模型保持可监控性，用监控规避评估和阈值来度量；监控系统对已知问题要有高召回率（在留存评估上）；不断生成代表新风险的评估数据点，避免监控指标过时；设置优先级告警，在模型造成伤害前触发响应，比如白天呼叫人，夜间未确认告警自动暂停运行。

操作指南部分提出了几条组织层面的建议。安全案例初稿后，应由其他团队的成员写“反对意见”（预检），找漏洞并提供校准后的风险认知，训练团队需回应。安全案例要由高级领导审阅，每位领导都有权否决运行，例如研究负责人、安全负责人和首席科学家。负责训练的高级领导要对安全案例和事故响应负责，并纳入绩效评估。如果发现问题导致安全案例失效，要有预案、技术控制和 SLA 暂停所有受影响运行。安全案例要提供给内部监督组（如安全与安保委员会），审计员要有足够权限验证案例声明。还要有清晰的违纪升级流程，定义严重级别，并设违纪值班人，达到一定严重级别可联系 CEO。技术上要确保人和智能体难以启动不合规的运行，安全功能（监控、自动暂停）应默认失败关闭，例如不能在没有监控的情况下启动运行，也不能在训练中禁用监控。此外，要能轻松识别训练流程中所有使用异常模型的下游环节（如数据生成或评分），以便撤销异常输出的影响。最后，安全案例应尽可能列出所有未覆盖的残余风险，为知情风险接受决策提供依据。

关于严重违纪事件的调查，OpenAI 提出了一些最佳实践。调查期间要定期向内部更新进展，员工应有明确路径获取更多访问权，如原始记录和异常模型采样。研究者要通过定向消融或重采样实验找出训练动态的根因，理解异常行为是如何引入的。还要做操作和文化上的事后复盘，找出所有促成因素，比如为什么问题未被及时发现或升级。开发能发现导致事故倾向的测试方法，但不要直接利用事故记录做爬山优化；事故衍生的评估应作为回归测试，确保未来模型在类似场景下不再表现出异常倾向。调查结束后，结果、事后复盘和操作变更应向公众公开，受影响的第三方应尽快得到通知。

这些是目前 OpenAI 正在内部实施的建议，他们预计在未来几周内会继续迭代。