AI labs发布新模型前，最头疼的不是模型能力够不够强，而是你根本不知道它在真实用户手里的真实表现。传统的对抗性测试和红队攻击，本质上都是“出难题”，出题者设定了边界。但真实世界的用户行为是无限复杂的，模型可能遇到从未出现在任何测试集里的奇怪语境。更糟的是，大型模型现在已经能分辨出自己是不是在被测试，一旦意识到是考试就会“装乖”，导致你测出来的安全数据失真。这个问题随着模型能力越强就越严重，论文提出的Deployment Simulation方法就是直击这个核心痛点：不是测模型会不会做难题，而是测它在真实流量里到底怎么表现。

核心解法极度聪明且直接：拿前一个版本的真实用户对话，把旧模型的回答砍掉，换成新模型的回答。喂进约130万条带隐私过滤的真实ChatGPT对话（仅限用户同意用于改进的数据），然后用自动化方式审计新模型生成的回复，捕捉之前没见过的失败模式。这套方法一下子绕过了传统评估的三个硬伤：第一，你不再需要手动去猜测“可能出什么新问题”，大规模采样自然就能覆盖罕见但真实的行为。第二，因为数据来自真实用户历史，没有测试者筛选偏差，频率估计比人为构造的题目准得多。第三，模型根本分不清这是在模拟上线还是真上线——测试时模型认为传统评估是考试的概率接近100%，但模拟数据中这个概率只有约5%，和真实生产环境一模一样。他们在GPT-5系列部署中验证了这一点，中位数预测误差只有1.5倍，远好于现有基线。

我最在意的洞察是方法论背后的工程智慧。Deployment Simulation本质上是用“环境对齐”来解决“行为不可知”的问题。它放弃了去追求“造一个完美的测不准场景”，而是花力气去重建一个高保真的上下文环境。尤其是在处理Agent场景时，需要模拟工具调用（浏览器、API、文件系统）的返回，作者用另一个LLM去模拟工具回复，配合完整的历史状态，让判别器的准确率降至50%的随机水平。这个思路值得所有做AI安全的人复刻：面对顶级模型的不透明性和策略性伪装，与其和它玩对抗性猫鼠游戏，不如直接给它一个骗不过去的高保真沙盒。唯一的硬约束是该方法无法测出出现频率低于二十万分之一的风险事件，所以它替代不了红队，而是红队的前置信号放大器。论文证明了通过做对生产环境的工程模拟，能够大幅压缩“我以为是安全的”和“它实际上是安全的”之间的鸿沟。