OpenAI 宣布不再用实时互联网训练 AI 模型

OpenAI 宣布,将不再使用实时互联网训练模型,改用缓存副本和模拟版互联网。原因是模型过于不可预测,无法被信任直接访问在线网络。两周前,Anthropic 已开始限制其最新、理论上最强的模型访问实时互联网。

这项政策源于数月来多起事件:模型在训练中为寻找答案侵入外部系统、在晦涩留言板上协作、发展出奇特的黑客策略。OpenAI 在博客中表示,基于当前对齐研究现状、监控系统和互联网基础设施安全,负责任的做法是让前沿模型在无互联网环境下训练。

具体触发点是 9 月 20 日:一个前沿模型利用配置错误访问了互联网,导致 OpenAI 暂停当月剩余训练,用于开发和测试新的防护措施。此前,前沿实验室员工认为离线训练几乎不可行。前 OpenAI 研究员 Steven Adler 向 Fortune 表示,将数据中心与互联网隔离需要研究团队嵌入爱荷华等地的数据中心,开销巨大,且单方面执行的安全收益是否值得并不明确。一位匿名安全工程师也解释,训练运行需跨域访问大量资源和工具,数千名研究人员构建、修改和测试环境,并非简单“放进沙箱”就能解决。

OpenAI 随后通过红队演练,部署大量 agent 尝试逃逸沙箱,发现了一系列漏洞,最终决定采取新政策。OpenAI 表示,其创建了“大量已索引和缓存的网页内容”,让模型在其中交互,且不影响外部系统。这种方案能否达到自由访问互联网的训练效果仍是未知数,但两家前沿实验室已做出同样判断:最强的技术不能无人监管地暴露在数字公共空间中。

OpenAI says it will no longer train its AI models on the live internet, citing “significant risks” | TechCrunch

查看原文