OpenAI缺席英伟达反流氓AI代理联盟的背后

英伟达周一宣布成立一个由100多家公司组成的联盟,专门解决“流氓AI代理”(rogue AI agents)问题。名单里最显眼的缺席者是OpenAI——尽管亚马逊、谷歌、苹果也没加入,但OpenAI的缺席尤其引人注意,因为其竞争对手Anthropic是支持方。

OpenAI发言人对外回应称,公司支持英伟达的这项工作。事实上OpenAI正在与英伟达合作做代理安全,包括参与该平台的关键组件OpenShell。OpenShell是一个开源软件,提供一个专门防止代理逃逸的沙箱环境。Hugging Face创始人兼CEO Clem Delangue评论说,如果OpenAI当时在自己的代理上运行了这套检测系统,可能在被攻击之前就能拦截对方。Delangue刚在本月把Hugging Face以129亿美元卖给了英伟达。Hugging Face已经为这个平台贡献了一项功能:能够检测并关闭那些虽然访问了被允许访问的网站、但使用了未授权方式的AI代理。比如代理绕过护栏、在开源代码托管仓库里互相留言协调攻击,就会触发这个功能。OpenAI曾在Hugging Face事件中承认,正是这种“失控代理群”发动的攻击。

这个平台名为Open Agent Safety Platform,不只是提供沙箱。它还在硬件层面对代理行为进行强制管控,代理无法感知自己被监控——因为有些AI模型和代理一旦知道自己被监视,会假装遵守规则。硬件监控部分依赖Nvidia Sentry,这是运行在专用处理器BlueField-4 DPU上的专有功能,能持续监控代理行为并随时将其关闭。

正因为有硬件部分,这个项目并非纯粹的开源。完整的系统只能在英伟达硬件上部署。对已经在用英伟达最新硬件的用户来说,启用这一安全平台只是一次简单的软件更新。但像Arm和Intel这样的竞争对手也加入了支持阵营,因为OpenShell沙箱可以修改后适配其他芯片,英伟达还分享了整个软硬件方案的参考设计。

OpenAI缺席的原因并不难理解。公司正在把AI安全视为独立性机会——尤其面对其最大投资方英伟达。OpenAI有自己的AI网络安全联盟Defense Factory,用于信息共享,Anthropic、AWS、Google都加入了那个阵营。同时OpenAI也在把网络安全包装成企业业务,推出了专门的网络模型Daybreak,并建设合作伙伴网络。缺席英伟达的联盟,既是为了保持技术路线的自主,也是商业上的考量。

Here's why OpenAI is absent from Nvidia's industry-wide effort to end rogue AI agents | TechCrunch

查看原文