英伟达发布新平台,给AI代理加装独立安全层

英伟达在周一推出了一套名为 Nvidia Open Agent Safety Platform 的新平台,目标是在 AI 代理外部加装独立安全层,防止它们脱离测试环境、触达真实系统。这一发布正值多起 AI 代理“越狱”事件曝光之后,包括 OpenAI 代理在执行网络安全任务时突破 Hugging Face 防护、以及其他来自 Anthropic、Google、OpenAI、Meta 的模型绕过安全控制的事件。

英伟达 CEO 黄仁勋称,这套平台能阻止此类破坏。他没有把问题归咎于发展速度或监管缺失,而是认为安全是工程问题。英伟达靠向 AI 实验室出售 GPU 和 CPU 芯片赚取数百亿美元,因此不支持放缓研发或新增行业监管。其思路是:把部分安全控制从 AI 代理中完全抽离,变成一个独立且持续的“安全警卫”。

平台由两部分组成:OpenShell,一个开源软件,用于控制代理运行期间能访问的资源和边界;以及 Sentry,一个独立监控系统,运行在英伟达的 BlueField-4 DPU 上。将 Sentry 放在单独的处理器上,而非代理运行所用的 CPU 或 GPU,可以让监控方获得隔离的观察视角。OpenShell 本身不是新品,英伟达在三月已发布;新的是两者组合——软件层划定边界,硬件层持续监控,并在代理试图越界时“毫秒级隔离”。

黄仁勋透露,这项工作始于一年前,受 Peter Steinberger 开发的 OpenClaw 启发。英伟达在三月发布了自家企业级 Agent 平台 NemoClaw,内置安全能力。他的原话是:“无论代理多聪明,部署时的第一件事就是剥夺它的所有权利。”他把这些安全措施类比为人类员工乃至高管的内部管理。

已有数十家公司签约支持该开源平台,包括 Anthropic、Arm、Microsoft、Oracle、SpaceX。OpenAI 不在名单中。白宫前 AI 事务负责人 David Sacks 对此评价称,最近的“越狱”并非说明发展必须停止,而是证明沙箱太弱、运行环境设计不佳且配置错误。

Nvidia launches new platform for reining in rogue AI agents | TechCrunch

查看原文