DeepMind 成立新机构,推动 AGI 安全辩论

Google DeepMind 于周三宣布成立 DeepMind Institute,旨在围绕通用人工智能(AGI)这一前沿话题展开更开放的讨论。该机构由 DeepMind 联合创始人 Shane Legg、Google 高管 James Manyika 以及 Google DeepMind 首席执行官 Demis Hassabis 担任负责人,其中 Legg 担任主编。机构的核心目标是呈现 Google、Google DeepMind 与全球研究界之间对于 AGI 的不同观点。官方公告称,这些观点”不会总是一致,而且随着前沿领域快速变化、更多数据和信息出现,他们很可能会改变想法”。

该机构首批发布了四篇论文,覆盖多个主题:应对潜在 AGI 干扰的经济政策、保留人类可读的模型推理能力、人类繁荣的原则,以及评估前沿 AI 模型的框架。其中一篇由 DeepMind 安全研究员 Rohin Shah 和 Anca Dragan 撰写的论文提出,AI 透明度窗口正在缩小——即能够查看和检查模型逐步推理过程的能力——但这并非不可避免。随着新架构使最强大的模型越来越难以监控,作者认为开发者和监管者应正面应对这些安全权衡。可能的措施包括限制”不透明串行深度”(模型在未产生可读推理轨迹的情况下能够执行的顺序计算量),或要求开发者证明透明度较低的系统仍然可以被有效监控。

另一篇论文中,Hassabis 提议建立一个由美国主导的前沿 AI 标准机构,负责评估最先进的 AI 模型。根据他的框架,开发者最初将在发布前最多 30 天自愿提交模型供审查。一旦评估体系被证明有效,通过测试可能成为在美国部署前沿模型的先决条件。该机构最初将与 AI 公司协商设计评估方案,但最终会开发独立的、不公开的评估(即论文中所称的”保密测试”),以防止实验室针对已知评估调整模型。Hassabis 表示,该框架可以”根据局势的严重性逐步升级”,甚至可能包括前沿 AI 开发者之间的协调放缓。

Google DeepMind launches institute to widen the AGI debate | TechCrunch

查看原文