谷歌发布世界模型 Genie 4:更逼真、支持音频与实时操控

Google DeepMind 发布了新一代世界模型 Genie 4,目前以研究预览形式向 trusted testers(Google 前沿产品的首批测试者)开放。相比前代,它能生成照片级逼真且可交互的世界,并支持在模拟进行中直接键入提示词改变场景——比如改天气、调镜头角度、加入新人物或物体。模型还实时生成与场景匹配的音频,包括音乐、环境音和交互对话。

与一年前发布的 Genie 3 相比,Genie 4 的场景一致性翻倍,单一场景最多能维持两分钟。物理表现更好,角色也更接近真人。Gemini 更深度地集成进 Genie 4:它扮演导演,负责规划步骤、检查画面,Genie 负责生成视觉效果。在一项与 Gemini Robotics 相关的实验中,Gemini 4 Argon 模型把任务拆成步骤,由 Genie 4 实时模拟,展示了一种先仿真、后落地的机器人测试路径。Google 研究主管 Tejas Kulkarni 说,未来会越来越多看到混合世界模型:Gemini 写代码和文字,Genie 实时接收并模拟不同抽象层次的现实。

行业背景是竞争正在加剧。几个月前,Runway 发布了第二个世界模型 GWM Worlds 2,也是一个可回应输入、含音频生成的可玩模型。同时世界模型产业开始整合:李飞飞的 World Labs 正在被 AMD 收购,Amazon 在洽谈收购 Decart,Rivian 则刚收购 Third Dimension,把仿真能力纳入自动驾驶测试。Genie 4 是 Google 在这个拥挤赛道里保持位置的最新动作。

对外主打的商业用例是游戏、交互学习和机器人。一个推测性场景是:走进一幅历史场景画作,与画中人物聊当时发生的事。但最早试用 Google 前沿产品的 trusted testers 发现了另一种可能——电影原型制作。Google DeepMind 工程师 Diego Rivas 在简报中说,实时性在创意工作中最有价值,因为能保持心流状态,尤其适合构思阶段和故事板阶段,需要快速迭代时。Google 还有视频生成模型 Veo,已能生成带同步音频的高清片段,在电影制作人群中逐渐流行。Rivas 补充说,未来用户可能依靠 Gemini Omni 把这些原型变成创意资产,但距离现实还远。

局限也摆在明面上。Genie 4 仍处在早期阶段,完整的端到端产品体验还不清晰。团队承认当前仍有短板:模拟运行越久,细节和物体越容易漂移;音频的准确性以及世界内文字的清晰程度也尚未完全解决。接下来几周,Genie 4 会从 trusted testers 扩展到 Google AI Ultra 订阅者的 Project Genie 服务(从文本或图像提示生成交互世界的工具),以及 Gemini API 和 Google AI Studio 的早期访问合作伙伴。

Google’s Genie 4 world model adds audio, more realistic worlds, and real-time steering | TechCrunch

查看原文