TechCrunch · AI· Rebecca Bellan·· 3 小时前AI 评分58
Google DeepMind 发布世界模型 Genie 4,新增实时音频与自由编辑
Google’s Genie 4 world model adds audio, more realistic worlds, and real-time steering
AI 导读
Google DeepMind 以研究预览形式发布世界模型 Genie 4,可生成更逼真的交互世界,并支持在模拟过程中输入提示词实时改变场景。该模型还能生成与场景匹配的实时音频,包括音乐、环境音和交互对话,场景一致性最长维持两分钟,是前代 Genie 3 的两倍。
深度导读
Google DeepMind 于周二以研究预览形式发布世界模型 Genie 4。相比一年多前发布的 Genie 3,新模型生成的世界更接近照片级真实,并支持在模拟进行中通过文本提示实时修改场景,例如改变天气、调整镜头角度或添加人物和物体。
Genie 4 新增实时音频生成能力,可产出与模拟世界匹配的音乐、环境噪声和交互对话。场景一致性最长可维持两分钟,为前代的两倍,物理表现和角色拟真度也有提升。Gemini 与 Genie 4 的集成更紧密,Gemini 负责规划步骤和检查画面帧,Genie 负责生成视觉内容。
在与 Gemini Robotics 相关的研究实验中,Gemini 4 Argon 模型将任务拆解为步骤,由 Genie 4 实时模拟,展示了在真实世界执行前先在仿真中测试机器人场景的路径。Google 研究总监 Tejas Kulkarni 在简报中称,未来会越来越多出现 Gemini 写代码和文本、Genie 实时接收并模拟现实的混合世界模型。
商业用例包括游戏、互动学习和机器人。受信任测试者还指出影视原型制作这一新方向,Google DeepMind 工程师 Diego Rivas 表示,实时能力在创意流程的构思和分镜阶段最有价值。团队同时承认 Genie 4 仍有不足:模拟运行越久,细节和物体越容易漂移,音频准确性和场景内文字可读性也尚未完全解决。
Genie 4 目前向受信任测试者开放,未来数周将向 Google AI Ultra 订阅者通过 Project Genie 推出,并开放给 Gemini API 和 Google AI Studio 的早期访问伙伴。行业层面,Runway 数月前发布带音频的 GWM Worlds 2,World Labs 被 AMD 收购、亚马逊洽谈收购 Decart、Rivian 收购 Third Dimension,世界模型领域正在整合。
来源:TechCrunch · AI · techcrunch.com