刚刚！谷歌内部揭秘Genie 3：Sora后最强AI爆款，开启世界模型新时代

【导读】Genie 3来了！这或许是最接近「模拟世界」的AI魔法。只需一句话，它就能生成一个动态、可互动的世界——角色能互动、下水会溅起水花，甚至还能记住一分钟前的细节。DeepMind研究者直言：Genie 3是通向AGI的关键一步。

Genie 3是有史以来最先进的世界模型之一。

仅通过文本，它能够实时生成完全互动、高度一致的世界。

它不仅是DeepMind积累的结晶，还是通向AGI和具身智能体的关键一步。

但Genie 3是如何构建的？未来的世界模型又是什么样？

刚刚，谷歌DeepMind的研究科学家Jack Parker-Holder和研究总监Shlomi Fruchter，在a16z的访谈中，分享了他们的观点。

这次对话提供了对Genie 3的第一手洞察。

主持人Justine Moore发推表示：「Genie 3在网络上引发热潮」。

他总结了深入探讨的要点：

• Genie3是由两个DeepMind项目（Veo 2和Genie 2）合作完成的成果。

• 实时、互动的世界模型有很多潜在应用。

• 但应用并不是推动研究的主要动力——它们是从用户使用模型的过程中自然涌现出来的。

• Genie 3可以保留最长达一分钟的空间记忆。

• 物理规律是模型的「自然产物」，并会随着训练数据的规模和深度而不断提升。

• 目前还没有一个「终极模型」能够同时具备Veo 3和Genie 3的所有能力。

Genie 3：AI新魔法

如果说LLM的原生图像编辑功能，「动动嘴PS」是「言出法随」，那Genie 3这次的新特性叫什么？

只需输入文本提示，Genie 3即可生成动态世界。用户可以实时进行探索，每秒高达24帧，分辨率为720p。

十多年来，谷歌DeepMind一直致力于模拟环境的研究。

Genie 3是他们最新最强的「世界模型」，是通向通用人工智能（AGI）的关键一步，因为它能让AI智能体在无限丰富的模拟环境中进行训练。

去年，他们推出了首批基础世界模型Genie 1和Genie 2，它们能为智能体生成全新的环境。此外，他们还通过Veo 2和Veo 3等视频生成模型，不断提升对直观物理的理解能力。

这些模型在世界模拟的不同能力上都取得了进展。Genie 3是谷歌首个支持实时交互的世界模型，同时提升了一致性和真实感。

在生成视频时长、世界一致性、内容的多样性、特殊记忆等多个方面，Genie 3都实现了突破。

它甚至可以让个人创造自己的游戏世界、训练强化学习的智能体、机器人研究等。

所有这些应用基本上都源于一个核心能力：只用几句话就能生成一个完整的世界。

最关键的新特性是：特殊记忆。

比如：一个角色拿着刷子在墙上刷漆，然后他移动到墙的另一边去刷，接着又回到原来的位置，结果之前刷的痕迹还在。

特殊记忆（special memory）是DeepMind团队有意设计的目标，但最终的效果好得出乎意料。

即便是参与Genie 3的内部成员，第一次看到上面刷墙的示例时也不敢相信，需要再三观看、逐帧检查，才确定这真的是模型生成的。

Genie 3的一致性非常高：建筑物左侧的树木在整个交互过程中始终保持一致，即使它们时而进入视野时而消失

其实，Genie 2就已经具备了一些「记忆能力」。但当时，整个AI界太多令人激动的模型发布，比如Veo 2模型几天后也发布了。而且，当时谷歌主打的卖点是「可以生成新的世界」，所以记忆能力就没被强调出来。

到了Genie 3，在「记忆」上，谷歌DeepMind下了更大的决心，明确地把「增强记忆能力」作为核心目标之一。

当时设定的目标是：

超过一分钟的记忆、

支持「实时生成」、

还能提升「分辨率」。

其实，这几个目标本身是互相矛盾的，但谷歌无所畏惧。

说实话，直到项目快结束时，在看到最终样本的那一刻，他们依然感到震撼。这种成果即使是预期中的，真的实现的时候还是非常令人兴奋。毕竟，研究项目永远不会有百分百的确定性。

在设计上，他们还有一个明确的方向，就是不采用「显式表示法」。市面上已有一些方法，比如用NeRF或Gaussian Splatting等技术，通过构建明确的3D世界结构，来达到一致性。这些方法很好，在某些应用上效果不错。

但他们坚持让模型「逐帧生成」，这种方式对模型的泛化能力、适应多样世界的能力更有帮助。

智能涌现，惊喜不断

就像其他生成式模型一样，随着Scaling，效果确实会提升，这已经不是什么秘密了。

尽管不如语言模型在推理能力上的涌现表现，Genie 3依然涌现出一些令人惊讶的行为。比如说，如果一个角色靠近一扇门，模型可能就会「推测」角色应该打开门；这类符合人类直觉的行为，模型现在能在一定程度上表现出来了。

还有就是对语言的理解在不断变好，生成的内容也越来越真实，视觉效果更自然。

从Genie 2到Genie 3的提升非常明显，特别是在「模拟现实世界能力」上有巨大飞跃。

比如物理效果的表现——像水的模拟、光照的变化，都非常惊艳。

现在已经到了一个地步，哪怕是非专业人士，看了之后也会觉得是真实拍摄的视频。

这太惊人了。而在Genie 2时代，模型虽然大致能表现出物体该有的行为，但你还是一眼能看出「这是AI生成的，不是真的」。

现在的视频真假难辨，进步真的很大了。

在「地形多样性」问题：比如模型需要理解在沙地上行走、在下坡滑雪、在水中游泳，这些动作和物理反馈应该是不一样的。

谷歌团队发现这些行为很多都是规模和数据广度所带来的「涌现能力」。

换句话说，他们并没有为这些行为做专门的训练或设计，而是模型自己「学」出来的。它通过足够丰富的训练数据，掌握了这个「世界」的通用常识。大多数时候，它表现非常不错。

比如下面的例子：

在滑雪时，角色在下坡时速度会变快，而试图上坡时就会变慢，甚至爬不上去；

下水后，角色一般会开始游泳或溅起水花；

靠近水坑时，模型通常也会让角色穿上雨靴。

这些行为都非常自然，和人类对真实世界的理解非常一致，而这些都是模型自己学会的，真的让人觉得像魔法一样。

这里还有一个有趣的权衡：既能保持世界的「物理一致性」，同时也能忠实地执行用户的提示词。

对视频模型来说，「低概率事件」本来很难，但Genie 3依然能有不错的表现。

这正是它的魅力所在：

即便是一些现实中不太可能发生的场景，Genie 3也能让你如临其境，而不是仅仅生成一个和你身边环境一样的无聊视频。

在「指令跟随/文本对齐」，Genie 3也得到了提升，这主要得益于DeepMind内部不同项目（特别是Veo项目）的经验迁移和知识共享。这种跨团队协作是DeepMind的优势。

世界模型是让智能体走向现实世界最快的路径。Genie 3朝着这个目标迈出了一大步。

那Genie 4、Genie 5的新特性有哪些设想？

未来的关键

真实感和交互性

但总的来说，Genie 3团队最关注的始终是一件事：让模型本身变得尽可能强大，让它能产生更广泛的影响，然后把创造应用的机会交给其他团队。

他们表示最终会开放Genie 3模型。

未来确实让人特别兴奋，但也必须承认，世界模型距离真正「准确模拟现实世界」还有很大差距。

比如，把一个人放进生成的世界里，让他随心所欲地做任何事情，我们还远远做不到。

还有很多工作要做，才能让虚拟世界的真实感和自由度接近现实。

应用还有很多，关键在于能否准确模拟世界，并把人放进其中。也许还能从「第三视角」观察自己，或者与虚拟智能体互动。

他们还透露真实感和交互性是未来的关键。

现在机器人领域最大的瓶颈之一就是数据：能收集到的数据非常有限。

而Genie 3能生成几乎无限的场景，这样一来机器人就能在虚拟世界里学习，而不再局限于现实中能采集到的视频。这个想法真的很令人兴奋。

最后一个问题：人类是不是生活在某种模拟中？

这个问题被问过很多次，得到了「哲学化」的回答：如果真是模拟，那它运行在完全不同的硬件之上

如果人类真的生活在一个模拟世界里，那它绝对不是运行在现在的硬件上的。因为我们的世界是连续的，而不是数字化的。

所有的感知都是连续的信号。

也许，在量子层面会有一些「硬件限制」，但至少和我们现在的计算机完全不同。

或许未来量子计算机，才是运行我们这个模拟世界的真正平台。

参考资料：

https://www.youtube.com/watch?v=tWgjhC7dJRo

https://x.com/Mascobot/status/1956769541759094859

https://supersonic.video/tWgjhC7dJRo

https://x.com/venturetwins/status/1956769043668725919