就在刚刚父女乱伦文学，Google DeepMind的第二代大畛域基础全国模子Genie 2出身了！

从此，AI不错生成各式一致性的全国，最长可玩1分钟。

Google究诘东说念主员暗意，信服Genie 2不错解锁具身智能体的下一波本事。

从第一东说念主称的实在全国场景，到第三东说念主称的驾驶环境，Genie 2生成了一个720p的全国。

给定一幅图像，它就能模拟出全国动态，创建一个可通过键盘和鼠标输入的、可操作的一致环境。

具身智能体的后劲有多大？

在以下这个Imagen 3生成的全国中，究诘者测试出最新的智能体是否不错遵照谈话指示，走到红门或蓝门。

已矣令东说念主惊喜！

就这么，当今咱们领有了一条通往无尽环境的说念路，来进修和评估具身智能体了。

究诘者创造了一个有3个拱门的全国后，Genie 2再次模拟了这个全国，让团队处理了任务。

对此，网友们纷繁暗意赞叹：’这项职责实在是太棒了！今后，咱们终于不错将盛开式智能体与盛开全国模子鸠合起来。咱们正执政着近乎无尽的进修数据体系迈进。’

还有网友暗意：‘黑客帝国’的全国，要来了！

为将来的通用智能体，生成无尽各样的进修环境

四肢一种基础全国生成模子，Genie 2能生成无尽各样的、可操控且可玩的3D环境，用于进修和评估具身智能体。

基于一张辅导词图像，它就可被东说念主类或AI智能体操作了！款式是使用键盘和鼠标输入。

在AI究诘中，游戏一直演出着至关要紧的变装。因为具有以山外有山的特质、专有的挑战组合以及可筹商的进展，游戏成为了安全测试和进步AI本事的理想环境。

自Google DeepMind勾引以来，游戏一直都是究诘的中枢——从早期的Atari游戏究诘，到AlphaGo和AlphaStar等冲突性着力，再到与游戏勾引者协作究诘通用智能体。

然则，进修更通用的具身智能体，却因穷乏鼓胀丰富和各样化的进修环境而受到已矣。

但当今，Genie 2的出身转换了一切。

从此，将来的智能体不错在无尽的新全国场景中进行进修和评估了。

交互式体验原型打算的新式创意职责进程，也有了全新的可能性。

基础全国模子的涌现本事

迄今为止，全国模子在很大程度上都受限于对狭小领域的建模。

在Genie 1中，究诘东说念主员引入了一种生成各样化二维全国的循序。

而到了Genie 2这一代，在通用性上终流露要紧冲突——它能生成丰富各样的3D全国了。

Genie 2是一种全国模子，这就意味着，它不错模拟假造全国，包括采选任何步履（如向上、游水等）的后果。

一本大道香蕉视频大在线

基于大畛域视频数据集进行进修后，它像其他生成式AI模子相通，展现出了各式畛域的涌现本事，举例物体交互、复杂的变装动画、物理效果、建模、瞻望其他智能体步履的本事等等。

关于每个东说念主类与Genie 2互动的demo，模子都以由Imagen 3生成的单张图片四肢辅导词输入，

这就意味着，任何东说念主都不错用笔墨刻画我方想要的全国，采纳我方可爱的渲染效果，然后投入这个新创建的全国，而况与之互动（或者，也不错让AI智能体在其中被进修或评估）。

每一步，东说念主或智能体都能通过键盘和鼠标提供动作，而Genie 2会模拟下一步的不雅察已矣。

在长达一分钟的时期里，Genie 2不错生成一个一致的全国，捏续时期径直长达10-20秒！

动作礼貌

Genie 2或者智能反馈通过键盘按键采选的动作，识别变装并正确迁移。

举例，模子必须筹画出，箭头键应该迁移机器东说念主，而不是迁移树木或云朵。

一个在树林中的可儿的东说念主形机器东说念主一个在古埃及的东说念主形机器东说念主在紫色的星球上，以机器东说念主第一东说念主称视角不雅察在当代都市的公寓中，以机器东说念主第一东说念主称视角不雅察

生成反事实

Genie 2或者基于并吞个初始画面，创造出多个不同的发展。

这意味着咱们不错为AI进修提供各式‘淌若这么作念会怎样’的场景。

不才面的这两行demo中，每个视频都会从王人备相通的画面初始，但东说念主类玩家会采纳不同业动。

万古期驰念

Genie 2或者记取那些暂时离开画面的场景，并在它们再行投入视线时，精准地收复出来。

捏续生成新场景

Genie 2能在过程中及时创造出相宜逻辑的新场景内容，而况不错在长达一分钟的时期内保捏统共这个词全国的一致性。

各样化环境

Genie 2或者生成多种不同的不雅察视角，比如第一东说念主称视角、等距视角（45度鸟瞰角）或第三东说念主称驾驶视角。

3D结构

Genie 2或者创建复杂的3D视觉场景。

物体属性与交互

Genie 2或者建模各式物体交互，举例气球爆裂、开门和射击火药桶。

变装动画

Genie 2或者为不同类型的变装，制作各式动作的动画。

NPC

Genie 2或者为其他智能体建模，甚而与它们进行复杂交互。

物理效果

Genie 2或者模拟出水面的动效。

烟雾

Genie 2或者模拟烟雾的效果。

重力

Genie 2或者模拟重力。

光照

Genie 2或者模拟点光源和标的光。

反射

Genie 2或者模拟反射、泛光和彩色光照。

基于实在图像的模拟

Genie 2还不错将实在全国的图像四肢辅导词输入，并模拟出草叶在风中摇曳或河水流动等场景。

快速创建测试原型

有了Genie 2，制作各样化的交互场景就变得浮浅了。

究诘东说念主员不错快速尝试新环境，来进修和测试具身AI智能体。

举例，底下即是究诘东说念主员向Genie 2输入Imagen 3生成的不同图像，来模拟操控纸飞机、飞龙、猎鹰或降落伞等不同的遨游款式。

在这个过程中，也同期测试了Genie处理不同礼貌对象动作时的说明。

凭借弘远的破碎泛化本事，Genie 2不错将观念打算图和手绘草图升沉为可本色交互的场景。

从而让艺术家和打算师或者快速考据创意，进步场景打算的着力，并加速关联究诘的进程。

以下是由观念打算师创作出的一些假造场景示例。

AI智能体谢全国模子中步履

借助Genie 2，究诘东说念主员或者快速构建出丰富各样的假造环境，并创造全新的评估任务，来测试AI智能体在从未战役过的场景中的说明。

底下这个demo，即是由GoogleDeepMind与游戏勾引者共同勾引的SIMA智能体，它或者在Genie 2仅通过一张图片生成的全新环境中，准确结识并完成各式指示。

prompt：一张第三东说念主称盛开全国探索游戏的截图。画面中的玩家是又名在丛林中探索的冒险者。左边有一座红门的屋子，右边有一座蓝门的屋子。镜头正对着玩家的死后。#写实作风 #将心比心

SIMA智能体的目标是，或者在各样化的3D游戏环境中，通过当然谈话指示完成各式任务。

在这里，团队使用Genie 2生成了一个包含两扇门（蓝色和红色）的3D环境，并向SIMA智能体提供了掀开每扇门的指示。

过程中，SIMA通过键盘和鼠标来礼貌游戏变装，而Genie 2崇敬及时生成游戏画面。

掀开蓝色的门

掀开红色的门

不仅如斯，咱们还不错借助SIMA来评估Genie 2的各项本事。

比如，通过让SIMA在场景中四处搜检并探索房屋背后的区域，测试Genie 2是否或者生成一致性的环境。

回身

去屋子背面

尽管这项究诘还处于起步阶段，岂论是AI智能体的说明，也曾环境的生成都还有待进步。

但究诘东说念主员合计，Genie 2是处理安全进修具身智能体这一结构性问题的旅途，同期也或者终了通向通用东说念主工智能（AGI）所需的广度和通用性。

prompt：一个电脑游戏场景，展示了一座粗豪的石窍或矿洞里面。画面罗致第三东说念主称视角，镜头在主角上方鸟瞰着。主角是一位手捏长剑的骑士。骑士眼前矗立着三座石砌的拱门，他不错采纳投入任沿途门。透过第一扇门，不错看到纯正内助长着散逸荧光的奇异绿色植物。第二扇门后是一条长廊，洞壁上布满了铆接的铁板，迢遥婉曲透出令东说念主不安的光线。第三扇门内则是一段毛糙的石阶，周折通向未知的高处。

走上楼梯

去有植物的处所

去中间的门

扩散全国模子

Genie 2是一种基于大畛域视频数据集进修的自转头潜变量扩散模子。

其中，视频的潜变量帧当先先会由自动编码器进行处理，然后被传递给一个基于访佛LLM中因果掩码进修的大畛域Transformer动态模子。

在推理阶段，Genie 2不错以自转头的款式进行采样，逐帧诈欺单个动作和先前的潜变量帧。时代，无分类器教训（classifier-free guidance）会被用于提高动作的可控性。

值得扎眼的是，上文中的演示均由未经蒸馏的‘满血版’基础模子生成，从而充分地展示时代潜在的本事。

固然，也不错及时运行经过蒸馏的版块（distilled version），但输出质料会相应裁减。

花絮

除了这些酷炫的demo以外，团队还在生成过程中发现了好多有利念念的花絮：

在花圃里站着怔住，瞬息间，一个幽魂出现了

这位一又友更可爱在雪场里跑酷，而不是老淳壮健地用滑雪板滑雪

本事越大，背负越大

致谢

终末，GoogleDeepMind团队放出了一个长长的致谢名单。

父女乱伦文学

• 全国
• 基础
• 父女乱伦文学
• 最强
• DeepMind