66读书

一文搞懂世界模型：ai如何“脑补”真实世界？（第2页）

自动驾驶汽车需要应对各种复杂路况，世界模型能帮助它提前“预判”可能出现的危险，做出更安全的决策。比如，当自动驾驶汽车遇到前方突然变道的车辆时，世界模型可以根据车辆的速度、距离以及周围环境信息，预测出可能的碰撞风险，并及时调整车速和行驶方向。

华为云的盘古世界模型在自动驾驶领域就有应用。输入首帧的行车场景，再加上行车控制信息和路网数据，它就可以生成每路摄像头的行车视频和激光雷达的点云，生成的视频与激光点云可以达到像素级的匹配。这就能够为智能驾驶生成大量的训练数据，从而不依赖于高成本的路采。并且它的生成能力可以达到30帧每秒的视频续写，已经应用到自动驾驶的软件仿真和硬件仿真的环境中，根据行车控制信息就可以实时生成左超车、右超车、刹车等不同驾驶行为的续写视频，供智能驾驶系统来训练。

这章没有结束，请点击下一页继续阅读！

（三）机器人领域：让机器人更“智能”地行动

机器人在执行任务时，需要理解周围环境并做出合理的动作。世界模型可以让机器人在虚拟环境中进行“试错学习”，提高在真实环境中的行动能力。比如，一个机器人要在杂乱的房间里寻找特定物品，有了世界模型，它可以先在虚拟环境里模拟寻找的过程，预测可能遇到的障碍和问题，再在真实环境中更高效地完成任务。

谷歌的Genie 3世界模型可以生成各种可控制动作、可玩的3D环境，还可以用于训练和评估具身agent。它能快速为AI agent创建丰富多样的环境，从而生成agent在训练期间未见过的评估任务。比如，Google DeepMind与游戏开发商合作开发的SIMA agent，被设计成通过遵循自然语言指令来完成一系列3D游戏世界中的任务，就可以在Genie 2合成的、未见过的环境执行指令，通过在虚拟环境中的训练，提升在真实世界中的行动能力。

（四）影视与元宇宙：提升内容创作效率

在影视制作和元宇宙场景搭建中，世界模型可以快速生成大规模动态场景，节省大量的人力和时间成本。比如，制作一部科幻电影，导演可以用世界模型快速生成外星世界的场景，包括地形、气候、生物等，而且这些场景可以根据剧情和角色的行动实时变化。在元宇宙中，用户也可以通过世界模型创建属于自己的个性化虚拟空间，实现更丰富的交互体验。

三、深入剖析：世界模型的技术原理是怎样的？

（一）多模态数据融合：让AI“全方位”感知世界

世界模型的核心之一是多模态数据融合，也就是把视觉、语言、音频、动作等多种数据整合在一起。比如，当我们看到一个人在说话，我们不仅能看到他的动作和表情（视觉信息），还能听到他说的话（音频信息），然后理解他的意图（语言信息）。世界模型也需要具备这样的能力，将不同模态的数据转化为统一的表示形式，让AI能够从多个角度理解世界。

以腾讯的混元3D世界模型为例，它引入了“世界一致视频扩散”与“长距离世界探索”两大核心机制，从一段文字、一张图生成一个初始场景，再根据用户设定的相机轨迹拓展新视角内容。这里就融合了文本和图像两种模态的数据，通过对这些数据的处理和融合，生成更加真实、连贯的虚拟场景。

（二）模拟与预测：在“脑海”中推演未来

世界模型还能够模拟世界的动态变化，并预测未来可能发生的事情。它通过学习大量的历史数据，掌握世界的运行规律，然后在面对新的情况时，能够在虚拟环境中模拟不同的行动方案，并预测每种方案可能产生的结果。

比如，在自动驾驶场景中，世界模型可以根据当前车辆的速度、位置、周围车辆的状态等信息，模拟未来几秒钟内可能出现的情况，如前方车辆突然刹车、行人突然横穿马路等，并提前规划出应对策略。谷歌的Genie 3就可以生成长达数分钟的一致世界，能够模拟各种物体的相互作用、角色动画、物理规律等，实现实时互动和高度一致化的生成，让用户在其中的行动能够得到合理的反馈和预测。

（三）强化学习：在“试错”中不断优化