超越文本：多模态、世界模型与具身
文本内部有一个数据上限：高质量词元的供给是有限的，这道极限由 第 70 章 完整展开。离开文本并不会让这个限制消失，只会把数据缺口变成更具体的物理缺口。视频生成器可以看起来可信，却没有学到可迁移的物理；世界模型论文彼此分歧，连模型到底该表示什么都没有统一答案；机器人则没有互联网规模的动作语料可供继承。因此，生成、感知与控制都在同一处受阻：缺一个来自真实物理互动的数据循环，也缺一个可迁移的世界内部模型。多模态、世界模型与机器人，检验的是基础模型那套配方究竟通用，还是只是因为文本和图像一开始就附带现成数据。早期证据更支持后一种读法：这套配方更多是靠现成数据撑起来的，只是这个领域过去不太愿意承认。
看起来真实与判断正确是两回事
这一时期最醒目的产物是视频生成器。它们能从一句话生成几秒钟照片级真实、物理上看似合理的运动。这些生成器如何构造，即作用在时空潜块上的扩散 transformer，见 第 15 章；这里要问的是它们理解了什么。我们很容易把这种流畅读成理解，仿佛一个能渲染小球弹跳的模型已经学会了「球会弹」。受控研究给出的答案是否定的。一旦把视频模型放到分布外（即遇到训练里从未见过的输入）去测，具体到这里，就是落在与训练轨迹不同的物理情境上，它就会失败，而且失败的方式很说明问题：它模仿见过的最近场景，而不去套用一条规则；把模型和数据放大也修不好这一点 (Kang et al. 2025)。一个专门构造来把「看着像真」和「判断得对」解耦的基准，从反面证实了这一点：在领先的几个生成器里，物理理解分数都严重受限，且几乎与视觉真实度无关 (Motamed et al. 2025)。真实度和物理是两条独立的轴，放大换来了第一条，换不来第二条。
这是贯穿后文的约束，性质上属于认识论，而非工程。在语言里带来推理能力提升的机制，更多数据加更多参数，并没有被证明能在像素里换来一个可迁移的物理先验。一个前沿视频生成器就是复杂的下一帧预测器，但预测外观并不等于拥有一个世界模型。
缺一个对状态与动力学的习得内部表示，决定了物理无法分布外泛化：模型退回到基于案例的模仿，所以加数据、加参数换不来规划。这和 第 70 章 的幻觉地板是同一种形状的极限，只是换到更高层面：目标函数奖励的是匹配训练分布，而不是理解它，于是残余的失败是结构性的（交叉参见 第 5 章、第 28 章）。
「世界模型是什么」的三条路线
如果预测像素还不够，那什么才够？这个领域目前分成三条架构路线，而这条分界线正是这一章的组织主线。
第一条路线是继续生成世界，并让生成变得可交互、可控制。实时世界模拟器生成用户能在其中行动的可导航场景，它们的构建者明确把这条路框定为通向通用能力的途径，也就是提供近乎无限的训练环境 (Google DeepMind 2025)。真正限制它的是连贯性：这样一个模拟器只持有大约一分钟的视觉记忆，之后就会忘掉自己渲染过什么，因此这条路线一直在通过外接记忆缓解连贯性问题，而不是在模型内部扩展记忆。
第二条路线抛弃像素。一个潜在世界模型在抽象表示里预测，而不渲染每一个像素，理由是大多数像素只是不可预测的细节，会浪费模型容量，而规划应当发生在潜在空间里；其中一个模型在一百万小时视频上预训练、在不到一百小时的机器人数据上后训练，零样本（无需针对该任务额外训练）地驱动了一只真实机械臂 (Assran et al. 2025)。
第三条路线更近一些：把世界重建为显式的持久三维几何，于是一致性成了表示本身的性质，而不是模型必须记住的内容。第一条路线通过外接记忆处理连贯性，第二条路线绕开渲染，第三条路线则主张持久几何就是世界模型。
用于规划的潜在世界模型并不是新想法：更早的一条基于模型的强化学习路线，早就学过一个潜在世界模型（一个习得的环境内部模拟器），并在其中规划来解决有界的控制任务。这段历史让批评更具体，而不是否定它：潜在世界模型确实能在封闭域里规划；尚未解决的问题是，这三条路里有没有任何一条能扩展到开放世界的物理，而这一点谁都还没展示出来。
这一时期还提醒我们，生成模型作为消费级产品发布时，会遇到模型能力之外的问题。一个旗舰视频应用技术能力很强，据报道每天消耗数百万美元的算力，按一位分析师的估计甚至超过一千万美元 (Liu 2025)，又遭遇版权压力，于 2026 年被收缩关停，尽管底层模型在别处保留下来。这个例子说明：产品级的真实度，可以和可持续的经济模型、世界模型价值同时脱钩。
原生多模态，以及怎么融合它
一条平行的前沿，问的不是模型懂不懂世界，而是单个模型能不能跨模态地感知和生成，而不必把一个视觉编码器和一个图像生成器外接到冻结的语言模型上。这一时期的转变是：早融合，也就是从一开始就在文本和像素上联合训练单一主干，成了通用旗舰模型的主流，取代了靠适配器桥接的技术栈。仍在进行的分歧，是这个主干内部如何表示视觉。一派把图像重铸为离散词元，让整个模型成为统一的下一词元预测器，并接受量化带来的保真度损失；这一派里有一个模型，作为「世界学习者」在视频帧上端到端训练，跨视觉与语言预测下一个状态。另一派让视觉保持连续，通过流匹配生成像素，以避开分词器的质量损失，代价是更复杂的架构。深度联合训练究竟换来了跨模态迁移，还是只是把两种内部仍各自分离的能力放到了一起，是工程问题背后尚未定论的科学问题。
机器人没有互联网
数据瓶颈在机器人里最严峻。语言和视觉天然有网络语料可用，动作没有。每一条机器人轨迹都得制造出来，而它与文本的差距不是两倍，而是大约五个数量级：最大的共享跨本体数据集，被估计约为一个语言模型语料词元量的二十万分之一 (Authors 2025; Open X-Embodiment Collaboration 2023)。这个后果直接体现在领先模型的训练方式上。一个能跨家庭泛化的 视觉-语言-动作模型（VLA），其训练样本里绝大多数，按一种统计是超过 97% 的部分，根本不是移动操作机器人数据，而是从静态机械臂、跨本体日志和网络视觉-语言对里借来的 (Physical Intelligence 2025)。数据稀缺会塑造架构：系统围绕借来的先验能供给什么来搭建，因为原生数据并不存在。
这些模型的演化线索是把语言那套配方移植到控制上。它从在编码成词元的机器人轨迹上微调一个视觉-语言模型起步，立论是网络知识会迁移到控制 (Brohan et al. 2023)，经过一个开放、可复现的基线 (Kim et al. 2024)，到达靠共享一个运动表示、把一套策略跨异构机器人迁移的模型 (Google DeepMind 2025)。网络先验究竟是真的迁移到了物理控制，还是只供给了物体与指令的语义，而接触动力学和实际闭环控制仍由稀缺的机器人数据学来，是这个领域核心且未决的迁移之争。
没有互联网规模的动作语料，决定了整套栈的设计。协同训练的混合数据被非机器人数据主导，跨本体汇集在架构上变得必要，用来补足规模；而 50 到 100 Hz 量级的闭环控制速率（机器人多久感知一次并发出一条新指令），又要求模型拆成一个慢推理器和一个快的、跑在机器人上的执行器，配上动作分块（一次预测一小段连续动作，而不是一步一步地预测）与异步推断。这把数据约束一路连到机器人上的具体硬件（交叉参见 第 33 章）。底部的数据稀缺，向上重塑了架构、服务与硬件。
构造动作数据循环的四种办法
因为数据不存在，机器人的前沿很大程度上是一场制造数据的策略之争。每一个方向都是一种补数据的办法，而不只是单独的算法进展。
第一种是通过遥操作大规模采集真实数据，有一项努力推到了数十万小时、每周增长数万小时 (Generalist AI 2025)。上限来自人的实时：一个人开一台机器人一小时，只能得到一小时数据，所以这条路是线性扩展的，达不到互联网规模。第二种是在仿真中、靠视频增强来制造数据，把稀缺的真实小时扩大一个数量级；这在纸面上缩小了数据缺口，却把现实差距重新变成新的约束。第三种是从互联网视频和习得的世界模型中学习，靠利用被动的人类影像来绕开遥操作。第四种，也是领先实验室越来越重视的一种，是可穿戴的人类活动捕捉：在便宜的、人们做任务的第一视角录像上预训练，预训练里完全没有机器人数据，再在每个任务一小时的机器人数据上后训练。这一路线直接针对遥操作受人的实时限制这一点。它在 2026 年出现，也提醒我们这个前沿变化很快。
一条被提出的机器人经验扩展律认为，下游误差会随预训练数据呈幂律下降；如果它成立，整个领域就会从算法问题被改写成数据制造问题，呼应 Part I 的叙事。对它的解读需要比标题更谨慎：报告的指数因任务而异，而不是收敛到一个清楚的普适值；这个结果来自单一机构、在专有数据上、没有独立复现；而误差上的幂律容易拟合，却难以外推到开放世界的可靠性。在这场数据竞赛之外，真实世界的强化学习重新受到关注：让一个机器人从自己的成功和失败中学，而不只是从演示中学，被证明能在困难的长程任务上大约把吞吐翻倍、降低失败率。这在某种程度上把通才对专才之争推向了任务内适应这一侧。
还没有可靠的度量
最深的共同问题是度量，而它与 第 47 章 和 第 52 章 的基准之争不同。对生成模型和世界模型，长程一致性、可控性或物理保真度都没有公认指标：感知质量分数能给受欢迎的产品排序，而物理基准刻意与「看着好」解耦，两者并不一致。对具身策略，情况更糟，因为真实的物理试验是唯一完全可信的信号，却无法覆盖通才模型所瞄准的任务多样性；仿真与 real-to-sim 评估可以扩展，却带着域差，因而是不可靠的排序信号。在出现一个能把更好的模拟器和更好的世界模型分开、把更好的演示和更可靠的策略分开的指标之前，「世界模型作为通向物理推理的途径」仍是一个假说，而不是一个结果。
- 放大视频生成会产出一个世界模型，还是一个更好的像素预测器？ 涌现派把规模读成换来了物理；受控研究把它读成基于案例的模仿、会分布外失败。证据偏向怀疑者。
- 生成式、潜在式，还是显式三维？ 渲染世界、在潜在空间里表示它，还是把它重建为持久几何。分歧在于一个世界模型应当渲染、仅仅表示，还是成为几何表示本身，而谁都没展示出开放世界规划。
- 网络先验会迁移到控制吗？ 一派把涌现的语义泛化归功于网络预训练；另一派说先验供给语义，却不供给接触动力学，实际闭环控制仍要靠稀缺的机器人数据。
- 采集、仿真、挖掘视频，还是捕捉人类？ 为缺失的动作数据构造循环的四条路，每一条都接受同一个瓶颈，又重新打开一个不同的下游缺口。
- 机器人扩展律是真的吗？ 一条单一机构的幂律，面对的是「它未经复现、且难以外推到可靠性」的反驳。
- 通才策略到底能不能被度量？ 真实试验不扩展；仿真代理带着域差。这场评估危机本身就是尚未解决的问题。
缺失的数据循环
到了这里，基础模型配方遇到了文本没有暴露出的极限。能力受制于物理根基：一个模型渲染或描述世界，远好过它预测或在世界里行动，因为把预测和动作建立在物理经验上的那份数据并非天然存在。效率是制造那份根基的成本，以遥操作小时、仿真算力或可穿戴捕捉来计；哪条路能最低成本地制造它，可能决定这个领域。信任则落在尚未解决的度量上：我们还无法证明一个世界模型理解了、或一个策略是可靠的，所以部署已经走在评估前面。横跨生成、感知与控制，同一道限制仍在：缺一个有物理根基的数据循环，也缺一个可迁移的世界内部模型。因此，这个领域最好被理解成一组相互竞争的路线，分别试图绕过同一个瓶颈。最后一章从这些具体前沿转向那套评估仪器：它本该告诉我们，这些方向里有没有哪一个、乃至整个方向，真的在起作用。
延伸阅读
- Kang et al., “How Far is Video Generation from World Model: A Physical Law Perspective” (经由基于案例的模仿的分布外物理失败), 2025. openreview.net扩展扩散视频生成模型可实现完美的分布内泛化，但无法在分布外场景中推断物理定律，表明单纯扩展不足以让模型发现基本物理规律。
- Motamed et al., “Do Generative Video Models Understand Physical Principles?” (物理理解与视觉真实度不相关), 2025. arXiv:2501.09038Physics-IQ 是一个涵盖五个物理领域的真实视频基准，包含 396 段视频，揭示当前生成式视频模型得分最高仅 29.5
- Assran et al., “V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning” (潜在、非生成的世界模型路线与一次零样本机器人部署), 2025. arXiv:2506.09985V-JEPA 2 是一个在百万小时互联网视频上自监督预训练的视频模型，达到最优视频理解性能，并通过后训练的动作条件世界模型实现机器人零样本操作规划。
- Google DeepMind, “Genie 3: A New Frontier for World Models” (交互式模拟器与世界基础模型这两道前沿), 2025. deepmind.googleGenie 3 是 Google DeepMind 提出的通用世界模型，可根据文本提示生成多样的交互式环境，以 720p 分辨率实现每秒 24 帧的实时渲染。
- NVIDIA, “Cosmos World Foundation Model Platform for Physical AI” (交互式模拟器与世界基础模型这两道前沿), 2025. arXiv:2501.03575NVIDIA Cosmos 是一个开放权重的世界模型基础平台，提供视频数据策划流水线、基于扩散和自回归 Transformer 的世界模型及视频分词器，用于构建物理 AI 系统。
- Brohan et al., “RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control” (视觉-语言-动作谱系与数据稀缺的证据), 2023. arXiv:2307.15818RT-2 通过将机器人动作编码为文本词元，对大型视觉语言模型（VLM）在机器人轨迹数据上进行联合微调，得到的视觉-语言-动作模型（VLA）能泛化到新物体并展现涌现语义推理能力。
- Kim et al., “OpenVLA: An Open-Source Vision-Language-Action Model” (视觉-语言-动作谱系与数据稀缺的证据), 2024. arXiv:2406.09246OpenVLA 是一个 7B 参数的开源视觉-语言-动作模型（VLA），在 970k 机器人演示上训练，性能超越闭源 55B RT-2-X，并支持在消费级 GPU 上通过 LoRA 进行参数高效微调。
- Physical Intelligence, “pi-0.5: A Vision-Language-Action Model with Open-World Generalization” (视觉-语言-动作谱系与数据稀缺的证据), 2025. arXiv:2504.16054pi-0.5 是一个视觉-语言-动作模型（VLA），通过在异构数据源（其他机器人、网络数据、语义子任务、口语指令）上协同训练，实现在未见过的家庭环境中执行长时序家务操作任务的开放世界泛化能力。
- Google DeepMind, “Gemini Robotics 1.5: Pushing the Frontier of Generalist Robots with Embodied Reasoning, Thinking, and Motion Transfer” (视觉-语言-动作谱系与数据稀缺的证据), 2025. arXiv:2510.03342Gemini Robotics 1.5 提出一种多形态视觉-语言-动作模型（VLA），通过运动迁移（Motion Transfer）机制和具身思维能力，实现跨不同机器人形态的零样本技能迁移。
- Open X-Embodiment Collaboration, “Open X-Embodiment: Robotic Learning Datasets and RT-X Models” (共享底座与 ~1/200,000 的稀缺估计), 2023. arXiv:2310.08864Open X-Embodiment 汇集了来自 21 个机构共 22 种机器人形态的超百万条轨迹数据集，并训练 RT-X 模型，证明跨机器人平台的正迁移。
- Authors, “A Survey on Vision-Language-Action Models: An Action Tokenization Perspective” (共享底座与 ~1/200,000 的稀缺估计), 2025. arXiv:2507.01925本文以动作词元化视角对视觉-语言-动作模型（VLA）进行综述，将现有方法统一于同一框架并归纳出八类动作词元类型，分析各类型的优劣与未来方向。
- Generalist AI, “GEN-0: Embodied Foundation Models That Scale with Physical Interaction” (真实数据扩展与因任务而异的机器人扩展律主张), 2025. generalistai.comGEN-0 是一类具身基础模型，通过在超过 270,000 小时真实世界操作数据上训练，并采用谐波推理架构同步感知与行动，展示了随物理交互数据增长的扩展律。
评论
登录后评论