超越文本：多模态、世界模型与具身

生成视频、学习得到的模拟器和机器人策略可以共用同一个视觉主干，但它们解决的问题不同。视频生成器预测的是看起来合理的观测；模拟器预测选定动作会怎样改变状态；策略负责选择动作，还必须承受动作带来的真实后果。把这三类输出都视为一种通用的「世界模型」，会掩盖真正可以检验的契约。预测合理的观测，不等于预测采取某个动作后会发生什么。

本章把这些契约分开讨论。先定义规划所需的状态与动力学，再说明视觉真实感为何不足以证明物理预测能力，随后把这个区分延伸到机器人数据、动作表示、控制频率和评测。模型接受像素，并不是核心问题。真正要问的是：智能体介入之后，环境会给出真实反馈，此时模型的预测还能否帮助智能体做出决策。

分开讨论生成、动力学、规划与控制

「具身智能」一词常把四种能力放在一起：

一行成功，并不能证明下一行也会成功。视频可以看起来连贯，却无法回答换一个动作会发生什么。动力学模型可以预测实验室里范围有限的任务，却不一定支持开放环境中的规划。规划器可能利用学习模型的误差；策略也可能因为传感、延迟、标定或低层控制与训练时不同而失败。

「状态」也需要明确定义。摄像头不能直接取得房间的物理状态，模型会根据观测历史构造与任务有关的状态。这种状态可以忽略纹理而保留物体位姿，也可以忽略几何信息而保留奖励预测所需的特征。没有任何规定要求一种表示服务于所有目标。

为世界模型定义动作接口

神经世界模型的历史早于当前的视频生成器。Ha 和 Schmidhuber 把压缩后的视觉表示与循环动力学结合起来，并在有限的游戏环境中利用学习模型训练策略 (Ha and Schmidhuber 2018)。PlaNet 随后从像素学习随机潜动力学，用在线规划解决连续控制任务 (Hafner et al. 2019)。MuZero 更明确地体现了表示与任务的关系：其隐藏动力学不重建观测，而是预测搜索所需的奖励、价值和策略 (Schrittwieser et al. 2020)。这些系统差异很大，但都明确规定了动作如何参与状态转移。

一种通用的确定性框架是

$$z_t=e_\phi(o_{1:t}), \qquad \widehat z_{t+1}=f_\theta(z_t,a_t), \qquad (\widehat r_t,\widehat d_t)=h_\psi(z_t,a_t).$$

其中，$t$ 是离散时间索引，$o_{1:t}$ 是截至时刻 $t$ 的观测历史，$z_t$ 是学习得到的状态，$a_t$ 是时刻 $t$ 执行的动作。$e_\phi$ 是参数为 $\phi$ 的编码器，$f_\theta$ 是参数为 $\theta$ 的状态转移模型，$\widehat z_{t+1}$ 是它预测的下一状态。参数为 $\psi$ 的 $h_\psi$ 预测奖励 $\widehat r_t$ 和终止概率 $\widehat d_t$。解码器 $g_\omega(z_t)=\widehat o_t$ 可以把状态还原为预测观测，但规划本身并不要求解码器存在。随机世界模型会用下一状态的分布取代点预测。

表示预测目标可以写成

$$\mathcal{L}_{\mathrm{dyn}} = \sum_{t=1}^{T-1} D\!\left( f_\theta(e_\phi(o_{1:t}),a_t), \operatorname{sg}[e_\phi(o_{1:t+1})] \right).$$

在这个示例中，$T$ 是轨迹长度，$D(\cdot,\cdot)$ 衡量两种表示之间的差异，$\operatorname{sg}$ 是停止梯度算子：它的参数提供训练目标，但梯度不会从这一次使用中传回。这个公式只是一种模板，并非通用的世界模型损失。其他系统还可能重建观测，预测概率分布、奖励、价值，或同时预测其中几项。关键不变量是模型面对的条件问题，尤其是状态转移是否依赖 $a_t$。

视觉真实感不是干预测试

视频生成器通常建模如下分布：

$$p_\theta(o_{t+1:t+H}\mid o_{1:t},c),$$

其中，$o_{t+1:t+H}$ 是未来 $H$ 个观测组成的序列，$o_{1:t}$ 是已有的视觉上下文，$c$ 是文本或其他条件，$\theta$ 表示模型参数。这个目标会奖励纹理、运动、构图和常见事件顺序，却不要求模型识别产生这些观测的隐藏动力学。除非训练数据和模型显式提供动作变量，否则目标中根本没有动作。

这一区别一部分来自统计条件。被动视频记录的是数据采集行为实际产生的结果，很少展示同一状态在几种受控干预后分别发生了什么。因此，不同的动力学可以同样拟合已观测的视频，却对未经尝试的动作给出不同预测。更多视频可以扩大覆盖面，但仅靠覆盖面无法识别这些反事实结果。

近期评测把这一局限具体化，但没有证明它不可克服。Physics-IQ 把感知真实感与记录下来的物理实验表现分开，在所测视频模型中，两者几乎没有相关性 (Motamed et al. 2026)。针对物理规律外推的受控合成实验也发现，所测生成器在分布内模仿上表现较强，分布外泛化却较弱 (Kang et al. 2025)。这些是特定模型和提示词下的基准结果。这些结果说明物理规律需要与外观质量分开测试，却不能证明扩大规模或视频学习永远无法获得有用的动力学。

至少完成以下四项评测，才有理由把生成器称为世界模型：

后两项更严格，因为它们会让模型面对可能利用其错误的决策。看起来合理的滚动预测适合展示；用于决策的模型则必须在规划器选中的轨迹上保持准确，包括与被动训练分布不同的轨迹。

选择模型必须保留的信息

世界模型的表示方式形成一条实用的连续谱，并不是三个彼此排斥的阵营：

观测空间预测与潜状态预测可以同时存在：系统可以在潜状态中规划，只在训练或检查时解码。结构化几何也可以是学习潜状态的一部分，不一定要成为与潜表示竞争的独立架构。最合适的表示，是能够保留下游决策所需差异的最小表示。

V-JEPA 2 展示了潜状态路线。它先用超过一百万小时的图像和视频预训练编码器，再用不到 62 小时的机器人视频训练一个独立的 3 亿参数动作条件预测器，最后在 Franka 机械臂的图像目标拾放实验中，把该预测器用于模型预测控制循环 (Assran et al. 2025)。这个结果证明了论文所述桌面环境中的规划能力，并不能证明通用操作或开放世界物理。动作条件下的机器人训练阶段仍然不可缺少。被动视频提供的是表示先验，不是完整控制器。

规划把预测误差带入决策

给定一个学习得到的状态 $z_t$，有限时域规划器可以选择

$$a^*_{t:t+H-1} = \arg\max_{a_{t:t+H-1}} \mathbb{E} \left[ \sum_{k=0}^{H-1} \gamma^k\widehat r(z_{t+k},a_{t+k}) \right], \qquad z_{t+k+1}=f_\theta(z_{t+k},a_{t+k}).$$

其中，$a^*_{t:t+H-1}$ 是选出的动作序列，$H$ 是规划时域，$k$ 标记预测步，$\gamma\in[0,1]$ 对较晚的奖励进行折扣，$\widehat r$ 是学习得到或事先指定的奖励。期望对随机预测取平均，$f_\theta$ 提供状态转移。模型预测控制只执行第一个动作或一小段动作前缀，随后读取新的真实观测，更新 $z_t$，再重新规划。

长时间滚动预测会累积状态转移误差。更隐蔽的问题是，优化会寻找在模型看来格外有利的动作序列，因此可能发现随机留出轨迹没有暴露的模型缺陷。有效评测应当包括由规划器选出的滚动预测、分布变化下的不确定性和真实闭环回报，不能只看一步预测损失。

共享主干还不等于世界模型

第 15 章把输入表示、融合、输出目标和系统组合分开讨论。任何一种选择都不会单独创造出世界模型。一个主干可以同时处理文本、图像、音频和视频，却没有动作条件下的状态转移。反过来，一套小型机器人动力学模型即使只接收本体感知信号和深度图，也可以成为某个工作单元内有效的世界模型。

原生多模态训练仍然可能帮助具身系统。语言提供任务描述和语义先验，视频提供外观与运动先验，深度和本体感知约束几何与机器人状态。需要检验的科学主张是迁移效果：固定机器人交互数据与评测后，增加一种模态能否改善系统在新物体、新指令或新环境中的闭环行为？仅仅把多种模态放进同一个序列，不能回答这个问题。

机器人策略有明确的物理输出契约

视觉-语言-动作模型（VLA），也就是在感知语言模型上增加机器人命令策略的模型。它的分块策略可以写成

$$\pi_\eta(a_{t:t+K-1}\mid o_{1:t},q_t,\ell),$$

其中，$\pi_\eta$ 是参数为 $\eta$ 的策略，$o_{1:t}$ 是观测历史，$q_t$ 是关节位置和速度等本体感知信息，$\ell$ 是语言指令，$K$ 是预测动作时域，$a_{t:t+K-1}$ 包含 $K$ 个机器人动作。动作可以是离散区间、连续关节目标、末端执行器位姿、夹爪命令，也可以是轨迹分布。这些选择无法在不同机器人本体之间直接互换。

RT-2 展示了一条离散路线：把动作表示为词元，并在大规模网络视觉语言数据与机器人轨迹上联合微调 (Brohan et al. 2023)。OpenVLA 则提供了一个开放的 70 亿参数实现，用 97 万条真实机器人演示训练 (Kim et al. 2024)。这些模型可以复用网络数据中的语义表示，但接触、延迟、标定和动作语义仍然来自具身数据与控制栈。

连续策略是另一条路线。Diffusion Policy 对连续动作序列的多峰分布建模，并在滚动时域循环中重复规划 (Chi et al. 2023)。动作分块 Transformer（ACT）一次预测未来 $K$ 个动作，再通过时序集成合并相互重叠的预测 (Zhao et al. 2023)。分块缩短了策略的有效预测时域；但如果连续执行较长的动作前缀而不读取新观测，反馈也会减少。这里的 $K$ 表示预测块长度，与重规划间隔和低层控制频率是不同概念。

分清控制步数与模型调用

若一次任务持续 $D$ 秒，低层控制频率为 $F$ 赫兹，那么控制目标数为

$$N_{\mathrm{ctrl}}=\lceil FD\rceil.$$

其中，$N_{\mathrm{ctrl}}$ 是控制步数，$F$ 是每秒执行的命令数，$D$ 是任务时长。持续 60 秒的任务在 10 赫兹下包含 600 个目标，在 50 赫兹下包含 3,000 个目标。这些控制目标彼此相关，不能视作 600 或 3,000 条独立演示。

如果大型策略每隔 $R$ 个控制步运行一次，并预测长度为 $K$ 的动作时域，那么

$$N_{\mathrm{model}} = \left\lceil\frac{N_{\mathrm{ctrl}}}{R}\right\rceil, \qquad N_{\mathrm{pred}}=K N_{\mathrm{model}}.$$

其中，$N_{\mathrm{model}}$ 是大模型调用次数，$R\ge1$ 是以控制步计量的重规划间隔，$N_{\mathrm{pred}}$ 是预测出的全部动作位置数，其中包括相互重叠、可能在执行前被替换的位置。下面的可运行示例用一个假设的 10 秒控制器说明这一区别。

from math import ceil

duration_s = 10
control_hz = 50
replan_every = 4
prediction_horizon = 16

control_ticks = ceil(duration_s * control_hz)
model_calls = ceil(control_ticks / replan_every)
predicted_positions = model_calls * prediction_horizon

print(f"实际执行的控制步数：{control_ticks:,}")
print(f"大模型调用次数：{model_calls:,}")
print(f"预测动作位置数：{predicted_positions:,}")
print(f"模型调用缩减倍数：{control_ticks / model_calls:.1f}")

这项核算并不承诺延迟会降低四倍。低层控制器仍需发出 500 条命令，相互重叠的预测也会增加计算，感知和执行还有各自的截止时间。它说明了机器人系统为何常把速度较慢的语义策略与更快的控制器分开，而不是强迫一个模型负责所有时间尺度。

先看数据差异，再谈数据稀缺

无法把语言词元可靠地换算成机器人轨迹。一条轨迹包含许多在时间上相关的传感器读数与命令；它携带多少信息，取决于任务多样性、机器人本体、复位流程、操作员、相机位置和采样频率。声称机器人数据等于语言数据的某个固定比例，会掩盖这些计量单位。

现有数据集仍然暴露出规模与多样性问题。Open X-Embodiment 统一了来自 22 种机器人、21 家机构和 527 项技能的数据，从而能够研究跨机器人训练 (Open X-Embodiment Collaboration 2023)。DROID 在 564 个场景中采集了 76,000 条演示，合计约 350 小时，使用的是统一的 Franka 操作平台 (Khazatsky et al. 2024)。OpenVLA 的 97 万条演示在机器人学习中规模很大；只有在非常宽泛的意义上，才能说它相对于网络语料很小。更重要的是，每个机器人数据集都只覆盖有限的本体、控制器、任务和环境。

五种数据来源各自补上一项变量，也各自缺少或扭曲另一项变量：

仿真到现实的方法可以随机改变纹理、几何、动力学和传感器，降低策略对某一种仿真配置的依赖 (Tobin et al. 2017)。这并不能消除真实试验。正如 V-JEPA 2 所示，被动视频可以预训练感知或运动表示；但把人手运动转成安全的机器人转矩，仍然是独立的学习与标定问题。只有用真实数据验证模型在什么范围内可信，合成滚动预测才最有价值。

真正有用的飞轮不是「无限生成机器人数据」，而是一个可测量的循环：收集一次失败，复现或近似这个失败，更新模型，再回到真实硬件上复测。数据的来源链也很重要，因为近乎重复的场景或操作员习惯可能泄漏到数据划分两侧，造成成功率虚高。

评测闭环

离线动作预测是开发指标，不是部署结果。即使每一步的误差很小，策略也可能逐渐进入演示数据没有覆盖的状态；之后的预测面对的是策略自身参与造成的新输入。闭环试验会暴露这种反馈。

具身评测至少应报告：

每个比率都必须给出分母和试验协议。「90% 成功率」既可能表示十次精心挑选的尝试成功九次，也可能表示多个站点预先登记的一千次试验成功九百次。报告应注明试验次数、任务分布、复位规则、操作员参与程度、硬件版本和不确定性。对通用策略而言，任务平均值不能掩盖成功率为零的任务，也不能掩盖无法接受的安全事件。

世界模型评测也应遵循同样的层级。一步潜状态误差局部检验学习到的状态转移；开环滚动预测检验误差累积；反事实动作测试检验干预接口；规划回报检验优化能否使用该模型；真实闭环试验检验整个系统。任何单一感知指标都不能替代这套层级。

证据边界

超越文本并没有揭示一种名为「接地」的单一缺失成分，它揭示的是一组层层相扣的契约：观测必须保留与任务有关的状态，动力学必须对动作作出正确响应，规划必须能够容忍模型误差，控制则必须满足特定机器人本体的时序和安全要求。视频、语言、仿真与机器人经验都能为这组契约提供信息，但这些数据不能相互替换。

比「视频生成器扩大到一定规模就会变成世界模型」更可靠的结论要窄得多。学习得到的表示和动力学已经能在有限环境中支持规划，网络视频也可以减少部分实验所需的机器人数据。开放问题是如何在不同环境、任务、机器人本体和干预之间可靠迁移。进展应当在这些边界上衡量，并用真实硬件上的闭环试验作为依据。

延伸阅读