训练智能体去行动

训练模型回答问题，与训练模型采取行动，差别出现在模型接触环境的边界上。答案可以在一次补全后评分；智能体选择动作、接收观测，再继续选择。因此，训练样本不仅包含模型词元，还包含工具结果、环境状态、终止规则，以及生成这次运行的策略版本。

并不存在一项名为“智能体训练”的单一发明。WebGPT 在 2021 年证明，语言模型可以通过行为克隆和基于人类反馈的选择学会浏览网页；其报告中效果最好的系统采用拒绝采样，而不是在线策略优化 (Nakano et al. 2021)。后来的 Search-R1 等工作则用结果奖励优化多轮搜索行为 (Jin et al. 2025)。两者属于不同的训练范式。示范仍可用于教授合法动作，并为训练提供可靠起点；拒绝采样可以筛选完整的优质运行；离线目标能够复用已有记录；在线强化学习（reinforcement learning, RL）则可以从不断变化的策略中收集新运行。本章关注的是学习单位变成交互轨迹后，系统必须增加哪些契约。训练完成后的规划方式与运行时架构分别见 第 38 章 和 第 41 章。

一条轨迹包含两种时间尺度

词元仍然由语言模型逐个生成。智能体训练又增加了一种时间尺度：一个或多个模型词元组成动作后，外部系统向前推进并返回观测。把普通语言模型强化学习称为“单步”，会掩盖其中本来就存在的逐词元决策。更有用的区别是，一次环境交互与反复进行动作与观测交互。

一段部分可观测的交互可以写成：

$$\begin{aligned} h_t &= (x, o_0, a_0, o_1, \ldots, a_{t-1}, o_t), \\ a_t &\sim \pi_\theta(\,\cdot \mid h_t), \\ s_{t+1} &\sim P_E(\,\cdot \mid s_t, a_t), \\ o_{t+1} &\sim \Omega_E(\,\cdot \mid s_{t+1}), \\ \tau &= (x, o_0, a_0, o_1, \ldots, a_{T-1}, o_T), \\ R(\tau) &= \sum_{t=0}^{T-1} \gamma^t r_t + \gamma^T r_T^{\mathrm{term}}. \end{aligned}$$

其中，$x$ 是任务，$t$ 表示环境轮次，$s_t$ 是执行动作 $t$ 之前的隐藏环境状态，$o_t$ 是智能体能够看到的观测，$a_t$ 是动作，$h_t$ 是策略可见的观测历史。策略 $\pi_\theta$ 的参数为 $\theta$。环境版本 $E$ 决定状态转移分布 $P_E$ 和观测分布 $\Omega_E$，终止条件决定最后一轮 $T$。$r_t$ 是逐步奖励，$r_T^{\mathrm{term}}$ 是终局奖励，折扣因子 $\gamma\in[0,1]$ 控制较晚奖励的权重。完整轨迹为 $\tau$，总回报为 $R(\tau)$。这些方程中的每个符号都对应一项必须记录的策略、环境或评分决定。

动作不一定是纯文本，也可以是结构化函数调用、代码补丁、浏览器指令或多模态控制。观测同样可以采用结构化或多模态形式。把两者序列化成一份词元记录只是常见实现，并非轨迹的定义。

把交互整理成有效的训练记录

这里，假设序列化记录包含词元 $z=(z_1,\ldots,z_J)$。来源掩码定义为：

$$m_j = \begin{cases} 1, & z_j \text{ 是策略生成且纳入更新的词元},\\ 0, & z_j \text{ 来自提示、系统或环境}. \end{cases}$$

一种示意性的带掩码策略目标可以写成：

$$\mathcal{L}_{\mathrm{policy}}(\theta) = -\frac{1}{\sum_{j=1}^{J} m_j} \sum_{j=1}^{J} m_j\,\widehat{A}_j \log \pi_\theta(z_j\mid z_{<j}).$$

其中，$j$ 是序列化词元的索引，$J$ 是记录长度，$z_{<j}$ 是词元 $j$ 之前的前缀，$m_j$ 是二元来源掩码，$\widehat{A}_j$ 是分配给纳入更新词元的训练权重或优势。提示词与系统词元的 $m_j=0$，环境观测也一样。分母统计纳入更新的动作词元，不能为零。具体算法还可能加入概率比率、裁剪、参考策略、熵项或价值损失。核心不变量更简单：环境观测可以影响后续动作，但不是策略采样出的动作。掩码是一条所有权规则，并不表示观测无关紧要。

Search-R1 对检索段落采用了这条规则：检索到的词元保留在上下文中，但不进入策略损失 (Jin et al. 2025)。生产训练记录也必须以同样方式区分系统与提示词元、工具响应、浏览器状态、编译器输出和注入的错误消息。记录还要说明是否保留私有推理词元，以及是否用它们训练。若角色不明确，一次预处理变更就可能悄悄让模型学习预测并非由它产生的文本。

训练记录不能只保留词元：

无效调用需要明确的处理规则。环境可以拒绝调用并返回错误观测，也可以结束回合或施加惩罚。收集完成后再丢弃无效调用会改变训练分布。被截断的轨迹也必须有单独的终止原因，因为耗尽预算与完成任务不是同一种结果。

先确定数据范式，再选择优化器

智能体训练并不等于在线强化学习。数据来源决定了优化器能够学到什么：

WebGPT 对应前两行，并不能证明在线强化学习始终不可或缺 (Nakano et al. 2021)。实践中，通常会在稀疏结果优化开始前教会模型合法的工具调用语法。否则，早期 rollout 预算可能都花在重新摸索解析器上，而不是学习任务本身。

把奖励设计成契约

环境与奖励不是同一个对象。环境负责改变状态并产生观测，验证器或奖励包装器则为动作、状态或完整轨迹打分。把这些接口分开，才能定位故障来源。

智能体奖励通常组合多种信号：

• 语法与有效性： 动作能否解析，是否调用了可用工具，参数是否符合模式？这种信号密集，却不能说明动作是否有用。
• 中间进展： 当前状态是否更接近目标？它有助于分配信用，但若进展指标有误，系统可能奖励绕路，甚至阻止同样有效的替代路径。
• 最终任务结果： 测试是否通过，答案是否正确，环境是否达到目标状态？它最接近期望结果，但往往十分稀疏。
• 成本与约束： 一次运行用了多少词元、工具调用、时间、费用和权限，是否发生安全违规？这些信号会暴露单个成功标记看不到的取舍。

ToolRL 的实验说明，粗粒度答案匹配与结构化工具使用奖励不能互换 (Qian et al. 2025)。SWE-RL 用与开发者补丁的相似度作为可复现代理，并没有证明所有语义正确的修复都能获得相同分数 (Wei et al. 2025)。多条动作路径可能解决同一个任务。逐动作精确匹配可能拒绝更好的路径，过弱的最终检查则可能把表面修复误判为成功。

因此，奖励欺骗既是优化问题，也是接口问题。应保留一套不参与训练的验证器，用专门测试探测已知漏洞，并检查代理奖励与目标任务指标之间的差距。即使评分过程自动完成，人编写的测试和参考产物仍然包含人工监督。

轨迹奖励不等于动作级信用分配

组相对策略优化（Group Relative Policy Optimization, GRPO）不使用 PPO 中的学习型价值评论家，而是在同一任务的一组样本中归一化回报 (Shao et al. 2024)。对一组 $G$ 条轨迹，一种简单写法是：

$$\bar{R}=\frac{1}{G}\sum_{i=1}^{G}R_i, \qquad \sigma_R=\sqrt{\frac{1}{G}\sum_{i=1}^{G}(R_i-\bar{R})^2}, \qquad \widehat{A}_i=\frac{R_i-\bar{R}}{\sigma_R+\varepsilon}.$$

其中，$i$ 是组内轨迹索引，$G$ 是组大小，$R_i$ 是轨迹 $i$ 的回报，$\bar{R}$ 是组均值，$\sigma_R$ 是组标准差，$\varepsilon>0$ 用于避免除以零，$\widehat{A}_i$ 是归一化后的轨迹优势。若所有回报都相同，这个估计器就无法提供排序信号。

当奖励只有一个不打折扣的终局值时，常见实现会把同一条轨迹的优势应用到所有纳入更新的动作词元。这样做会整体强化或抑制整条采样路径，却无法指出究竟哪个动作造成了结果。把这个数值直接称为“信用分配”，容易掩盖它并没有提供因果层面的分辨率。

不同补救方法针对的是不同环节：

• 逐步奖励改变反馈时机，但只有中间指标可信时才有帮助。
• 学习型价值函数根据状态或历史估计未来期望回报，可以得到逐步优势，却也增加了一个在部分可观测条件下可能很难拟合的模型。
• 从同一个状态或检查点重放替代动作，可以形成局部反事实比较；在开放或随机环境中，完全复现状态可能并不容易。
• GiGPO 从反复出现的锚点状态建立逐步样本组，同时保留无需评论家的组估计器 (Feng et al. 2025)。论文报告的提升限于 ALFWorld、WebShop 和搜索增强问答，方法还依赖能够被识别为等价的状态。

奖励设计、信用估计与探索是三项独立选择。更细的奖励不会自动带来更好的探索，增加分支 rollout 也无法修正有缺陷的验证器。RAGEN 在三个程式化环境中报告的“回声陷阱”提供了一个值得测试的警告：在那些实验中，奖励方差下降与梯度上升同时伴随策略坍缩 (Wang et al. 2025)。它是一项诊断信号，不是智能体强化学习的普遍定律。

把环境当作版本化的数据基础设施

可执行环境是能够复用的训练基础设施。例如，SWE-Gym 把 2,438 个真实 Python 仓库任务与运行环境、单元测试和自然语言任务打包在一起。其 ICML 2025 研究把这套集合用于监督式智能体训练和验证器引导的推断时扩展，并在论文评测设置中报告了解决率最高提升 19 个百分点 (Pan et al. 2025)。这个结果说明可复现实验基底的价值，不应改写成在线强化学习的结果。

训练环境需要明确的运行契约：

• 重置与回放： 重置必须恢复到已知快照。记录种子、环境版本、数据版本、时钟策略和允许的网络状态，并实测确定性回放率，不能把它当作默认成立。
• 隔离： 分别约束文件系统、进程、网络、凭据和租户范围。一个 rollout 不能读取另一条 rollout 的产物，也不能接触留出的答案。
• 控制观测： 限制输出大小，标记截断，保留来源角色，并把工具输出视为不可信输入。
• 失败语义： 为每个动作和整条轨迹设置超时，并区分解析器拒绝、工具故障、重试耗尽、取消与真实任务失败。
• 验证器完整性： 在智能体可写边界之外执行评分，为依赖项记录版本，并保留足够证据以审计结果。
• 数据集隔离： 在仓库、模板和依赖层面隔离训练任务、调参任务和最终评测任务，不能只按问题编号切分。

这些控制会直接影响学习。偶发失败的测试会引入奖励噪声，缓慢的浏览器会拉长 rollout 尾部，泄漏的答案会把记忆伪装成能力。API 发生变化，即使任务文本不变，也会改变状态转移分布。

下层约束：rollout 耗时决定优化节奏

这里，对轨迹 $i$，下面的式子给出一份实用的墙钟时间分解：

$$T_{\mathrm{rollout},i} = T_{\mathrm{reset},i} + \sum_{t=0}^{T_i-1} \left(T_{\mathrm{decode},i,t}+T_{\mathrm{env},i,t}\right) + T_{\mathrm{verify},i}.$$

这里，对包含 $B$ 条轨迹的同步批次，相应的近似关键路径为：

$$T_{\mathrm{iteration}} \approx \max_{1\le i\le B} T_{\mathrm{rollout},i} + T_{\mathrm{update}} + T_{\mathrm{weight\ sync}}.$$

其中，$T_{\mathrm{reset},i}$ 是环境准备时间，$T_i$ 是轨迹 $i$ 的轮数，$T_{\mathrm{decode},i,t}$ 是策略生成动作 $t$ 的时间，$T_{\mathrm{env},i,t}$ 是工具或环境执行时间，$T_{\mathrm{verify},i}$ 是评分时间，$B$ 是批大小，$T_{\mathrm{update}}$ 是学习器更新时间，$T_{\mathrm{weight\ sync}}$ 是让 rollout worker 获得新权重所需的时间。最大值把拖慢整批的长尾任务显式写了出来：一次很慢的工具调用就可能卡住整个同步批次。真实系统可以重叠其中一些阶段，因此应实测各阶段的追踪数据，不能把这项求和当作硬件定律。

OpenRLHF 报告生成阶段可能占据 RLHF 的大部分墙钟时间，并使用 Ray、vLLM 与 DeepSpeed 组织不同角色 (Hu et al. 2025)。在智能体工作负载中，解码可能占主导，也可能是环境与验证器延迟占主导。vLLM 只是一种可选的推断后端，并不是定义的一部分。接纳控制、取消、前缀复用和组批依然重要，只是调度单位变成了会在轮次之间暂停的轨迹。

资源布局与策略新鲜度彼此独立

有两项系统决策经常被混在一起：

两条轴彼此独立。独立的 GPU 池仍然可以停在同步屏障前，同机集群也可以分时运行不同角色，同时允许旧权重产生的 rollout 继续排队。HybridFlow 的 3D-HybridEngine 是一种同机设计，会在生成布局与训练布局之间重新分片 actor (Sheng et al. 2025)。OpenRLHF 则展示了基于 Ray 的分布式布局 (Hu et al. 2025)。部署方式本身不能决定数据是否来自当前策略。

异步 RLHF 把生成和学习分开，并在指令遵循与数学推理任务上展示了吞吐量与异策略偏差之间的取舍 (Noukhovitch et al. 2025)。AReaL 进一步使用持续运行的 rollout worker 与感知陈旧度的学习器，在其数学和代码工作负载中报告了相对所评同步系统最高 2.77 倍的训练速度 (Fu et al. 2025)。这些结果证明了可行的系统设计，不保证长时间跨度的工具智能体也能得到同样收益。

每条异步轨迹都必须携带生成它的行为策略版本。这里，若轨迹 $i$ 由行为策略 $\mu_i$ 生成，而学习器使用 $\pi_\theta$，则逐词元重要性比率为：

$$\rho_{i,j}(\theta) = \frac{\pi_\theta(z_{i,j}\mid z_{i,<j})} {\mu_i(z_{i,j}\mid z_{i,<j})}, \qquad m_{i,j}=1.$$

其中，$i$ 表示轨迹，$j$ 表示策略生成的词元，$z_{i,<j}$ 是该词元被记录时的上下文，$m_{i,j}=1$ 表示它是纳入更新的动作词元，$\mu_i$ 是记录中的行为策略，$\pi_\theta$ 是当前学习器，$\rho_{i,j}$ 用当前策略重新加权旧样本。裁剪重要性比率可以限制方差，却无法弥补支持集缺失或任意陈旧的轨迹。跨许多词元和轮次连乘的比率可能变得极端，因此应记录策略延迟、比率分布和裁剪比例，而不能只给一次运行贴上“异步”标签。

同时验证学习效果、环境质量与系统表现

一份有效的评测表应把三个层面分开：

比较系统时必须使用匹配的硬件和匹配的工作负载分布。若吞吐提升来自缩短轨迹、丢弃慢任务或更换验证器，就不能只归因于系统优化。学习曲线应分别以环境交互次数、生成的动作词元、加速器时间和墙钟时间为横轴，因为每个分母回答的问题不同。

发布前，应使用生产环境使用的解析器和工具权限重放留出任务，扰动工具延迟与故障，测试预算耗尽，并手工检查高奖励的失败轨迹。只有策略在独立的评测契约下确实进步，而且没有以过高成本或不安全动作换取分数，训练才算成功。

这条流水线最终得到的是一项从交互中学习过的策略。下一章讨论另一个问题：运行时循环应当如何把规划、记忆、工具与外部世界提供给这项策略？

延伸阅读