训练智能体去行动

第 28 章 的推理模型，被训练去产出单个答案：一个提示、一条链、一次核查。智能体做得更多。它在收尾之前要走许多回合、调用工具，再读取每一次返回的内容。智能体强化学习把可验证奖励的配方从奖励一个答案扩展到奖励一整条轨迹，也把系统问题拉进训练回路。一条 rollout 如今是智能体与环境的完整交互，而不是一次更长的补全；把环境的词元从损失中屏蔽出去，正是让这段序列得以训练的关键；长轨迹上的信用分配仍是难处；环境本身成了一项训练资产；一次训练运行也因此内含一个服务引擎。

奖励一条轨迹，而非一个答案

做法可以沿用：对采样出的 rollout 用 GRPO 或 PPO、针对一个可验证奖励来优化（第 28 章），但一条 rollout 如今是一个智能体与环境的完整交互，而非一次补全。这一转变是形式上的，不只是更长。普通的语言模型强化学习，是一个退化的单步决策问题，提示进、一个回应出、奖励、结束；而智能体强化学习，是一个在回合上时间延展的、部分可观测的过程，其中智能体发出一个动作、环境返回一个观测、如此往复 (Zhang et al. 2025)。这正是训练回路伸入 第 41 章 的智能体回路之处：那个在推断时运行智能体的运行框架，一旦对准一个可核查的环境，就成了生成训练轨迹的系统。

一条 rollout 于是是一段单一的词元序列，它把两个来源交织起来，即模型自己的动作词元（它的推理、那个工具或搜索调用）与环境的观测词元（检索回来的段落、工具输出、浏览器状态）。决定性的机制是损失屏蔽：策略梯度（一种训练方法，结果好时就把模型自己采样到的那些词元的概率往上推，结果差时往下压）只在模型生成的词元上计算，把观测词元屏蔽掉，于是模型从不被训练去模仿它没有撰写的文本。Search-R1 把这一点讲得很精确，把检索回来的词元从损失中屏蔽，并报告说没有它，梯度就会流向去拷贝检索文本、训练随之失稳 (Jin et al. 2025)。下游的一切都假设这道屏蔽在位。

早期的范例都带着领域的形状。WebGPT 早在 2021 年就指向了这里，它微调一个模型去浏览并收集引用，尽管其最好的系统用的是行为克隆与拒绝采样，而非完整的强化学习 (Nakano et al. 2021)。Search-R1 训练模型在一条多回合轨迹里把推理与实时搜索查询交织起来，仅以最终答案是否匹配为奖励 (Jin et al. 2025)。ToolRL 把 GRPO 用于通用工具调用，并报告说一个粗粒度的答案匹配奖励并不够 (Qian et al. 2025)。SWE-RL 把这一想法扩展到软件工程，按一个补丁与开发者真实修复（从开源历史中挖出）的相似度来给它奖励 (Wei et al. 2025)，而 ARTIST 则在一个结果奖励之下，把工具调用交织进推理链 (Singh et al. 2025)。这些工作里，奖励都是可验证的，由一个核查器、而非一个习得的奖励模型算出，这正是让这个回路无需人类在环就能运行的东西。

这套配方后来走出了实验室。OpenAI 的 Deep Research 就是在浏览与 Python 工具使用任务上端到端地用强化学习训练的，方法与其推理模型一脉相承 (OpenAI 2025)；Moonshot 的 Kimi-Researcher 则完全由端到端的智能体强化学习训练而成，平均每个任务执行 23 步推理、访问 200 余个 URL (Moonshot AI 2025)。以结果奖励驱动的多回合工具使用强化学习，如今是前沿旗舰模型训练里的一个标准阶段，而不再只是学术范例 (Zhang et al. 2025)。也正因如此，本章末尾的系统分野是一个生产问题，而非研究问题。

一条轨迹上的信用分配

真正不能直接沿用的，是信用分配（厘清智能体在一条长轨迹里的众多动作中，究竟是哪些真正挣到了奖励），而它正是问题的核心。这里的每种方法都用同一个窍门：用一次尝试的优势（它比一次典型尝试好出多少）、而非它的原始奖励来给它评分。GRPO 丢掉价值评论家（一个对期望奖励的习得预测器，也就是衡量优势时通常所对照的基线），按组相对地估计每条 rollout 的优势，为一个提示采样一组 rollout、再用组的均值与离散度把它们的回报（每条 rollout 的总奖励）归一化 (Shao et al. 2024)。搬到智能体上，一组完整轨迹由末尾的一个结果奖励来评分、再在组内归一化，但那一个轨迹末尾的标量随后被广播到这一局里的每一个动作词元上。一个好的最终答案，会把一次浪费掉的早期工具调用，奖得和那个决定性的调用一模一样。信号稀疏而延迟，而这正是多回合强化学习变难之处：一个在许多回合上估计的价值函数方差很高，而那些无评论家的组方法则彻底放弃了逐步的分辨率。

已经涌现出三种粒度的修法。第一种在动作的形式上塑造奖励：ToolRL 把奖励分解成一个核查工具调用结构的格式项、与一个为工具名、参数与取值打分的正确性项，得到一个比单凭答案匹配更细的信号 (Qian et al. 2025)。第二种在没有过程奖励模型的情况下制造出步级的信用。GiGPO 保留 GRPO 那无评论家的稳定性，却加了第二层分组：在回合级的组之外，它通过找出在不同 rollout 间复现的环境状态、即一个锚点状态分组，来构建步级的组，并在所有从同一个复现状态出发的动作之间算一个局部相对优势，于是每一步都拿到一个归一化的信用、且不增加 rollout 成本，并在智能体基准上报告了相对 GRPO 的两位数增益 (Feng et al. 2025)。ARPO 走第三条路，注意到词元熵恰在一次工具调用之后尖刺，便在那些高不确定性的步上分叉它的采样，以归因工具使用的信用 (Dong et al. 2025)。

它所激起的不稳定有一个名字。RAGEN 用一个它称为 StarPO 的方法优化整条状态、思考、行动、奖励的序列，识别出一个回声陷阱（Echo Trap）：智能体过拟合到少数几个局部受奖的模式上，而这一退化有迹可循，最早的预警是组内奖励方差的下跌，随后是熵的下跌与梯度范数的尖刺，过了那一点便难以恢复 (Wang and others 2025)。它的稳定化变体筛出方差最高的提示、并借用 DAPO 的非对称裁剪，但一般性的教训是，多回合这一区间，凭它复合的误差与更大、更相关的动作空间，把一个策略推向单个模板，远比单回合的推理强化学习更甚。

环境作为训练基底

环境本身成了一项训练资产，因为在可验证奖励的强化学习里，环境就是那个奖励函数。SWE-Gym 把大约两千四百个真实仓库任务连同可执行运行时与单元测试封装起来，好让一个智能体的轨迹能在回路里被采样与评分，单元测试充当验证器，而在它上面训练把 SWE-bench 上的解决率提高了近二十个点 (Pan et al. 2024)；这正是 第 85 章 的沙箱，从一个运行智能体的地方，变成一个训练智能体的地方。同样的可执行环境模式正从既有的基准里被整理出来，AppWorld 那个应用与 API 的世界、WebArena 那些自托管的网站都在其中，从评估框架被改作训练场。

构造这样的环境比看上去更难，而难点出在系统层面：运行时必须可复现、沙箱必须在规模上隔离，而环境的执行延迟如今进入了强化学习回路的内部，在那里一个慢的核查器会让训练器缺少样本。验证器也可能被利用，于是一个智能体可以满足一个不完美的测试规格、而非解决任务，这是 第 28 章 那个奖励欺骗的风险被搬进了环境。这一转变之大，使得环境如今被作为产品来收集与售卖，一个 2025 年的智能体训练场市场 (Zeff 2025)，尽管任何单个环境的价值都有争议，因为一个掌握了某项技能的模型，能为它生成低成本的替代数据 (Anderson 2025)。最后那两个来源都是新闻报道与观点、而非同行评议，并已如此标注。

系统上的切分：生成与学习

一个智能体强化学习回路从当前策略生成 rollout、给它们打分、再更新权重，而生成是瓶颈：OpenRLHF 把 rollout 阶段测在 RLHF 整体运行时间的约八成 (Hu and others 2024)。于是现代工具包内嵌一个推断引擎（几乎总是 vLLM）来产出 rollout（第 84 章）。训练运行现在内含一个服务引擎，而有两种架构模式来切分它的算力。同址模式把训练器与 rollout 引擎放在同一批 GPU 上，并在两者之间对模型重新分片：HybridFlow（其开源实现是 veRL）用它所称的 3D-HybridEngine，在训练布局与生成布局之间对 actor 重新分片，并复用训练权重来做生成，于是不重复占用显存，处于一个单控制器与多控制器混合的编程模型之下 (Sheng et al. 2025)。分离模式则把 actor、reward、reference 与 critic 各模型放到分开的 GPU 池上，用 Ray 来调度：OpenRLHF 走的是这条路，内嵌 vLLM 来承担那个主导整体运行时间的 rollout 阶段 (Hu and others 2024)。这一选择，正是那个熟悉的取舍：为利用率而集中，为调度灵活性而分离，如今被搬进了单次训练运行的内部。

更深一层的控制参数，是 rollout 必须有多新鲜：训练数据究竟来自当前策略（即同策略），还是来自略旧的权重（即异策略）。严格的同策略（on-policy）强化学习，在每一批之前都要等最新的权重，于是在较慢的生成器运行时，训练器就闲着，而长的智能体轨迹让这份闲置更尖锐，因为一批要等它最慢的那条 rollout。异步强化学习则让生成在略陈旧的权重上跑在前头，把两者重叠起来 (Noukhovitch et al. 2024)，以一份受控的异策略（off-policy）陈旧度换取吞吐，这与 第 10 章 的流水线调度在梯度层面所做的陈旧度对利用率的取舍如出一辙。推到极致，两侧便彻底解耦：rollout worker 持续不断地生成，而训练器一凑齐一批就更新；AReaL 以这种方式报告了最高 2.77 倍的加速 (Fu et al. 2025)。其代价是数据成了异策略的，由 PPO 本就携带的重要性采样比率（一个重加权因子，用于复用并非当前策略生成的数据）来校正，而陈旧度能被推到多远本身就是一个研究问题，有方法去约束那些重要性权重的方差、而非只是裁剪它们，从而在陈旧了数百次更新的数据上仍稳定地训练 (Zheng et al. 2025)。

延伸阅读