非自回归与扩散语言模型

第 12 章 结尾说，去噪正在回到文本；这一章继续讨论这条线索。自回归语言模型从左到右生成，一个词元条件在它之前的所有词元上；非自回归与扩散语言模型则反过来问，文本能不能先并行生成草稿、掩掉一部分，再逐轮修订。它们的优势在延迟和双向上下文，代价则是自回归早已解决好的质量、长度和服务机制。这个代价也解释了这条路线的演化线索：早期系统依赖自回归教师的输出，而不直接学真实数据；离散扩散让这个想法重新活跃；掩码扩散语言模型，实质上是在所有掩码比例上一并训练的掩码语言模型；而 2025 年出现的一批快速系统，仍没有取代前沿默认的自回归路线。

优势与代价

自回归（autoregression）是串行的：生成 $n$ 个词元要花 $n$ 次顺序前向，每一次都等着上一次。非自回归生成（NAR）则改为并行地产出这些词元。Gu 等人最先为翻译这么做，报告出低一个数量级的延迟，代价是比它所蒸馏的自回归教师低约两个 BLEU (Gu et al. 2018)。BLEU 是一种自动评估翻译质量的分数，取值从 0 到 100，衡量译文与参考译文之间的 n-gram 重合度，越高越好，所以两个 BLEU 是不大但确实存在的下降。这个代价有一个精确的成因，即多模态问题：一个并行解码器把输出分解成 $\prod_t p(y_t \mid x)$。这个式子的意思是：给定输入 $x$ 后，每个目标位置 $t$ 独立选择自己的词元 $y_t$，不再看其他目标位置已经选了什么。于是每个位置各自独立地在几个有效输出之间犹疑，而联合的采样把它们混在一起，落不到任何一个连贯的句子上，于是产出重复或丢失的词。Gu 的修法是一个繁殖度（fertility）潜变量，即每个源词元一个整数、表示它对应几个目标词元，它既挑出单个模式，又回答了那个自回归靠发出句末词元自然解决的长度问题。长度是一个并行解码器无法回避的结构性问题，后面的几种设计大多都在回答它。

一个非自回归模型之所以根本能工作，更深的缘由是它几乎从不在真实数据上训练。它在一个自回归教师的输出上训练，经由序列级的知识蒸馏 (Kim and Rush 2016)，而这之所以是必需、而非仅仅有益，原因是结构性的。Zhou 等人把一个数据集的复杂度量为目标在给定源时的条件熵，并表明一个教师解码出来的输出，其复杂度远低于黄金数据：蒸馏去掉了模式，把目标变得近乎确定、从而能被一个单次解码器学会 (Zhou et al. 2020)。他们还发现一个容量匹配，即一个弱的非自回归学生在从一个小教师蒸馏出来的数据上做得最好，而一个更强的学生能利用一个更大教师所留下的更高复杂度，于是教师应当与学生匹配，而不是一味做大。

先并行预测，再精修

纯粹的单次解码会损失质量；更有效的做法，是在几轮里精修一份并行的草稿。Mask-Predict 训练一个条件掩码语言模型，在一个固定的轮数里解码，每一轮重新掩掉置信度最低的词元、再用完整的双向上下文重新预测它们，达到离一个自回归 Transformer 约一个 BLEU 的程度 (Ghazvininejad et al. 2019)。别的设计以不同方式回答长度问题：Levenshtein Transformer 把插入与删除作为它的原子操作，于是序列动态地增长与收缩，而非把长度预先定好 (Gu et al. 2019)；基于 CTC 的解码器用空白词元发出一个超长序列、再在一个单调对齐下把重复折叠，把长度与对齐一并边缘化 (Libovický and Helcl 2018; Chan et al. 2020)；而 Glancing Transformer 保持单次，却用一个课程来训练，早期露出一些真值词元、随模型改进而露得更少，从而在无需推断时迭代解码的情况下教会词间的相互依赖，以八到十五倍的速度做到离 Transformer 一个 BLEU 之内 (Qian et al. 2021)。逐步展开的去噪从随机词元出发，把一个去噪器反复用到收敛，是迈向扩散（diffusion）框架的又一步 (Savinov et al. 2022)。

扩散框架让这层关系变得清楚。「先并行预测，再重新掩掉并重新预测不确定的词元」，仔细看就是一个固定步数的吸收态扩散：掩码是前向扰动，重新预测是习得的逆向步。Mask-Predict 是一个还没把自己叫作扩散的离散扩散采样器；这层联系一旦说清楚，后面的工作就开始沿着扩散语言模型展开。

离散文本上的扩散

D3PM 把扩散推广到离散数据，用一个作用在 one-hot 词元上的分类扰动矩阵 $Q_t$ 取代高斯噪声，而它的吸收态变体正是这里要紧的那个 (Austin et al. 2021)。在累积形式下，每个词元以一个从 $1$ 单调降到 $0$ 的保留概率 $\alpha_t$ 原样幸存，否则被送往吸收态 [MASK]，

$$q(x_t \mid x_0) = \alpha_t\,\delta(x_t, x_0) + (1 - \alpha_t)\,\delta(x_t, [\text{MASK}]).$$

这是带一个连续掩码率、而非一个固定比例的 BERT 式掩码，而关键在于那个去噪器只见到干净或被掩码的词元，从不见到分布外的含噪词元。两条路线随后分岔。连续扩散在嵌入空间里跑：Diffusion-LM 把高斯向量去噪成词向量，这让基于梯度的可控生成变得容易，却在原始困惑度（衡量模型对留出文本的意外程度，越低越好）上落后于自回归 (Li et al. 2022)，而基于似然的 Plaid 一脉把同一想法放大、却仍落后 (Gulrajani and Hashimoto 2023)。离散这一脉更具竞争力，因为它避开了嵌入取整的瓶颈、并让去噪器留在分布内的输入上。SEDD 是它最有竞争力的形态，学习「具体分数」，即相差一个词元的两个状态之间的边缘比率 $p_t(y)/p_t(x)$，经由一个把分数匹配延伸到离散空间的分数熵损失；它把困惑度比此前的扩散语言模型降低 25 到 75%，在那个规模上追平或胜过 GPT-2，并以质量为代价，把网络评估次数减少多达 32 倍 (Lou et al. 2024)。这些数字都来自小规模实验，且为作者自报。

一个掩码扩散语言模型就是一个掩码语言模型

这个领域最深的结果，是那个吸收态构造并非全新目标。两个独立的推导表明，一个掩码扩散语言模型的连续时间训练界，可以化为一个普通的掩码语言建模交叉熵的加权平均 (Sahoo et al. 2024; Shi et al. 2024)，

$$\mathcal{L} = \int_0^1 \frac{-\alpha_t'}{1 - \alpha_t}\; \mathbb{E}_{q(x_t \mid x_0)} \Big[ \sum_{n:\,x_t^{(n)} = [\text{MASK}]} -\log p_\theta\big(x_0^{(n)} \mid x_t\big) \Big]\, dt.$$

逐项看这个式子：$x_0$ 是干净序列，$x_t$ 是时刻 $t$ 的被掩码序列，$q(x_t \mid x_0)$ 是前向掩码过程。里面那个和，是从上下文预测被掩码词元的交叉熵，恰是 BERT 目标，只在当前被掩码的位置上取。因为 $\alpha_t$ 是那个从 $1$ 降到 $0$ 的保留概率，积分变量 $t$ 与掩码比例 $1 - \alpha_t$ 一一对应，于是对 $t$ 积分，就是在每一个掩码比例上对掩码语言模型损失取平均；权重 $-\alpha_t'/(1-\alpha_t)$ 则说明每个掩码率在训练目标里占多大分量。一个掩码扩散语言模型，是一个在整个掩码率连续区间上训练的掩码语言模型，而生成是任意顺序的迭代解掩。两个推导落在同一个权重 $-\alpha_t'/(1-\alpha_t)$ 上，说明这就是那个标准形式。RADD 从分数那一侧进一步推进，表明吸收扩散的分数分解成干净数据的条件分布乘以一个 $t$ 的解析标量，于是去噪器可以彻底丢掉它的时间输入、其输出可在一个采样区间里缓存，并证明吸收扩散等价于一个任意顺序的自回归模型 (Ou et al. 2025)。这个非自回归模型，归根到底，是去掉固定顺序约束后的自回归；这既是它为何能填空与反转，也是它为何继承了一份自回归本已解决的服务成本。

扩大规模，并折中使用自回归

LLaDA 是规模化后的关键样本：它是一个从头训练的 8B 掩码扩散模型，在上下文学习（仅凭提示里给出的示例就完成新任务，不更新任何权重）上与 LLaMA3-8B 旗鼓相当，并在一项双向上下文有帮助的反转补全任务上领先 GPT-4o (Nie et al. 2025)。Dream 以从自回归的 Qwen2.5 权重初始化、而非从头训练，达到相近的 7B 规模质量，这是掩码扩散与自回归目标足够接近、可以迁移的一个迹象 (Ye et al. 2025)。但解码仍有现实限制。并行生成是真的，可它要好几个去噪步，而完整的双向注意力放弃了 第 32 章 的 KV 缓存，也就是自回归解码每一步都复用的、按词元保存的那份注意力状态，于是每一步都重算整个序列，于是那份加速部分地被抵掉。最务实的路线，是在扩散与自回归之间折中：块扩散在词元的块之间是自回归的，这恢复了任意长度的生成与 KV 缓存，同时在每一块之内并行地去噪 (Arriola et al. 2025)。这条路线也已经进入商业系统。Inception Labs 的 Mercury 报告在一块 H100 上每秒一千多词元的吞吐，并称在可比质量下，最高可达到速度优化过的自回归模型的十倍；Google 实验性的 Gemini Diffusion 也报告了相近速度。不过二者都是未经独立审计的厂商数字，应当谨慎看待 (Inception Labs et al. 2025; Google DeepMind 2025)。随后的系统把规模这道坎也迈了过去。ByteDance 的 Seed Diffusion 是一个扩散代码模型，报告在 H20 GPU 上每秒 2,146 词元、代码质量与同级模型相当 (Song et al. 2025)；LLaDA-MoE 在约 20T 词元上从头训练了一个稀疏混合专家的扩散语言模型 (Zhu et al. 2025)；LLaDA 2.0 则把预训练的自回归权重转换成混合专家的扩散模型，总参数推到一千亿 (Bie et al. 2025)。

延伸阅读