推理数据与蒸馏

推理模型训练的不只是问题和答案，还有轨迹：完整解题过程、失败尝试、自我修正、被拒样本、验证器标签，以及后来被压短的长链。这一层数据有自己的工程问题：一份推理数据集到底包含什么，正确轨迹如何被采集，为什么小而精的数据有时有效，以及一个大推理器如何通过蒸馏把行为传给更小的模型，也就是用一个更强模型的输出去训练一个更小的学生模型。

推理样本不只是答案

标准监督样本是 $(x, y)$：提示和目标。推理样本更接近 $(x, z_{1:T}, y, m)$，其中 $z_{1:T}$ 是轨迹，$m$ 是元数据：验证器结果、难度、来源、语言、工具调用、轨迹长度，或过程标签。这些额外结构改变了训练问题。模型学的不只是哪个答案正确，也在学习一种搜索风格，以及何时停止。

最简单的损失仍是下一词元预测：

$$\mathcal{L}_{\text{trace}}(\theta) = -\sum_{t=1}^{T} \log p_\theta(z_t \mid x, z_{<t}) - \log p_\theta(y \mid x, z_{1:T}).$$

其中第一项教轨迹词元，第二项教模型在这条轨迹条件下给出最终答案。数据选择决定这个损失教会什么。人写的轨迹教会一种可读风格，机器轨迹教会的则是教师自己的风格。一旦让数据过一遍检查器，模型见到的就只剩通过的那些路径。长轨迹教会审慎推理，但若之后不加压缩，也会一并教会冗长。因此推理数据是一个系统对象，不只是一份解答文件。

自举与拒绝采样

STaR 是自我改进推理数据的早期形式。先给少量 rationale 示例，让模型为许多问题生成 rationale，保留那些通向正确答案的 rationale，再在这些数据上微调。对错误答案，则把正确答案作为条件，再尝试生成一条本应到达它的 rationale，然后重复 (Zelikman et al. 2022)。循环很短：

def star_round(model, prompts, examples, checker):
    accepted = []
    for x in prompts:
        trace, answer = model.sample_with_rationale(x, examples)
        if checker(x, answer):
            accepted.append((x, trace, answer))
        else:
            trace = model.sample_rationale_given_answer(x, reference_answer(x))
            if checker_trace_or_answer(x, trace):
                accepted.append((x, trace, reference_answer(x)))
    return fine_tune(model, accepted)

拒绝采样微调，即 RFT，把这个过滤思路推广开来。为每个问题生成许多候选轨迹，保留最终答案通过检查器的那些，丢弃其余的，再在通过集合上训练。Yuan 等人发现，RFT 能提升数学推理，尤其当增强样本里包含多样的正确路径时更有效 (Yuan et al. 2023)。这是自一致性在数据侧的版本：采样提高覆盖率，验证器做选择，被选择的轨迹不立刻成为答案，而是成为训练数据。

问题出在选择偏差。只检查最终答案的验证器，可能保留推理有瑕疵但答案碰巧正确的轨迹，也可能保留利用捷径的轨迹。因此，过滤后的数据并不自动比人工数据更干净。它只是在检查器定义的意义上干净。

小数据与大的潜在技能

s1 和 LIMO 把数据问题推得更尖。s1 报告说，只在 1,000 条精心选择的样本上微调，再在测试时使用预算强制（控制模型在作答前思考多长），就能得到很强的推理表现 (Muennighoff et al. 2025)。LIMO 报告说，用 817 条精选样本就能激发强数学推理，并提出一个解释：当基座模型已经在预训练中编码了相关领域知识时，一小组高质量推理模板足以唤起那种能力 (Ye et al. 2025)。含义不是数据不再重要，而是一个推理轨迹的边际价值取决于基座模型已经知道什么。

这会重新定义数据规模。百万条低质量轨迹可能只教会格式和冗长。一千条困难、多样、正确的轨迹，可能教会如何激活潜在能力。有用单位不只是样本数，而是推理动作的覆盖：分解、代数变换、证明规划、代码模拟、检查，以及停止。不过，规模与筛选并不对立：OpenThoughts 做了成体系的数据配方消融，规模一路推到 120 万条轨迹的 OpenThoughts3，发现在开放基座上，把筛选过的流水线做大，胜过小而精的数据集，其 OpenThinker3-7B 在 AIME 2025 上达到 53% (Guha et al. 2025)。这把 s1 与 LIMO 收窄为一个关于强基座的主张，而非关于数据规模本身的主张。

把长思考蒸馏成短行为

DeepSeek-R1 让蒸馏成为推理故事的中心。R1 论文报告说，在那套配方里，从 R1 推理轨迹蒸馏出的较小稠密模型，优于直接在小模型上做 RL (Guo et al. 2025)。Kimi k1.5 报告了 long2short 方法，即用 long-CoT 技术改善 short-CoT 模型，这为生产端提供了一种解法：长推理有用，但长答案昂贵 (Kimi Team et al. 2025)。

蒸馏改变的是成本的位置。教师花训练和测试时的算力找出长轨迹，学生则用一个监督损失去模仿其中有用的行为。如果成功，生产系统就能得到一部分推理收益，而不必每个请求都付完整词元预算。代价是信息损失。短学生可能学到一次审慎推理的结果，却不能在分布外重现那次审慎推理。

弱监督把同一个想法又推进一步。Yuan 等人研究较弱推理器提供的监督能否改善更强学生，并报告在他们的设置中，弱监督能恢复昂贵 RL 大部分收益 (Yuan et al. 2025)。这个结果重要，因为它打破了一个假设：每份推理数据都必须来自前沿教师或人类专家。开放问题是校准：弱教师什么时候提供有用模板，什么时候只教会脆弱习惯。

推理数据因此是一项资本资产。它昂贵、难审计，也很容易对某个检查器过拟合。本部分最后一章会问：这些工作究竟该在训练时一次性付掉多少，又该留下多少作为每个提示单独支付的测试时算力。

延伸阅读