基准及其困境

栈里任何一个阶段是否奏效，最终都要靠评估来判断。数据、架构、预训练和后训练，都需要接受同一套测量约束。静态基准是评估里最早、也最有争议的仪器。静态评估绕不开一个让人不太舒服的主张：一个公布的基准分数，从来不是关于模型本身的事实，而是关于模型和测量装置合在一起的主张。评估的大半工作，是让这个主张经得起检查。留出集（held-out set） 指从每个训练阶段都排除在外的数据集，它是一份流水线契约；基准家族会饱和，训练/测试集的污染（contamination）会不声不响地推高数字；一个分数只有在框架、数据契约与不确定性都可见时，才算得上证据，而不是经验法则（folklore）。

一个错误数字的解剖

训练流水线每跑一个阶段，都会产出一组新权重。要可靠地判断这一阶段是否奏效，唯一的办法是看一个独立的数字有没有动，而且它动的理由要经得起检查。基准本应就是这样一个证伪者。反复出现的失败，并不是缺一个数字，而是相信了一个不可靠的数字：可能是测试数据泄漏进训练而造成的污染分数，可能是朝着已知格式调优而被操弄的分数，也可能只是被误读为信号的噪声。这几种都会产出一个表面很好、却无法迁移的数字；损害之所以隐蔽，是因为分数本身不会宣告自己有问题。

没有哪一层评估能单独覆盖这三种失败。一条实用流水线会把自动化基准、生产监控、A/B 测试、用户反馈与人工研究叠成一个瑞士奶酪（Swiss-cheese model）式堆栈，每一层都负责拦住其他层漏过的问题。这里先看第一层，也就是静态基准。它成本最低，跨实验室也最可比，却也最容易给出误导性的确定感。

图 47.1 说明了为什么单独一层都不够：三种失败各自溜过那个对它视而不见的层，唯有整个堆栈才能一起拦住它们。

污染、操弄和噪声构成后面论证的主线。下面先说明静态基准测量的对象，再逐层展开它的前提，指出每一种失败从哪里进入，最后落到一套纪律：正是这套纪律，让一个数字在这三重压力下仍然可信。

还有一种失败不在这条主线上，因为它藏在仪器内部：标准答案本身可能是错的。FutureHouse 在 2025 年审计 Humanity's Last Exam，发现其纯文本化学与生物题里约 29% 的答案与同行评审文献相抵触；维护者自查估计约 18%，随后把基准转入滚动的专家修订 (White et al. 2025; Zhai and others 2026)。MMLU 自身的标注错误率估计约 6.5% (Gema et al. 2024)。标签错误不像污染那样粉饰结果，它压低的是正确模型所能达到的分数上限，而数字同样什么都不宣告，所以审计仪器本身，与审计流水线属于同一套纪律。

一个基准究竟在测量什么

模型能力覆盖面太宽，单个测试无法完整覆盖，所以基准通常按能力维度分成若干家族。每个家族测量一个不同维度，也有自己的失效方式。

• 知识。 广泛的事实与学术性回忆，属于 MMLU 这一路 (Hendrycks et al. 2020)。它容易饱和、容易被污染，前沿模型如今已接近天花板，因此 Humanity's Last Exam 这类更难的专家级后继基准，开始把闭合题推向人类学术知识的边缘 (Phan et al. 2025)。
• 推理。 超出回忆之外的多步推断。它更难被污染，却也更难客观打分，于是这一领域转向研究生级别、防搜索（google-proof）的变体，如 GPQA (Rein et al. 2023)，以及 ARC-AGI-2 这类更重抽象推理的后继基准 (Chollet et al. 2025)；当前沿系统也逼近 ARC-AGI-2 之后，这个家族又转向 ARC-AGI-3 的交互式游戏环境，干脆不再设静态标准答案 (ARC Prize Foundation 2026)。
• 数学。 从小学到竞赛级，从 GSM8K (Cobbe et al. 2021) 到 MATH (Hendrycks et al. 2021)。答案可核验，而正是这条性质，把评估与 第 28 章 里可验证奖励的强化学习接上了。
• 代码。 函数补全与仓库级修复，从 HumanEval (Chen et al. 2021) 到 SWE-bench 一类的任务 (Jimenez et al. 2023)，如今通行的报告口径是经人工核验的 SWE-bench Verified 子集 (OpenAI 2024)。它可执行，于是评判者是一个测试运行器，而不是一个模型。
• 多语言。 同一任务跨多种语言。它把 第 6 章 里那些分词器与数据配比的决策暴露出来，而模型只在英文上受测时，这些决策是看不见的。
• 长上下文。 在长输入上做检索与推理，从大海捞针到 RULER (Hsieh et al. 2024) 这类更难的探针。它为 第 35 章 讨论的长上下文扩展把关。
• 多模态。 在图表、表格、图片与文本之间做联合感知和推理。MMMU 把这件事显式化：它用跨学科的大学水平题目和高度异质的视觉格式来评测多模态模型，而不是把视觉只当成图像描述 (Yue et al. 2023)。
• 智能体。 工具使用、多步任务完成，以及网页或操作系统交互，由 GAIA (Mialon et al. 2023)、WebArena (Zhou et al. 2023) 与 τ-bench (Yao et al. 2024) 这类基准来命名。它们没法归约为单一的静态答案，其评估方法 第 52 章 会专门讨论。

每个家族都带着自己特有的失败，但它们全都立在同一个前提之上。这些数字到底有没有意义，是这个前提决定的，而不是家族的分类法。

留出契约

每个家族之下都立着同一个前提：一个留出集，它的答案模型在训练期从未见过。「留出」不是某个文件的属性，而是整条流水线的属性。一个集合只有不出现在任何训练配比里，才算留出，而这是数据层必须遵守的契约，不是评估层自己勾一下就能算数的复选框。

污染就是对这条契约的违反。它是三种失败里的第一种，也是后果最重的一种，因为它无声，而且恰好朝着粉饰结果的方向推高数字。它什么都不宣告，所以只能主动审计，不能等它自己暴露。检测靠的是重叠与成员推断（membership inference），也就是判断某个具体样本是否出现在训练数据里的测试。精确与近似重复匹配，通常是针对训练语料做 n-gram 重叠，能抓住逐字以及轻度改写的泄漏。金丝雀字符串（canary strings）是嵌进留出集里的唯一标记，模型一旦能复现它们，就说明这个集合曾被摄入。成员推断信号走得更远，它问的是某个具体样本到底有没有被训练过，例如 Min-K% Prob：当一个样本里最不可能的那些词元，在模型下偏偏拥有可疑的高概率时，它就把这个样本标记出来 (Shi et al. 2023)。这种风险在 SWE-bench 上有实测：前沿模型仅凭 issue 文本、不看任何仓库，就能以高达 76% 的准确率说出出错文件的路径，而同样的模型换到基准之外的仓库上表现骤降，这是记忆在冒充修复能力 (Liang et al. 2025)。这些手段单独都下不了结论，所以污染要靠一份契约加一次审计来报告，而不是靠单一测试。

图 47.2 完整呈现了留出契约：一个基准抵达权重的两条路径，以及审计它是否抵达的三种检测信号。第二条路径，是一个本身就在该基准上训练过的教师模型；这条路径绕开原始语料，会在最后一节再次出现。

基准为何会衰退

一个留出集，只有同时保持留出和保持困难时才有用。基准的历史就是一部饱和的历史，是第二个性质被缓慢侵蚀的历史。一个基准要能区分各个系统，前提是模型还会答错它的一部分；一旦某个家族都挤到接近天花板，剩下的那点余量就是噪声，也就是第三种失败，基准从此再也分不开各个系统。

知识基准最早遇到饱和。MMLU 刚出现时还能拉开有意义的差距 (Hendrycks et al. 2020)，如今对前沿模型已接近天花板，这正是这一领域转向刻意更难、抗污染的变体的原因。GPQA 的题目刻意防搜索：连领域外的专家即便能上网也答不上来，就是为了让回忆与检索无法替代推理 (Rein et al. 2023)。这道防线只维持了几年：到 2026 年，GPQA Diamond 也步了 MMLU 的后尘，前沿模型聚集在 90% 以上 (Vals AI 2026)，能拉开差距的阶梯再次上移，落到 Humanity's Last Exam 以及它的后继者身上。

图 47.3 画出了饱和的形状。一代代模型接近天花板，各系统之间的差距缩小到噪声范围内，于是必须引入一个更难的后继基准来恢复区分度，而它又会继承同样的命运。

饱和把设计同时推向两个方向，而在这两者之间怎么选，是静态评估的核心权衡。一个方向是转向更难的静态集合，它能争取时间，却继承同样的命运：任何固定集合都会成为优化目标，而这个目标迟早会被击中，无论是靠真实能力还是靠污染。另一个方向是转向动态评估，尽量不设固定目标。Chatbot Arena 用持续到来的人类偏好比较，取代冻结的测试集，于是没有静态标准答案可供泄漏，测量也随模型群体的变化而自我更新 (Chiang et al. 2024)。不过，拿掉标准答案并没有拿掉可供操弄的空间；至于取而代之的是什么，第 50 章 会再谈。这段演化从固定的学术考试，走到更难的防搜索考试，再走到没有标准答案可背的移动评估。

由此出现两个权衡。一个公布的数字有多少意义，全看读者是否清楚它落在每个权衡的哪一侧。

LiveBench 站在这两个极端之间。它保留了自动客观评分，同时从近期数学竞赛、论文、新闻和数据源中持续更新题目，并随时间加入新任务，从而让目标不再是一个冻结文件 (White et al. 2024)。这为本章划出一条边界：只要任务仍有客观答案，移动基准可以推迟污染，又不必把整件测量交给人或模型评判者。一旦目标变成偏好、有据性或多步环境状态，第七部分后面的章节就需要换一套仪器。

• 静态与动态。 静态基准运行成本低、可复现到比特，跨实验室、跨时间都可比，排行榜正是建在它们之上。但它们会饱和、会被污染，也会漏掉任何不是单一静态答案的东西。动态评估，即轮换集合与持续更新的环境，因为没有固定目标可过拟合而能抵抗操弄，代价是运行成本更高，也更难跨时间比较，因为测试本身一直在动。
• 公开与私有留出集。 一个公开基准应当假定它会随时间被污染，因为它的标准答案就摊在互联网上，默认会流进下一轮训练。一个私有留出集是可信的，但只在它的完整性还在时才可信，而完整性是一项不断损耗的资产：每一次泄漏、每一次意外纳入、每一个被公布的样本，都在侵蚀它。稳妥的姿态是：在一个私有集合泄漏之前信任它，而对一个公开集合，就当它早已泄漏。

这些权衡也引出第七部分的其余章节。第 48 章 问的是，一个观察到的基准差距到底大不大到值得相信。第 49 章 问的是，标准答案用尽时标签到底是谁定义出来的。第 51 章 把流畅偏好与有据真实分开。第 53 章 则把留出集变成发布闸门，而不是排行榜装饰。

是模型，还是框架

污染与饱和攻击的都是测试本身。第三种失败攻击的是测量这个动作本身，而核心论断也在这里变得最清楚：即便一个清楚、未饱和的基准，也要由框架运行起来才会产出数字，而框架选择会改变这个数字。

让一个数字站得住

三种失败各有一套纪律来应对，而把留出集的完整性落到操作上，正是这些纪律从原则变成流程的地方。一个集合要配得上「留出」二字，得满足这几条：从不放进任何训练配比；版本固定，使一个分数能指明它对照的究竟是哪个集合；访问受控，不致因疏忽而泄漏；一旦检测到泄漏就轮换；规模大到能给出可用信号，而不是单独一个脆弱的数字。这是评估层拥有并守护的资产。它既回应污染，也同样回应噪声，因为一个小到无法稳定的集合，本身就是假信号的来源。

图 47.5 把规模要求摆成了具体的数字。一个准确率估计的置信区间（一个很可能包含真实分数的区间），只随留出集规模的平方根而收缩，于是一个小集合会带着一条宽到足以淹没两系统差距的误差棒，而这恰恰就是噪声冒充信号的方式。

试着把 p1 与 p2 改成想区分开的两个准确率，看看要多少留出样本，误差棒才缩得进两者之间的差距里。

import numpy as np
import matplotlib.pyplot as plt

p1, p2 = 0.70, 0.72          # 两个系统的真实准确率
gap = abs(p2 - p1)
N = np.arange(100, 30001, 100)
p = (p1 + p2) / 2            # 用于标准误的合并准确率
half = 1.96 * np.sqrt(p * (1 - p) / N)   # 95% 置信区间半宽

crossover = N[np.argmax(half < gap)]     # 误差棒首次缩进差距内的 N
print(f"系统之间的差距: {gap:.3f}")
print(f"95% 误差条小于差距时的留出集大小: {crossover} 个样本")

plt.plot(N, half, label="95% 置信区间半宽")
plt.axhline(gap, color="r", ls="--", label=f"真实差距 = {gap:.2f}")
plt.xlabel("留出集大小 N"); plt.ylabel("准确率 +/- 半宽")
plt.legend(); plt.title("低于交叉点时，噪声淹没信号")
plt.show()

不过，评估层并不去清洗训练语料。构建期把测试数据移除，即去重与重叠过滤，归数据流水线管。评估层提供留出集与金丝雀，消费数据层的去污染契约，再审计这份契约有没有被遵守。关键在于「审计」：评估层的职责，是事后核验它所定义为留出的东西没有混进任何配比，一旦真有东西混进去了，就明确把它揭出来。

还有一条更隐蔽的污染路径，完全绕开语料，正是 图 47.2 早先画的那条间接路径。一个本身就在某个基准上训练过的教师模型，它生成的合成数据会把那个基准的内容带进学生模型，哪怕学生从未直接见过该基准。这正是 第 23 章 里的合成数据实践与此处的留出契约相互耦合的原因之一：教师模型若已被污染，一份清理过的语料还不够。

因此，一个孤立的基准数字若不带上下文报告，就是经验法则（folklore），而非测量。污染感知的报告是最低限度的纪律：注明这个分数是在哪个去污染契约版本下产出的，并在数字旁披露任何已知的泄漏，好让读者在据此行事之前，能把一个真实结果和一个被污染的结果分开。

延伸阅读