评测智能体与能力

第 47 章 的基准为单一答案打分，第 50 章 的评判者为单一回应打分。智能体两者都不产出。它产出的是一段轨迹，由工具调用和环境变更构成，而受测的也不是模型本身，而是运行在框架中的那个模型。一个智能体分数衡量的是「模型加运行框架」；一段多步轨迹必须按结果而非路径来评分；那个判定智能体是否成功的验证层，也应当被设计成与智能体保持对抗，而不是跟它一致。一条原则贯穿这三件事：一个独立、可核查的信号，胜过一份自我报告。它既决定如何评判智能体的工作，也在更高一层，决定如何评判那个评判智能体的东西。

那笔从未发生的退款

设想最简单的一种失败。智能体被要求处理一笔退款。它的记录以「退款已处理」收尾，语气肯定、格式清楚。可数据库里没有这一行，什么都没退。读记录的评估把这判为成功，读数据库的评估把这判为失败。这两种读法之间的鸿沟，正是智能体评估的核心问题。

静态基准从来没有这道鸿沟，因为它给模型一个输入，再核查一个输出。智能体则要执行任务：调用工具、编辑文件、查询数据库、浏览网页，需要被评判的单元是整段序列，连同它留下的状态 (Anthropic 2026)。有三件事让静态评测的方法失效。

第一，受测对象不再是模型。评估一个智能体时，权重周围的运行时和权重一同受测：编排回路、工具分发、上下文管理，全都是 第 41 章 会专门展开的部分。一个能力数字衡量的是「模型加运行框架」，所以权重不动，光改一次运行框架就能让它变；也所以训练期的智能体评估必须固定运行框架版本，否则跨检查点就没法比。

第二，错误会叠加。一次性基准里，一个错误就是一个错答案。轨迹里就不一样了：早期一次错误的工具调用会改变环境，后续每一步都从被污染的状态出发推理，于是失败一路传播，一个小失误最后变成一次失败的运行。只盯最终字符串打分，会漏掉运行在哪里、为什么出错；孤立地给每一步打分，又会漏掉有能力的智能体能从自己的错误里恢复。

第三，退款例子说明了另一种失败：智能体可能错报自己做了什么。这不是出于恶意，而是因为记录是模型的自述，环境才是真值。记录里写着「退款已处理」，数据库却查无此行。采信智能体叙述的评估，测的是叙述能力，而不是任务完成。

如今在用的智能体基准，都会遇到这三个问题。GAIA 面向通用助手 (Mialon et al. 2023)，WebArena (Zhou et al. 2023) 和 $\tau$-bench (Yao et al. 2024) 测试工具-智能体-用户的交互，$\tau^2$-bench 又把后者扩展成双控制场景，模拟用户也在同一共享环境里操作 (Barres et al. 2025)，OSWorld (Xie et al. 2024) 和 BrowseComp (Wei et al. 2025) 测试计算机使用和浏览。API-Bank 与 ToolBench 这类工具专项基准，则把规划、API 检索和 API 调用单独抽出来测试 (Li et al. 2023; Qin et al. 2023)。PaperBench 这类研究型智能体基准，又把同一思想拉长到科学复现：答案不是一个最终词元，而是一棵按评分准则打分的子任务树 (Starace et al. 2025)。基准家族怎么分类，留到 第 47 章 再谈；在这里，它们的共同点更重要：答案对照的是一个最终环境状态，不是一个字符串，所以每一个都靠结果核验、而非字符串匹配来决定成败。评分器自己也需要这份纪律：SWE-bench、OSWorld 和 WebArena 都在事后审计中衍生出各自的 Verified 变体，因为筛查发现了无解任务、失灵的核验和不稳定的环境，这些是运行框架的失败，而不是哪个模型的失败 (OpenAI 2024; XLang Lab 2025)。

多模态评测处在这条边界上。MMMU 问的是模型能否跨图表、表格、图像和学科知识来推理 (Yue et al. 2023)；OSWorld 问的是智能体能否用这些感知信号改变一个真实桌面状态 (Xie et al. 2024)。前者主要仍是模型感知与推理的基准，后者才是智能体评测，因为感知只有在驱动正确环境动作时才算完成任务。这也是为什么多模态评测和智能体评测应当在第七部分相邻出现。

评判工作：看状态，不看故事

核心做法，是评判结果，不评判路径。去核验环境的实际最终状态，即数据库里的那一行、磁盘上的那个文件、浏览器到达的那个 URL，而不要拿智能体去对照预想中它该走的某个特定工具调用序列。严格的路径检查脆弱，原因很精确：有能力的智能体会找到评估作者没料到的合理路径，而一个利用了真实策略漏洞的前沿模型，本是找到了更优解，却被路径评分器判成失败。结果评分对创造性稳健，因为它只问那个唯一要紧的问题：世界是不是处在任务要求的状态。

核验结果，而不是智能体对结果的声称。评分器读环境，绝不读记录里「任务已完成」这句断言（图 52.2）。工具调用核验仍有位置，但很窄：只断言真正的前置条件，比如 process_refund 之前 verify_identity 跑过没有，而不是把整条路径都写成脚本。

评分器随智能体类型而异。对编码智能体，它跑测试套件，再检视最终的文件树。对对话智能体，它按评分准则给对话打分、核查产生的状态，还会带着人设、在轮数上限内模拟用户 (Yao et al. 2024)。对工具智能体，它回放或检查 API 状态，因为一个语法上有效的工具调用仍可能在语义上是错的。对研究智能体，它核查有据性、覆盖度和来源质量，并沿用 第 51 章 中 claim 与证据对齐的纪律。对计算机使用智能体，它去读后端、文件系统和 URL 状态，而不是看智能体声称自己到达的那个确认页面。

因为评分单元是一段轨迹，每个试次都需要一个沙箱化、隔离的环境，并从已知初始状态起步。这不是形式要求。共享状态有两个害处。一是推高分数：后来的试次可能使用前一个试次留下的文件。二是制造相关性失败：资源耗尽，或上一试次留下的 git 历史，会让许多试次一起失败；这看起来像智能体行为，其实是基础设施波动。有两条任务设计规则，能让目标不被利用。其一，多组件任务理应给部分得分，因为一个识别出问题、核验了客户、却在退款上失败的智能体，胜过一个上来就失败的智能体，而二元评分器会把这条连续谱抹平。其二，套件必须平衡，既测某行为该触发的地方，也测它不该触发的地方，因为一个只在该搜索的情形上受测的搜索工具，会朝着过度触发去优化。

轨迹是随机的（同一个智能体处理同一个任务，每次运行都可能走出不同的路径，有时落到不同的结果），由此带来一个度量选择：单次运行算不上一个分数，一个分布才算。这个分布有两种概括方式，表达的是相反含义，报告哪一个，就编码了决策偏好。至少一次成功率（pass@k） 是 $k$ 次尝试中至少成功一次的概率，随 $k$ 上升，适合衡量能力上限，也适合衡量 第 28 章 里那种强化学习探索。pass^k 是 $k$ 次试次全部成功的概率，随 $k$ 下降，适合衡量一个必须每次都可靠、面向客户的智能体。两者在 $k=1$ 时相等，到 $k=10$ 就表达相反含义，所以指明一个分数报告的是哪一个，不是可选信息。

设定一个单次试次成功概率 p，看这两个指标怎么从相等出发，随 k 增大而分岔。

import numpy as np, matplotlib.pyplot as plt

p = 0.6                       # 单次试次成功概率，可试 0.3 或 0.9
k = np.arange(1, 11)          # 尝试次数
pass_at_k = 1 - (1 - p)**k    # k 次尝试中至少成功一次
pass_pow_k = p**k             # k 次尝试全部成功

plt.figure(figsize=(5, 3))
plt.plot(k, pass_at_k, "o-", label="pass@k（至少一次成功）")
plt.plot(k, pass_pow_k, "s-", label="pass^k（全部成功）")
plt.xlabel("尝试次数 k"); plt.ylabel("概率"); plt.ylim(0, 1)
plt.legend(); plt.tight_layout(); plt.show()

print(f"k=1:  pass@k={pass_at_k[0]:.3f}  pass^k={pass_pow_k[0]:.3f}")
print(f"k=10: pass@k={pass_at_k[-1]:.3f}  pass^k={pass_pow_k[-1]:.3f}")

同一个分布还有第三种概括方式：不按尝试次数，而按任务时长来索引。METR 用「智能体成功率为一半时对应的人类任务时长」来打分：时间跨度为 50 分钟，意思是熟练的人需要 50 分钟的任务，智能体有五成把握完成；而前沿系统测得的这个跨度，大约每七个月翻一倍 (Kwa et al. 2025)。这相当于把 图 52.1 里失败不断复合的曲线，折成一个按时长索引的数字，让长跨度上的进展可以跨基准比较，而逐套件的准确率做不到这一点。

这一切引出一个更尖锐的问题。如果一个开放式智能体任务的评分器本身就是个模型，那谁来验证验证者？这正是智能体评估的设计与智能体系统设计相接之处，因为同一条原则贯穿两边。它有自己的名字，也有一套理论基础。

谁来验证验证者？

让随机智能体可靠，常见直觉是多跑几个再聚合。在采样上投票，在模型家族间集成，再加一个评判者，把一致当成正确的证据。这种直觉来自它原本成立的地方：统计估计、经典的容错计算、在独立采样数据上训练的机器学习集成。可这些假设，没有一个对由同一个基础模型驱动的智能体成立。它们的失败是相关的：会一起幻觉、共享盲区，在相同输入上偏向同样那批「听着流畅却是错的」答案，于是再加一份副本，也不能得到拜占庭容错（Byzantine fault tolerance）所要求的故障多样性。Berdoz 等人直接测了这一点：没有任何对手时，语言模型智能体的有效标量共识率从 $N=4$ 时的 46.6% 跌到 $N=16$ 时的 33.3% (Berdoz et al. 2026)。增加智能体反而降低共识质量。Free-MAD 的工作又添一种失败：在共识驱动的辩论里，一开始给出正确答案的智能体可能被拉向错误答案，多数投票反而拖累了推理 (Cui et al. 2025)。而自评本身就有偏差，因为模型作为评判者（model-as-judge）偏爱自己的生成 (Panickssery et al. 2024)，成对评判者还带着位置偏置 (Shi et al. 2025)，于是一组出自同一家族的评判者，继承的是同一家族的盲区。

分布式系统留下了什么

四十年的分布式系统文献，仍有两样东西在迁移到随机智能体之后依然管用。其一是活性（liveness）和安全性（safety）的分离：一个系统可以给出错误答案而失败，也可以根本给不出答案而失败，而前面的实证结果是，智能体共识失败大多属于活性失败 (Berdoz et al. 2026)。智能体不是收敛到了错误答案，是压根没法收敛。这个区分在设计上很关键，因为活性失败可以升级给人来恢复，安全性失败却会静默地发布出去。其二是相关失败正是故障界限在实践中失效的方式，而补救的办法不是加更多副本，是用异构的模型、提示和工具去打破相关性。

把分歧当作信号

下一步，是不再把分歧当噪声。在理想化的辩论里，只要有一位有能力、诚实的批评者，就足以揭出一个缺陷，哪怕其他批评者能力较弱、经常出错。这是 Irving、Christiano 和 Amodei 背后的直觉 (Irving et al. 2018)，后来由 Brown-Cohen、Irving 和 Piliouras 形式化。他们证明了在很大的算力不对称下 soundness 仍然成立：诚实策略只用多项式步数的模拟，不诚实策略可能用上指数级，而一个只审视那个争议叶子节点的评判者，能裁定它本来无力独自产生的主张 (Brown-Cohen et al. 2023)。所以，验证一个智能体的工作，更接近证明检查、性质测试和红队审查，而不是集成预测。验证者并不复现工件，它把一个有争议的主张转化成一个小证据，例如一个失败测试、一个易受攻击的输入、一个被违反的不变量、一条缺失的引用，让一个低成本评判者得以检查。这与评判智能体的结果而非路径相呼应。

选择在哪里变得关键

轨迹一变长，智能体评估里的几个选择就开始分岔。

• 结果还是路径。 结果评分核验最终状态，对有能力的智能体的创造性稳健，但它看不出一次为错误原因到达正确状态的侥幸而脆弱的成功。路径评分能捕捉智能体怎么失败，却会惩罚合理路径，把评估作者的假设写进评分器。默认用结果评分，只为真正的前置条件添几处狭窄的路径检查。
• pass@k 还是 pass^k。 报告一个分布型指标，让决策偏好来选哪一个：pass@k 衡量能力上限和强化学习探索，pass^k 衡量面向客户的可靠性。
• 聚合还是对抗式验证。 聚合 $N$ 个智能体，既便宜又简单，但在相关失败之下它获得的信息有限，还可能淹没那个唯一值得留的信号。对抗式验证要异构的批评者和一套协议，代价是集成复杂度和协调成本，可一旦智能体共享一个基础模型，它就是唯一能恢复有用故障多样性的办法。第 43 章 的多智能体系统，直接继承了这个选择。
• 活性升级还是安全性阻断。 一个能区分「智能体没法收敛」和「智能体收敛在错误答案」的系统，可以把前者交给人，拒绝发布后者。一个把两者混为一谈的系统，对两种情况都会做错。

对抗式评审：已发布

对抗式设计在 Latere 的对抗式评审能力里有一个已发布的实例。它把一次编码会话分叉成独立的批评者，对它做事后的对抗式审查。该协议颠倒了聚合的默认：它不是跑 $N$ 个智能体再取多数，而是跑一个 proposer，分叉出一批没有共享上下文的独立批评者，让每位批评者挑一个不同的攻击话题，运行交叉质询，直到 proposer 让步或批评者放弃，最后只浮出那些悬而未决的争议，用它在攻击下存活的轮数来打分。五个特性承载着这个设计：

• 分叉式审查，绝不进根会话。 每位批评者都在自己经 --fork-session 分出的分叉里运行，工具作为一个单独进程把结果写进磁盘，于是一次运行之后，用户的主记录逐字节不变。
• 逐字通道。 批评者的输出以普通用户回合到达 proposer 克隆，不被模板包装，免得扭曲 proposer 平常的辩护行为。
• 自我声明的话题。 每位批评者自选攻击话题，后来的批评者会被告知哪些话题已被占用，覆盖面因此铺得开。「一名有能力的诚实批评者就够了」这一辩论性质意味着，某个话题上有个能力较弱的批评者，并不会拖垮其他话题。
• 持久化账本。 每个攻击都带一个稳定 id，每次状态转换都追加到一份日志里。头条由一个纯粹的争议分选出，而不是由一个模型：$\text{score}(a) = \text{rounds\_survived}(a) + \mathbf{1}[\text{re\_attacked}(a)]$。评判层走统计路线，不走神经路线，这正是双重高效辩论那个直觉的具体落实：评判者比 proposer 成本更低、能力更弱 (Brown-Cohen et al. 2023)。
• 批评者隔离。 批评者只看到工件和任务，由系统提示和一个只读沙箱强制。

两种设计之间的不对称（图 52.3）就是关键差异。聚合把每个 voter 都放在同一个共享盲区里，于是落在那块区域的缺陷，加再多 voter 也照样存活。对抗式验证把批评者分布在不同的轴上，于是任何一个被覆盖的轴上的缺陷，都会被那位看得见它的批评者抓住。

一个简明的形式对比，解释了为何在失败相关时它优于聚合。设 $p_i \in [0, 1]$ 是批评者 $i$ 在它负责的轴上发现缺陷的概率。在 $k$ 位独立批评者覆盖不同轴、发现一个缺陷即可的设定下，缺陷在小组中存活的概率，在批评者上分解为乘积：

$$\Pr[\text{flaw survives}] = \prod_{i=1}^{k} (1 - p_i)$$

这个式子读作一串「没有被抓住」的事件：第 $i$ 位批评者漏掉缺陷的概率是 $1-p_i$，若批评轴彼此独立，这些漏检概率相乘。裁决之间任何残余的正相关，只会把存活概率抬到这个乘积之上，所以这是小组能达到的最好情形；而在相关轴上只要有一位有能力批评者满足 $p_i = 1$，存活概率就会降为零。聚合讲的是相反的故事。在 $k$ 个 voter 做多数投票、两两裁决相关性为 $\rho$（两个 voter 的判断有多大程度一起变动、而非彼此独立）的设定下，当 $\rho \to 1$ 时，缺陷在集成中存活的概率，趋向于那个单一共同失败模式漏掉它的概率，增加 voter 无济于事：

$$\Pr[\text{flaw survives} \mid \rho \to 1] \to \Pr[\text{shared mode misses flaw}]$$

这里的极限给出设计直觉：当裁决几乎完全相关时，评审团不再是 $k$ 次检查，而是同一个共享检查重复 $k$ 次。上述乘积只有在 $p_i$ 覆盖了工件出错的不同方式时才有回报，这正是为什么协议该把预算花在强制话题多样性上，而不是把批评者堆在同一个攻击面上。

能力与安全

这和 第 50 章 对评判者做出的选择、第 28 章 对奖励做出的选择是同一个：一个能独立核查的信号，胜过一个系统自评的信号。能力评估和安全评估也在这里分开。能力问的是「它能不能」，而一项能力评估应当起步于较低的通过率，否则就无从学起。安全问的是「它会不会拒绝、会不会造成伤害」，需要的是对抗和红队覆盖，而不是留出准确率，并且要在它自己的轴上为发布把关，因为一次能力增益可能就是一次安全回退，二者还在同一份预算上彼此拉扯。对抗式验证是同一立场的技术形式：交付给人的工件，是一份简短的争议清单，即「有能力的独立批评者既没法让智能体修复、也没法让它令人信服地辩护」的那些争议。这些才是真正需要人来判断的决策。

延伸阅读