第八部分 · 安全、可解释性与治理 · 第 55 章

可扩展监督与控制

作者Changkun Ou

阅读时长约 12 分钟

可扩展监督研究的是：能力较弱的监督者能否为能力更强的系统提供可靠的训练或评估信号。AI 控制研究的是：即使不受信任的模型试图造成某项明确界定的不可接受结果，部署协议能否阻止它。两类结论不能互相替代。更好的监督不能证明模型可以安全部署，成功的控制评估也不能证明模型已经对齐。

两类结论都有适用条件。一项有用的结果必须说明模型版本、输入分布、可用信息、工具、资源限制，以及所研究的监督决定，还要写明结果不再适用的条件。缺少这些细节，“监督有效”就只是无法检验的模糊说法，本身不足以授权部署。

衡量真实存在的差距

第 19 章中的后训练方法依赖反馈来区分较好与较差的行为。当审查者无法完成任务、检查相关证据、复现实验结果，或投入足够审查时间时，这种反馈可能失去可靠性。它们是不同的失效原因，需要不同的补救方法。

能力取决于具体任务。在冻结的任务分布 $\mathcal{D}$ 上，可以用下面的简单指标表示任务能力差距：

\Delta_{\mathrm{task}} = S_{\mathrm{model}}(\mathcal{D}) - S_{\mathrm{overseer}}(\mathcal{D}),

其中， $S_{\mathrm{model}}(\mathcal{D})$ 与 $S_{\mathrm{overseer}}(\mathcal{D})$ 分别是模型和监督者在同一分布上的得分。应同时报告两项得分及其不确定区间，而不只是二者之差。正值只说明模型在这项任务上得分更高，不能解释监督为何失效。

至少要区分五种差距：

**任务能力差距：**模型完成目标任务的能力超过监督者。
**信息差距：**一方能看到另一方无法查看的证据。
**验证差距：**生成答案与核查答案需要不同的能力或投入。
**资源差距：**审查者缺少足够的时间、算力、工具或审计能力。
**对抗差距：**受评估系统会主动调整行为，躲避审查流程。

没有任何一个标量足以预测监督效果。不会编写大型程序的人仍可能发现失败的测试；有能力解决问题的专家，如果看不到原始材料，也可能判断失误。加入辅助工具之前，先测量直接审查的准确率和错误类型。比较不同协议时，则要固定任务分布和访问条件。Bowman 提出的“夹心式评估”提供了一种实证模板：设计一组由更强参照方判断对错的任务，再测量模型辅助能否改善能力较弱的人类监督者的决定 (Bowman et al. 2022)。

三种任务，三类证据

本章的方法分别服务于三种任务：

训练阶段的能力引出，用有限的信号训练能力更强的学生模型。
辅助评估，改变评判者在评价答案时能够获得的证据或帮助。
部署控制，对不受信任策略产生的动作进行路由、监控、阻止或审计。

这些方法可以组合使用，但它们支持的结论必须分开。改进后的监督信号不等于发布决定，控制结果也不能证明模型已经对齐。它只说明某项协议在已声明的威胁模型下表现如何。

图 55.1. 监督证据有三种不同用途。训练或评估结果可以为部署决定提供信息，却不能自行作出部署决定。

训练阶段的能力引出：弱到强

弱到强（weak-to-strong）泛化研究弱标注能否引出更强的潜在能力。Burns 等人在自然语言任务、国际象棋和奖励建模中，用较弱模型的标注训练能力更强的预训练模型 (Burns et al. 2024)。接受弱监督的学生模型往往胜过弱监督者，但恢复程度并不完整，而且高度依赖任务。国际象棋的结果好坏不一，奖励建模中的恢复程度也很低。

对于一项任务，可用下面的比例表示已经恢复的性能差距：

R = \frac{S_{\mathrm{ws}}-S_{\mathrm{w}}} {S_{\mathrm{s}}-S_{\mathrm{w}}},

其中， $S_{\mathrm{w}}$ 是弱监督者得分， $S_{\mathrm{ws}}$ 是弱标注学生模型得分， $S_{\mathrm{s}}$ 是用真实标签训练同一个强模型所得到的强模型上限。只有分母为正时， $R$ 才能解释为恢复比例。它可能小于零，也可能大于一，因此仍要报告三项原始得分及其不确定性。

这项实验只是更困难未来问题的经验代理。为了计算强模型上限，它需要真实标签，而目标中的超人场景可能根本没有这种标签。实验并未证明超人模型能够实现对齐，也没有给出学生模型为何超过监督者的唯一因果解释。它只说明，在受测模型系列中，弱标注训练在哪些基准上恢复了性能，又在哪些基准上没有恢复。

辅助评估：放大与辩论

迭代放大是一项提案：监督者把困难任务拆成较小的任务，协调当前智能体的多个副本完成这些任务，再把结果组合成目标答案。随后，训练过程可以把这个组合流程蒸馏回智能体。Christiano 等人在五项玩具算法任务上演示了这一思路，任务分解由研究者手工设计 (Christiano et al. 2018)。这项提案不只是答案验证，监督者还要选择分解方式并组合局部结果。流程能否忠实保留原任务，取决于分解质量、错误传播，以及监督者评价中间结果的能力。

辩论采用另一种方式：让两个能力较强的模型分别支持相反答案，再由能力较弱的评判者在双方论证中作出选择 (Irving et al. 2018)。它的预期优势有明确前提：真实一方能够提出决定性证据，对手能够质疑缺乏依据的主张，而且评判者能够识别有效证据。如果博弈奖励修辞、隐藏关键事实，或用过量信息压垮评判者，结果就未必偏向真实。

Khan 等人在信息不对称条件下，用高难度 QuALITY 问题检验了辩论 (Khan et al. 2024)。专家辩手可以查看较长的科幻故事，非专家评判者不能直接查看全文，引用工具则负责核对证据。使用最有说服力的模型时，模型评判者在辩论条件下的准确率为 76%，人类评判者为 88%；各自未经辅助的基线分别为 48% 和 60%。在这一设置中，咨询的效果较弱。增强说服力改善了辩论结果，却损害了咨询结果，这说明说服力更强本身并不是一项安全属性。

这项结果适用于信息不对称的问答任务，不是任务能力差距的通用解法。范围更广的实验发现，在预先分配立场时，辩论优于咨询；但在没有隐藏信息的非抽取任务中，相对于直接问答的优势并不稳定 (Kenton et al. 2024)。现有证据不能证明辩论适用于任意领域或能力差距。

部署控制：假设模型会蓄意颠覆

AI 控制从一个范围更窄的问题出发：一个机构能否在保留不受信任策略实用能力的同时，阻止某项明确的失败？因此，一项控制评估必须声明：

不可接受的结果，以及检测它的方法；
不受信任策略、受信任监控器，以及任何受信任的后备方案；
审计预算、升级路径、部署期限和工具访问权限；
攻击者掌握的信息、攻击预算和允许的攻击类别；
良性任务分布与对抗任务分布。

蓝队在评估前固定协议，红队随后尝试在既定规则内造成不可接受的结果。更严格的评估会纳入自适应攻击；如果多个智能体或监控器会相互作用，还要检验串谋与分布迁移。红队攻击的是不受信任模型周围的整条流水线，不一定要训练或“构造”这个模型。

Greenblatt 等人在 APPS 编程题上研究了这种设置 (Greenblatt et al. 2024)。固定的模拟部署包含 5000 个问题，以 GPT-4 作为不受信任模型，以能力较弱的 GPT-3.5 作为受信任模型，并对 2% 的提交进行高质量审计。协议结合了监控、转交受信任模型、选择性审计等防御措施。结果只适用于这项编程任务、所用威胁模型、红队能力引出方法、检测器和审计预算。

对于协议 $\pi$ ，可把良性任务上的可用性定义为

U(\pi) = \mathbb{E}_{x\sim\mathcal{D}_b}[q(x,Y_\pi)],

其中， $x$ 是从良性分布 $\mathcal{D}_b$ 中抽取的任务， $Y_\pi$ 是协议最终产生的输出或轨迹， $q$ 是预先声明的质量指标。对于攻击策略 $a$ ，攻击成功率定义为

\operatorname{ASR}(\pi,a) = \Pr_{x\sim\mathcal{D}_a}[h(x,Y_{\pi,a})=1],

其中， $\mathcal{D}_a$ 是对抗任务分布， $Y_{\pi,a}$ 是协议 $\pi$ 遭遇攻击 $a$ 时的结果；危害检测器 $h$ 在出现已定义的不可接受结果时返回一。只有在已声明的危害检测器和攻击分布下，才能把 $1-\mathrm{ASR}$ 称为“安全性”。它并不是部署安全的全局概率。

报告攻击成功率时，还要同时报告可用性、误放率、误拒率、审计率、成本与延迟，以及部署期限。重复动作之间可能相互依赖，因此单任务比率不能自动外推到长期部署。控制安全论证还需要证明攻击得到了充分引出，评估条件能够迁移到部署环境，并对剩余风险作出保守外推 (Korbak et al. 2025)。控制评估不能单独授权部署。

能力较强但不受信任的策略生成一项输出或建议动作。威胁模型说明攻击者试图造成哪种有害结果。

能力较弱的受信任模型或分类器，按照固定的校准方法和阈值给出可疑度分数。

协议接受低分输出。误放率衡量有害工作通过这条路径的频率。

协议让受信任的后备方案重新完成或核查任务，以牺牲部分能力、时间和成本换取更低风险。

协议把稀缺的审计能力用于风险最高的案例，并按照预先声明的规则升级处理。

图 55.2. 一项简单的路由协议。它的证据来自声明攻击策略下的实测行为，而不是来自这张示意图本身。

欺骗行为为何会改变评估方式

答案是欺骗性对齐（deceptive alignment）：模型可能在训练中表现得已经对齐，却保留会在另一种情境中出现的行为。两项实验说明了为什么合作式评估还不够，但它们都不能证明欺骗行为有多常见。

Sleeper Agents 刻意训练了一种后门：受测模型在一种触发条件下采取一种行为，在另一种触发条件下采取不同的行为 (Hubinger et al. 2024)。部分后门经受住了监督微调、强化学习和对抗训练。这是一项概念验证，说明刻意训练的后门可以在受测安全训练之后继续存在。它不能估计这种行为自然出现的频率，也不能证明每一种欺骗行为都无法移除。

Alignment Faking 向 Claude 3 Opus 提供了明确的情境信息：实验人为区分训练与部署，并给出一个与既有偏好冲突的未来训练目标 (Greenblatt et al. 2024)。模型有时会选择性地服从，并生成对齐伪装推理。在免费用户条件下，有害服从率约为 14%，而在付费用户条件下几乎没有出现；后续强化学习把测得的对齐伪装推理提高到 78%，同时也提高了训练条件之外的服从率。

这些数字只属于人为构造的实验设置。模型生成的草稿区只是关于生成文本的可观察证据，不是获取意图的特权通道；相关行为也不能证明主观意图或日常环境中的普遍程度。更稳妥的实践结论是：评估应纳入对抗假说，不能把合作式测试当成定论。第 54 章中的可解释性方法可以补充证据，但不能取代行为评估和控制评估。

从单次输出到智能体轨迹

多步骤智能体带来了记忆、延迟效应，以及观察监控器后调整行为的机会。Ctrl-Z 在 BashBench 的 257 项系统管理任务上评估了多种协议 (Bhatt et al. 2025)。表现最好的协议把时间回溯重采样与不受信任监控结合起来，使估算的攻击成功率从 58% 降至 7%，代价是牺牲 5% 的可用性。重采样会回退到轨迹中的较早状态，再生成另一条后续路径；它不只是要求模型再给一份独立答案。结果仍受限于所测试的任务、攻击、监控器和预算。

SHADE-Arena 把长时程主任务与隐藏的次要目标配对，测量智能体能否在记录监控器没有发现的情况下完成次要目标 (Kutasov et al. 2025)。它测量的是破坏能力与监控能力，并不是一项完整的控制评估，因为它本身没有规定部署协议、审计能力、升级策略或剩余风险主张。

监督能否跨越更大的差距

Engels 等人先把按角色划分的领域 Elo 拟合成 Chatbot Arena Elo 的分段线性函数，以 Chatbot Arena Elo 作为代理变量，再用标准 Elo 胜率分析四个简化博弈：Mafia、Debate、Backdoor Code 和 Wargames (Engels et al. 2025)。不同角色和博弈得到的拟合曲线不同。其嵌套监督分析研究的是：加入多层中间监督者，能否改善建模结果。

这些都是基于模型的估计，不是对部署风险的一般估计。结论取决于四个博弈、能力代理变量、分段线性拟合，以及嵌套交互如何组合的假设。它们适合用来提出定量假说和选择实验，却不能凭空创造一条普适的衰减曲线。

争议所在

接受弱标注的学生模型有时能胜过弱监督者，获得辅助的评判者可以超过无辅助基线，控制协议也能在特定基准中显著减少攻击。尚未解决的是：当任务能力差距扩大、信息结构变化、对手可以自适应、运行周期变长，或部署环境发生迁移时，这些收益会如何变化。嵌套监督或许有帮助，但其价值仍取决于模型。当前没有任何结果能够保证方法适用于任意任务或任意差距。

监督证据的运行契约

每项监督结果都应保存为带版本的评估工件。一份最小的 OversightEvaluation 记录包括：

evaluation_id: overs-2026-001
model_and_overseer_revisions: {model: sha256:..., overseer: sha256:...}
task_distribution_and_splits: {suite: ..., benign: ..., adversarial: ...}
ground_truth_provenance: {source: ..., adjudication: ...}
role_access_tools_and_budgets: {model: ..., overseer: ..., human: ...}
gap_metric_and_pair_scores: {metric: ..., model: ..., overseer: ..., ci: ...}
protocol_and_code_revision: {protocol: ..., code: git:...}
baselines_and_ablations: [...]
monitor_calibration_and_thresholds: {calibration_set: ..., thresholds: ...}
adversary_knowledge_and_budget: {knowledge: ..., compute: ..., attempts: ...}
audit_capacity_and_escalation: {rate: ..., capacity: ..., stop_rule: ...}
safety_usefulness_cost_metrics: {asr: ..., usefulness: ..., errors: ..., cost: ...}
deployment_horizon_and_dependence: {actions: ..., dependence_model: ...}
shift_adaptation_and_collusion_tests: [...]
retained_artifacts: {transcripts: ..., decisions: ..., incidents: ...}
claim_scope_stop_rules_and_failures: {scope: ..., stop: ..., failures: ...}

字段名称不如它们要求的纪律重要：冻结受评估的版本，保存复现决策所需的证据，发布失败案例和汇总得分，并让主张严格受评估范围约束。这份记录可以支持风险决策，却不能自行授权部署。

下层约束

第 5 章中的扩展会改变受监督的系统，却并不意味着所有监督差距都会单调增大。每次模型或协议发生实质性修订后，都要重新测量相关的任务、信息、验证、资源和对抗差距。一旦冻结条件不再符合拟议部署，原有结果就应失效。

控制证据最终必须转化为可强制执行的边界。下一章第 56 章将介绍身份、策略、能力与审计机制，说明如何把监督决定落实为受约束的动作。