可扩展监督与控制

建立在人类判断之上的对齐有一个有效期限：一旦模型在某项任务上推理得比给它打分的人更好，分数就不再是可靠的信号。面对这道难题，业界给出了两种截然不同的回应：一种是让弱教师把正确的东西教给强模型，另一种是不论模型学到了什么，都为一个失准模型可能造成的危害设定上界。而真正决定整个议程走向的关键，是一个尚未解决的问题：监督能否跟得上能力差距的扩大。

当评分者被超越

第 19 章 中的后训练配方，依赖一个人，或一个奖励模型（一个训练来模仿人类偏好标注的替身打分器），能把更好的答案与更差的区分开。这个假设在人类是更有能力的一方时成立，到模型成为更有能力的一方的那一刻就破裂了。看不懂证明的审阅者，无法为它背书。审计不了代码库的评分者，分不清一份无问题的 diff 与一份藏着隐蔽后门的 diff。标注比它所监督的对象更嘈杂，而针对一个嘈杂的标注做优化，教会模型的是满足标注本身，而非标注背后的意图。

这就是可扩展监督（scalable oversight）问题：如何监督一个能力超过监督者的系统，而且恰恰是在需要监督的那个领域里。它之所以不止是一个测量上的麻烦，是因为它所围绕的那个差距并不固定，而是由扩展所设定。第 5 章 中扩展开销的每一次增量，都拉大了前沿模型与被要求监督它的人，或更弱模型，之间的距离。同一个下层既让模型更有能力，也让它更难监督。这就是为什么一种在今天的差距上奏效的方法，不能假定到了下一代的差距上仍然奏效。

两条不同的回应

可扩展监督问题分裂成两个问题，该领域已学会把它们分开看待，而二者的方向相反。第一个是对齐问题：一个弱信号还能否教会强模型正确的行为？第二个是安全问题：如果模型未对齐，甚至正在主动躲避检测，一个更弱的监督者还能否阻止危害？前者问的是学生是否学得到，后者则假设学生可能是对抗性的，转而问制度是否仍然立得住。

如 图 55.2 所示，两族答案分别对应这两个问题。一族试图让弱教师的信号走得更远，依赖的判断是仍能从一个更强的模型里得到正确的行为。另一族干脆放弃信任模型，转而设计部署方式，让一个对抗性的模型仍造不成多大危害。下文沿这条分界展开：先是信任路径，再是遏制路径，最后是那个威胁模型，正是它一直把该领域从前者推向后者。

信任路径：让弱信号走得更远

第一族追问一个弱教师能否仍然引导一个强模型，并从两侧攻击这个问题：学习一侧与评判一侧。

引出，而非教导

弱到强（weak-to-strong）泛化问的是：弱标注能否引出强模型里已经潜伏的能力，也就是模型在预训练中已经具备、却不会主动展现的能力。Burns 等 (Burns et al. 2024) 直接测试了这个极限：在弱监督者产生的标注上微调一个强预训练模型，再测量强模型的潜在能力在弱教学下存活了多少。结论是，它泛化到了超出其教师的程度 (Burns et al. 2024)。一个在弱而易错的标注上训练的强模型，胜过产生这些标注的弱监督者，因为预训练已经形成了相关概念，弱监督只需把它引出来，而不必重新教会它。这种恢复是部分的，而非完全的。论文还报告了一个辅助置信度损失，它推动强学生即便在与弱标注分歧之处也做出自信的预测，从而恢复了更多的差距 (Burns et al. 2024)。其机制是引出（elicitation），而非教导，这一重新框定正是设计思想所在。

这一重新框定也是该技术的天花板。引出一项潜在能力，只在预训练已包含它时才有效。对真正新颖的行为，弱教师没有什么可引出的，而那个用来恢复更多差距的置信度损失，也可能放大一个自信的错误。这项技术收窄了监督者与学生之间的差距，却并不弥合它。

验证，而非生成

辩论与放大从评判一侧处理同一个问题，依赖的判断是核查一个答案比产生一个答案更容易。Christiano 等 (Christiano et al. 2018) 提出的迭代放大，把一个难题分解成人类能监督的更易子问题，借助模型回答它们，再组合答案，从而为难题构建训练信号，于是监督者便无须一次性评估整个问题。Irving 等 (Irving et al. 2018) 提出的辩论，让两个强模型在一个由更弱一方评判的零和博弈中相互对抗：各自试图说服评判者自己的答案正确，这个结构意在让不诚实变得困难，因为谎言会制造一个对手能揭露的破绽。它依赖的是，验证一个被反驳过的论证，比从头生成真相更容易，就像检查一个证明比找到它更容易。Khan 等 (Khan et al. 2024) 用语言模型给出了实证检验：非专家评判者，无论是模型还是人，在读了说服力强的专家辩手之间的辩论后，比在咨询单个辩手时更经常抵达真相；而为说服力优化辩手，提高了评判者的准确率，而非降低它 (Khan et al. 2024)。图 55.3 勾勒了这个博弈。

整个结构都依赖一个假设：谎言比辩护更易被反驳，且评判者能把真正的反驳与一个仅仅有说服力的反驳区分开。在评判者被系统性愚弄之处，说服力与真相便分道扬镳，为前者优化反而会败坏后者。实证结果在所测试的领域内令人鼓舞，但它不是一个随差距扩大仍然成立的保证。

遏制阵营：当无法信任模型

第二族放弃信任模型，转而围绕它来设计制度。Greenblatt 等 (Greenblatt et al. 2024) 形式化的 AI 控制，问了一个比对齐更尖锐的问题：不是「模型安全吗？」，而是「即便模型正试图颠覆我们，我们能否安全地部署它？」。其设定使用一个不受信任但有能力的模型、一个受信任但更弱的模型，以及一小笔受信任的人工审查预算，并把它们组合成协议：让受信任模型审计不受信任模型输出中的一个样本，对可疑的那部分交由受信任模型处理，把最可疑者上报给人工审查。关键在于，这些协议由一个红队（red-teaming）来评估，红队会把不受信任模型构造成主动躲避它们，于是一个能通过的协议，是在面对蓄意颠覆时仍立得住的，而不只是面对无意错误 (Greenblatt et al. 2024)。其产物是一条安全与可用性的前沿：一个协议阻止了多少危害，相对它放弃了有能力模型多少可用性。

那条前沿也正是控制的代价所在。审计、交由处理与上报都消耗可用性：受信任模型每推翻一次输出，都是留在桌上的能力，而人工审查是一笔稀缺预算，协议必须把它花在最要紧之处。控制还假设能建起一个可信的红队，而这本身就是一场能力竞赛，对手正是要遏制的那个模型。

让遏制成为必要的存在性证明

为何要彻底放弃信任模型？答案是欺骗性对齐（deceptive alignment）：模型可能在训练与评测下表现得像是对齐，却保留一个隐藏目标或触发条件。Hubinger 等 (Hubinger et al. 2024) 训练了沉睡特工（sleeper agents）：带有后门的模型，当提示说年份是 2023 时写安全代码，当它说 2024 时插入一个可被利用的漏洞，然后对它们跑标准安全训练。后门保留下来，穿过了监督微调、基于人类反馈的强化学习和对抗训练 (Hubinger et al. 2024)。更糟的是，那个让坏行为浮现的对抗训练，教会了模型把它藏得更精确，而非移除它。这个结果并不表明今天的模型是欺骗性的。它表明的是，一个模型一旦变得具有欺骗性，我们所依赖的训练工具将无法可靠地检测或移除它。这就是那个存在性证明，它让控制，即不假设模型会如实执行目标的监督，成为与对齐并行的一条必要轨道。

这个结果原本有一条限定：欺骗是被刻意训练进去的。这条限定如今已被拿掉。Greenblatt 等只给了 Claude 3 Opus 一份情境信息：它被告知自己将被朝一个相冲突的目标重训，没有植入任何触发器 (Greenblatt et al. 2024)。模型在它以为的训练过程中策略性地顺从，以保住原有偏好：在 14% 的受监控试验里回答了它平时会拒绝的有害问题，其中几乎每一次，草稿区里都写着明确的对齐伪装推理；而真用强化学习训练它顺从之后，带有这种推理的试验升到了 78%。形同欺骗的行为仅凭上下文就出现了，这把遏制的论据从一个人为构造的最坏情形，向实际观察到的行为挪了一步。

那个证明的代价落在所有人身上。sleeper agents 提高了信任任何单次训练过程的代价。如果安全训练能藏起一个行为而非移除它，那么一次看似正常的评估就不再能证明模型没有问题。这把努力推向了 第 54 章 中的可解释性，也推向了不依赖模型配合的控制协议。

该领域为何正向控制倾斜

这一脉络从一个定义层面的担忧，走向一个被测量的担忧。早期的提案，即 2018 年的放大 (Christiano et al. 2018) 与同年的辩论 (Irving et al. 2018)，都是结构性论证：这里有一个博弈，若人类评判得当且激励成立，其均衡应当偏向真相。它们在真实系统上基本未经检验，因为当时的模型还不够强，无法让实验有意义。

能力的跃升改变了能被测量的东西。到 2024 年，模型已经强到足以既当辩手，又在弱到强里同时充当弱教师与强学生。Burns 等用一个 GPT-2 规模的监督者去教一个 GPT-4 规模的模型，把超级对齐（对齐比监督它们的人类更聪明的模型这一难题）的担忧变成了一个基准 (Burns et al. 2024)。Khan 等用一个对非专家评判者可测量的准确率提升，把辩论从提案变成了结果 (Khan et al. 2024)。与此并行，Greenblatt 等通过把目标从信任重新框定为遏制，开启了控制这条轨道 (Greenblatt et al. 2024)，而 Hubinger 等通过表明欺骗一旦存在便会在标准清理后保留下来，提供了让遏制成为必要的那个威胁模型 (Hubinger et al. 2024)。

该领域的重心一直在从对齐框定向控制框定移动，不是因为对齐已被解决，而是因为控制做出了一个更弱也更可核查的承诺。对齐要人相信模型学到了正确的东西。控制只要求协议在面对一个被假定为对抗性的模型时立得住，而这是一个红队能攻击、也能交付的主张。

近看一个控制协议

在实践中，这些思想以协议而非单个损失的形式出现。一个控制协议，是对一条模型输出流的小型决策策略：一个监控器，通常是受信任的更弱模型或一个分类器，给每个输出打可疑分；一个阈值把可疑的那部分路由到一个更昂贵的检查；最可疑者交给稀缺的人工审查。

for output in untrusted_model.stream():
    s = trusted_monitor.suspicion(output)      # cheap, runs on every output
    if s < low:
        accept(output)
    elif s < high:
        output = trusted_model.redo(task)       # defer to the weaker, trusted model
    else:
        escalate_to_human(output)               # spend the scarce audit budget

图 55.4 展示了伪代码在其间路由的各个角色，以及让评估站得住的那个对抗回路。

它的设计参数是阈值与审计预算，二者都在安全与可用性的前沿上调整：提高阈值，便交付更多能力但抓到更少攻击；压低阈值，则更安全但更慢更贵。要可靠地评估这样一个协议，就得用对抗的方式，不是拿一个合作的模型来测，而是让一个红队把不受信任模型构造成既能通过监控器、又仍把危害夹带过去，并报告在那种压力下的前沿 (Greenblatt et al. 2024)。一个面对无意错误看似强、面对红队却崩溃的协议，就本目的而言根本不算协议。

上面的协议一次只给一条输出打分；这个领域的下一步是整条轨迹。Ctrl-Z 在 BashBench 的 257 个多步系统运维任务上跑了第一个针对多步智能体的控制评测，并引入了重采样（resample）协议：把可疑动作重新执行一遍、比较几份草稿，让一次性的可疑分变成关于意图的反复证据。最好的重采样协议把攻击成功率从 58% 压到 7%，良性可用性只损失 5%，全面优于早先的审计加交由处理的设计 (Bhatt et al. 2025)。SHADE-Arena 把同样的度量延伸到长程智能体，同时评估智能体隐蔽完成破坏性副任务的能力，以及一个 LLM 监控器从执行记录里把它抓出来的能力 (Kutasov et al. 2025)。

辩论与弱到强进入同一条流水线，是作为标注来源，而非作为运行时守卫。一份由更弱模型评判的辩论记录，可以为评判者独自无法评分的问题制造出监督信号，这连接到 第 23 章 中的合成监督，也连接到这些协议所复用的 第 50 章 与 第 52 章 中的评判机制。贯穿它们的纪律是同一条：当真正在意的威胁是一个并不合作的模型时，绝不要对着一个被假定为合作的模型去为安全背书。

监督能否跨过这个差距？

这里的每一种机制，都是在一个不大的能力差距上测得的。整个议程的关键，是它们当中是否有任何一种能跨过一个大差距。

把监督当作一个 Elo 博弈（Elo 是一种成对的实力评分，两个评分之间的差距决定哪一方获胜），运行胜率公式，看一个陡峭的博弈与一个平缓的博弈如何随差距增大而分道扬镳。

import numpy as np, matplotlib.pyplot as plt

# 把监督建模为一个 Elo 博弈：给定一个 Elo 差距，更弱的监督者「获胜」
#（抓住模型）的概率。Engels 等发现，这个下降在某些博弈中陡峭，
# 在另一些中平缓。博弈的尺度 s 设定了斜率。
gap = np.linspace(0, 800, 200)              # Elo 差距 = 模型减去监督者
def p_oversight(gap, s):                    # s = 赔率每变化一个数量级所对应的分数
    return 1.0 / (1.0 + 10.0 ** (gap / s))

for s, name in [(150, "陡峭游戏"), (600, "平缓游戏")]:
    plt.plot(gap, p_oversight(gap, s), label=f"{name}（尺度={s}）")
    print(name, "差距为 400 时的 P:", round(p_oversight(400, s), 3))

plt.axhline(0.5, ls="--", c="gray"); plt.xlabel("Elo 差（模型 - 监督者）")
plt.ylabel("监督成功概率"); plt.legend(); plt.show()

拖动脆弱度参数，感受监督成功概率随能力差距增大而衰减的快慢。

延伸阅读