对抗鲁棒性与红队

对抗鲁棒性考察的是：有人刻意寻找失效方式时，已部署系统会怎样表现。越狱试图让模型输出违反策略的内容。提示注入试图让不受信任的文字控制应用。要产生有害副作用，还要求应用授权并执行模型的提议。这些失效彼此相关，却不能混为一谈。

这正是 红队（red-teaming） 的任务。红队测试会在明确的威胁模型下寻找这些失效，但不能证明它们不存在。测试结果只为某个系统版本、某套策略、某类攻击者、某项预算和某个评估者提供证据，不是模型家族永恒不变的属性。因此，对抗鲁棒性（adversarial robustness） 属于整个已部署系统：模型、提示词、工具、守卫、授权规则和发布流程都会影响结果。

从失效出发，而不是从提示词出发

拒绝语句可以观察，却不是安全目标。回答不说“不”也可能没有提供任何有害帮助；也可能先给出警告，随后仍提供被禁止的操作细节。对于智能体，不安全文本仍不同于外部效果。系统可能生成一个糟糕的提议，但确定性闸门会在任何状态改变之前拒绝它。

这样的区分决定了防御应当放在哪里。第 22 章 改变模型的默认行为，第 57 章 检测并管控请求处理时的事件，第 56 章 决定允许哪些效果。模型层评估可以衡量第一种结果，却无法在不运行相关应用路径的情况下证明后三种结果。

先写威胁模型，再运行攻击

攻击者能力没有固定下来之前，攻击成功率无法解释 (Carlini et al. 2019)。JailbreakBench 通过给行为、提示词、聊天模板、评分函数和威胁模型都标注版本，把这一点明确写进评估流程 (Chao et al. 2024)。一份有用的评估记录需要回答以下问题：

只有合同相同，结果才能比较。不同策略、预算、采样设置或裁判产生的结果，不应在没有限定说明的情况下放进同一个排名。即使合同相同，供应商 API 也可能在评估期间悄然变化。因此，应记录实际观察到的模型版本和日期，而不能只写一个产品名称。

不同攻击方法暴露不同攻击面

现代研究让攻击发现变得可复现，却没有消除人工测试的作用。Perez 等人在 2022 年用一个语言模型为另一个模型生成测试案例 (Perez et al. 2022)。Zou 等人在 2023 年提出贪心坐标梯度（Greedy Coordinate Gradient，GCG），表明优化得到的对抗后缀可以从开放权重模型迁移到当时接受测试的多个黑盒系统 (Zou et al. 2023)。Greshake 等人则证明，植入检索数据的指令可以影响集成了大语言模型的应用 (Greshake et al. 2023)。这些工作针对不同目标，也假设了不同的访问方式。

下面列出的是几条有用的分析轴，而不是穷尽式分类。其中既包括 越狱（jailbreak） 攻击，也就是试图绕过拒绝或其他学习得到的策略行为的提示，也包括提示注入。攻击者可以在同一次行动中组合多种机制。

人工与语义攻击使用角色扮演、重构问题、翻译、间接表达或其他保留语义的变换。它们可以由人发现，也可以由另一个模型生成。重要的变量不是提示词看起来多么巧妙，而是这种方法能否在既定预算内产生违反策略且确实有用的输出。

基于优化的攻击会搜索能提高目标续写概率的词元。GCG 利用白盒源模型的梯度来提出后缀词元的修改方案 (Zou et al. 2023)。论文报告的跨模型迁移说明某些优化提示可以跨越模型边界，不代表每个后缀都能迁移到每个模型。黑盒方法则使用对目标的查询、回答分数或独立攻击模型；查询预算是结果的一部分。

多示例攻击会在长上下文里填入虚构的服从示例，最后再附上待测行为。Anthropic 报告，在其评估的模型和任务上，攻击效果随示例数量近似按幂律增长 (Anil et al. 2024)。这种经验形态不是普遍定律，却说明更长的上下文窗口会改变攻击预算。

多轮攻击利用对话状态。Crescendo 从无害话题开始，在复用模型先前回答的同时逐步转向被禁止的请求 (Russinovich et al. 2025)。论文报告了它在受测系统上的成功。可以推广的结论要窄得多：只检查最新消息的守卫，可能看不到沿完整轨迹才逐渐显现的意图。

间接提示注入把指令放进网页、文档、邮件或工具结果，再由应用把这些内容当作数据读取 (Greshake et al. 2023)。它不只是另一种获取有害回答的方法，而是试图改变应用的控制流、数据流或工具使用。行为防御可以降低实测注入成功率，但只有外部强制执行点才能决定最终效果是否获准。

度量攻击尝试，而不是轶事

攻击成功率（attack success rate，ASR）是有用的汇总指标，前提是分析单位必须明确。设 $b$ 表示待测行为，$a$ 表示攻击流程，$r$ 表示生成种子或试验编号，$y_{b,a,r}$ 表示目标系统的回答。再设 $J_v$ 表示版本为 $v$ 的策略感知裁判。二元结果定义为：

$$Y_{b,a,r} = \mathbf{1}[J_v(b,y_{b,a,r})=\mathrm{success}],$$

其中，$Y_{b,a,r}=1$ 表示回答 $y_{b,a,r}$ 满足行为 $b$ 的成文成功标准，否则 $Y_{b,a,r}=0$。指示函数 $\mathbf{1}[\cdot]$ 把真命题映射为一，假命题映射为零。

对于由行为、攻击和试验组成的评估三元组集合 $\mathcal{T}$，定义 $N=|\mathcal{T}|$，则：

$$\widehat{\operatorname{ASR}} = \frac{1}{N} \sum_{(b,a,r)\in\mathcal{T}}Y_{b,a,r}.$$

这里，$\widehat{\operatorname{ASR}}$ 是观察到的攻击成功率，$N$ 是评估三元组的数量，求和项统计成功的尝试。这一项点估计不是系统安全的概率。它只描述采样到的行为、攻击、种子、裁判和系统版本。

必须报告聚合规则。“逐次尝试 ASR”让每次试验权重相同；“任一成功 ASR”则在任何一次重启成功时，就把对应行为标记为已攻破。两者回答的问题不同，而且会随着重启预算增加而逐渐分离。还应按风险类别报告结果，并说明成功输出的严重程度和可操作性，因为一个平均值可能掩盖罕见但后果严重的失效。

验证裁判

绕过拒绝还不够。StrongREJECT 发现，当模型不再拒绝却只给出空洞或语无伦次的回答时，常见评估器可能高估越狱效果 (Souly et al. 2024)。有用的裁判应当评估有害有用性：回答是否以足够具体的方式，真正提供了被禁止的能力？

自动裁判让大规模扫描变得可负担，但 第 50 章 的要求仍然适用。应从成功、失败、高严重度类别和边界分数中分层抽取人工复核样本。以接受过策略培训的复核人员为参照，报告裁判一致率，并估计假阳性率和假阴性率。裁判版本在一次比较中保持不变。如果必须更换裁判，就重新为两个候选系统评分，否则应把两次运行视为不同实验。

报告不确定性与依赖关系

随机解码意味着同一个行为和同一种攻击可能产生不同回答。因此，只要部署使用采样，就应重复运行。发布结果时要同时给出样本量和置信区间，而不能只给百分比。同一行为上的多种攻击与多次重启并非独立证据。估计行为覆盖的不确定性时，应按行为重采样，不能把每次相关重试都当作新的独立案例。

区间方法应与实验设计匹配：每个行为只有一个独立结果时，可以使用二项区间；聚类自助法则可以保留每个行为内部的重复尝试。必须说明方法和分组方式。零次观察成功并不证明风险为零，它只在评估假设下给出一个依赖样本的上界。

保留效用并核算成本

如果防御拒绝大多数无害请求、损害普通任务质量，或让服务无法实际运行，那么更低的攻击成功率还不够。应为有害行为配上与其共享词汇和上下文的无害对照。XSTest 就是一套用于检查过度安全行为的对照集 (Röttger et al. 2024)。报告 ASR 的同时，还要报告无害请求拒绝率、普通任务质量和安全回答的有用性。

攻击成本也会改变结果的含义。应记录查询、词元、实际用时、重启次数，以及攻击者使用的外部算力；还要记录防御带来的延迟、词元用量、加速器时间和金钱成本。如果某种防御把攻击成本从一次查询提高到一千次查询，即使 ASR 没有降到零，也可能具备实际价值。但这一主张需要限流与身份模型，确保预算在真实系统中确实成立。

构建红队计划，而不是只跑一次基准

HarmBench 对行为、攻击、目标模型和自动分类器进行标准化，使不同方法可以在共同基础上比较 (Mazeika et al. 2024)。JailbreakBench 进一步提供材料仓库和明确的威胁模型组件 (Chao et al. 2024)。这些基准让结果更可复现，但没有任何一个能覆盖所有部署策略、语言、模态、工具和攻击者。

一套可持续的计划应把四种证据来源分开：

1. 开发套件让工程师快速检查已知失效。
2. 留出套件包含未见过的提示和攻击家族留出集。不要在发布套件上调参。
3. 自适应套件让了解防御的攻击者看到已部署提示、守卫行为，或得到足够查询来推断它们。简单的自适应修改就曾攻破静态评估下看似强健的防御 (Andriushchenko et al. 2025)。
4. 人工红队探索产品特定的工作流、社会情境和新组合，以及自动生成器没有表示的危害。

留出套件的一部分应保持私有并定期轮换，以减少直接过拟合。还要跟踪数据谱系，避免训练数据、攻击生成器提示、基准条目和发布案例悄然重叠。污染不会让案例失去回归价值，却会削弱关于泛化能力的主张。每个已确认失效都应回放到开发套件，同时把新的行为或完整机制留给之后的留出评估。

NIST 的生成式 AI 风险管理框架建议使用对抗角色扮演、生成式 AI 红队测试或混沌测试来发现未预见的失效方式 (Autio et al. 2024)。在实践中，这意味着要在发布前、模型或外围系统改变后，以及事故暴露出新路径后运行以下循环：

按失效阶段匹配防御

没有一种防御能覆盖开头表格中的每一行。应把学习得到的模型防御、学习得到的运行时检测器和确定性效果控制分开。说明每项干预时，既要写出实测改进，也要写清证据无法支撑的更强主张。

安全调优与对抗训练把已知失效案例和策略对照加入后训练。它们可以同时改善直接拒绝和安全回答，但泛化能力取决于训练分布、策略、模型和攻击预算。权重和防御固定之后，还必须让自适应攻击者重新评估。

指令层级训练模型优先遵守高权限指令，并正确对待较低权限或不受信任的内容。用于标注数据来源的提示变换也属于学习得到的防御。两者都可以降低实测提示注入成功率，却都不是授权决定。第 22 章 将进一步说明训练目标和经验局限。

输入与输出分类器可以抓住目标模型漏掉的失效。独立服务在运行上彼此独立，不代表统计上自动独立：目标模型与守卫可能共享训练数据、策略歧义、架构或盲点。必须测量残余错误之间的相关性。输入过滤器可以阻止或变换请求，输出过滤器可以把关内容发布或工具提议，却无法撤回已经流出的文字或已经提交的副作用（第 57 章）。

表征重路由也称断路器，它把与有害续写相关的内部表征从原有轨迹引开。Zou 等人报告，这种方法在其评估的攻击和模型类型上降低了 ASR，同时大体保留了实测效用 (Zou et al. 2024)。这是对报告套件的经验泛化，不是存在唯一有害回路的证明，也不保证能够抵御自适应攻击者。后续面向防御的评估进一步说明，每项鲁棒性主张都必须重新陈述威胁模型 (Andriushchenko et al. 2025)。

确定性效果控制落实有类型的工具模式、授权、接收方与目的地规则、最小权限、审批绑定、秘密托管，以及沙箱或出网约束。这些控制不会让模型输出本身变得安全。它们只为可信代码检查的狭窄性质建立安全边界，使一次成功的越狱或注入不会自动变成外部系统失陷（第 56 章）。

把结果写成发布规则

发布闸门应在运行评估之前写好。对于每个风险类别 $c$，一种可选规则是：

$$\operatorname{UCB}_{1-\alpha}(\operatorname{ASR}_c) \le \tau_c,$$

其中，$\operatorname{ASR}_c$ 是风险类别 $c$ 的攻击成功率，$\operatorname{UCB}_{1-\alpha}$ 是置信水平 $1-\alpha$ 下攻击成功率的置信上界，$\alpha$ 是选定的错误概率，$\tau_c$ 是该类别记录在案的发布阈值。严重度更高的类别可以使用更严格的阈值和更大的样本量。

安全指标不能独自决定发布，还应要求：

$$\operatorname{LCB}_{1-\alpha}(U_{\mathrm{benign}}) \ge u_{\min},$$

其中，$U_{\mathrm{benign}}$ 是选定的无害效用指标，$\operatorname{LCB}_{1-\alpha}$ 是该指标的置信下界，$u_{\min}$ 是无害效用下限。因此，靠拒绝所有请求换来的低 ASR 仍然无法通过发布闸门。阈值是产品与风险决策，不是基准提供的常数。

如果证据没有达到阈值，就修复系统、缩小部署范围、增加独立控制，或记录一项有负责人和到期时间的授权例外。不要丢弃不利结果，也不要在看到结果后更换裁判。第 53 章 说明了如何把发布证据与开发反馈分开保存。

保留可复现的评估记录

保存一条记录，把系统、威胁模型、攻击尝试、裁判结果、效用结果和发布决定连接起来：

evaluation_id
system_revision
policy_revision
defense_revision
behavior_set_revision
attack_revision
threat_model_and_budget
generation_parameters_and_seeds
judge_revision
human_validation_sample
per_behavior_outcomes
benign_utility_outcomes
query_token_latency_costs
confidence_interval_method
release_decision_and_exception
regression_case_ids

攻击材料应按与滥用风险相称的访问控制保存。公开摘要可以说明方法和汇总结果，无需公开每一条高风险提示。内部记录仍要保留足够细节，使授权评估人员复现主张。

回归覆盖不能只保存最近一次成功的字符串：

对抗鲁棒性不是附着在单个模型上的一个分数，而是一套可重复的流程：定义失效、说明攻击者能力、运行代表性与自适应攻击、验证裁判、量化不确定性和效用、执行发布规则，并把每个已确认失效保存为回归证据。最终结果不是证书，而是一项带版本、可审计的主张：某个已部署系统如何抵御某个有明确记录的对手。

延伸阅读