第八部分 · 安全、可解释性与治理 · 第 59 章

隐私、来源与遗忘

作者Changkun Ou

阅读时长约 12 分钟

模型是训练集的一次有损压缩，而训练集里包含真实的人。正因如此，模型会在服务时泄露它在训练时吸收的内容，唯一稳妥的修补处在上游或一次重训练里，而不是输出端；当法律要求抹去某个事实时，机器遗忘（machine unlearning），也就是近似地从已训练权重里移除某个已学事实，能承诺什么、不能承诺什么，也受这项事实限制；生成内容的来源认证则是一个与隐私不同的问题，但两者常常触及同一组控制。记忆不是学习之外额外叠上的 bug，而是同一个机制从隐私角度看过去的样子。所以真正管用的控制都在权重定型之前；权重一旦定型，之后能做的都只是缓解，因为那个事实已经被编码进去了。

图 59.1. 数据生命周期中残余暴露的示意图。没有血缘记录时隐私风险会累积；有来源记录与删除钩子时，移除后暴露可以下降。理想化曲线，非实测。

权重记住了什么

泄露是真实的，不是假想。一个在网络文本上训练的大语言模型，在合适的提示下会逐字返回它训练数据里的序列：姓名、电话、住址、恰好被抓取进去的私人信件片段。最早一项奠基性的实验仅凭查询访问，就从一个已部署的模型里抽取出了数百条逐字的训练样本，其中包含可识别个人身份的信息 (Carlini et al. 2021)。这不是模型在对一个人进行推理，而是在返回一个存下来的字符串。

模型记住多少并非随机，后续工作把这种依赖关系刻画得很精确。逐字记忆随模型规模增大而增多，随一段序列在训练集中被重复的次数增多而增多，也随用于诱导它的上下文长度增长而增多 (Carlini et al. 2023)。这三个变量都指向上游。第 5 章里更大的模型记得更多，第 6 章里没有去重的语料让被重复的跨度记得最牢，更长的提示则能诱导出更多。一个已部署系统的隐私暴露面，早在服务上线之前就由那时的决定定了下来。

一种更弱但更普适的攻击，根本不需要模型输出任何东西。成员推断（membership inference）只问一件事：某条给定记录是否在训练集里，它利用的事实是，模型对自己训练过的数据更自信、损失更低（即预测误差分数），而对没训练过的则不然 (Shokri et al. 2017)。光凭这一点就足以侵犯隐私：确认某位病人的记录在一个医疗训练集中，就在一个 token 被输出之前泄露了诊断类别。成员推断是成本最低的隐私攻击，也是最难彻底封堵的，因为它所用的信号，也就是泛化间隙（模型对训练数据与未见数据在自信度上的差距），本身就是学习的一个属性。

图 59.2. 一个隐私事实穿过技术栈的生命周期，以及可以介入的三个位置。上游控制（去重、差分隐私）在权重定型之前起作用；重训练或遗忘以高昂代价作用于已冻结的产物；下游输出过滤器是诱人却最弱的选项，因为它无法移除权重已经编码的东西。

一个名字、一个住址、一段通信的片段被抓取进训练数据，与网页文本中任何别的片段并无二致。

在这里过滤数据，事实就永远不会进入权重，这是成本低且稳妥的介入：去重与差分隐私都在任何东西被编码之前起作用。

训练一旦结束，事实就活在权重里，此时再移除它就意味着从头重训或遗忘，这是作用于产物的昂贵介入。

一个从未见过来源的人，能把那个被存下的字符串重新抽出来，因为抽取只需要查询访问，而不需要原始记录。

在下游拦住那个确切措辞很诱人，可过滤器只看见它被展示的那些 token，而看不见那些通向同一个被记下字符串的旁敲侧击的提示，因此它无法移除权重已经编码的东西。

图 59.3. 逐步走一遍一个事实从来源到服务的去向，看每一种介入在何处拦住它：在上游以低成本拦，在产物处昂贵地拦，还是在输出端漏掉。

在权重定型之前能获得的隐私

如果暴露面是在上游设定的，那么成本最低的控制也在上游，而且这项控制本就出于另一个理由而早早被采用了。去重在第 6 章里被引入，是为了不让模型把容量浪费在重复文本上，而它同时也是最有效的单一记忆控制手段，因为模型输出的序列绝大多数正是那些被重复的 (Carlini et al. 2023)。隐私在这里同时受益于效率决策，这是成本最低的一类控制：不额外花钱，而且约束传导的方向是对的。

有原则的控制更强，也更贵。差分隐私（DP）限定任何单条训练记录能在多大程度上改变训练好的模型，办法是加入经过校准的噪声，使得无论那条记录在不在，输出分布都几乎一致。应用到深度学习里就是 DP-SGD，这套配方在每一步裁剪逐样本梯度并加入高斯噪声（先给每个样本的影响设上限，再加噪声，这正是差分隐私训练的核心），并用一个贯穿整个训练过程结算的隐私预算来记账 (Abadi et al. 2016)。这个保证是真实且可量化的，也是唯一一个能可证明地界定记忆、而非仅仅削减记忆的训练时控制。问题出在代价上。在前沿规模下，噪声与裁剪把效用拉低到这样的程度，以至于没有哪个旗舰通用模型是在一个收紧的 DP 预算下端到端训练的，DP 被留给在敏感语料上的微调，或者留给那些把隐私保证当成产品本身的模型。考虑到它带来的效用损失，DP 到底该不该进入预训练循环，是下面那些悬而未决的问题之一。

PII 处理与数据驻留通常被归入部署，被当成「请求在哪个区域运行」的选择，而这种归类低估了它们。读作隐私控制时，它们是穿着运维外衣的上游介入。在一条记录抵达训练集之前就剥除或令牌化其个人标识，移除的正是日后可能被抽取的那个字符串；把一份敏感语料留在某个司法辖区内、不放进预训练混料，则是一个关于「允许权重编码什么」的决定，而非仅仅关于服务器坐落在哪里。第 56 章把同一个数据驻留控制项当作监管边界来处理，而从隐私这一面看，它是一个关于「模型被允许记住哪些事实」的选择。

移除已经学到的东西

棘手的情形是：事实已经在权重里，而某个拥有法律权利的人要求把它抹掉。这条基线代价很高：要保证移除一条训练记录的影响，唯一的办法是在去掉那条记录的语料上从头重训模型。对一个前沿模型而言，那意味着每个删除请求要花数百万美元、耗时数周，这等于没有答案。机器遗忘这个领域，试图以更小的代价逼近那个保证。

唯一保留了精确保证的做法，靠的是架构而非巧思。分片隔离训练，也就是 SISA 方案，把数据切成若干分片，每个分片训练一个独立模型，再聚合它们的预测；这样删除一条记录就只需重训它所在的那一个分片，而非整个模型 (Bourtoule et al. 2021)。保证之所以精确，是因为被删记录可证明地从未触及其他分片。代价是预先且永久付出的：分片限制了每个子模型能见到的数据量，这要折损能力，而一堆小模型聚合起来，比一个在全部数据上训练的模型要弱。SISA 是对遗忘权衡最清晰的陈述：一个精确的删除保证，是要事先设计进去的东西，而不是事后接上去的。

任何更便宜的做法都是近似的，而近似遗忘还没碰上别的麻烦，就先撞上了一个度量问题。假设某方法微调模型以提高它在目标记录上的损失，或者让它去匹配一个从未见过该记录的模型的行为。如何验证那个事实真的没了，而不只是在测过的那些提示上被压住了？一个在被直接问及时拒绝背诵某个记下来的住址的模型，仍可能从一个旁敲侧击的提示里把它补全，或以一种成员推断仍能侦测到的方式保留着那份影响。评估遗忘，近乎在评估一个否定命题，而这个领域没有一个公认的检验，能判定一项能力是被移除了还是只是被藏起来了，这正是下面那个有争议的点。

知识编辑（knowledge editing）瞄准的是一个更窄的目标：不是删除一条记录，而是改动模型会陈述的某个具体事实，比方说更新谁在任某个职位。把这个事实关联定位到中层前馈网络的一小组权重并直接编辑它们，也就是 ROME 方法，表明单个事实可以用一次秩一更新（对权重做一次最小的、单一方向的微调）被改写 (Meng et al. 2022)，后续工作又把它扩展到一次改动数千个事实 (Meng et al. 2023)。这项技术精确又便宜，而这也正是它的局限。编辑是脆的：它对所瞄准的那个确切措辞成立，却可能无法传播到改述或逻辑推论上，于是模型在一种形式下断言新事实，又在另一种形式下断言旧事实。编辑挪动了探针所触及的表层，却不保证底层表征也跟着挪动了，这直接接上了第 54 章里那个悬而未决的问题：我们到底能不能足够精确地定位一个事实，以至于能说它被改变了。

来源是另一种承诺

隐私问的是模型不该揭示什么。来源认证问的是关于输出的相反问题：给定一段文本或一份媒体，有没有人能判断是某个模型生成了它，并信任那个判断。两者共处一章，是因为它们都是关于「模型与某个具体字符串之间关系」的论断，但它们朝相反的方向用力，把二者混为一谈是常见的错误。

对文本而言，主导思路是统计水印（watermarking）：在生成时，每一步都把采样偏向一个伪随机选定的「绿色」词表子集，使得来自该模型的文本带有一种普通文本没有的、可检测的统计签名，而且无需访问模型即可复原 (Kirchenbauer et al. 2023)。这个方案优雅，几乎不增加成本。它的弱点在鲁棒性：对输出做改述、来回翻译，或让第二个模型重写一遍，都会削弱信号，一个铁了心的规避者通常能把水印洗掉。所以文本水印在群体尺度上是个有用的信号，而面对一个对手时则是个弱信号，这恰好与人们最想用它来对付的那些高风险归属场景反着来。群体尺度这层解读已不再是假设：Google DeepMind 的 SynthID-Text 把同一个采样偏置思路加固到生产强度，自 2024 年起为 Gemini 的输出打水印，方案已发表并开源，还配有一个公开的检测器 (Dathathri et al. 2024)。

对图像、音频与视频而言，更耐久的做法不是给像素打水印，而是给来源元数据签名。内容凭证，标准化为 C2PA，会附上一份经密码学签名的清单，记录一份资产是如何被创建与编辑的，好让观看者去验证这条链，而不是从内容里猜 (Coalition for Content Provenance and Authenticity 2024)。这让选择相反：不是把信号藏进内容里、指望它能存活，而是把签名绑定到内容上、让篡改可被检测。它的局限在采用率与剥除。一份签了名的清单，只在采集设备、编辑工具与平台都参与时才有用，而一份未签名的资产并不能证明任何事，它只是缺少一份凭证而已。不过如今是标准与法律在推动这场协同，而不再是等它自发形成：规范正处于 ISO 标准化的最后一程，编号 ISO/DIS 22144 (International Organization for Standardization 2025)，而欧盟《人工智能法案》的合成媒体透明度义务自 2026 年 8 月起适用（第 61 章），在一个主要市场里把参与从自愿变成了法定。剥除与未签名的默认状态仍是现实的局限，所以第 16 章里那些生成媒体的来源认证，仍然既是一个密码学问题，更是一个协同问题。

下层约束

一个已部署模型的隐私暴露面，在服务开始之前就已固定。训练时的记忆，由第 5 章里的模型规模、以及第 6 章里的去重与过滤选择所设定，决定了推断时能被抽取出什么。这条约束严格地向上、向前：无法在输出端过滤掉权重已经编码的东西，因为一个输出过滤器只看见它被展示的那些 token，而看不见那上千个通向同一个被记下字符串的旁敲侧击的提示。唯一能界定暴露面、而非事后追赶暴露面的控制，是上游的那些（去重、差分隐私、PII 剥除）与昂贵的下游那个（重训练或遗忘该产物）。一个服务时的护栏，也就是运行时安全那一章的主题，恰恰因为它最后才动手，正是这条链上最弱的一环。

争议所在

近似遗忘是移除了一项能力，还是把它藏起来了？ 一派把不再输出目标的模型视作已遗忘；另一派认为，没有像分片重训那样的精确保证，影响就可能潜伏在表层之下、在一个未被探到的提示下重新冒头，而这个领域缺一个能区分二者的检验。
文本水印鲁棒到可以部署吗？ 支持者指向低成本下强健的群体级检测；怀疑者指出改述与重写攻击会洗掉信号，于是水印恰恰在高风险归属所针对的有动机对手面前失效。
差分隐私该不该进入前沿预训练？ 这个保证是对记忆唯一可证明的界定，但它在规模下的效用代价大到没有哪个旗舰是在收紧预算下训练的，而这个保证是否值得它所牺牲的能力，尚无定论。

信任大多来自上游

这一层几乎纯粹关乎信任，而且是用能力与效率换来的。能力是记忆悄悄添上的、又是差分隐私与遗忘拿走的：一个被训练去忘记、或在噪声下训练的模型，知道得更少。效率是这里每一项有效控制的代价，从成本很低的去重，到作为一次有保证删除之代价的完整重训，中间夹着 DP 与 SISA，作为训练预算上的固定成本。信任才是核心：一个人能否信赖系统不泄露自己，一个观看者能否信赖一份来源声明。这一层最不舒服的结论是：信任大多是在上游建立的，事后补救代价高昂，因为权重里的一个事实，不是数据库里一条能用一句查询删掉的记录。把这些工程限制变成义务的法律，是第 61 章；而那些试图、却大体失败于遏制权重已持有之物的推断时控制，则是随后而来的运行时安全层。