第八部分 · 安全、可解释性与治理 · 第 59 章

隐私、来源与机器遗忘

作者Changkun Ou

阅读时长约 16 分钟

隐私、机器遗忘和来源回答的是三个不同的问题。训练数据隐私关心的是，观察者能了解到哪些与训练所用人员和记录有关的信息。机器遗忘关心的是，训练完成后能否移除指定训练数据对模型的影响。来源关心的是，输出是否带有能够说明其起源和编辑历史的证据。这三种承诺不能相互推出：保护训练记录并不意味着输出带有来源证据，签名输出仍然可能泄露隐私。

区分这三者很重要，因为每种承诺都需要不同的检验。隐私需要明确受保护的单位和攻击者模型。机器遗忘需要以仅用保留数据重新训练的结果为参照。来源需要明确机制、签名者或密钥，以及验证策略。拒绝回答、修改答案或附加标记都可能有用，却没有一项能够同时证明这三种承诺。

四种事件，而不是一次“泄露”

人们常用“记忆”一词代指几种不同的事件：

记忆是训练模型与某个训练样本之间可度量的依赖关系。它的含义取决于所用指标，例如暴露度，或相对于参照模型的似然。
可抽取性是指攻击者能否恢复未知的训练序列。评估时必须说明提示、解码策略、访问级别和查询预算。被记住的序列不一定能够被抽取。
披露是指发布的输出泄露了某个人的敏感信息。被抽取的序列不一定属于个人数据，而且披露也可能来自提示、检索结果、公开来源或推断，而不是模型记忆。
成员推断判断给定样本是否属于训练数据集。模型无须复现任何内容，数据集成员身份本身就可能敏感。

这些是不同的事件。Carlini 等人仅通过黑盒查询，就从 GPT-2 中恢复了逐字训练样本，其中包括可识别个人身份的信息 (Carlini et al. 2021)。后续研究发现，在被测模型中，抽取和记忆程度会随重复次数、模型容量和可用上下文而变化 (Carlini et al. 2023)。这些结果证明攻击确实可行，却不表示每个模型中的每条记录都能被抽取。成员推断也取决于条件：最早的影子模型攻击表明，黑盒输出可以泄露成员身份 (Shokri et al. 2017)；后续研究则发现，分布偏移可能让针对预训练数据的攻击看起来比实际更有效 (Duan et al. 2024)。

先写清隐私威胁模型

如果没有记录适用范围，隐私评估结果就无法解释：

隐私单位。 受保护的单位是一个词元、一条样本、一份文档、一个账户，还是一个人？当一名用户贡献多条记录时，记录级保护和用户级保护并不相同。
相邻关系。 哪些相邻数据集代表同一人的存在或缺席？要说明比较的是增加、移除还是替换一个单位。
攻击者访问能力。 记录模型版本、提示、输出文本、分数或对数概率、辅助信息、自适应查询和查询预算。
成功标准。 定义精确或近似恢复、成员分类、假阳性约束，以及对受影响者造成的伤害。

同一个模型可能通过一种威胁模型，却无法通过另一种。限制对数概率也许能阻碍某种成员推断攻击，但仍可能允许文本抽取。较低的平均攻击分数也可能掩盖一小批高度暴露的样本。因此不仅要报告全局平均值，还要报告尾部表现，并按相关语言和记录类型报告尾部结果。

图 59.1. 隐私控制作用于不同阶段，支持的主张也不同。数据控制减少进入训练的数据；隐私训练限制指定单位的影响；服务控制减少发布的内容；删除则更新或停用受影响的产物。

选择一条记录、一份文档、一个账户或一个人。这个选择决定相邻关系、删除范围，以及哪些重复项属于同一请求。

记录数据来源和转换过程，删除不符合既定用途的数据，并测量去重与 PII 过滤的错误。

正确核算的差分隐私训练可以限制指定单位的影响。去重和过滤能够降低实测风险，却不提供同样的保证。

访问控制、限流、监控和缓冲式输出检查能够减少披露并限制攻击规模，但不会改变已经训练好的产物。

删除请求必须覆盖源数据、派生数据集、模型状态、适配器、索引和未来任务，并以仅用保留数据重新训练的结果评估成效。

分别保存隐私核算、删除结果和来源验证证据，让运营人员能够准确说明每项产物支持哪一种主张。

图 59.2. 把宽泛的隐私承诺拆成六项可审查的决定，从确定受保护的单位开始，到发布后保留哪些证据为止。

在训练前后降低风险

首先落实数据最小化和目的限制：不能仅仅因为某条记录以后或许有用，就收集或长期保留它。第 6 章中的数据谱系应覆盖源数据、派生数据集、词元化副本和微调数据，还应区分删除与假名化。用可逆标识符替换姓名，并没有移除这个人的底层数据；假名化并不等于删除。

精确重复、近似重复和重复片段需要不同的检测方法。在一组语言模型实验中，去重降低了测得的记忆程度，也改善了评估数据的洁净度 (Lee et al. 2022)。相关研究还发现，对被测语料去重后，抽取风险显著降低 (Kandpal et al. 2022)。换言之，去重降低了这些实验中测得的记忆，却并不提供差分隐私保证，也无法捕获所有改述，或移除分散在多个独立来源中的同一事实。

PII 检测既有假阳性，也有假阴性。应按标识符类型、格式、语言和文档来源测量精确率与召回率。风险并不限于姓名，职业、地点和日期的组合也可能识别一个人。过滤还必须覆盖派生数据集、词元化副本和微调数据，不能只处理最初的原始数据快照。

服务阶段的控制仍然重要。访问控制、限流、查询与输出长度限制、限制分数访问、输出过滤和监控，都能减少暴露或提高批量抽取的成本。对于高风险输出，应先缓冲，待隐私闸门决定是否发布，具体做法参见第 57 章。这些控制不能移除训练数据的影响，无法收回已经披露的信息，也不应被描述为机器遗忘。保护提示、检索上下文和请求日志属于另一类机密推理问题，详见第 60 章。

差分隐私的形式化承诺

在下面的公式中， $\mathcal{M}$ 表示随机训练机制。对于相邻数据集 $D$ 和 $D'$ ，以及所有可测的输出集合 $S$ ，用 $p$ 表示第一种输出概率：

p=\Pr[\mathcal{M}(D)\in S].

同理，用 $p'$ 表示相邻数据集对应的概率：

p'=\Pr[\mathcal{M}(D')\in S].

当隐私损失上界满足下式时，这个机制具有 $(\varepsilon,\delta)$ 差分隐私：

p\le e^{\varepsilon}p'+\delta.

隐私单位决定相邻关系的含义。参数 $\varepsilon$ 是隐私损失的乘性上界；在机制其他部分不变时， $\varepsilon$ 越小，隐私保证越强。 $\delta$ 允许超出这一乘性保证的概率存在一个有限上界。这个定义比较的是训练产物的可能输出分布，不是说两次训练会得到完全相同的权重，也不是说模型绝不会输出个人信息 (Dwork and Roth 2014)。

DP-SGD 把这个定义应用于迭代优化 (Abadi et al. 2016)。对于大小为 $B$ 的采样批次，用 $g_{t,i}$ 表示第 $t$ 步的逐样本梯度。先把每个梯度裁剪到裁剪范数 $C$ ：

\bar g_{t,i}=g_{t,i}\min\left(1,\frac{C}{\lVert g_{t,i}\rVert_2}\right).

然后对裁剪后的梯度求平均，并加入高斯噪声：

\begin{aligned} \widetilde{g}_t &=\frac{1}{B}\left( \sum_{i=1}^{B}\bar g_{t,i}\right. \\ &\qquad\left.+\mathcal{N}(0,\sigma^2 C^2 I) \right). \end{aligned}

其中， $\sigma$ 是噪声乘数， $I$ 是用于确定噪声协方差结构的单位矩阵。学习率为 $\eta$ 时，优化器按下式更新参数：

\theta_{t+1}=\theta_t-\eta\widetilde{g}_t.

批次大小、采样率、训练步数、裁剪范数和噪声乘数都会同时影响隐私与学习效果。反复访问私有数据会产生组合效应：隐私损失会随训练步骤和其他发布结果累积。隐私会计器根据采样与噪声计划，在明确假设下计算所报告的 $(\varepsilon,\delta)$ 上界。每次调优或其他依赖私有数据的发布，都必须纳入核算。

差分隐私限制的是一个隐私单位对机制输出分布的影响。它不会移除在多个隐私单位中反复出现的信息，不会保护私有推理提示，也不保证模型具有可用的准确率。效用必须在部署人群和罕见情形上实测，不能只根据隐私预算推断。

以重新训练为基准定义机器遗忘

机器遗忘（machine unlearning），也就是试图从已训练模型中移除指定训练数据影响的过程，需要一个反事实目标。这里， $\mathcal{A}$ 表示随机训练算法， $D$ 表示原始训练数据集， $D_f$ 表示遗忘集， $D_r=D\setminus D_f$ 表示保留数据集。 $\mathcal{U}$ 表示机器遗忘算法，它作用于 $\mathcal{A}(D)$ 生成的产物。重新训练参照为：

\begin{aligned} &\mathcal{U}(\mathcal{A}(D),D_f) \\ &\text{compared with} \\ &\mathcal{A}(D\setminus D_f). \end{aligned}

精确机器遗忘要求左侧产物的分布与右侧仅用保留数据训练得到的分布一致。近似机器遗忘则限定这两个分布之间某种明确的距离或可区分程度 (Guo et al. 2020)。由于训练和机器遗忘都可能包含随机性，目标必须是分布；匹配某一个检查点或某一个回答并不符合定义。

完整地用保留数据重新训练是通用参照，却不是唯一可能的精确方法。某些受限学习器可以在其数学假设下高效地实现精确或可认证的移除，但这些结果不会自动适用于不同的架构、优化器或训练流程。即使精确机器遗忘成功，也只是按照声明的训练算法移除指定记录的影响；它也不一定会抹去保留数据中仍然存在的语义事实，例如重复记录、相关样本或更早预训练中已经包含的事实。

SISA：在训练设计中预留删除能力

SISA 把训练数据划分为互不重叠的分片，再把每个分片分成累积切片，分别训练彼此隔离的组件模型，并保存中间状态。收到删除请求后，可以从相关切片之前的检查点开始，只重新训练受影响的组件，然后重复既定的聚合过程 (Bourtoule et al. 2021)。这种能力必须提前设计进训练流程，而且精确性只相对于这套流程成立。

这些假设既是数学要求，也是运行要求。分片和切片分配、随机性、检查点以及聚合过程都必须可复现。若一条删除请求影响多个分片，就需要多次重新训练；学习得到的聚合器本身也可能需要执行删除。原始证据针对的是监督分类任务，不能让任意的事后编辑变成精确机器遗忘，也不能直接证明前沿语言模型具有相同的权衡。

同时评估遗忘、保留与恢复

经验评估应把多个机器遗忘后的产物，与多个仅用保留数据重新训练的参照产物进行比较。至少应报告：

遗忘集行为： 似然、暴露度、抽取尝试、成员推断、直接提示、改述和自适应提示。
保留集效用： 任务表现、校准情况，以及相邻知识上的行为。必须测量附带损害，不能把附带损害藏在平均值里。
恢复能力： 在可行时使用白盒探测、短程微调或重新学习攻击，并检查删除前输出或产物是否仍可访问。
运行成本： 删除规模、连续请求、存储、延迟、成本，以及受影响产物的完整清单。

一次拒绝不能证明模型已经完成机器遗忘。某种方法可能只是抑制了被测答案，同时保留成员身份信号，或允许模型快速重新学习。反过来，仅用保留数据重新训练的模型仍可能陈述同一事实，因为保留来源也支持它。TOFU 提供合成作者档案、遗忘集、保留数据参照和多项指标；其测试的基线没有同时实现有效遗忘和保留 (Maini et al. 2024)。TOFU 是有用的基准，而不是通用证书。

删除是一项数据谱系操作

删除请求应从数据主体或记录范围出发，定位所有受影响的产物：

源记录、数据集快照、去重副本、转换后和词元化的数据，以及排队等待的未来训练任务；
检查点、优化器状态、适配器、合并模型、集成模型和模型注册表副本；
嵌入、检索索引、评估样例、缓存、日志和备份，只要它们受同一请求约束；
删除墓碑，用于防止数据被意外重新摄取，同时保留审计所需的最低限度证据。

遗漏的检查点或适配器副本可能恢复旧行为，即使主模型已经替换。删除墓碑需要稳定的范围标识符，以及到期或复核策略，但不能保留已经删除的内容本身。

知识编辑是另一种操作

知识编辑不是机器遗忘。它改变模型选定的行为，通常是某个“主语与关系”问题的回答，常见评估维度包括直接有效性、改述泛化和局部性 (Meng et al. 2022; Meng et al. 2023)。它不能证明训练记录的影响已经消失。一次看似成功的编辑可能无法覆盖改述或逻辑推论，可能造成连带变化，也可能保留成员身份信号。产品承诺是改变回答时，可以使用知识编辑；如果没有相应的机器遗忘论证和评估，就不能把它报告为记录删除。这一区分也限制了第 54 章中的机制研究能够证明什么。

来源提供证据，而非事实

统计水印、签名清单、作者归属和内容真伪是四种不同的主张。参与水印机制的生成器可以嵌入可检测信号，却不必识别请求输出的人。签名者可以为编辑历史作证，却不能证明画面中的事件确实发生。

统计水印

一类文本水印会改变生成过程，使输出词元与带密钥的秘密模式相关。检测器计算分数，再与检测器阈值比较 (Kirchenbauer et al. 2023)。运行报告需要列出假阳性率、假阴性率、弃权策略、文本长度、语言、采样配置和模型版本，还要报告实测质量与评估所依据的基率。水印文本很少时，即使假阳性率很低，误报也可能占多数。

鲁棒性取决于具体变换。应测试截断、普通编辑、水印改述、翻译、模型重写和人机混合文本。检测器可能在一种编辑后仍有较高置信度，却在另一种编辑后失效。检测不到水印不能证明文本由人类创作：它可能来自没有参与该机制的生成器，也可能太短，或者已经被修改。

SynthID-Text 是一个生产系统实例，其采样结构不同于最初的绿色词表方案。大规模评估覆盖约两千万条 Gemini 回复，并在该部署环境中测量了检测效果与质量 (Dathathri et al. 2024)。这项证据支持的是经过测试的机制和配置，而不是通用的 AI 文本检测器。

签名内容凭证

C2PA 用签名清单表示来源声明。清单包含断言、资产哈希或其他内容绑定、声明、声明签名，以及评估签名凭证所需的信息 (Coalition for Content Provenance and Authenticity 2026)。有效的签名和绑定提供防篡改证据：它们表明签名声明与这份资产绑定，并且签名之后没有发生未被发现的修改。只要参与编辑的工具保留或扩展这条链，互相链接的清单就能记录编辑历史。

验证仍然需要策略。验证者必须决定接受哪些信任锚、凭证状态、算法和断言类型。未知签名者并不自动意味着恶意，但其声明可能不在验证者的信任策略内。有效凭证不能证明画面中的事件确实发生，不能证明每次编辑都有记录，也不能证明断言本身诚实。

清单可以嵌入资产，也可以存储在外部；软绑定有助于在允许的变换后恢复来源信息。不过，清单仍可能被完全移除。清单被剥离意味着证据缺失，而不是验证成功；未签名资产也不能证明该资产是合成内容。因此，水印与内容凭证可以互为补充，但两者都不能把“没有证据”变成证明。C2PA 的清单架构也正在成为 ISO 工作项目 (International Organization for Standardization 2026)。现行标准和披露义务的状态与适用范围会独立变化，因此统一在第 61 章中跟踪。

保留运行记录

审计记录应当机器可读并带有版本。一个紧凑的结构可以使用以下字段：

data_subject_or_record_scope:
source_and_legal_basis:
dataset_and_transform_revisions:
privacy_unit_and_adjacency:
dp_mechanism_and_accountant:
training_job_and_artifact_revisions:
deletion_request_and_tombstone:
affected_artifact_inventory:
unlearning_method_and_retraining_reference:
forget_retain_and_privacy_results:
provenance_mechanism_and_signer:
detector_threshold_and_error_rates:
verification_and_exception_owner:

不要让这套结构自动生成它无法支持的主张。空字段、例外和验证失败都必须保留。还应限制对记录的访问，因为谱系和删除证据本身也可能识别个人。

回归场景

自动化测试应覆盖各项假设，而不只是成功路径：

重复的金丝雀样本、同一用户分散在多条记录中、PII 检测器漏检，以及成员推断中的分布偏移；
检查点和适配器副本、遗忘集改述、重新学习攻击，以及保留集效用回退；
水印改述、人类文本假阳性、被剥离的 C2PA 清单，以及遭篡改的资产。

每次失效都应指出受影响的人或内容主张、负责处理的人，以及修复会改变数据、训练、服务、删除还是验证流程。

争议所在

什么样的经验证据足以支持近似机器遗忘？ 形式定义比较的是分布，而实际的语言模型评估只能运行有限的攻击与效用测试。通过今天的探测并不能排除明天更强的自适应或白盒测试。
哪一种水印威胁模型有实际价值？ 在配置已知的条件下，水印可以很好地支持总体统计，却仍可能被刻意变换破坏。产品主张必须与实测的编辑方式、文本长度、语言和错误率一致。
差分隐私在什么情况下值得承担效用代价？ 答案取决于隐私单位、数据条件、模型、预算和可接受误差。隐私保证必须与效用测量一起报告。

下层约束

训练与数据系统决定之后能够提供哪些隐私和删除承诺。完整的数据谱系才能支持有范围的删除；明确的隐私单位和会计器才能支持差分隐私主张；可复现的分片、切片、随机性与聚合过程才能支持 SISA 式重新训练。服务层随后控制哪些内容可以发布，来源链则保留输出相关证据。这些层彼此约束，却不能相互替代。如果下层无法识别受影响的数据或复现训练流程，上层无法在事后补造这些证据。

三种承诺，三类证据

隐私的证据来自威胁模型、实测攻击、数据控制，以及在适用时提供的正式隐私预算。机器遗忘的证据来自数据谱系，以及与仅保留数据重新训练结果的比较。来源的证据来自水印检测器，或信任策略下经过验证的签名声明。把三类主张分开，才能让它们真正有用：运营人员可以准确说明哪些内容得到保护、哪些影响已被移除、哪些声明经过签名，以及哪些问题仍然未知。