第八部分 · 安全、可解释性与治理 · 第 54 章

机械可解释性

作者Changkun Ou

阅读时长约 13 分钟

机械可解释性（mechanistic interpretability）试图解释固定模型如何产生某项明确行为。它会针对模型的内部计算提出人类可读的假说，再用模型本身检验这些假说。因此，一项有用的主张必须说明模型版本、输入群体、行为或输出，以及所研究的内部位置。它不是隐藏思维的逐字记录，本身也不是安全保证。

限定范围很重要，因为同一种内部模式可以支持强弱不同的主张。它可能只是与某项行为相关，可能在新输入上预测该行为，可能在被修改后改变行为，也可能真正参与模型的日常计算。这些主张对证据的要求依次提高。本章建立一套把它们分开的流程：提出候选特征，用留出数据和干预检验它们，把它们组合成电路假说，并报告解释遗漏了什么。结果可以为第 55 章的监督方法提供信息，但不能取代行为证据或明确的安全论证。

从解释性主张出发

机械可解释性研究应区分四个证据等级：描述、预测、干预和中介。

描述为内部单元或方向赋予可读模式。能激活某个潜变量的案例可以帮助命名，但连贯的标签不等于因果解释。
预测检验该标签能否在留出输入上预测激活或行为，从而判断它能否推广到命名时所用案例之外。
干预改变一个内部变量并测量输出。它只能证明所述干预下的必要性或充分性，不能直接推广为对模型的无限定结论。
中介检验候选变量及其连接，能否复现模型自然计算中的相关干预效应。这是证明候选电路确实捕捉到日常行为生成机制的最强证据 (Geiger et al. 2025)。

图 54.1 展示了这条递进路径。研究标题能提出的最强结论，取决于整条证据链中最薄弱的证据环节。

图 54.1. 一项有范围的机制主张需要逐级积累证据。每一级都要经过新的验证，因此，一个易懂的标签本身不能证明机制。

这条阶梯也能避免一种常见的类别错误。如果干预幅度远超模型的正常激活范围，它也许能证明某个内部方向可以引导输出，却不能证明模型平时会以同样的幅度或含义使用这个方向。因此，干预协议、取值范围和受检验的对照，都必须写进主张本身。

把特征与叠加视为假说

第 8 章介绍的架构会暴露神经元、注意力头输出和残差流向量等张量。它们是实现单元，不保证就是意义单元。一个神经元可能对多种可识别模式作出响应，一种有用模式也可能分布在许多神经元上。多义神经元仍可携带预测信息或因果信息，只是不能据此采用简单的一神经元一概念解释。

本章所说的特征，是分析者提出的变量，用来解释模型的某项行为。它可以是神经元、激活空间中的方向、稀疏自编码器的潜变量，或更复杂的函数。证据决定它是否成立，而不是名称或生成它的方法。

这里的假说是叠加（superposition）：模型通过让非正交的特征方向共享激活空间，表示的特征数多于维度数。一个简单的稀疏线性模型把激活写成

x = \sum_{i=1}^m a_i v_i + \varepsilon .

其中， $x \in \mathbb{R}^d$ 是指定内部位置上的激活向量， $v_i \in \mathbb{R}^d$ 是第 $i$ 个候选特征方向， $a_i$ 是对应的特征系数， $\varepsilon$ 是未解释残差。稀疏性假设是：对一个典型案例而言， $m$ 个系数中只有少量 $k = \lVert a \rVert_0$ 不为零，即使 $m>d$ 也是如此。由于 $\mathbb{R}^d$ 中容不下超过 $d$ 个彼此正交的方向，这些方向必然会有重叠。

玩具模型证明这种压缩可以实现，并预测特征稀疏度与重要性变化时，几何结构会如何改变 (Elhage et al. 2022)。但它们不能证明每个 Transformer 激活都存在唯一的线性稀疏分解，也不能证明每个人类可识别的概念都是一个方向。因此，叠加是一种富有成效的证据模型，却不能让人直接假定学到的字典已经恢复模型自身的本体结构。

图 54.2. 特征方向共享低维空间的理想化示意。互动几何只用于说明叠加假说，不是训练语言模型的实测证据。

用稀疏自编码器学习候选特征

稀疏自编码器（SAE）会从一个明确模型位置采集的激活中，学习一部过完备字典。令 $x \in \mathbb{R}^d$ 为一次激活，字典包含 $m$ 个潜变量，并设目标稀疏度 $k$ 。一种 TopK 形式为

\begin{aligned} z &= W_{\mathrm{enc}}(x-b_{\mathrm{dec}})+b_{\mathrm{enc}}, \\ f &= \operatorname{TopK}_k(z), \\ \hat{x} &= W_{\mathrm{dec}}f+b_{\mathrm{dec}} . \end{aligned}

其中，编码器矩阵为 $W_{\mathrm{enc}} \in \mathbb{R}^{m \times d}$ ，解码器矩阵为 $W_{\mathrm{dec}} \in \mathbb{R}^{d \times m}$ ， $b_{\mathrm{enc}} \in \mathbb{R}^m$ 是编码器偏置， $b_{\mathrm{dec}} \in \mathbb{R}^d$ 是解码器偏置和中心化项。向量 $f \in \mathbb{R}^m$ 至多有 $k$ 个非零元素。根据具体实现，TopK 可以选择最大的正预激活值，也可以选择经过非线性变换后的最大值，研究必须说明采用哪条规则。

基本的 TopK 目标会最小化均方重构误差：

\begin{aligned} \mathcal{L}_{\mathrm{TopK}} &= \mathbb{E}_{x \sim \mathcal{D}} \left[\lVert x-\hat{x}\rVert_2^2\right], \\ \lVert W_{\mathrm{dec}}[:,i]\rVert_2 &= 1. \end{aligned}

其中，第二行把解码器的每一列约束为单位范数。如果没有这个约束，把一列解码向量乘以常数，同时把对应潜变量除以同一常数，并不会改变重构结果。这种尺度退化会让潜变量大小和稀疏惩罚难以比较。较早的 L1 SAE 会在重构损失上再加 $\lambda\lVert f\rVert_1$ 。TopK 直接控制活跃潜变量数量，也不会产生 L1 收缩；但死潜变量比例和优化质量仍取决于完整训练方案，而不只取决于 TopK 操作 (Gao et al. 2025)。

SAE 拟合是一种测量模型，不是发现证书。它的解码器列只是候选特征方向，必须经过多项相互独立的检查：

**重构保真度：**用留出激活上的归一化重构误差或解释方差来衡量。
**下游保真度：**用 $\hat{x}$ 替换原始激活，再测量任务损失或行为变化。
**激活稀疏度：**报告活跃潜变量的分布，而不只报告配置值 $k$ 。
**潜变量使用情况：**统计死潜变量和异常频繁的潜变量。
**跨随机种子的稳定性：**对齐不同随机种子学到的字典，报告哪些模式会重复出现。
**语义有效性：**用留出特征标签和对抗性反例，评估自动标签或人工标签。
**因果效用：**把潜变量干预与神经元、随机方向、主成分分析和监督探针等基线比较。

没有任何单项指标可以认证一部字典。低重构误差可以与不可读的潜变量并存，清晰标签可以与低覆盖率并存，强干预也可能偏离模型的日常激活分布。早期 SAE 研究提出了有用的候选特征 (Huben et al. 2024; Bricken et al. 2023)。后续研究把方法扩展到 Claude 3 Sonnet (Templeton et al. 2024)，但字典宽度不能保证恢复出的特征具备原子性、完备性或唯一的标准形式。

图 54.3. 重构误差与稀疏度之间权衡的示意。更多活跃潜变量通常会改善重构，更大的字典则可能移动整条前沿。这些曲线是概念示意，不是实测数据。

通过干预检验因果相关性

激活补丁通过比较干净运行和受扰运行来定位信息。先选择一个能产生目标行为的输入，再设计一个会改变该行为的受控扰动。然后，从干净运行中取出一个内部组件，补入受扰运行，并测量预先声明的输出指标恢复了多少。

设 $x_b$ 为基础输入、 $x_s$ 为来源输入、 $j$ 为组件、 $F$ 为模型、 $s$ 为标量得分，则补丁效应定义为

\begin{aligned} \Delta_j(x_b,x_s) &= \\ &s\!\left(F_{\operatorname{do}(h_j \leftarrow h_j(x_s))}(x_b)\right) \\ &-s\!\left(F(x_b)\right). \end{aligned}

其中， $h_j(x_s)$ 是来源激活， $F_{\operatorname{do}(h_j \leftarrow h_j(x_s))}$ 是接受干预后的模型。较大的 $\Delta_j$ 表明这个组件对这一组对照具有因果相关性，但不能识别唯一机制，因为相关组件、非线性交互或不合适的扰动都可能产生相近的恢复分数。

因此，每项补丁结果都要报告扰动方法、输出指标、补丁位置与粒度、来源案例与基础案例，以及效应如何归一化。这些选择的变化可能显著改变结果 (Zhang and Nanda 2024)。必要性检验、充分性检验、路径补丁和消融回答的是不同问题，多个方法给出一致结论，比一张热力图更有说服力。

特征引导也要遵循同样的规范。在 Claude 3 Sonnet 中增强金门大桥潜变量，会让模型的输出转向这一主题 (Templeton et al. 2024)。这证明该方向可以在这项干预下影响行为，却不能仅凭这一结果证明该方向唯一、标准，或是与桥梁相关行为的完整自然中介变量。

把特征重新组合成电路假说

电路是相对于某项行为和输入分布定义的因果子图。节点可以是注意力头、MLP、神经元或学到的特征，边则假定信息如何在节点之间流动。电路是一种解释性抽象，其质量同时取决于预测覆盖率和干预保真度。

Transformer 电路研究为残差流写入、注意力的 QK 选择和 OV 变换提供了有用的代数 (Elhage et al. 2021)。归纳头是一个具体例子：前序词元头与归纳头可以组合起来，延续重复的词元模式。训练动态、消融证据和跨模型观察共同构成归纳机制的证据 (Olsson et al. 2022)，却不能证明归纳头解释了所有上下文学习，尤其是更大模型以及超出词元序列续写的任务。

近期的电路追踪方法通过拟合替代模型来扩大搜索范围。替代模型使用稀疏跨层转码器近似 MLP 计算，再为特定提示构建归因图 (Ameisen et al. 2025; Lindsey et al. 2025)。这种方法会在被追踪的前向运行中固定注意力模式，并加入误差修正项来提高保真度。因此，每张图只是替代模型中一次计算的局部假说，不是原模型的完整轨迹；大边权不自动等于经过独立验证的因果效应。

如果研究者会扰动候选节点和路径、比较替代模型与原模型，并在相关提示上检验机制，归因图就更有说服力。开放工具让选定的开放权重模型更容易复现这些检查 (Anthropic 2025)。同时还应比较其他替代架构：在受测模型和自动指标上，转码器相对可比的 MLP 输出 SAE 改善了重构与可解释性之间的权衡 (Paulo et al. 2025)。

测量方法遗漏了什么

可解释性错误不只一条轴。负责任的报告应保留下列失效模式：

重构误差是 SAE 或替代模型遗漏的激活信号。它未必对行为重要，但不能在没有下游检验和干预检验时称其无害。
特征分裂把一个宽泛模式分配给多个较窄潜变量。它可能代表有用的粒度，也可能代表不稳定分解，不能仅凭分裂本身判定为错误。
特征吸收是指较具体的潜变量捕捉到案例后，较宽泛的潜变量不再激活，从而让特征检测出现召回缺口 (Chanin et al. 2025)。
不可辨识性意味着字典并不唯一。不同随机种子、宽度或目标可能从同一批激活中学到不同分解，因此不能把一部 SAE 当作唯一的标准单元体系 (Leask et al. 2025)。
薄弱基线会让新表示显得更有用。监督式神经元探针、普通主成分方向、随机字典和任务专用探针，能够检验 SAE 是否增加了价值。稀疏探针目前给出的负面证据只适用于这个用途，不能推广到 SAE 的所有用途 (Kantamneni et al. 2025)。
分布迁移可能同时使标签和干预失效。根据最高激活案例命名的潜变量，在另一个输入群体上可能表现不同；强烈引导还可能把模型推离日常激活分布。
标签错误来自自动特征标签对精选案例的概括。标签可能漏掉例外、带入标注者自己的概念，或把连续模式写成分类名称。
覆盖范围有限意味着每张归因图都只是局部解释。针对一个提示的说明，不能悄悄变成关于整个模型、任务或训练过程的全局结论。

这些限制并不会让方法失去价值，它们决定证据能支持哪些主张。与一组直觉上好看的特征标签相比，同时报告重构、下游保真度、基线、稳定性和干预结果的研究能提供更多信息。

让研究可复现

工作单位应是一项 InterpretabilityStudy，不是一张孤立的特征截图。最小留存记录如下：

study_id: stable identifier
model_and_tokenizer_hashes: immutable revisions
behavior_and_output_metric: operational definition
input_population_and_splits: train, validation, and held-out sets
activation_sites: tensors, layers, positions, and preprocessing
method_and_code_revision: implementation and configuration
dictionary_width_and_sparsity: m, k or lambda, and selection rule
training_data_and_seeds: activation corpus and random seeds
baselines_and_validity_metrics: reconstruction, fidelity, stability, labels
intervention_protocol: corruption, patch, ablation, and steering ranges
retained_artifacts: dictionaries, activations, graphs, and evaluation outputs
claim_scope_and_known_failures: supported level and explicit exclusions

记录必须包含足够信息，使他人能够重新运行特征提取、复现汇总指标，并检查支持主张和不支持主张的案例。对于与安全相关的研究，独立审查者应能修改输入样本、随机种子、基线、干预幅度和输出指标，而不必依靠文字说明重建整条流水线。

InterpretabilityStudy 只是更大决策流程中的一项证据，不能单独授权安全决策。发布或部署决策仍需行为评测、威胁模型、监控、访问控制，以及对不确定性的书面说明。

争议所在

核心争议不是 SAE 能否偶尔产生可读且具有因果效用的方向，而是这些方向意味着什么，以及何时值得付出方法成本。在受测数据集上，稀疏探针并未持续胜过强而简单的基线 (Kantamneni et al. 2025)。特征吸收会造成悄无声息的召回失败 (Chanin et al. 2025)，跨随机种子的比较也使“SAE 找到了标准单元”的说法受到质疑 (Leask et al. 2025)。转码器占优的结果还说明，替代架构本身也会影响结论 (Paulo et al. 2025)。

建设性的回应是用实验比较方法，包括留出预测、重构与下游保真度、干预效用、稳定性和人工审计成本。权重稀疏 Transformer 提供了另一条路径，让许多电路在构造上更容易检查；但现有证据来自小型简单任务，扩展到数千万个非零参数以上仍然困难 (Gao et al. 2025)。没有任何现有方法足以证明模型已被完全理解。

下层约束

第 8 章定义的张量限制了能够测量和干预的对象，却不能决定正确的解释单元。残差流方向、注意力头输出、SAE 潜变量和转码器特征，都是对同一计算的不同抽象。它们的价值取决于主张所针对的行为、输入分布和证据等级。架构访问使机制检验成为可能，验证过程才决定哪一种抽象值得信任。

机械可解释性提出的问题可以比“模型是否产生了不良输出”更深入：在明确的输入群体上，某个经过检验的内部机制是否存在、是否活跃、是否具有因果相关性。只要证据始终附带适用范围和失效模式，这种补充信息就有价值。下一层的第 55 章必须把它与其他控制结合起来，确保解释不完整或错误时，控制仍然有效。