借来的思想：AI 向其他科学借了什么

AI 的许多思想都来自其他学科。信息论为机器学习提供了描述预测与编码的语言，神经科学启发了简化的计算单元，统计物理提供了分析大系统和随机过程的工具，心理学则为不同的推理方式提供了名称。

这些联系的强弱并不相同。相同的方程可能表示严格的恒等关系，也可能只是对另一个系统有用的模型或数学上的相似性。相同的名称可能保留了旧概念的一部分，却没有保留原来的机制。为了分清这些情况，可以把跨学科借用分为四类：

判断一项联系有多强，可以明确追问四个问题：

1. 映射： 哪些变量、操作和假设彼此对应？
2. 保留： 哪些方程或约束换到新领域后仍然成立？
3. 迁移： 源领域的思想能否在新领域预测行为，或指导有效干预？
4. 边界： 这种对应到哪里为止？

如果只有相同的方程，却说不清变量怎样对应，至多算形式相似。即使一个模型能够预测观测结果，也不能仅凭这一点断言两个系统拥有相同的物理机制。

形式恒等：预测损失与编码长度

假设一个自回归模型读过前面的词元 $x_{<t}$ 后，为位置 $t$ 的词元 $x_t$ 分配概率 $q(x_t\mid x_{<t})$，其中 $t$ 表示词元在序列中的位置。模型为整个序列分配的概率为

$$q(x_{1:n})=\prod_{t=1}^{n}q(x_t\mid x_{<t}).$$

因此，以比特计量的理想编码长度为

$$L_q(x_{1:n})=-\log_2 q(x_{1:n}) =\sum_{t=1}^{n}-\log_2 q(x_t\mid x_{<t}).$$

这里，$x_{1:n}$ 是由 $n$ 个词元组成的序列，$q$ 是模型，$L_q$ 是该模型为序列给出的理想编码所需比特数。等式右侧同时也是这个序列以 2 为底的负对数似然。这是严格的形式恒等，不是类比 (Shannon 1948)。

“理想”二字很重要。二进制码字的长度必须是整数，所以概率为 $q(x)$ 的符号通常无法得到一个长度恰好为 $-\log_2 q(x)$ 比特的实际码字。Shannon 编码可以为每个符号使用 $\lceil-\log_2 q(x)\rceil$ 比特。对整个序列进行熵编码还可以更接近理想值：算术编码（arithmetic coding），也就是把序列概率转换成一条接近最优的比特流，能够以很小的编码和分帧开销逼近理想序列长度 (Grünwald 2004)。编码方和解码方还必须共享同一个分词器与概率模型。

下面的可运行示例比较两个固定的概率模型。它计算的是模型给出的理想编码长度，不会生成文件，也没有计入传输模型本身的成本。

from math import log2

message = "abracadabra"
informed = {"a": 0.4, "b": 0.2, "r": 0.2, "c": 0.1, "d": 0.1}
uniform = {symbol: 0.2 for symbol in informed}

def ideal_bits(model):
    return sum(-log2(model[symbol]) for symbol in message)

for name, model in [("uniform", uniform), ("informed", informed)]:
    total = ideal_bits(model)
    print(f"{name:8s}: {total:5.2f} ideal bits ({total / len(message):.2f} per symbol)")

预测越准确，理想编码所需的比特就越少。对于使用对数损失训练的自回归模型，这个结论直接成立。但它不表示所有机器学习目标都是压缩器，也不表示实际保存的文件会恰好具有这个大小。

Delétang 等人把训练好的模型接入无损熵编码器，展示了这种对应如何落实为实际操作 (Delétang et al. 2024)。论文最终版本的表格显示，Chinchilla 70B 把实验中的 2,048 字节图像样本和音频样本分别编码为原始大小的 48.0% 和 21.0%，低于分块 PNG 的 61.7% 和 FLAC 的 30.3%。这些比率假定双方已经共享模型权重。若把 700 亿参数模型本身的成本也算进去，对于小型数据集，比较结果就会倒转。

这一区别引出了最小描述长度（MDL）原则。采用简单的两部分形式时，应选择使下式最小的模型 $M$：

$$L(M)+L(D\mid M),$$

其中，$L(M)$ 是描述模型的成本，$L(D\mid M)$ 是用该模型描述数据 $D$ 的成本 (Rissanen 1978)。这就是两部分编码（two-part code），也就是先计入模型描述成本，再衡量模型对数据的压缩。普通的最大似然训练在固定模型族中最小化第二项，通常不会计入架构、学习得到的权重或权重精度。实际使用 MDL 时，结果还取决于候选模型与编码方案，因为以 Kolmogorov 复杂度为基础的理想版本不可计算 (Grünwald 2004)。

计算对应：TD 误差与多巴胺

思想也会沿相反方向传播。时序差分（temporal-difference）（时序差分，TD）学习最初是一种机器学习方法，后来成为解释部分神经反应的定量模型 (Sutton 1988)。在单步价值学习中，TD 误差表示当前价值估计与一步自举目标之间的差：

$$\delta_t=r_{t+1}+\gamma V_w(s_{t+1})-V_w(s_t),$$

参数更新为

$$w_{t+1}=w_t+\alpha\delta_t\nabla_w V_w(s_t).$$

这里，$s_t$ 是当前状态，$r_{t+1}$ 是下一步奖励，$V_w(s)$ 是从状态 $s$ 出发的折扣回报估计，$\gamma$ 用于折扣未来奖励，$\alpha$ 是学习率，$w$ 包含价值函数的参数。下一状态的估计提供自举目标；在这个半梯度更新中，对当前估计求导时把该目标视为固定值。

Schultz、Dayan 和 Montague 报告，中脑多巴胺神经元的瞬时放电活动呈现出 TD 奖励预测误差所预测的几种模式 (Schultz et al. 1997)。意外奖励会引起反应；当某个线索能够可靠预测奖励后，反应会转移到线索出现时；如果预期奖励没有出现，活动会在原本应当得到奖励的时刻短暂下降。这是计算模型与生物测量结果之间强而且可检验的对应。

边界同样重要。这些观测并不能说明多巴胺实现了完整的 TD 算法，而且多巴胺活动并不均一。Dabney 等人后来测量到，小鼠多巴胺神经元对正误差和负误差的反应并不对称，这与神经元群体编码折扣回报分布的解释一致 (Dabney et al. 2020)。这项结果细化了原有对应，却没有把 TD 模型变成对整个神经回路的完整说明。

只移植数学，不移植物理机制

扩散模型从随机物理中继承了一种构造。Sohl-Dickstein 等人引入一个固定的马尔可夫过程，把数据逐步变成简单的噪声分布，再学习一个反向过程，把噪声还原为数据 (Sohl-Dickstein et al. 2015)。其中，常见的高斯前向步骤写作

$$q(x_t\mid x_{t-1}) =\mathcal{N}\!\left(\sqrt{1-\beta_t}\,x_{t-1},\,\beta_t I\right),$$

学习得到的反向步骤则建模为

$$p_\theta(x_{t-1}\mid x_t).$$

这里，$x_t$ 是第 $t$ 步后的样本，$\beta_t$ 决定加入多少高斯噪声，$I$ 是单位协方差矩阵，$q$ 是固定的前向过程，$p_\theta$ 是学习得到的反向过程。后来的形式会采用去噪、分数匹配或随机微分方程，但都保留了学习如何逆转受控破坏过程这一核心思想；第 12 章 会详细展开这些版本。

这的确是数学和历史上的继承，但并不意味着图像生成器内部存在热量，也不表示它守恒物理能量，或像材料系统一样弛豫。得到移植的是随机过程的数学构造，不是原来的物理载体和因果机制。

进化策略也体现了相同的区分。现代进化策略会对参数采样扰动，评估扰动后策略的表现，再按适应度加权更新参数 (Salimans et al. 2017)。算法保留的是变异与选择这一抽象模式。它作为优化方法是否有效，并不取决于是否重现基因、个体或生态竞争。

争议所在：涌现是不是相变？

统计力学已经为一些定义明确的学习模型给出了真正的相变结果 (Seung et al. 1992)。当语言模型随规模增大而突然表现出某项能力时，人们很容易沿用这套语言。Wei 等人把“涌现能力”定义为在已有评测中，小模型上没有、较大模型上却出现的能力 (Wei et al. 2022)。这描述的是观测到的基准曲线，并不能据此确定发生了物理相变。

测量方式本身就可能制造断崖。如果模型给出正确答案的概率从 0.2 平滑上升到 0.4，精确匹配准确率仍可能长期保持为零，直到正确答案变成概率最高的答案时才突然跳升。连续评分可以显示阈值指标遮住的进步。Schaeffer 等人表明，非线性或不连续指标能够解释一些已报告的案例，也能在其他模型族中制造看似涌现的现象 (Schaeffer et al. 2023)。

要提出更强的相变主张，不能只凭基准曲线突然上升。还需要跨越模型规模的密集测量、不随指标选择而消失的结果、定义清楚的有序参量，以及临界点附近应有的标度行为。在某个具体案例满足这些检验之前，“相变”只能算假设或类比，而不是已经确立的机制。指标伪影能够解释一部分断崖，但这也不能反过来证明所有能力都会始终平滑提升。

启发式类比：名称保留了什么

只要边界清楚，宽松的类比仍然能够帮助设计。

错误不在于使用类比，而在于让熟悉感替尚未测量的说法提供证据。面对任何借来的思想，都应追问哪些对象彼此映射、哪些数学结构得到保留、哪些新预测能够迁移，以及联系在哪里失效。答案会告诉我们，眼前的是恒等关系、科学模型、移植来的工具，还是帮助理解的图景。

延伸阅读