借来的思想：AI 向其他科学借了什么

这个领域很少从零发明。它的核心算法，许多都从更老的科学里借来：信息论、物理、神经科学、心理学、生物学。真正需要分清的是两类借用。有些变成了共享的数学，AI 里的对象与原来的对象可证明是同一个方程；另一些只停留在共享的词汇，借走了一个词，却没借走机制。下面沿着几项强借用走同样的三步：受到启发、被形式化、然后抵达分岔点，工程在那儿留下能计算的部分，放弃其余部分。这一区分会贯穿全书，读者读下去就能分清哪些跨学科直觉作为机制站得住，哪些只是一幅帮助理解的图。

压缩就是预测

最深的那项借用也最精确，它支撑着本书讨论的每一个模型。Shannon 给了这个领域熵，即一个信源中的平均信息量，以比特为单位，还给了一个有着清晰推论的结果：一个以概率 $p$ 抽到的符号，其可能的最短编码长度是 $-\log_2 p$ 比特 (Shannon 1948)。把这个恒等式倒过来读，它就不再只是关于编码。一个给下一个词元（模型所要预测的下一小段文本）赋予概率 $p$ 的模型，要花 $-\log_2 p$ 比特来编码它。模型的损失是一个单一的数，用来衡量它的预测错得有多离谱，训练做的就是把这个数往下压；于是这个被训练去最小化的交叉熵损失，在一整个语料上累加起来，恰好就是那个语料在该模型下被压缩后的比特数。降低损失与把文本压得更短，是同一件事。这个对应是精确的、而非诗意的：对任何分布，都存在一个长度为 $\lceil -\log P\rceil$ 的前缀码，而任何前缀码也都定义一个分布，Grünwald 称这是整套理论背后最重要的观察 (Grünwald 2004)，而算术编码（arithmetic coding）把带小数概率的符号写成一条近似最优的比特码流，离熵只差一两个比特。

下面这段可运行代码把这个等价落到实处：一个学到了符号频率的模型能接近熵的下限，而一个均匀模型则会浪费比特；二者各自每符号的代价，正是它的交叉熵。

import numpy as np
from collections import Counter

msg = "abracadabra"
freq = Counter(msg); n = len(msg)
p_emp  = {c: freq[c] / n for c in freq}              # 一个学到了频率的模型
p_unif = {c: 1 / len(freq) for c in freq}           # 一个一无所知的均匀模型

def bits(model):                                     # 该模型下的最优编码长度
    return sum(-np.log2(model[c]) for c in msg)

print(f"uniform model:   {bits(p_unif):5.1f} bits  ({bits(p_unif)/n:.2f} bits/symbol)")
print(f"frequency model: {bits(p_emp):5.1f} bits  ({bits(p_emp)/n:.2f} bits/symbol)")
H = -sum(p_emp[c] * np.log2(p_emp[c]) for c in freq)
print(f"entropy (the floor):              {H:.2f} bits/symbol")
print("a better predictor is a smaller file: cross-entropy in bits IS the code length")

这不是 AI 后来才采用的一个比喻，它就是训练目标本身。Delétang 等人把这一点说得很清楚：他们把一个训练好的语言模型当作真正的压缩器来使用。在文本上训练的 Chinchilla 70B，把 ImageNet 的图像块压到其原始大小的 43.4%，胜过 PNG 的 58.5%，把 LibriSpeech 的音频压到 16.4%，胜过 FLAC 的 30.3%，而这些都是它从未专门面向的模态 (Delétang et al. 2024)。这个说法有一处常被略过的关键限制：那些是忽略了压缩器自身大小的原始压缩率。把账算全，用两部分编码（two-part code）来算，也就是先付模型描述长度、再付数据在该模型下的描述长度，这个 LLM 并不能净压缩任何小文件。所以严谨的说法范围窄但成立：训练在最小化描述长度；而那个营销式的说法，即这个 LLM 是个出色的压缩器，只有在权重免费时才成立。

那套两部分的核算本身也是一项借来的原理。Rissanen 的最小描述长度（MDL）挑选那个使 $L(H) + L(D \mid H)$ 最小的模型 $H$，即描述模型所需的比特，加上在该模型下描述数据所需的比特 (Rissanen 1978)，这把奥卡姆剃刀变成一个可计算的判据：压缩得最多的那个假设，学到的也最多。这项借用与源头的分岔也很清楚。它的理想版本，用 Kolmogorov 复杂度来度量描述长度，是可证明不可计算的，于是实用的 MDL 刻意缩小到一个表达力较弱、但可计算的模型类，并接受某些确有规律的序列对它而言就此变得不可压缩 (Grünwald 2004)。工程留下了原理，放弃了那个理想。

一个大脑也在计算的奖励误差

下一项借用走的是罕见的方向，从算法到生物。Sutton 在 1988 年把时序差分（temporal-difference）学习形式化为一条更新规则：以两个相继预测之间的差、而非一个预测与最终结果之间的差，来分配信用 (Sutton 1988)。在结构上，这个更新就是普通的监督规则做了一处替换，即把真实结果换成模型自己的下一个预测，

$$\Delta w_t = \alpha \, (P_{t+1} - P_t)\, \nabla_w P_t,$$

它在 第 28 章 的奖励设定里，就成了驱动价值更新的那个奖励预测误差 $\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$。这些符号属于后面那一章，也会在那里展开；初读至此，只需留意它仍是同一种「差」的形状。这一形式化在先。九年之后，Schultz、Dayan 与 Montague 直接建立在它之上，报告说中脑的多巴胺神经元正是按那个量在放电：它们对一个意外的奖励有反应，一旦某个线索能可靠地预示奖励便归于沉默，而当一个被预示的奖励被扣下时则跌到基线之下，这是一个预测误差、而非一个奖励信号的标志 (Schultz et al. 1997)。一个为机器学习写下的方程，后来描述了大脑里的一条回路，这正是这项借用值得同那些装饰性的借用分开来看的缘由。

这里也能看见那份共享数学仍在被修订。Dabney 等人发现，多巴胺神经元并非都在追踪同一个标量误差：不同的神经元各自携带乐观与悲观的预测，于是这群神经元编码的是一整个未来奖励的分布，即分布式强化学习在生物上的回响 (Dabney et al. 2020)。那个标量预测误差的故事，已经准确到足以预言这些细胞，却还不完整，它们至今仍在改写它；这说明两边的连接仍在发展，而不是一个已经闭合的类比。

扩散里的物理

物理为这个领域提供过一个生成算法。第 12 章 的扩散模型是从非平衡热力学推导出来的，而不只是受其启发：Sohl-Dickstein 等人取一个已知的前向过程，一步步地把一个数据分布里的结构慢慢摧毁成噪声，再训练一个逆向过程把它还原，而他们把这一构造建在马尔可夫扩散核与统计力学里的 Jarzynski 等式这些物理工具之上 (Sohl-Dickstein et al. 2015)。这项借用很快就到了它的分岔点。现代的配方留下了那套前向与逆向的数学和训练目标，却几乎不再保留物理语言：实践者很少再提热力学，逆向过程是一长串习得的去噪步，而非一次朝平衡的物理弛豫；后来的工作又把整件事改写进了分数与微分方程的语言。热力学是最初搭建这套方法的数学支撑，不是方法本身。

留作隐喻的那些借用

上面那些借用变成了数学。另一些则借走一个词、把机制留在了身后；如果把它们读成真实结构，而不只是一幅图，就会高估这些类比。双过程心理学是清楚的例子：System 1 与 System 2 这两个标签，由 Stanovich 与 West 提出 (Stanovich and West 2000)、经 Kahneman 推广 (Kahneman 2011)，松散地对应到一次快速的前向传播、相对于 第 30 章 那些刻意的长链，这幅图能组织设计空间，但一个多花词元的模型并没有在运行第二个认知系统，架构里也没有任何东西对应那条区分。进化是从另一侧的相似情形：进化策略（evolution strategies）靠扰动一个模型的参数、并留下得分高的来优化它，而 Salimans 等人明说这是一类黑箱优化，是梯度强化学习的一个替代，不依赖于活的系统的任何性质 (Salimans et al. 2017)。作为生物学它是最弱的借用，作为工程它是有用的。

连神经元也大半只是个名字。McCulloch 与 Pitts 把一个神经细胞建模成一个阈值逻辑单元 (McCulloch and Pitts 1943)，Rosenblatt 在感知机里让它可训练 (Rosenblatt 1958)，Hebb 给出了共同激活的细胞会强化其连接的规则 (Hebb 1949)，但一个 Transformer 里的单元，是一个生物神经元的高度简化模型，而这个领域称作注意力的那个机制，除了名字之外与认知意义上的注意力共享甚少。这个领域仍在关注那些更深的大脑理论，预测编码，即皮层把预测向下送、只把误差向上送 (Rao and Ballard 1999)，以及 Friston 的自由能原理，即一个系统行动起来去最小化自身的惊异 (Friston 2010)，作为对人工系统的解释依旧有启发但未定。模式每次都相似：借用、形式化、分岔。把那些变成了共享方程的借用，即训练的编码视角、多巴胺的吻合、扩散的热力学推导，当作机制来信；而把那些停留在共享词汇的，即神经元、注意力、记忆、那第二个系统，当作帮助组织直觉的图像，它们引导了设计，却没有约束设计。

延伸阅读