领域地图与如何阅读本书

第 1 章区分了模型开发和请求执行。本章把全书其余内容放在这两条主线周围：每一部分解决什么问题，哪些联系是依赖关系而不是阅读顺序，不同说法得到多强的证据支持，以及读者怎样从中间某处开始，而不必先读完前面的每一章。

由此得到的结构并不是一条管线。有些部分描述模型生命周期的阶段，有些描述运行时组件、证据、物理约束或运营条件。如果把它们全部排成连续步骤，反而会遮住本书真正要说明的联系。

两个过程与若干贯穿全书的议题

模型开发过程负责产出并修订可部署的模型，包括数据准备、基座模型形成、后训练、评测和发布。请求执行过程始于部署之后，包括模型服务、模型调用、工具使用、观测结果和面向用户的输出。推理方法可能作用于任一过程：有些会改变训练，有些则在模型调用期间分配更多计算。

还有几类议题贯穿两个过程。算力基础设施限制能够训练和服务什么模型；评测为系统行为提供证据；安全与治理规定哪些行为可以发生、需要哪些控制；经济条件决定哪些设计能够长期维持；运营则把这些选择落实为服务目标、事故处理流程，以及下一次发布所需的反馈。

本章所说的依赖关系，是指一项设计需要另一项设计提供某个工件或属性。反馈关系，是指下游的证据或成本改变了前面的决策。两者都不决定相关章节的阅读顺序。

十二个部分各在何处

图 2.1 只画出第一至第十二部分之间的一部分依赖关系。它有意不画成完整的系统图，因为如果把所有评测、安全、经济和运营关系都放进去，图就无法阅读。图后的表格会直接说明每一部分的作用。

全书编号只是编辑顺序，图中画的是依赖关系。例如，第九部分排在第一部分之后，却画在它下面，因为硬件会约束模型训练。第七和第八部分画在已部署系统附近，但评测与安全同样会约束数据、训练和发布决策。第十二部分位于全书末尾，是因为它综合运用前面的内容，而不是因为运营只在开发完成后才开始。

两类反馈关系会在全书反复出现。第一，运行时需求会反过来影响模型开发决策。对于达到同一质量目标的模型，当服务量超过某个值时，训练成本较高但服务成本较低的设计可能更合适。这个结论取决于工作负载、硬件利用率、输入与输出长度以及模型寿命，不是把小模型延长训练当作普遍准则 (Sardana et al. 2024)。第 1 章给出了生命周期成本模型及其盈亏平衡条件。

第二，评测和运营会影响后续版本。一次失败可能暴露出缺失的测试、不安全的权限、欠缺的训练示例或服务能力上限，应该怎样处理取决于根因。重新训练模型无法修复运行时授权错误，修改基准也无法补全产品需求。

说法有多可靠？

如果把定义、测量结果和假设写得同样肯定，技术文字就会令人困惑。本书把说法大致分为三类。

扩展律是第二类说法的重要例子。Kaplan 等人在所研究的范围内发现，语言模型损失与模型规模、数据量和训练算力之间近似服从幂律关系 (Kaplan et al. 2020)。只考虑算力时，可以用下面的简单拟合表示：

$$L(C) \approx L_\infty + A C^{-\alpha}.$$

这里，$C$ 是拟合范围内的训练算力，$L(C)$ 是使用算力 $C$ 完成训练后的验证集交叉熵损失，$L_\infty$ 是拟合得到的损失下限，$A>0$ 决定可约损失的尺度，$\alpha>0$ 是拟合出的扩展指数。这个方程概括了在特定数据分布、架构族和训练流程下测得的规律。一旦这些条件改变，它并不保证指数仍然相同。

下面的交互图只画归一化的可约项 $L_{\mathrm{red}}(C)=C^{-\alpha}$，并令 $A=1$、$L_\infty=0$，以便看清斜率。$L_{\mathrm{red}}(C)$ 表示归一化可约损失，其余符号沿用上面的定义。这只是形状示意，不是对真实训练任务的预测。

本书范围与互补资料

本书面向希望理解模型、系统、产品与运营决策如何相互影响的读者。它会讲到足以准确说明依赖关系的机制，但不能替代完整的语言模型实现课程或加速器集群编程课程。刚接触 Transformer 的读者，宜先阅读 第 7 章 和 第 8 章，再进入服务、推理和编排部分。

以下资料会针对更窄的任务讲得更深。

本书关注的是这些专业领域之间的联系。服务负载会改变模型的经济性，评测协议会改变后训练奖励的目标，权限边界会排除某些原本能力足够的智能体设计，硬件容量、能源供应和成本则会缩小团队实际能够运营的模型范围。这些影响都有明确的成立条件，不是决定整个系统的单一原因。

怎样使用各章

各章并不套用同一套固定标题，但会反复回答以下问题：

1. 这个组件要解决什么问题或约束？
2. 它的机制怎样工作，又依赖哪些假设？
3. 哪些证据支持它，还有哪些说法尚不确定？
4. 它在能力、效率或运营复杂度上要付出什么代价？
5. 哪些早期选择会约束它，它又会影响哪些后续选择？

「争议所在」框标记尚无定论的解释或设计选择，「下层约束」框标记跨越章节边界的依赖关系。它们都不能代替周围正文中的证据。

能力、效率和信任是三个评测问题，不是一笔固定预算。能力考察系统能否完成预期任务，效率考察结果需要多少资源和延迟，信任则追问哪些证据、控制和恢复机制足以让人依赖这个结果。一项干预可能同时改善多个维度，也可能损害其中一个，或者不产生影响。

选择阅读路线

如果从中途开始阅读，应当持续追问四件事：这里涉及哪个过程或贯穿性议题，它依赖什么，证据能支持多强的说法，以及它会改变哪项下游选择或上游反馈。比起背下一条线性的技术栈，这些问题更有用。

延伸阅读