小结

第九部分把视线移到模型之下。它先解释加速器带宽，再梳理连接模型与硬件的软件层：自动微分、将其用于工业生产的训练框架，以及编译器与内核。在最底层，决定成本的是数据搬运量，而不是 FLOPs；单一厂商长期积累的软件生态，也由此形成业内最难跨越的壁垒。随后讨论的是集群编排、数据基础设施、芯片制造、供电，以及规模化系统中的故障。

真正的瓶颈很少写在模型卡上。它可能来自 HBM、某个网络层级、电力接入、出口管制、检查点系统或故障分布。基础设施不是一张静态的设备清单，而是不断变化的物理条件与运行约束；忽视这些约束的设计，最终无法运行。

本部分最后留下一个供给问题：先进封装、HBM 和并网接入，能否按照训练路线图预设的进度扩张？答案不只取决于芯片设计，还取决于出口管制、晶圆厂产能，以及等待期以年计算的电网接入队列。无论基础设施如何扩张，有些限制都无法靠硬件供给解决：增加 HBM 无法凭空增加训练数据，加快互联无法衡量最终模型的能力，两者也无法降低核验系统产出结论的成本。第十部分将讨论这些位于机器之上的限制。