算力前沿：带宽，而非 FLOPs

第 62 章 介绍了算术强度，以及加速器集群内部的多个带宽层级。本章把这些概念变成一套定位系统极限的方法。贯穿全章的判断是：前沿系统的稀缺资源往往是字节搬运能力，而不是算术能力。但这不是一条放之四海而皆准的定律。要让它有意义，必须先说清工作负载、内存边界，以及跨过该边界的实测流量。复用充分的矩阵乘法可以耗尽算术单元；逐词元推理却可能等待权重、KV 缓存或集合通信。因此，“受带宽限制”是一项诊断结论，不是 AI 硬件与生俱来的统一属性。

这一区分很重要，因为加速器已经变成小芯片封装，而且在一个有代表性的系统里，NVLink 边界已经从单个机箱扩展到多节点域。这两项变化都没有消除数据移动。每项变化都移动了一道边界、改变了跨越它的成本，也创造了一个新的测量位置。

前沿是一组约束，不是单一指标

最初的 Roofline 模型把内核的运算强度与峰值算力、内存带宽放在一起比较 (Williams et al. 2009)。前沿系统需要的不止一条屋顶线，因为字节会跨越多道边界。一个训练步骤的乐观时间下界可以写成

$$T_{\text{step}} \ge \max\left( \frac{F}{P_{\text{eff}}}, \frac{Q_{\text{HBM}}}{B_{\text{HBM}}}, \frac{Q_{\text{up}}}{B_{\text{up}}}, \frac{Q_{\text{out}}}{B_{\text{out}}} \right).$$

其中：

• $F$ 是有效算术工作量，$P_{\text{eff}}$ 是针对具体工作负载的有效算术速率；
• $Q_{\text{HBM}}$ 是处理器与 HBM 之间的流量，$B_{\text{HBM}}$ 是该边界上的可持续带宽；
• $Q_{\text{up}}$ 与 $B_{\text{up}}$ 分别表示纵向扩展域内的流量与可持续带宽；
• $Q_{\text{out}}$ 与 $B_{\text{out}}$ 分别表示跨越横向扩展网络的流量与可持续带宽。

最大的那一项指出第一个优化目标。这条公式不是延迟预测器，因为它假设独立传输与计算可以完全重叠。依赖关系、排队、同步、协议开销与资源争用都会让实测时间更长；无法重叠的阶段可能需要相加，而不是取最大值。规格表峰值不能替代 $P_{\text{eff}}$，也不能替代任何一道边界上的可持续带宽。

# Illustrative units: work in operations, traffic in bytes, rates per second.
terms = {
    "arithmetic": 2.0e15 / 1.0e15,
    "HBM traffic": 8.0e12 / 3.0e12,
    "scale-up traffic": 1.0e12 / 9.0e11,
    "scale-out traffic": 5.0e11 / 2.0e11,
}

for name, seconds in terms.items():
    print(f"{name:18s} {seconds:.2f} s")

binding = max(terms, key=terms.get)
print(f"Binding term: {binding}")

这套模型也说明了为什么降低精度并不必然带来加速。只有当它能减少主导流量，或提高主导算术速率时，性能才会改善。额外的格式转换、填充、元数据，或没有变化的 KV 缓存路径，都可能让最大的约束项留在原处。

封装改变了内存边界

光刻设备一次曝光的面积受掩模版视场限制。接近这项极限的大型单片裸片继续增大时，成本会很高，也更容易受到缺陷影响。把逻辑拆成多个小芯片可以提高良率与复用率，但也会增加裸片间链路、封装工作与新的故障面。中介层为计算小芯片与 HBM 堆栈提供高密度布线；封装基板把整个组件连接到供电与板级信号。这些是不同的物理层，不能混为一谈。

这就是 CoWoS（chip-on-wafer-on-substrate） 封装，也就是把计算小芯片与 HBM 放在同一块硅中介层上的先进封装。TSMC 把 CoWoS 记录为一组集成技术，并介绍了面积超过单个掩模版视场的中介层 (TSMC 2026)。这些材料能证明封装技术的发展方向，却不能据此把供应商路线图外推成未来系统的精确容量。

HBM 为系统设计引入了几项彼此独立的量：

• 内存容量决定多少参数、激活值、优化器状态与 KV 缓存可以放在处理器附近。
• 可持续带宽是具体访问模式在考虑控制器、局部性、并发与协议影响后实际达到的速率。
• 流量体积由算法、张量布局、精度、重算策略与缓存行为共同决定。
• 每比特能耗意味着即使延迟已经隐藏，不必要的数据移动仍会增加供电与冷却成本。

HBM4 文档提供了一个范围明确的产品示例：SK hynix 与 Micron 都介绍了 2,048 位接口，宽度是上一代的两倍 (SK hynix 2025; Micron Technology 2026)。HBM4 还在堆叠的存储裸片下方加入了功能更强的基底裸片。但接口宽度本身不能说明实际交付的带宽、容量、良率、功耗或应用吞吐量，这些结果取决于完整封装与工作负载。

现在可以更准确地描述常说的“内存墙”。如果有效算术速率增长快于可持续 HBM 带宽，达到计算受限所需的算术强度就会提高。这条不断抬升的门槛只影响位于门槛以下的工作，有足够复用的内核仍可受算力限制。

纵向扩展域可以跨越多个节点

纵向扩展域是通过系统中延迟最低、带宽最高的设备网络相连的一组加速器。横向扩展网络则连接多个这样的域。这一区分是运维层面的：它会改变集合通信延迟、对分带宽、路由、拥塞与故障代价，并不意味着所有系统都采用同一种拓扑。

NVIDIA DGX GB200 NVL72 是一个当前且范围明确的产品示例。官方文档描述了一个机架内由 72 块 GPU 组成的 NVLink 域，其中包含 18 个计算托盘、9 个 NVLink 交换机托盘与无源铜缆背板 (NVIDIA 2026)。配套调优指南把它描述为早期八 GPU 纵向扩展系统的进一步扩展 (NVIDIA 2026)。协议边界是 NVLink 域，而不是机柜，其他参考布局可以采用不同方式分布这个域。密集布线也并不会让 72 块 GPU 变成一台设备。软件仍要管理独立内存、进程、地址空间、逻辑拓扑与同步，以及一个多节点故障域。

放置策略必须服从流量，而不是服从缩写。张量并行组通常频繁执行全归约；专家并行组交换按路由分发的词元数据；流水线并行阶段发送激活值；数据并行副本同步梯度或参数。但究竟哪个组最值得放进高速域，取决于消息大小、频率、重叠程度、集合通信算法、模型形状与争用。可靠的做法是测量每条边，把最重且对延迟最敏感的通信映射到逻辑拓扑，再验证端到端时间。

开放规范不等于已经可用的实现。UALink 1.0 规定了每通道 200 Gb/s 的纵向扩展接口，以及最多 1,024 个加速器组成的交换域 (UALink Consortium 2025)。它给系统构建者提供了共同目标，却不能证明规范描述的交换机、线缆、软件栈或大规模部署都已可用。

在机架间距离上，横向扩展网络已经采用光学链路。共封装光学改变的是电光转换发生的位置：把光引擎放到交换芯片附近，可以缩短损耗较高的电通道，并缓解面板端口密度压力。但它也会把光学器件与高温、高成本的封装绑在一起。可靠性、激光器位置、测试、维修与可维护性于是都成为架构问题 (Minkenberg et al. 2021)。这项技术不会扩大 NVLink 域。

光路交换是另一种思路，它会重新配置物理路径。TPU v4 是已经记录在案的部署案例，其中光路交换机会改变大型系统的拓扑 (Jouppi et al. 2023)。Opus 则是一项在不同并行阶段边界重新配置光学链路的提案，目前仍是研究原型 (Ding et al. 2026)。两种技术都不会让通信变成零成本。

架构选择只会移动约束，不会消除约束

比较不同加速器设计时，真正有用的问题是：它改变上面下界中的哪一项，又把什么成本暴露到别处。

传统 HBM 加速器保留了广泛的软件接口，并面向多种张量形状。它的封装提供高容量、高带宽的外部内存，但权重与激活值仍需跨越 HBM 边界。定制加速器可以针对较窄的工作负载协同设计数据流、编译器、内存与网络；收益取决于实际工作负载与设计目标有多相似。

晶圆级集成选择了另一种局部性位置。Cerebras 的架构把 SRAM 与计算单元分布在晶圆级设备上，并使用专用的晶圆内、晶圆外互连 (Lie 2023)。这可以提高局部性与设备内带宽，但 SRAM 容量、缺陷管理、编译、系统 I/O 与多系统扩展仍是约束。“没有 HBM”只移除了一道明确的边界，并不会消除状态与数据移动。

因此，技术主张应附带证据状态。截至 2026 年 8 月 7 日，本章使用以下标签：

例如，上文的 NVL72 机架由运维指南记录，属于可用系统；Opus 是研究原型 (Ding et al. 2026)；UALink 1.0 是开放规范。供应商路线图在有日期的量产或部署证据出现前，只能算已发布产品。这些标签会变化，引用的证据也应随之更新。

预填充与解码是工作阶段，不是固定的硬件类别

预填充会沿提示词序列并行处理。解码通常一次推进一个或少数几个位置，同时读取模型状态与 KV 缓存。因此，预填充往往有更多复用，解码往往算术强度更低，但这只是条件性的判断。批次大小、序列长度、模型架构、量化、张量形状、内核融合、缓存布局与并行放置，都可能让任一阶段跨越不同约束边界。

把两个阶段拆到不同设备池，可以分别针对容量、带宽与调度做优化，但也会产生一道阶段边界：KV 缓存状态必须传输或允许远程访问，请求需要重新路由，两个设备池还要在不断变化的工作负载下保持平衡。只有当节省的计算或内存时间超过传输、排队与利用不足的成本时，这种设计才更好。第 32 章 会展开这些服务取舍，第 69 章 则会讨论相应的运维故障模式。

每条破局路径都只改变一个明确的约束项

摆脱带宽限制不存在一条统一的成熟度阶梯。这些机制可以组合使用，而且每一种都在用一种资源交换另一种资源。

第 34 章 会说明 FP8 与 FP4 在什么条件下能减少字节而不造成不可接受的数值损失。第 68 章 则会追踪所选路径增加封装、链路或格式转换后产生的能源与冷却成本。

无论采用哪条路径，都要重新测量步骤时间、质量、功耗与成本，确认主导约束确实已经改变。

如何比较前沿系统

有意义的硬件比较应从运行契约开始，而不是比较两个峰值数字。至少应记录：

1. 正在测量的模型与操作；
2. 张量形状、批次大小与序列长度；
3. 输入、权重、累积、通信与存储状态所用的精度；
4. 软件版本、编译器选项、内核与通信库；
5. 设备数量、放置方式、物理与逻辑拓扑，以及竞争流量；
6. 流量体积与各相关边界上的持续带宽；
7. 预热后的延迟与吞吐量分布，而不只是最好的一次结果；
8. 功耗边界，是芯片、电路板、机架、冷却开销还是整座设施；
9. 可用性、故障行为、维修假设与恢复时间；
10. 成本范围、币种、利用率与时间跨度。

分三轮测量。第一轮使用与工作负载相同的消息大小和访问模式，对每道边界做微基准测试。第二轮分析关键内核与集合通信，估算上面下界中的各项。第三轮运行端到端工作负载，并解释下界与观测时间之间的差距。只有当明确指出的主导项下降、端到端结果随之改善，而且质量与可靠性仍在声明的验收范围内时，加速主张才可信。

因此，算力前沿不是一个 FLOPs 数字与一个带宽数字之间的竞赛，而是一组流量会随程序改变的边界。真正长期有用的能力，是找出当前生效的边界，区分可持续速率与峰值，并继续追踪移动这道边界后，成本会落到下一层的什么地方。

延伸阅读