第九部分 · 基础设施、算力与前沿 · 第 66 章

算力前沿：带宽，而非 FLOPs

作者Changkun Ou

阅读时长约 13 分钟

第 62 章已经把集群拆成三层带宽，并把模型 FLOPs 利用率作为诊断运行的数字。那一章讲这些层级如何工作，这一章则问每一层在哪里失效。这里的论点很直接：前沿真正稀缺的资源是字节，而不是算术；单块加速器已经变成小芯片封装；NVLink 边界从机箱移到机架；围绕 GPU 出现的各类加速器，差异在各自选择哪种带宽解法；而缓解带宽约束的路线，先要区分已经出货的东西和仍停在承诺里的东西。

图 66.1. 算力前沿不平衡的示意图。峰值 FLOPs 可能比内存带宽增长更快，使带宽与数据移动成为绑定约束。理想化相对增长，非实测。

基础设施弧线从这里开始。这一部分仍沿着全书反复追问的约束传导，从栈底走到栈顶，但每一层的问题换了：不是这一层如何工作，而是它在哪里失效、又往哪里去。路径从底部、从硅开始，因为过去两年里重排其上各层的瓶颈，起点正是在这里。

规格表突出峰值算力，但稀缺在别处

一块前沿加速器的规格表，头条是峰值算术吞吐，这个数字逐代猛涨，一旦精度从 FP16 降到 FP8 再降到 FP4，涨得更猛；FP16、FP8、FP4 是芯片所用的 16、8、4 位数值格式，每降一档，都拿数值精度换吞吐。只看这一行，这台机器像是在训练和推断最需要的那件事上越做越好。这一行没错，却几乎不切题。Transformer 的工作，不受制于乘累加单元能跑多快，而受制于操作数到达得多快。注意力解码（逐个生成词元，每一步都要把此前的全部上下文从内存重新读回）、混合专家路由（把每个词元只送给众多专家子网络中按词元挑出的少数几个），以及任何访问内存多于复用数据的内核，时间都花在等高带宽显存上，而不是等矩阵单元。第 62 章的屋顶线已经点明了这一点：一个内核的算术强度，就是它每从内存取一个字节所做的 FLOPs 数；当强度低于硬件所需的水平，可达吞吐便由 HBM 带宽决定，规格表承诺的峰值 FLOPs 触不到。

前沿的麻烦在于，屋顶线上的两个数字正在分叉，而且每一代都朝同一个方向分。在近几代加速器里，低精度矩阵吞吐增长得比每芯片 HBM 带宽快得多。准确的说法，是把这一趋势说成一个方向，而不是某个具体倍数，因为倍数取决于挑哪种精度、哪两代来比：从 V100 时代到 Blackwell，峰值算力的增长大约比显存带宽多出一个数量级，而近来 FP4、FP8 这两次跳跃把差距拉得更大，因为它们成倍提升算术吞吐，却没有提高字节搬运速度。于是一个内核要离开内存受限区所需的算术强度，每一代都在提高。这就是内存墙。它不是一时的制造滞后，而是贯穿这一章的结构性事实：这台机器的每一层，芯片、封装、机架，以及它们背后的电力，都受制于带宽，而不是算术。

图 66.2. 把前沿看作一组分层约束，每一道在不同层级生效。规格表头条的峰值 FLOPs 在最底层、最不稀缺；字节、封装面积、互连可达范围与兆瓦在它之上生效。本部分后面的每一章分别追踪其中一道约束。

芯片：一块装不下自己内存的裸片

最里面的约束是几何的。一台光刻扫描机一次最多曝光一个掩模版视场，上限约 858 mm² (Shilov 2026)。一块前沿计算裸片已经顶到这个极限，所以想加晶体管，可行办法是不再造一块裸片。现代加速器是若干计算小芯片加一排 HBM 堆栈，并排铺在一块硅中介层上，这正是 CoWoS（chip-on-wafer-on-substrate）这类先进封装。如今决定一块加速器能携带多少算力、多少内存堆栈的，是中介层，而不是逻辑裸片。TSMC 的中介层路线图，是整条前沿的供给侧时钟：今天约 5.5 个掩模版的面积、配五到十几个 HBM 堆栈，一个约 7,722 mm² 的九掩模版「Super Carrier」正为 2027 年做认证，再往后是越过十四掩模版、配 HBM5 级内存、走向本十年末的路线 (Shilov 2026)。这块中介层能不能造出来、能否取得，第 67 章会继续追踪；这里只需看到一点：掩模版极限把封装顶进了架构，让中介层面积成为凌驾于微架构之上的一等设计参数。

铺到中介层上的，大多是内存，而内存正是关键。NVIDIA 的 Rubin 一代，每块加速器约 288 GB HBM4、约 22 TB/s。Google 的 Ironwood，即 TPU v7，带 192 GB HBM3e、7.37 TB/s，是第一款原生支持 FP8、而非靠仿真支持的 TPU (Google 2025)。HBM 堆栈本身也是一道移动的前沿：HBM4 把接口翻倍到 2,048 位总线，第一批十六层堆栈在 2026 年初亮相，而堆栈底部的基底裸片正迁到逻辑工艺上，于是内存如今和算力争抢同一批前沿晶圆，这层耦合第 67 章会进一步展开。这些数字每个季度都在动，本章里任何一个具体数值都是时间戳，而不是常数。真正不变的，是那个比值：容量和带宽在涨，但涨得比消耗它们的算术慢，所以真实负载里内存受限的那一份，会随时间越来越大。

下层约束

HBM 带宽涨得比低精度矩阵吞吐慢，设下一道不断抬高的算术强度门槛。这个门槛限制了上两层的选择：越来越大比例的推断内核落进内存受限区，这正是服务层倚重 FP8、FP4 权重和激进的KV 缓存（key-value cache）管理（这套缓存存下每个词元算出的注意力键与值，让后续步骤直接复用、不必重算）、而不是更多 FLOPs 的原因（参见第 32 章与第 34 章）。给一个带宽受限的内核继续增加算术单元，通常难以改善吞吐。

机架：移动了的 scale-up 边界

第 62 章在节点处画了一条硬线：张量并行，这条最吃通信的轴，必须留在 NVLink 域内，而那个域是一个机箱里的八来个加速器。这条线已经移了。要把前沿看成演进、而非一份产品清单，最清楚的方式就是看它怎么移。NVLink 这套互连，起初是板内的芯片到芯片链路，长出 NVSwitch 交叉开关，让机箱里每块加速器都能满带宽互达，如今又被刻意拉伸到整个液冷机架。NVIDIA 的 GB200、GB300 NVL72 把七十二块 GPU 接进一个跨机架的 NVLink 一致性域，Rubin NVL72 则在保持外形的同时，再次把互连带宽大致翻了一倍。第 62 章里的规则仍然成立，但它的边界如今是机架，而不是机箱：张量并行留在 NVLink 域内，而这个域大了一个数量级。

图 66.3. 第 62 章钉在节点上的 scale-up 域已扩到机架。最吃带宽的并行轴如今能在一个一致性互连内跨 72 块加速器，而此前只跨约 8 块；越过域的边缘，只有稀疏通信才付得起更慢的互连。

为什么要扩大这个域？因为内存约束和并行的算术在互相作用。更大的一致性域，让一个模型的张量并行组、专家并行组能满带宽地跨越更多硅，于是一个万亿参数模型的每设备内存压力被摊开，而不必把通信需求最高的集合通信溢出到慢吞吞的跨机架网络上。机架成了前沿算力的单位，因为那是互连还能把一次集合通信藏在里面的最大范围。

这种扩张也有成本，铜链路接近距离上限。过了一个机架，可插拔光收发器每接口几十瓦量级的功耗，会占用过多机架功率预算。共封装光学把光纤搬到交换机封装上，把每接口功耗大致从 30 W 降到 9 W，这正是 NVIDIA 为 2026 年一路出货的 Quantum-X、Spectrum-X 共封装交换机所给出的理由 (Seyedi and NVIDIA 2025)。再越过固定拓扑，光路交换能让互连本身按训练阶段重新配置；近来一项由并行驱动的光学轨道工作报告，在几个百分点的训练开销下大幅降低了网络功耗与成本 (Ding et al. 2026)。贯穿其间的一条线是：如今限定一个一致性域能造多大、能冷却多大的，是互连的能量预算，而不只是它的带宽，这条线第 68 章会接着讲。

还有一步把老图景搅得更复杂了。NVIDIA 已经开始把 NVLink 域向第三方硅开放，于是一个机架可以把一块定制加速器或 CPU 混进一套原本属于 NVIDIA 的互连。这样一来，scale-up 域不再严格属于一家厂商的芯片，这对「未来的互连是专有还是开放」之争很重要。

加速器路线如何处理带宽

深度学习时代的大半时间里，商用 GPU 是前沿训练的默认选择，而它的软件生态形成了很高的迁移成本。带宽墙给更多加速器路线腾出了位置，各家的关键差异在于优化对象，而不是峰值 FLOPs 排座次。

定制专用集成电路（ASIC）选择垂直整合：把芯片和网络一起协同设计，省掉商用毛利。Google 的 Ironwood 能扩到 9,216 芯片的超级 pod，接成环面、用光路交换而非交换式胖树，直接瞄准以推断为主的负载结构 (Google 2025)。Amazon 的 Trainium 为自家机队采用了同样方向。它的优势在于协同设计：芯片、互连拓扑、编译器，都是为一家公司的模型一起调校的。

商用一侧，AMD 的路线侧重内存密度。它的机架级 Helios 系统塞进七十二块加速器，每块约带 432 GB HBM4，整域合计约 31 TB HBM、约 1.4 PB/s 聚合带宽，在内存容量上超过它对标的那套 NVIDIA 机架（后者约 21 TB），而在聚合带宽和峰值 FP4 吞吐上落后。这正是本章的主旨化成一个产品决策：如果瓶颈是字节，那就用更多字节来造这个机架，让出一部分算术。在出口管制下，Huawei 的 CloudMatrix 384 用瓦特、而非工艺节点走了同一方向：它把 384 块国产 NPU 跨十六个机架织成一个光学全互连的 all-to-all scale-up 域，通过规模达到前沿级的聚合算力与内存，代价是它所回应的那套西方机架数倍的功耗。已经公布的后继 Atlas 950 SuperPoD 把同一笔以瓦特换节点的赌注再放大一个数量级：8,192 块 Ascend 芯片织成一个光互连的 scale-up 域，内存堆栈自研，预定 2026 年底上市 (Huawei 2025)，这让 CloudMatrix 成了一条轨迹，而不是孤例。这两代系统提醒人们：scale-up 域这个想法是通用的；当拿不到最好的硅时，内存墙可以用能量来偿付；而算力前沿还有第二条战线，由谁获准买什么来定义，这条线第 67 章会接手。

另一端，是晶圆级。Cerebras 把整个模型的权重，放在一整张 900,000 核晶圆的片上 SRAM 里，没有 HBM 可流，并在延迟受限的解码上报出数倍于 GPU 的单用户词元率 (Cerebras Systems 2024)。这是对内存墙最直接的处理方式：只要从不离开裸片，就没有 HBM 带宽会成为瓶颈。它的约束是容量，因为片上 SRAM 装不下一个万亿参数模型，所以它赢的是延迟受限的服务，而不是最大的训练运行。存内计算和模拟加速器把这个想法推得更远，也离量产更远。

图 66.4. 加速器路线按各家针对带宽墙优化的对象区分，而不是按峰值 FLOPs 排座次。商用 GPU 与定制 ASIC 从相反的整合策略争夺同一负载；AMD 与 Huawei 用字节和瓦特回应墙；晶圆级则靠从不离开裸片来回应。

几条缓解路径，按成熟度排

判断这些路线，关键是按成熟度排序。这个领域的讨论常把已经出货的硬件和研究幻灯片混在一起，必须把二者分开。

正在出货的是机架级铜：NVL72 级的域已在量产，正是张量并行能跨七十二块设备的原因。一路出货到 2026 年的是共封装光学，铜在一个机架之外够不着时的下一步 (Seyedi and NVIDIA 2025)。

一条数值路径已经进了训练流水线。NVFP4 这类四位预训练格式，靠把操作数字节减半、同时保住精度，降低那道算术强度门槛：一个数十亿参数模型在 NVFP4 上训过数万亿词元，已经追平了 FP8 基线，而四位矩阵乘在近代硬件上以数倍于 FP8 的速率运行。不靠新硅，就能让一个内存受限的内核不那么受限，这是最直接的办法，因为它直接减少字节；格式细节留到第 34 章再谈，但前沿在意的理由是带宽，不是存储。

一条结构路径，是把负载拆到为各阶段专门化的芯片上。预填充，也就是处理一段长提示，是算力受限的，能容忍更便宜、更大容量的内存；解码，也就是逐词元生成，是带宽受限的，要的是稀缺的 HBM。于是一块围着充裕 GDDR 内存造的预填充专用加速器，能与处理解码的 HBM 部件配对，把昂贵的带宽只放在负载真正受它所限的地方。NVIDIA 在 2025 年发布过这样一块预填充专用部件，半年后又在 2026 年 3 月的大会上把它撤下路线图，有报道称这一思路可能在后续一代回归 (Tom's Hardware 2026)。一块发布半年即撤下的部件，本身就是需要保留、而不是抹平的前沿不确定信号，因为它显示这个领域仍在争论一件事：一旦把在两块芯片间搬运 KV 缓存的代价算进来，这一拆是否划算，而这是第 69 章会回到的一个系统问题。

更远处是可重配的光学互连 (Ding et al. 2026) 与晶圆级集成 (Cerebras Systems 2024)，它们已有真实演示，但还不是默认选项。

图 66.5. 缓解带宽墙的几条路，按成熟度排。左列在量产；右列已演示但非默认。中间两条不靠新互连，而是用数值和阶段专门化来缓解带宽墙。

争议所在

四场争论仍在进行，而各方的分歧在于哪一道非 FLOPs 的墙先生效，而不在于 FLOPs 是否还是上限。

一个一致性互连、一个开放标准，还是廉价以太网？ NVIDIA 押越来越大的专有 NVLink 域值这个钱。UALink 阵营想要一个开放的交换式标准，把 scale-up 层商品化。一个务实阵营则复用以太网交换硅来做 scale-up。整个 2026 年，务实派先出了货，因为当原生的开放标准交换硅还拿不到时，机架厂商退回到了以太网底座的互连。与此同时，NVIDIA 把自家互连部分开放给了第三方硅，于是专有对开放这条线本身也在模糊。
共封装光学是必选，还是可靠性风险？ 支持者说，铜出了一个机架就没有足够余量，光学是扩大这个域的主要办法。怀疑者指出，激光在机队规模下的可靠性与可维修性尚未经过验证，并为机架内的铜辩护。分界线是距离：机架间用光学，机架内仍为铜辩护。
定制 ASIC 会取代商用 GPU 吗？ 垂直整合一派说，协同设计的硅在以推断为主的负载上赢在每瓦性能。在位一派说，软件生态与灵活性让 GPU 仍是默认，ASIC 只在自家负载上赢。
晶圆级是答案，还是小众？ 它在延迟受限的单用户解码上明显赢，也明显装不下最大的模型于 SRAM。悬而未决的是：模型尺寸会不会停得够久，让片上容量追上来。

FLOPs 之上的稀缺资源

在这一层，能力、效率、信任都指向原始 FLOPs 之上的东西。能力不再由一块芯片能消化掉多少 FLOPs 决定，而由它能搬多少字节、一个互连能跨多少一致性硅决定，这正是机架取代芯片、成为前沿算力单位的原因。效率搬进了数值和网络：一个四位操作数和一个九瓦光接口，可能比一个更快的矩阵单元带来更多前沿能力，因为两者处理的都是字节、而非算术。这一层的信任，是供给与集中度：一次前沿运行如今要看少数几个买家能否拿到中介层面积和 HBM 堆栈，以及买家落在出口管制线的哪一侧，这正是第 67 章接下来要谈的配额约束。规格表上的 FLOPs 从来不是稀缺资源。稀缺的是字节、封装面积、互连可达范围，以及它们背后的兆瓦，而本部分余下的篇幅，就沿着这份稀缺往栈上走。