机密推理：可信执行与私密服务

上一章问的是权重记住了什么、怎样让它遗忘；这一章对服务路径本身提出一个更冷的问题。当一家企业把提示词发给托管模型时，「我们不会用你的数据训练」是一句写在合同里、事后靠审计、机器里没有任何东西强制执行的承诺。从用户的 TLS 连接到 GPU 之间的每一个环节，提示词对机器的运营者都是可读的。机密推理要做的，就是把这句承诺换成一个机制：让硬件能证明自己在运行什么软件，连运营它的人也挡在外面。本章依次讨论威胁模型、从 CPU 隔离区到覆盖整块 GPU 的可信执行谱系、值得研读的已部署设计、密码学替代方案为何在成本上差出几个数量级，以及这道硬件边界仍然守不住什么。读完本章，读者能说出一套机密服务栈究竟保护什么、防的是谁、开销多大，以及信任最终落在了谁身上。

承诺不是机制

先把对手列出来，因为不说清防的是谁，「私密」就无从谈起。一套托管推理栈上，至少有五方可以在没有本章机制的情况下读到提示词。云运营者控制着服务虚拟机之下的虚拟机监控器。内部人员握有日常运维授予的凭证。同一台物理机上的其他租户共享着微架构层面的攻击面。AI 服务商自己运营着服务软件，它的隐私声明因此是自我作证。而服务商读得到的东西，传票就能强制交出。合同性的控制手段，零留存协议与合规审计，对这五方给出的都是承诺；没有一个是从构造上成立的保证。

这个问题还是对称的，而对称性容易被忽略。用户的提示词需要防住基础设施，服务商的权重也需要防住同一套基础设施：一个部署到租来的或客户控制的硬件上的前沿模型，是一个以训练成本计价的盗窃目标。已发表的机密推理设计把两个方向放进同一个架构处理：权重只释放给证明过自己身份的环境，提示词也只加密给同一个被证明过的环境 (Anthropic and Pattern Labs 2025)。请记住这两条流向；同一套机制同时承载它们。

能保守秘密的硬件

这个机制就是可信执行环境（trusted execution environment，TEE），核心思想是远程证明（attestation）：硬件度量自己加载的软件，把启动链每一级的哈希记入以硅片内熔铸密钥为根的寄存器，事后可以对这些度量值签出一份报文，远端在核对签名链与期望值之后，才释放任何敏感数据。信任从「运营者说是」变成「硅片为这套软件栈签了字」。这个领域花了十五年学会的，是这道保证的边界应该画在哪里。

第一次画得很紧。Intel 于 2015 年推出的 SGX 保护的是单个进程的隔离区（enclave），对机器上其余一切设防，包括操作系统 (Costan and Devadas 2016)。对机器学习来说，它的形状错在三处：受保护内存起初以 MB 计，模型却以 GB 计；应用必须改写成隔离区一半、不可信一半；GPU 则完全无法参与。它还给这个领域留下了最让人清醒的教训：瞬态执行攻击提取出了 SGX 自己的证明密钥，从此确立了两件事，一是经过证明的硅片仍会从微架构侧信道泄漏，二是这道边界是工程造物，不是数学证明 (Van Bulck et al. 2018)。第二次画界吸收了两个教训。AMD 的 SEV-SNP 与 Intel 的 TDX 对整台虚拟机做加密与完整性保护，于是一套未经修改的服务栈，连推理引擎带驱动，全都跑在一台机密虚拟机里：它的内存，虚拟机监控器既读不出，也无法在不被察觉的情况下篡改 (AMD 2020; Cheng et al. 2024)。SEV 架构师的复盘坦率承认，走到这一步花了十年的修补 (Kaplan 2023)。Arm 的对应设计在出货前就完成了形式化验证，是这个领域最干净的纸面方案，仍在等待量产硬件 (Li et al. 2022)。

把边界扩到 GPU

一台机密虚拟机若没有配套的机密 GPU，就等于保护了一切，唯独漏掉要害，所以决定性的一步发生在 NVIDIA 的 Hopper 一代给加速器装上自己的信任根之时。在机密计算模式下，GPU 的固件与机密虚拟机的报告一起接受证明，CPU 与 GPU 之间的流量经由受保护虚拟机里的中转缓冲区，加密后再穿过 PCIe 总线。封装内部，模型、KV 缓存（key-value cache）与激活值住在由硬件访问控制而非整体内存加密守护的 HBM 里；明文孤岛只有两个硅片封装，两者之间线缆上的一切都是密文。

这样做要付出的代价，正是让整个行业转向的那个结果：对大语言模型服务而言，几乎不用付。对 H100 的测量发现，开销全部集中在加密的 CPU 到 GPU 传输上，典型 LLM 负载的吞吐损失低于 5%，且随模型增大、批次拉长而趋近于零，因为主导大模型推理的计算时间把一笔固定的按字节传输税摊薄了 (Zhu et al. 2024)。下面的可运行单元仅凭成本模型就复现了这个结论的形状。剩下的边界缺口，多加速器服务里 GPU 之间的流量，由 Blackwell 受保护的 NVLink 补上，一道经过证明的边界从此覆盖整个服务节点，厂商声称吞吐量接近持平。

# 每请求耗时 = 计算 + 传输 * (1 + 税)：这笔税只落在 PCIe 一段上
compute_per_tok, xfer_per_req, tax = 8e-3, 6e-3, 0.35   # 秒，秒，机密模式开销
for batch in [1, 4, 16, 64, 256]:
    plain  = compute_per_tok * batch + xfer_per_req
    cc     = compute_per_tok * batch + xfer_per_req * (1 + tax)
    print(f"批次 {batch:4d}: 机密模式减速 {(cc/plain - 1)*100:4.1f}%")
print("固定的按传输计的税在计算之下消失：小批次高频交互付得最多，")
print("大模型大批次的服务把它摊到近乎为零")

生产环境里的设计

到 2026 年，这个设计空间已经有了真实出货的样本，把它们放在一起读，能看到一个行业从三个方向收敛到同一个形状。

Apple 的 Private Cloud Compute 于 2024 年随助手查询开始上云而发表，至今仍是陈述得最完整的设计，它的五项要求值得当作这个领域的检查清单记住：无状态计算，用户数据不在请求之外留存；可强制执行的保证，性质必须从机制推出而不是从政策推出；无特权运行时访问，即使排障也没有 shell 或调试通道；不可定向，无法把选中的用户路由到被攻破的节点，部分靠第三方中继实现；可验证的透明性，每一份生产软件镜像都发布到密码学日志，客户端设备先查日志再发送任何数据，被悄悄改动的服务器因此收不到流量 (Apple Security Engineering and Architecture 2024)。Apple 把它建在自家硅片上；输出给行业的是这五项要求，不是那块芯片。Meta 的 WhatsApp Private Processing 用通用部件重建了同一套要求，SEV-SNP 机密虚拟机加 NVIDIA 的 GPU 机密模式，再配匿名中继实现不可定向 (Meta 2025)；Google 的 Private AI Compute 则给出第三条硅片路线，让 Gemini 模型跑在 TPU 隔离区里，作出同样的「包括我们自己也看不见」的承诺 (Google 2025)。在这些为隐私而设计的系统之下，超大规模云厂商出售原材料：Azure 与 Google Cloud 的机密 H100 实例把机密虚拟机与 GPU 证明打包上架。AWS 的 Nitro Enclaves 值得一条谨慎的脚注，而不是同一份名单里的一席：它靠架构隔离并证明自己所运行的软件，但不对平台自身加密内存，被设计排除在外的是客户自己的管理员，AWS 仍在信任边界之内 (Trail of Bits 2024)。本章能教给读者的，大半就是细读每个系统防的是谁、为谁而防。

替代方案输在成本上

有密码学背景的读者，想必一直在等这个反驳：可信硬件是信任的搬迁，不是信任的移除，而密码学提供的保证不依赖任何人的硅片。这个反驳是对的，只是眼下还付不起。全同态加密（FHE）直接在密文上计算，对哪怕不大的 Transformer 也还停留在每词元数分钟的量级，部分原因是现有 FHE 方案都无法高效复用 KV 缓存，自回归解码因此放弃了服务所依赖的那个最关键的优化。安全多方计算（MPC）好一个数量级，但对交互式使用仍然无望：里程碑结果是三方协作推理 LLaMA-7B，每生成一个词元约五分钟 (Dong et al. 2023)。还有两种相邻技术，恰恰因为太常被错认成本章问题的解，值得把位置摆清楚。差分隐私约束的是训好的模型能泄漏多少训练样本的信息 (Abadi et al. 2016)，对谁能读到推理时的提示词只字未提。推理的零知识证明让服务商能证明自己确实运行了所声称的模型，但证明者看得到明文数据：那是完整性，不是机密性。把这些都画到同一根开销轴上，市场的选择就不言自明了：明文 1.0 倍，TEE 约 1.05 倍，MPC 接近一万倍，FHE 超过十万倍。TEE 是曲线上唯一与生产服务兼容的点，而它的价钱不用吞吐量支付，用信任支付：保证的成色，就是硅片厂商的设计、密钥与固件的成色。

边界守不住的东西

这些局限值得同等的篇幅，因为一道被夸大的边界，会在部署中失守。第一，加密的流仍然有形状。一项测量研究表明，流式助手回复逐词元的报文长度，足以让网络观察者在不解密任何东西的情况下精确重建 29% 的回复、推断出超过一半回复的主题 (Weiss et al. 2024)；解法是填充与合批，这笔延迟代价，任何 TEE 都无法代为支付。第二，从 SGX 至今的微架构记录说明，侧信道只能被管理，从未被根除。第三，边界包住的是计算，不是计算里面的行为：一个有工具访问权的模型可以被提示词注入诱导，把硬件保护着的上下文亲手送出去，这是 第 56 章 的问题，到了这里也不会消失。第四，证明把信任集中化：每一份报文都沿签名链追溯到 Intel、AMD、NVIDIA 或 Apple，核验服务与厂商一样集中。透明性日志，也就是 PCC 的回答，缓解的是运营者的自由裁量，改变不了锚点的归属。而锚点的归属也是一个主权事实：所有已出货的信任根都属于美国公司，一个购买机密推理的政府，等于把对美国云的信任换成了对美国硅片的信任。

延伸阅读