选择模型

任何技术栈里，第一个落地的决定就是调用哪个模型。它看起来像个质量问题，其实多半不是。稳妥的顺序是先把模型放到从闭源到开源的坐标轴上，读懂许可证究竟允许什么；再在三个排行榜之间交叉验证，不把任何单一榜单当成最终依据；随后跑一套小规模评测来确定选择。选定之后，还要把结果固定下来、接入技术栈，让某个厂商每周一次的小版本更新无法悄悄改变自己的产品。对应的理论背景在 第 73 章 和 第 47 章：前者勾勒开放性这条坐标轴，后者说明为什么一个公布出来的分数，是关于「模型加测量框架」二者合一的论断。

主坐标轴：租用还是自有

有一条坐标轴几乎能预测模型选择的其余一切，而它不是质量。它问的是：究竟是在一个计量计费的 API 后面租用能力，还是自有权重、自己运行。

前沿托管模型是某个实验室愿意暴露出来的最强通用模型，部署在按 token 计费的 API 后面。向它发送 token，由实验室计费，而权重从不归自己所有。实验室拥有整个服务栈：批处理、KV 缓存、推测解码、自动扩缩容和加速器（第 82 章）。于是只能继承它的延迟分布和速率上限，把这些服务侧优化当作可购买的服务档位来使用（缓存输入定价、批处理与优先级档位），而不必亲自运维它们。

开放权重模型则是那种可以下载训练好的参数、在自己硬件上运行的模型。这一侧自担运维负担，换来的是对成本、延迟、数据驻留以及微调权利的掌控。所选的模型家族，决定了推断服务器（vLLM、SGLang、llama.cpp；见 第 82 章）必须加载什么、需要多少显存、能达到多大吞吐。

这正是全书反复描绘的取舍：租用能力，交出服务栈的掌控权；或者自托管权重，自担运维。到了 2026 年，那道曾让此事成为质量妥协的差距，已大体闭合。最好的开放权重，如今在编码与推理榜单上已逼近闭源前沿模型一两个百分点，这就把「自托管还是调 API」从一种让步，变成了一个真正的架构决策（据 Artificial Analysis 与各开源 LLM 排行榜，截至 2026-06）。

许可证先于基准

对开放权重而言，许可证往往比基准更早决定选择，因为无论分数多高，一份许可证都可能让某个模型在产品里直接出局。三个层级很要紧。

• 真正开放（Apache-2.0、MIT）。 没有用户上限，没有使用领域限制，没有地域排除条款。截至 2026 年年中，Qwen、DeepSeek、Mistral 当前旗舰、Gemma 4、gpt-oss、GLM 和 OLMo 都在这一档。若可能扩张到几千万用户以上、要在欧盟运营、或者想要零使用领域歧义，就选这一档。
• 源可得（受限）。 权重可下载，但许可证附加了上限或排除条款。Meta 的 Llama 4 Community License 仅在 7 亿月活以下允许商用，并且对欧盟境内被许可方排除多模态功能，之上还有一份可接受使用政策。这不是 OSI 意义上的开放。在它上面构建之前，先去读真正的 LICENSE。
• 闭源（无权重）。 托管 API 前沿。拿到的是一份合同和一个端点，不是参数。

第二条、与之正交的区分是开放权重对完全开放。多数「开放」模型只发布权重；训练数据和完整配方仍是私有的。一小部分（AI2 的 OLMo）连数据、代码和检查点也一并发布。如果需要可复现、可审计，或从零重训的能力，这个差别就是全部关键，而它与许可证档级互相独立。

耐久的规则是：对任何可能扩张、或要在受监管地区上线的东西，先读许可证，再读排行榜。

玩家一览，带日期与出处

两张表给出 2026 年年中的快照。定价为标准同步调用每百万 token 的输入/输出；批处理档位通常约半价，缓存输入折扣很大。

前沿托管模型

开放权重家族

参数记法对 Mixture-of-Experts（第 9 章）为 总量 / 激活；A3B 表示每 token 约 3B 激活参数。

排行榜只收窄候选

排行榜是一个收窄候选的工具，不是裁决。第 47 章 给出的最重要的实务教训是：一个公布出来的分数，是关于「模型加测量框架」二者合一的论断，而不是关于模型本身。 对同一份权重做独立重跑，会因提示模板、系统提示、工具运行框架、采样参数和评分器的不同，而摆动 10 到 20 个百分点。2026 年反复出现的模式是：一个模型在公开、可验证的编码榜上的分数，明显高于同一份权重在留出框架上的分数，而那道差距是框架加上可能的污染，而非模型本身的变化。

所以要读三个榜，而不是一个，并把榜单对准自己的问题。

三个榜一致是强信号。不一致则恰好点出哪一条轴脆弱。污染的征兆是：一个模型公开集分数与其留出或截止后分数之间的大差距。小差距是可信信号，大差距是危险信号。

一套决策框架

选型很少是「哪个分最高」。它是在哪里被计费、任务的形态、上下文对成本、治理，以及（对开放权重）手上的硬件这几者的交集。图 81.2 走一遍这些因素影响选择的顺序。

把它写成经验法则，大致按决定顺序：

• 先按落脚在哪里挑。 计费所在的云，通常在采购、数据驻留和承诺用量折扣上胜出。重度 AWS 用户走 Bedrock；Azure 走 Azure OpenAI；GCP 走 Vertex AI。
• 当工作负载是智能体编码、长程工具使用，或安全敏感，且看重可靠性和固定、可复现的模型 ID 时，选 Claude（Opus 4.8 / Sonnet 5）。
• 当想要最宽的生态与工具，或已在 Azure 上时，选 GPT-5.5。
• 当已在 GCP 上，或输入确实是多模态（一个模型里有音频、视频、PDF）时，选 Gemini 3.1 Pro Preview。
• 当每 token 价格和超长上下文占主导、且治理允许时，选 Grok 或 DeepSeek。
• 当必须掌控成本、延迟、驻留或微调权利（第 84 章）、且手上有硬件时，选一个开放家族（默认 Qwen3.5/3.6）。前沿智能体编码选 DeepSeek-V4 或 GLM-5.2，单 GPU 选 Gemma 4，可复现是硬要求时选 OLMo 3。

长上下文值得单独提醒。它昂贵：OpenAI 对 270K 及以上的提示按溢价计费，Gemini 对超过 200K 的输入价格大致翻倍。能用检索就不要把材料全部塞进窗口（第 86 章）；这通常比依赖裸上下文长度更便宜、更可靠。

阈值和越过悬崖后的倍率会改变交叉点：在某个上下文长度之后，把整段材料塞进窗口不再划算，检索一个固定的小切片更便宜。

import numpy as np
import matplotlib.pyplot as plt
base = 2.0 / 1e6           # 悬崖以下每个输入 token 的美元单价
threshold = 200_000        # token 数；价格拐点在此
mult = 2.0                 # 越过悬崖的 token 边际成本高出这么多
retrieved = 8_000          # 改用检索时固定的小窗口
n = np.linspace(0, 600_000, 400)
over = np.maximum(n - threshold, 0)
stuff = base * (np.minimum(n, threshold) + over * mult)  # 分档计价，非线性平坦
retrieve = np.full_like(n, base * retrieved)             # 检索成本是平的
plt.plot(n / 1e3, stuff, label="塞满窗口")
plt.plot(n / 1e3, retrieve, "--", label=f"检索 {retrieved // 1000}K")
plt.axvline(threshold / 1e3, color="gray", ls=":", label="价格悬崖")
plt.xlabel("相关 token 数（千）"); plt.ylabel("每次调用成本（美元）")
plt.legend(); plt.title("长上下文悬崖 vs 检索"); plt.show()
print(f"在 400K token: 塞满窗口=${base*(threshold+200_000*mult):.3f}, "
      f"检索=${base*retrieved:.3f}")

一个合理的默认，以及为什么

截至 2026 年年中，对一支构建智能体与 检索增强生成（RAG） 功能、且未锁定特定云的典型产品团队：

• 托管默认：Anthropic Claude。 Sonnet 5 作日常主力：它于 2026-06-30 发布，接替 Sonnet 4.6，智能体表现接近 Opus，优惠价 $2 / $10；遇到最难的智能体与编码步骤再升级到 Opus 4.8。两者都带固定模型 ID，并在四大接入层上延续了这个家族过硬的智能体编码记录；不过一个上线才一天的默认，仍要先过自己的评测门，才能替换掉固定的 4.6。注意上文争议框里的协调结论：Fable 5 与 Mythos 5 登顶榜单，因出口指令消失，三周后才回来，所以默认要押在能可靠调用的模型上，并留好固定的回退。榜上最佳，不等于可以调用。
• 强力备选： GPT-5.5 用于最宽生态或 Azure；Gemini 3.1 Pro Preview 用于 GCP 或多模态。
• 自托管默认：Qwen3.5/3.6 家族（Apache-2.0），2026 年最全面的真正开放谱系，前沿智能体编码配 DeepSeek-V4 或 GLM-5.2，单 GPU 配 Gemma 4，需要完整可复现时配 OLMo 3。

不要把单一厂商写死。在前面放一个网关（gateway），也就是模型调用的路由与策略层，以便按任务路由和故障切换，并每季度重估默认；前几名之间的差距很小，版本不断更替。第 88 章 对比了各个网关选项，也包括作者自己的 Lux，在那里它是一个已披露的示范案例，而非中立之选。这些默认只是一种起步姿态，不是裁决。裁决出自自己的评测。

固定并评测：最终决定的那一步

公开榜把候选收窄到三四个。最后能挑出赢家的，是自己的离线评测，因为只有它匹配自己的分布、提示、工具和验收门槛。

两条纪律让这套做法落地。把每个模型 ID 固定到配置里的一个快照，绝不用「latest」，这样厂商的小版本就无法悄悄改变行为。把评测集当作仓库里一份带版本的契约，像测试套件一样：换模型是对它的一个 diff，改提示是对它的一个 diff，CI 在任何升级前先跑它。用真实流量构建它（50 到 200 条就够起步），尽量用可验证的评分器打分（精确匹配、单元测试），只在不得已时才用 LLM 裁判（第 50 章），并始终把成本和延迟与准确率并列报告，绝不只报准确率。被记录的生产失败，成为下个季度的评测条目。

# eval.yaml  (versioned in-repo; CI gate on every model or prompt change)
dataset: ./evals/support_v7.jsonl    # private, from real traffic, versioned
candidates:                          # shortlist from the public boards
  - anthropic/claude-opus-4-8        # pinned snapshot IDs, never "latest"
  - openai/gpt-5.5
  - google/gemini-3.1-pro-preview
graders:
  - type: exact_match                # verifiable wherever possible
  - type: unit_test                  # for code-shaped outputs
  - type: llm_judge                  # sparingly; pin the judge + rubric version
    judge_model: pinned-strong-model
    rubric: ./evals/rubric_v3.md
report:
  axes: [accuracy, cost_per_task, p95_latency]   # never accuracy alone
  ci: bootstrap_95                   # report intervals; a single number lies
gate:
  block_merge_if: accuracy_drop > 2pct OR p95_latency_regression > 15pct

接入技术栈

应用永远不该直接对接厂商的原始 SDK。它对接一个网关，由网关持有密钥、强制每个团队的预算与速率上限、归一化请求形态，并在提供方之间故障切换（第 88 章）。对闭源 API，没有需要自己运维的服务层，所以网关就是控制点；对开放权重，网关坐在自己的推理服务器前面，而后者暴露同一套 OpenAI 兼容 API，所以智能体代码在两者之间无需改动。图 81.5 展示了这个接缝。

一份与提供方无关的路由配置，把按任务的选择和回退链写明白，并守住长上下文的价格悬崖：

# gateway routing (illustrative; every model is a pinned snapshot ID)
default_model: anthropic/claude-sonnet-5
routes:
  - match: { task: hard_coding }      # escalate the gnarly agentic steps
    model: anthropic/claude-opus-4-8
  - match: { task: multimodal }       # audio / video / pdf in one model
    model: google/gemini-3.1-pro-preview
  - match: { task: bulk_cheap }       # high-volume, cost-capped
    model: deepseek/deepseek-v4-flash
fallbacks:
  anthropic/claude-opus-4-8: [openai/gpt-5.5, google/gemini-3.1-pro-preview]
limits:
  long_context_guard: 200000          # warn before the >200K price cliff

模型选择最后落在三条轴上。能力是排行榜衡量、自己的评测确认的东西。效率是每任务成本与延迟，这就是为什么任何排名离开了旁边的价格与速度轴，都毫无意义。信任是许可证、治理姿态和可用性保证：Fable 5 三周的停摆提醒我们，一个无法可靠且合法调用的模型，对使用方而言根本没有能力。在三者上一并挑选，固定结果，让自己的评测、而非排行榜，作出最终选择。

延伸阅读

一手来源优先。