参考文献
参考文献
[119th United States Congress 2025] GENIUS act (S.1582): Guiding and establishing national innovation for U.S. stablecoins act. https://www.congress.gov/bill/119th-congress/senate-bill/1582
[Abadi et al. 2016] Deep learning with differential privacy. https://arxiv.org/abs/1607.00133
Abadi 等人提出 DP-SGD，通过逐样本梯度裁剪、高斯噪声注入和矩账户方法，在差分隐私约束下训练深度神经网络，并实现更紧的隐私预算估计。
[Abadi et al. 2016] TensorFlow: A system for large-scale machine learning. https://arxiv.org/abs/1605.08695
Google 的第二代系统：由会话执行的静态数据流图，可切分到数百台异构机器上，吸收了 DistBelief 的教训重建而成。
[Abbas et al. 2023] SemDeDup: Data-efficient learning at web-scale through semantic deduplication. https://arxiv.org/abs/2303.09540
SemDeDup 利用预训练模型的嵌入向量识别并去除语义相似但非完全相同的重复样本，可将网络规模训练数据减少 50
[Abhyankar et al. 2025] OSWorld-human: Benchmarking the efficiency of computer-use agents. arXiv preprint arXiv:2506.16042. https://arxiv.org/abs/2506.16042
测量成功率遮住的东西：每个任务耗时数十分钟，步数是人类最优轨迹的 2.7 至 4.3 倍，而延迟由模型调用而非动作本身主导。
[Acun et al. 2021] Understanding training efficiency of deep learning recommendation models at scale. https://arxiv.org/abs/2011.05497
[Agrawal et al. 2024] Taming throughput-latency tradeoff in LLM inference with sarathi-serve. https://arxiv.org/abs/2403.02310
Sarathi-Serve 通过分块预填充与无停顿批处理消除 LLM 推理中的吞吐量-延迟权衡，在多种模型上相比 vLLM 最高提升 5.6 倍服务容量。
[Agrawal 2026] The economics of generative AI: Two years later. https://apoorv03.com/p/the-economics-of-generative-ai-two
Agrawal 估算 2026 年半导体层仍捕获约 79
[Ahmadian et al. 2024] Back to basics: Revisiting REINFORCE-style optimization for learning from human feedback in llms. arXiv preprint arXiv:2402.14740. https://arxiv.org/abs/2402.14740
简单的 REINFORCE 风格策略梯度（RLOO）在 LLM 基于人类反馈的强化学习（RLHF）对齐中优于 PPO 和 DPO，且计算开销更低，无需近端策略优化（PPO）的 actor-critic 复杂机制。
[AI News 2026] Did meta sacrifice its open-source identity for a competitive AI model?. https://www.artificialintelligence-news.com/news/meta-muse-spark-ai-model-open-source/
[Ainslie et al. 2023] GQA: Training generalized multi-query transformer models from multi-head checkpoints. https://aclanthology.org/2023.emnlp-main.298/
GQA 提出分组查询注意力（GQA），在多头注意力（MHA）与多查询注意力（MQA）之间插值，以接近 MQA 的推理速度达到接近 MHA 的质量，并提供仅用 5
[Alayrac et al. 2022] Flamingo: a visual language model for few-shot learning. https://arxiv.org/abs/2204.14198
Flamingo 是一个视觉语言模型（VLM）系列，通过 Perceiver Resampler 和门控交叉注意力桥接冻结的视觉与语言模型，在 16 项图像和视频理解任务上实现少样本学习。
[Albergo and Vanden-Eijnden 2023] Building normalizing flows with stochastic interpolants. https://arxiv.org/abs/2209.15571
本文提出随机插值子框架，通过构造任意两个概率密度之间的时变插值过程，利用简单二次损失直接学习常微分方程（ODE）速度场，无需反向传播穿越 ODE 求解器。
[Albergo et al. 2023] Stochastic interpolants: a unifying framework for flows and diffusions. arXiv preprint arXiv:2303.08797. https://arxiv.org/abs/2303.08797
本文提出随机插值器框架，通过 ODE 或 SDE 动力学在有限时间内精确连接任意两个概率密度，统一了基于流匹配和扩散的生成模型。
[Alphabet 2025] Sundar pichai on alphabet Q3 2025 earnings (token volume). https://blog.google/company-news/inside-google/message-ceo/alphabet-earnings-q3-2025/
Alphabet 披露的月度词元处理量在 2025 年同比增长约 20 倍，是反驳「纯厂商融资」批评的需求侧证据。
[Alsup 2025] Bartz v. anthropic PBC, order on fair use, no. 3:24-cv-05417 (N.D. cal.). https://docs.justia.com/cases/federal/district-courts/california/candce/3:2024cv05417/434709/231
Alsup 法官裁定，用合法获得的书籍训练大语言模型属于高度转化性的合理使用，而下载并长期留存数百万本影子图书馆盗版书则不属于。
[Amatriain and Basilico 2012] Netflix recommendations: Beyond the 5 stars (part 1). https://netflixtechblog.com/netflix-recommendations-beyond-the-5-stars-part-1-55838468f429
Netflix 工程师亲述 Netflix Prize 的生产后续：获胜集成模型中只有两个组件算法真正上线，因为离线精度收益不抵工程成本，且产品重心已从评分预测转向排序。
[Amazon 2025] Amazon Form 10-Q (server useful-life reduction). https://www.sec.gov/Archives/edgar/data/1018724/000101872425000036/amzn-20250331.htm
Amazon 自 2025 年起把一部分服务器与网络设备的年限从六年缩回五年，理由是人工智能与机器学习领域的技术发展加快。
[Amazon Web Services 2025] Firecracker snapshotting. https://github.com/firecracker-microvm/firecracker/blob/main/docs/snapshotting/snapshot-support.md
Firecracker 的快照支持文档说明如何将运行中的 microVM 序列化到磁盘并通过 MAP_PRIVATE 按需加载内存来恢复，从而实现快速工作负载克隆与恢复。
[AMD 2020] AMD SEV-SNP: Strengthening VM isolation with integrity protection and more. https://www.amd.com/system/files/TechDocs/SEV-SNP-strengthening-vm-isolation-with-integrity-protection-and-more.pdf
虚拟机级机密计算的白皮书：对整台虚拟机做加密与完整性保护以对抗恶意虚拟机监控器，让未经修改的软件栈也能机密运行。
[AMD 2025] AMD and OpenAI announce strategic partnership (form 8-K exhibit). https://www.sec.gov/Archives/edgar/data/2488/000119312525230895/d28189dex991.htm
一份 6GW AMD Instinct GPU 的承诺，附带给予 OpenAI 最多约 10
[Ameisen et al. 2025] Circuit tracing: Revealing computational graphs in language models. https://transformer-circuits.pub/2025/attribution-graphs/methods.html
Circuit Tracing 提出归因图方法，通过将 MLP 替换为可解释的跨层转码器，揭示语言模型逐步计算的内部机制。
[Amershi et al. 2019] Guidelines for human-AI interaction. https://www.microsoft.com/en-us/research/publication/guidelines-for-human-ai-interaction/
这篇 CHI 论文提炼出十八条面向用户侧 AI 产品的通用指南，并通过从业者审查 AI 产品的研究进行验证。
[Anderson 1982] Reverse-time diffusion equation models. Stochastic Processes and their Applications 12(3):313–326. https://doi.org/10.1016/0304-4149(82)90051-5
Anderson（1982）推导了前向扩散过程的逆时随机微分方程（SDE），证明逆向漂移项取决于边缘分布的分数函数。
[Anderson 2025] Don't build an RL environment startup. https://benanderson.work/blog/dont-build-rl-env-startup/
一篇从业者博文，认为向前沿 AI 实验室出售强化学习训练环境是结构性差的商业模式，因为模型能力的提升会迅速使每个环境的价值趋近于零。
[Android Developers 2026] Announcing gemma 4 in the aicore developer preview. https://android-developers.googleblog.com/2026/04/AI-Core-Developer-Preview.html
[Anil et al. 2024] Many-shot jailbreaking. https://www.anthropic.com/research/many-shot-jailbreaking
多样本越狱利用大型上下文窗口，通过在单个提示中填充数百个伪有害对话示例，借助上下文学习绕过大语言模型（LLM）的安全训练。
[Ankner et al. 2024] Hydra: Sequentially-dependent draft heads for medusa decoding. https://arxiv.org/abs/2402.05109
Hydra heads 是一种序列相关的草稿头，用于推测解码，通过将每次预测条件化于先前候选词元，相比自回归解码最高提升 2.70 倍吞吐量。
[Ansel et al. 2024] PyTorch 2: Faster machine learning through dynamic python bytecode transformation and graph compilation. https://docs.pytorch.org/assets/pytorch2-2.pdf
对 TorchScript 失败的复盘与 torch.compile 的设计：从 Python 字节码捕获计算图，在捕获失败处断图回退，从构造上保全即时执行语义。
[Anthropic 2023] Claude's constitution. https://www.anthropic.com/news/claudes-constitution
Anthropic 将 Claude 的宪章描述为一组显式且可修改的原则，用于通过 Constitutional AI 引导无害性与有用性。
[Anthropic 2024] Introducing computer use, a new claude 3.5 sonnet, and claude 3.5 haiku. https://www.anthropic.com/news/3-5-models-and-computer-use
第一个公测「计算机使用」的前沿模型：以通用计算机技能取代按任务定制的工具，发布时坦率注明它是实验性的、笨拙且容易出错。
[Anthropic 2024] Introducing contextual retrieval. https://www.anthropic.com/news/contextual-retrieval
上下文检索在嵌入与 BM25 索引之前，为每个文本块前置一句由大语言模型生成的定位说明，将 top-20 检索失败率降低 49
[Anthropic 2024] Model context protocol. https://modelcontextprotocol.io
MCP 是一个开放标准，通过通用集成层把 AI 应用和智能体连接到外部数据源、工具与工作流。
[Anthropic 2025] Prompt caching. https://platform.claude.com/docs/en/build-with-claude/prompt-caching
Anthropic 的提示词缓存文档把缓存命中的输入读取定价为基础输入词元价格的十分之一，缓存写入则按加价计费，使提示词结构成为 API 调用方一个明确的成本杠杆。
[Anthropic 2025] Claude code: Checkpointing and session forks. https://code.claude.com/docs/en/checkpointing
Claude Code 检查点（checkpointing）参考文档，介绍如何追踪、回退和汇总 Claude 的文件编辑与会话状态。
[Anthropic 2025] Memory tool. https://platform.claude.com/docs/en/agents-and-tools/tool-use/memory-tool
Anthropic 的记忆工具让 Claude 以客户端侧的记忆文件目录跨对话存取信息，模型自行查看、创建与编辑文件，在会话之间保留知识的同时保持当前上下文精简。
[Anthropic 2025] Bringing memory to claude. https://claude.com/blog/memory
按项目隔离的记忆，配用户可见、可编辑的摘要与无痕对话；发布时言明测试过记忆是否会强化对话中的有害模式。
[Anthropic 2025] Piloting claude for chrome. https://www.anthropic.com/news/claude-for-chrome
附带公开红队结果试点的浏览器智能体：防护把提示词注入的攻击成功率从约四分之一降到十分之一，厂商自己的定性是仍不足以大范围部署。
[Anthropic 2025] How we built our multi-agent research system. https://www.anthropic.com/engineering/multi-agent-research-system
Anthropic 的研究系统采用协调者-工作者模式：由 Claude Opus 4 主智能体协调并行的 Sonnet 4 子智能体，在内部研究评测中比单智能体 Opus 4 高出 90.2
[Anthropic 2025] Code execution with MCP: Building more efficient AI agents. https://www.anthropic.com/engineering/code-execution-with-mcp
Anthropic 工程博客介绍如何将 MCP 与进程内代码执行环境结合，通过在代码中处理过滤、控制流和状态持久化，而非反复调用工具，从而降低智能体的词元消耗与延迟。
[Anthropic 2025] Equipping agents for the real world with agent skills. https://www.anthropic.com/engineering/equipping-agents-for-the-real-world-with-agent-skills
Agent Skills 将指令、脚本与资源打包为带 SKILL.md 的目录，上下文中只保留其名称与描述，完整内容按需加载，使渐进披露成为一等机制。
[Anthropic 2025] Open-sourcing circuit tracing tools. https://www.anthropic.com/research/open-source-circuit-tracing
[Anthropic 2025] Anthropic achieves ISO 42001 certification for responsible AI. https://www.anthropic.com/news/anthropic-achieves-iso-42001-certification-for-responsible-ai
一家前沿实验室较早取得 ISO/IEC 42001 认证，实验室将其描述为负责任 AI 的治理，而非对某个具体模型安全的保证。
[Anthropic 2025] Donating the model context protocol and establishing the agentic AI foundation. https://www.anthropic.com/news/donating-the-model-context-protocol-and-establishing-of-the-agentic-ai-foundation
Anthropic 将 MCP 捐赠给 Agentic AI Foundation，这是 Linux Foundation 下由 Anthropic、Block 与 OpenAI 共同发起，并获 Google、Microsoft、AWS、Cloudflare 与 Bloomberg 支持的定向基金，旨在让智能体 AI 标准保持中立、由社区驱动。
[Anthropic 2025] The anthropic economic index. https://www.anthropic.com/economic-index
Anthropic Economic Index 把数百万条匿名化的 Claude 对话映射到职业任务上，显示使用集中在少数任务类别，并在增强与自动化之间分布。
[Anthropic 2026] Claude's new constitution. https://www.anthropic.com/news/claude-new-constitution
2026 年 1 月的新宪章篇幅近八十页，以 CC0 发布，主要写给 Claude 自己阅读，明确了安全、伦理、Anthropic 准则、有用性的优先顺序；Claude 在训练中直接依据它生成对话、回复与回复排序。
[Anthropic 2026] Context engineering: Memory, compaction, and tool clearing. https://platform.claude.com/cookbook/tool-use-context-engineering-context-engineering-tools
Anthropic Cookbook 指南，比较长期运行智能体的上下文工程策略（记忆、压缩与工具清理），说明各策略的适用场景、成本及组合方式。
[Anthropic 2026] Automatic context compaction. https://platform.claude.com/cookbook/tool-use-automatic-context-compaction
自动上下文压缩逐轮监控词元用量，超过可配置阈值后对会话历史做摘要替换，将一个五工单流程的消耗从约 209K 词元降至 86K。
[Anthropic 2026] Demystifying evals for AI agents. https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents
Anthropic 的实践指南阐述如何为 AI 智能体设计严格的评测体系，涵盖多轮任务结构、评分策略，以及适用于真实部署的可扩展评测技术。
[Anthropic 2026] Project Deal: our Claude-run marketplace experiment. https://www.anthropic.com/features/project-deal
一个员工智能体之间谈判真实交易的内部市场：跑更强模型的智能体在相同商品上买得更便宜、卖得更贵，而参与者对交易公平性的评分毫无差别。
[Anthropic and Pattern Labs 2025] Confidential inference systems: Design principles and security risks. https://assets.anthropic.com/m/c52125297b85a42/original/Confidential_Inference_Paper.pdf
机密推理的设计原则，覆盖信任问题的两个方向：用户数据防住服务商，模型权重防住基础设施运营者。
[anthropics/claude-code 2025] Massive token consumption: 1.67B tokens in 5 hours, issue #4095. https://github.com/anthropics/claude-code/issues/4095
一份 Claude Code 缺陷报告，记录了因计划执行循环、KV 缓存爆炸、钩子递归调用和 API 错误重试循环四种故障同时触发，导致 5 小时内消耗 1.67B 词元的事故。
[Apple 2023] MLX. https://github.com/ml-explore/mlx
MLX 是面向 Apple silicon 的数组框架，专为在 Apple 硬件上高效执行模型训练与推理而设计。
[Apple 2025] Apple intelligence foundation language models: Tech report 2025. arXiv preprint arXiv:2507.13575. https://arxiv.org/abs/2507.13575
Apple 发布两款多语言多模态基础语言模型：约 30 亿参数的端侧模型采用 KV 缓存共享与 2-bit 量化感知训练，服务器模型采用新型 PT-MoE 架构，结合轨道并行、混合专家与交错全局-局部注意力，为 Apple Intelligence 提供支撑。
[Apple Machine Learning Research 2022] Deploying transformers on the apple neural engine. https://machinelearning.apple.com/research/neural-engine-transformers
苹果开源了一套针对 Apple Neural Engine 优化的 PyTorch Transformer 参考实现，在设备端相比基线推理速度最高提升 10 倍、显存占用降低 14 倍。
[Apple Security Engineering and Architecture 2024] Private Cloud Compute: A new frontier for AI privacy in the cloud. https://security.apple.com/blog/private-cloud-compute/
Apple 的 Private Cloud Compute (PCC) 是一套基于定制 Apple 芯片与加固操作系统构建的云端 AI 推理系统，确保用户个人数据在大语言模型处理过程中对任何人（包括 Apple 自身）均不可访问。
[ARC Prize Foundation 2026] ARC-AGI-3: a new challenge for frontier agentic intelligence. arXiv preprint arXiv:2603.24621. https://arxiv.org/abs/2603.24621
ARC-AGI-3 把 ARC 家族从静态网格搬进数百个没有任何说明的回合制交互环境，人类可解出全部关卡，而前沿智能体在发布时得分不足 1
[ARC Prize Foundation 2026] ARC-AGI leaderboard. https://arcprize.org/leaderboard
ARC-AGI 实时排行榜：到 2026 年 6 月，ARC-AGI-2 最高分已到八十五上下，远超人类平均分。
[Armilla 2025] Armilla launches affirmative AI liability insurance backed by Lloyd's underwriters. https://www.armilla.ai/
一份在劳合社承保的肯定式 AI 责任险，触发条件是 AI 表现不佳，包括幻觉、模型漂移与偏离预期行为。
[Arora et al. 2025] HealthBench: Evaluating large language models towards improved human health. arXiv preprint arXiv:2505.08775. https://arxiv.org/abs/2505.08775
HealthBench 用 262 位医生（执业经验覆盖 60 个国家）撰写的 48,562 条评分准则为健康对话打分，并先用医生评分对模型评分器做元评测，再采信其分数。
[Arriola et al. 2025] Block diffusion: Interpolating between autoregressive and diffusion language models. https://arxiv.org/abs/2503.09573
BD3-LMs 通过在词元块内执行扩散、跨块自回归建模，使离散扩散语言模型支持任意长度生成和 KV 缓存，并在语言建模基准上创下离散扩散的最低困惑度。
[Asai et al. 2023] Self-RAG: Learning to retrieve, generate, and critique through self-reflection. arXiv preprint arXiv:2310.11511. https://arxiv.org/abs/2310.11511
SELF-RAG 训练大语言模型按需自适应检索段落，并通过特殊反思词元对自身生成内容进行评判，在不损失通用性的前提下提升事实准确性。
[Asai et al. 2023] Task-aware retrieval with instructions. https://arxiv.org/abs/2211.09260
TART 是在 BERRI（约 40 个带指令标注的检索数据集）上训练的多任务检索系统，通过遵循自然语言指令在 BEIR 和 LOTTE 零样本检索基准上达到最优效果。
[Assran et al. 2025] V-JEPA 2: Self-supervised video models enable understanding, prediction and planning. arXiv preprint arXiv:2506.09985. https://arxiv.org/abs/2506.09985
V-JEPA 2 是一个在百万小时互联网视频上自监督预训练的视频模型，达到最优视频理解性能，并通过后训练的动作条件世界模型实现机器人零样本操作规划。
[Austin et al. 2021] Structured denoising diffusion models in discrete state-spaces. https://arxiv.org/abs/2107.03006
D3PM 通过以结构化转移矩阵替代均匀损坏过程，将去噪扩散概率模型（DDPM）推广至离散状态空间，在文本和图像生成任务上取得有竞争力的结果。
[Austin et al. 2025] How to scale your model. Google DeepMind. https://jax-ml.github.io/scaling-book/
DeepMind/JAX 的系统书，讲真实 TPU 与 GPU 硬件上的 LLM 扩展，覆盖屋顶线、分片、训练、推断、服务与剖析。
[Authors 2025] A survey on vision-language-action models: An action tokenization perspective. arXiv preprint arXiv:2507.01925. https://arxiv.org/abs/2507.01925
本文以动作词元化视角对视觉-语言-动作模型（VLA）进行综述，将现有方法统一于同一框架并归纳出八类动作词元类型，分析各类型的优劣与未来方向。
[Azar et al. 2023] A general theoretical paradigm to understand learning from human preferences. arXiv preprint arXiv:2310.12036. https://arxiv.org/abs/2310.12036
本文提出 ΨPO 通用偏好优化目标，将 RLHF 与 DPO 统一为特例，并推导出 IPO 以绕过 Bradley-Terry 假设从而避免过拟合。
[Ba et al. 2016] Layer normalization. https://arxiv.org/abs/1607.06450
层归一化在单个训练样本的隐藏层内部计算归一化统计量，消除了对批大小的依赖，并稳定了循环神经网络的训练过程。
[Baevski et al. 2020] wav2vec 2.0: a framework for self-supervised learning of speech representations. https://arxiv.org/abs/2006.11477
wav2vec 2.0 通过对量化潜在表示的对比学习实现自监督语音预训练，仅需十分钟标注数据即可完成自动语音识别（ASR）微调。
[Bai et al. 2022] Constitutional AI: Harmlessness from AI feedback. arXiv preprint arXiv:2212.08073. https://arxiv.org/abs/2212.08073
Constitutional AI 通过成文原则、自我批判、修订与 AI 反馈，训练无害但不过度回避的助手行为。
[Bai et al. 2023] Qwen technical report. https://arxiv.org/abs/2309.16609
Qwen 是在最多 3 万亿词元上训练的大语言模型系列，涵盖基础预训练模型、经 RLHF 对齐的对话模型，以及面向代码与数学的专用模型。
[Bainbridge 1983] Ironies of automation. Automatica. https://doi.org/10.1016/0005-1098(83)90046-8
Bainbridge 指出自动化的悖论：它拿走日常练习，却让人在自动化失效时负责罕见而困难的干预。
[Bansal et al. 2021] Does the whole exceed its parts? The effect of AI explanations on complementary team performance. https://arxiv.org/abs/2006.14779
Bansal 等发现，AI 解释没有改善互补式人机团队表现，且可能不分对错地提高人们接受建议的概率。
[Barham and Isard 2019] Machine learning systems are stuck in a rut. https://dl.acm.org/doi/10.1145/3317550.3321441
[Baronio et al. 2025] Kevin: Multi-turn RL for generating CUDA kernels. arXiv preprint arXiv:2507.11948. https://arxiv.org/abs/2507.11948
[Barres et al. 2025] τ²-Bench: Evaluating conversational agents in a dual-control environment. arXiv preprint arXiv:2506.07982. https://arxiv.org/abs/2506.07982
τ²-bench 把 τ-bench 扩展成双控制的电信领域场景，智能体与模拟用户都在同一共享环境中操作，从而把推理错误与协同失败区分开。
[Baur and Strassen 1983] The complexity of partial derivatives. Theoretical Computer Science. https://doi.org/10.1016/0304-3975(83)90110-X
[Baydin et al. 2018] Automatic differentiation in machine learning: a survey. Journal of Machine Learning Research. https://jmlr.org/papers/v18/17-468.html
机器学习自动微分的权威综述：前向与反向模式、二者的成本不对称，以及为什么自动微分既不是符号微分也不是数值微分。
[Becker et al. 2025] Measuring the impact of early-2025 AI on experienced open-source developer productivity. https://arxiv.org/abs/2507.09089
一项针对 16 名经验丰富开源开发者和 246 个任务的随机实验发现，2025 年初的 AI 工具让完成时间变慢 19
[BehnamGhader et al. 2024] LLM2Vec: Large language models are secretly powerful text encoders. https://arxiv.org/abs/2404.05961
LLM2Vec 是一种无监督三步方法（双向注意力、掩码下一词元预测、SimCSE 对比学习），可将任意仅解码器大语言模型转换为强大的文本编码器，并在 MTEB 上达到最优性能。
[Benjamini and Hochberg 1995] Controlling the false discovery rate: a practical and powerful approach to multiple testing. Journal of the Royal Statistical Society: Series B. https://doi.org/10.1111/j.2517-6161.1995.tb02031.x
Benjamini 与 Hochberg 提出控制错误发现率的方法，为大量同时检验场景提供比族错误率控制更有检验力的选择。
[Berdoz et al. 2026] Can AI agents agree?. arXiv preprint arXiv:2603.01213. https://arxiv.org/abs/2603.01213
本文在拜占庭容错共识任务上评估基于大语言模型的智能体群体，发现即使在无恶意节点的场景下，有效共识也不可靠，失败主要源于活性丧失而非值被篡改。
[Bergstra et al. 2010] Theano: a CPU and GPU math compiler in python. https://proceedings.scipy.org/articles/Majora-92bf1922-003
深度学习框架的始祖：在 Python 里构建符号表达式图，将求导作为图变换完成，再编译成 CPU 或 GPU 代码。
[Berkeley RDI 2025] Trustworthy benchmarks for agents. https://rdi.berkeley.edu/blog/trustworthy-benchmarks-cont/
Berkeley RDI 研究人员证明，SWE-bench、WebArena、OSWorld、GAIA 等八个主流 AI 智能体基准均可被利用漏洞在不解决任何任务的情况下获得近满分。
[Besiroglu et al. 2024] Chinchilla scaling: a replication attempt. arXiv preprint arXiv:2404.10102. https://arxiv.org/abs/2404.10102
复现 Chinchilla 的参数化拟合，发现其第三种估计与论文自身前两种方法不一致，且其置信区间窄到需要数十万次实验才能成立，而实际只跑了数百次。
[Besta et al. 2023] Graph of thoughts: Solving elaborate problems with large language models. arXiv preprint arXiv:2308.09687. https://arxiv.org/abs/2308.09687
Graph of Thoughts 将链式和树式提示推广为由大语言模型生成 thought 构成的任意图，使中间推理单元能够被聚合、精炼和反馈。
[Betker et al. 2023] Improving image generation with better captions. https://cdn.openai.com/papers/dall-e-3.pdf
DALL-E 3 通过在经过微调的图像描述模型生成的高描述性合成字幕上训练，显著提升了文本到图像模型的提示词遵循能力。
[Beurer-Kellner et al. 2025] Design patterns for securing LLM agents against prompt injections. arXiv preprint arXiv:2506.08837. https://arxiv.org/abs/2506.08837
来自 ETH、Google、Microsoft 与 Invariant 的研究者系统化了六个设计模式，通过约束智能体的结构，使注入指令无法改写其特权动作。
[Beyer et al. 2016] Site reliability engineering: How google runs production systems. O'Reilly Media. https://sre.google/books/
Google SRE 一书提供了本章改造到 AI 系统上的运营词汇：服务承诺、错误预算、事故指挥以及从失败中学习。
[Bhatt et al. 2025] Ctrl-z: Controlling AI agents via resampling. arXiv preprint arXiv:2504.10374. https://arxiv.org/abs/2504.10374
Ctrl-Z 在 BashBench 的 257 个多步运维任务上评测控制协议，提出重采样机制：对可疑动作重新采样以积累证据，将攻击成功率从 58
[Biderman et al. 2023] Pythia: a suite for analyzing large language models across training and scaling. Proceedings of the 40th International Conference on Machine Learning (ICML). https://arxiv.org/abs/2304.01373
Pythia 是一套包含 16 个大语言模型（70M 至 12B 参数）的模型组，每个模型提供 154 个公开检查点，所有模型按相同数据顺序训练，用于研究训练动态与扩展律。
[Bie et al. 2025] LLaDA2.0: Scaling up diffusion language models to 100B. arXiv preprint arXiv:2512.15745. https://arxiv.org/abs/2512.15745
[Birgisson et al. 2014] Macaroons: Cookies with contextual caveats for decentralized authorization in the cloud. https://research.google/pubs/macaroons-cookies-with-contextual-caveats-for-decentralized-authorization-in-the-cloud/
Macaroons 提出带链式上下文约束条件的持有者令牌，支持在无中心授权机构的情况下实现云服务的去中心化、可衰减授权。
[Black Forest Labs 2024] Announcing black forest labs and the FLUX.1 model family. https://bfl.ai/announcements/24-08-01-bfl
FLUX.1 流匹配图像模型家族，其全采样器版与少步蒸馏版共用同一架构，却按百万像素计价、相差八倍，正对应二者的步数差距。
[Bommasani et al. 2023] The foundation model transparency index. https://arxiv.org/abs/2310.12941
基础模型透明度指数（FMTI）从上游资源、模型细节和下游部署三个维度，用 100 项指标对 10 家主要大语言模型开发商进行透明度评分。
[Borsos et al. 2023] AudioLM: a language modeling approach to audio generation. IEEE/ACM Transactions on Audio, Speech, and Language Processing. https://arxiv.org/abs/2209.03143
AudioLM 将音频生成建模为语言建模任务，结合 w2v-BERT 语义词元与 SoundStream 声学词元的混合分词方案，同时实现长期一致性与高质量语音及钢琴续写合成。
[Borsos et al. 2023] SoundStorm: Efficient parallel audio generation. arXiv preprint arXiv:2305.09636. https://arxiv.org/abs/2305.09636
SoundStorm 是一个非自回归生成音频模型，通过对 RVQ 词元序列的双向注意力与置信度并行解码，生成速度比 AudioLM 快两个数量级。
[Bourtoule et al. 2021] Machine unlearning. https://arxiv.org/abs/1912.03817
本文提出 SISA 训练框架，通过将训练数据分片（shard）与分片段（slice）来降低机器遗忘的重训练开销，最高可达完整重训练速度的 4.63 倍。
[Bradford 2020] The brussels effect: How the european union rules the world. Oxford University Press.
Bradford 论述了布鲁塞尔效应，即欧盟如何凭借市场准入设定事实上的全球标准，从而向全球输出其监管规则。
[Bradley and Terry 1952] Rank analysis of incomplete block designs: I. The method of paired comparisons. Biometrika. https://doi.org/10.2307/2334029
[Breck et al. 2017] The ML test score: a rubric for ML production readiness and technical debt reduction. https://research.google/pubs/pub46555/
ML Test Score 提供覆盖数据、模型、基础设施与监控测试的生产就绪评分准则。
[Bricken et al. 2023] Towards monosemanticity: Decomposing language models with dictionary learning. https://transformer-circuits.pub/2023/monosemantic-features/index.html
通过字典学习将稀疏自编码器（SAE）应用于单层 Transformer 的前馈网络（FFN）激活，从叠加中分解出大量可解释的单义性特征，克服了多义性问题。
[Brill 2024] Neural scaling laws rooted in the data distribution. arXiv preprint arXiv:2412.07942. https://arxiv.org/abs/2412.07942
用自然数据上的渗流理论从第一性原理同时推导出扩展的离散量子图景与数据流形图景，将两种解释统一为渗流阈值两侧的不同区制。
[Brohan et al. 2023] RT-2: Vision-language-action models transfer web knowledge to robotic control. arXiv preprint arXiv:2307.15818. https://arxiv.org/abs/2307.15818
RT-2 通过将机器人动作编码为文本词元，对大型视觉语言模型（VLM）在机器人轨迹数据上进行联合微调，得到的视觉-语言-动作模型（VLA）能泛化到新物体并展现涌现语义推理能力。
[Brooks et al. 2024] Video generation models as world simulators. https://openai.com/index/video-generation-models-as-world-simulators/
Sora 技术报告：在视频潜变量的时空图块上运行的扩散 Transformer，以算力为提升样本质量的坐标轴，可生成最长约一分钟的视频。
[Brown et al. 2020] Language models are few-shot learners. arXiv preprint arXiv:2005.14165. https://arxiv.org/abs/2005.14165
GPT-3 是一个 1750 亿参数的自回归大语言模型，无需梯度更新或微调，仅通过上下文示例即可在 NLP 基准上实现强大的少样本性能。
[Brown et al. 2024] Large language monkeys: Scaling inference compute with repeated sampling. arXiv preprint arXiv:2407.21787. https://arxiv.org/abs/2407.21787
本文证明对大语言模型反复采样可使覆盖率在四个数量级上呈对数线性扩展，使较弱模型在编程和形式化证明基准上超越单次采样的最优水平。
[Brown-Cohen et al. 2023] Scalable AI safety via doubly-efficient debate. arXiv preprint arXiv:2311.14125. https://arxiv.org/abs/2311.14125
本文提出双重高效辩论协议，使诚实 AI 证明方只需常数次人类查询即可验证多项式时间计算（含随机计算），将先前辩论框架的指数级模拟开销降至多项式级。
[Brynjolfsson et al. 2023] Generative AI at work. https://arxiv.org/abs/2304.11771
一次对话式 AI 助手的分阶段上线平均提升客服生产率 15
[Buçinca et al. 2021] To trust or to think: Cognitive forcing functions can reduce overreliance on AI in AI-assisted decision-making. https://arxiv.org/abs/2102.09692
Buçinca、Malaya 与 Gajos 证明认知强制干预比简单解释展示更能降低对 AI 建议的过度依赖，但会带来可用性取舍。
[Burges 2010] From RankNet to LambdaRank to LambdaMART: An overview. https://www.microsoft.com/en-us/research/publication/from-ranknet-to-lambdarank-to-lambdamart-an-overview/
[Burns et al. 2024] Weak-to-strong generalization: Eliciting strong capabilities with weak supervision. arXiv preprint arXiv:2312.09390. https://arxiv.org/abs/2312.09390
弱到强泛化表明弱标签能引出一部分强模型能力，但朴素微调仍远远不能恢复强模型的完整能力。
[ByteDance Seed 2025] Robust LLM training infrastructure at ByteDance (ByteRobust). arXiv preprint arXiv:2509.16293. https://arxiv.org/abs/2509.16293
ByteRobust 是字节跳动面向大规模 LLM 训练的生产级容错基础设施，通过自动化故障检测与恢复在 9600 张 GPU 三个月训练任务中实现了 97
[Cai et al. 2024] Medusa: Simple LLM inference acceleration framework with multiple decoding heads. https://arxiv.org/abs/2401.10774
MEDUSA 通过在 LLM 上附加多个额外解码头并结合基于树的注意力机制，在每步并行预测并验证多个词元，无需独立草稿模型即可实现 2.2-2.8 倍推测解码加速。
[California State Legislature 2025] SB 53: Transparency in frontier artificial intelligence act. https://leginfo.legislature.ca.gov/faces/billNavClient.xhtml?bill_id=202520260SB53
[Campbell et al. 2020] RFC 8707: Resource indicators for OAuth 2.0. https://datatracker.ietf.org/doc/html/rfc8707
RFC 8707 定义了 OAuth 2.0 扩展，新增请求参数，使客户端能够向授权服务器明确指示其请求访问的受保护资源。
[Cardwell 2025] GE vernova expects to end 2025 with an 80-GW gas turbine backlog that stretches into 2029. https://www.utilitydive.com/news/ge-vernova-gas-turbine-investor/807662/
GE Vernova 预计 2025 年底天然气轮机积压订单将达 80 GW，延伸至 2029 年，预约量预计在 2026 年底前售出至 2030 年。
[Carlini et al. 2021] Extracting training data from large language models. https://arxiv.org/abs/2012.07805
Carlini 等人证明大语言模型会记忆训练数据，并通过黑盒查询 GPT-2 提取出包含个人可识别信息在内的逐字文本。
[Carlini et al. 2023] Quantifying memorization across neural language models. https://arxiv.org/abs/2202.07646
Carlini 等人量化了大语言模型训练数据记忆的三条对数线性规律：记忆程度随模型容量、数据重复次数和上下文长度增大而增大，且比此前认为的更为普遍。
[Carlini et al. 2023] Poisoning web-scale training datasets is practical. arXiv preprint arXiv:2302.10149. https://arxiv.org/abs/2302.10149
对网络规模数据集的两种可行投毒：买下爬虫仍信任的过期域名，以及在快照前修改页面，给一个大型数据集投毒的成本约六十美元。
[CBS News 2024] Google strikes $60 million deal with reddit, allowing search giant to train AI models on human posts. https://www.cbsnews.com/news/google-reddit-60-million-deal-ai-training/
[Cemri et al. 2025] Why do multi-agent LLM systems fail?. https://openreview.net/forum?id=fAjbYBmonr
MAST 提出一套包含 14 种失效模式的多智能体大语言模型系统失效分类体系，并配套 MAST-Data（来自 7 个框架的 1,642 条标注轨迹）与模型作为评判者的标注流水线，用于诊断多智能体系统失效原因。
[Center for AI Safety and Scale AI 2026] Humanity's last exam. https://agi.safe.ai/
Humanity's Last Exam（HLE）是一个包含 2500 道专家级题目的评测基准，覆盖多个领域，旨在对前沿大语言模型构成极限挑战。
[Cerebras Systems 2024] Cerebras announces third-generation wafer-scale engine (WSE-3). https://www.cerebras.ai/press-release/cerebras-announces-third-generation-wafer-scale-engine
Cerebras 发布 WSE-3，一款 5nm 晶圆级芯片，搭载 4 万亿晶体管与 90 万个计算核心，峰值算力达 125 petaflops，在相同功耗和价格下实现 WSE-2 两倍性能。
[Chameleon Team 2024] Chameleon: Mixed-modal early-fusion foundation models. arXiv preprint arXiv:2405.09818. https://arxiv.org/abs/2405.09818
Chameleon 是一组早期融合的基于词元的混合模态基础模型，通过单一统一 Transformer 配合查询-键归一化（QK-norm）实现稳定训练，可理解并生成任意交错的图像与文本序列。
[Chan et al. 2016] Listen, attend and spell. https://arxiv.org/abs/1508.01211
LAS 是一个端到端序列到序列自动语音识别系统，由金字塔 RNN 编码器和基于注意力的字符解码器组成，在 Google 语音搜索任务上无语言模型时达到 14.1
[Chan et al. 2020] Imputer: Sequence modelling via imputation and dynamic programming. https://arxiv.org/abs/2002.08926
Imputer 是一种用于自动语音识别的迭代非自回归生成序列模型，通过动态规划近似边缘化所有对齐方式与生成顺序，以常数步解码在 LibriSpeech 上超越 CTC。
[Chaney et al. 2018] How algorithmic confounding in recommendation systems increases homogeneity and decreases utility. https://arxiv.org/abs/1710.11214
[Chanin et al. 2024] A is for absorption: Studying feature splitting and absorption in sparse autoencoders. arXiv preprint arXiv:2409.14507. https://arxiv.org/abs/2409.14507
本文发现稀疏自编码器（SAE）中的"特征吸收"现象：层次化特征导致 SAE 潜在特征在本应激活的词元上静默失效，从而破坏 LLM 机械可解释性的可靠性。
[Chen and Guestrin 2016] XGBoost: a scalable tree boosting system. https://arxiv.org/abs/1603.02754
大规模梯度提升树的系统设计：缓存感知布局、稀疏处理与核外计算；论文自述 2015 年公开的 29 个 Kaggle 冠军方案中有 17 个使用了它。
[Chen et al. 2016] Training deep nets with sublinear memory cost. arXiv preprint arXiv:1604.06174. https://arxiv.org/abs/1604.06174
只在 O(sqrt(n)) 的层上保留激活，其余在反向传播时重算：一个 1000 层网络的训练内存从 48 GB 降到 7 GB，代价约为 30
[Chen et al. 2018] TVM: An automated end-to-end optimizing compiler for deep learning. https://www.usenix.org/conference/osdi18/presentation/chen
TVM 是一个端到端深度学习优化编译器，通过自动代码生成和基于机器学习的代价模型，在 CPU、GPU、FPGA 及 ASIC 等多种硬件后端上实现无需手工调优的高性能部署。
[Chen et al. 2021] Evaluating large language models trained on code. arXiv preprint arXiv:2107.03374. https://arxiv.org/abs/2107.03374
本文介绍了 Codex（在 GitHub 代码上微调的 GPT 模型），并发布了 HumanEval 基准，使用 pass@k 通过单元测试衡量代码生成的功能正确性。
[Chen et al. 2022] WavLM: Large-scale self-supervised pre-training for full stack speech processing. IEEE Journal of Selected Topics in Signal Processing. https://arxiv.org/abs/2110.13900
WavLM 是一种自监督语音预训练模型，通过联合学习掩码语音预测与去噪，在自动语音识别（ASR）、说话人验证、语音分离和说话人日志等全栈语音任务上达到最优性能。
[Chen et al. 2022] Program of thoughts prompting: Disentangling computation from reasoning for numerical reasoning tasks. arXiv preprint arXiv:2211.12588. https://arxiv.org/abs/2211.12588
Program of Thoughts 提示让大语言模型把数值推理表达成可执行程序，从而把推理分解与精确计算分离。
[Chen et al. 2023] Extending context window of large language models via positional interpolation. arXiv preprint arXiv:2306.15595. https://arxiv.org/abs/2306.15595
通过线性缩放位置索引扩展基于 RoPE 的大语言模型上下文窗口，避免不稳定外推，并在少量微调后保留原窗口质量。
[Chen et al. 2023] Accelerating large language model decoding with speculative sampling. https://arxiv.org/abs/2302.01318
推测采样利用小草稿模型生成候选词元，再由大目标模型并行验证，在 Chinchilla 上实现 2–2.5 倍推测解码加速，且不改变输出分布。
[Chen et al. 2024] VALL-e 2: Neural codec language models are human parity zero-shot text to speech synthesizers. arXiv preprint arXiv:2406.05370. https://arxiv.org/abs/2406.05370
VALL-E 2 是一个神经编解码语言模型，通过重复感知采样和分组编码建模实现零样本 TTS 的人类同等水平，在 LibriSpeech 和 VCTK 上达到人类对等性。
[Chen et al. 2024] F5-TTS: a fairytaler that fakes fluent and faithful speech with flow matching. arXiv preprint arXiv:2410.06885. https://arxiv.org/abs/2410.06885
F5-TTS 是一个基于流匹配与扩散 Transformer（DiT）的非自回归生成文本到语音（TTS）系统，无需音素对齐或时长模型即可实现零样本语音克隆。
[Chen et al. 2024] InternVL: Scaling up vision foundation models and aligning for generic visual-linguistic tasks. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). https://arxiv.org/abs/2312.14238
InternVL 将视觉 Transformer（ViT）编码器扩展至 60 亿参数，通过语言中间件与大语言模型（LLM）渐进对齐，在 32 项视觉语言基准上达到最优性能。
[Chen et al. 2024] An image is worth 1/2 tokens after layer 2: Plug-and-play inference acceleration for large vision-language models. https://arxiv.org/abs/2403.06764
FastV 根据注意力分数在第 2 层后剪枝视觉语言模型中的视觉词元，在几乎不损失性能的情况下实现 45
[Chen et al. 2024] AgentPoison: Red-teaming LLM agents via poisoning memory or knowledge bases. arXiv preprint arXiv:2407.12784. https://arxiv.org/abs/2407.12784
[Chen et al. 2025] ACEBench: a comprehensive evaluation of LLM tool usage. https://aclanthology.org/2025.findings-emnlp.697.pdf
ACEBench 是一个全面评测大语言模型（LLM）工具调用能力的基准，涵盖常规、特殊（指令不完整）和智能体（多轮对话）场景，并支持无需 LLM 的自动化评测。
[Cheng et al. 2024] Intel TDX demystified: a top-down approach. ACM Computing Surveys. https://dl.acm.org/doi/10.1145/3652597
对 Intel 信任域虚拟机自顶向下的学术剖析：架构、证明流程与信任边界，读者无需去啃厂商规范。
[Chervonyi et al. 2025] Gold-medalist performance in solving olympiad geometry with AlphaGeometry2. arXiv preprint arXiv:2502.03544. https://arxiv.org/abs/2502.03544
AlphaGeometry2 提升了奥数几何的语言覆盖与符号搜索能力，展示了神经提议和符号验证如何协同。
[Chetlur et al. 2014] cuDNN: Efficient primitives for deep learning. arXiv preprint arXiv:1410.0759. https://arxiv.org/abs/1410.0759
把 2010 年代所有框架焊在 NVIDIA 硅片上的库：Caffe、Torch 及其后继者底下的深度学习原语，恰好出现在这个领域工业化的时刻。
[Chhabria 2025] Kadrey v. meta platforms, inc., order on summary judgment, no. 3:23-cv-03417 (N.D. cal.). https://law.justia.com/cases/federal/district-courts/california/candce/3:2023cv03417/415175/598/
Chhabria 法官就大语言模型训练的合理使用问题作出有利于 Meta 的简易判决，同时在附论中指出，若原告充分举证市场稀释，结果可能不同。
[Chhikara et al. 2025] Mem0: Building production-ready AI agents with scalable long-term memory. https://arxiv.org/abs/2504.19413
Mem0 是一种可扩展的智能体长期记忆架构，通过动态提取、整合和检索跨会话关键事实，在 LOCOMO 基准上比全上下文方法获得 26
[Chhikara et al. 2025] Mem0: Building production-ready AI agents with scalable long-term memory. arXiv preprint arXiv:2504.19413. https://arxiv.org/abs/2504.19413
「记忆即服务」流水线：抽取、整合、检索，相对全量上下文报告了可观的延迟与词元节省；而其自己的表格显示，全量上下文基线在质量上得分更高。
[Chiang et al. 2024] Chatbot arena: An open platform for evaluating llms by human preference. arXiv preprint arXiv:2403.04132. https://arxiv.org/abs/2403.04132
Chatbot Arena 是一个开放的众包平台，通过成对比较让用户投票，基于 Bradley-Terry 模型对大语言模型（LLM）进行人类偏好排名，累计收集超过 24 万票。
[Chollet et al. 2025] ARC-AGI-2: a new challenge for frontier AI reasoning systems. arXiv preprint arXiv:2505.11831. https://arxiv.org/abs/2505.11831
ARC-AGI-2 是 ARC-AGI-1 的升级版基准测试，包含更难且不易被暴力搜索攻克的抽象推理任务，并提供大规模第一方人类基线，旨在更精细地衡量 AI 向通用智能的进展。
[Chowdhery et al. 2022] PaLM: Scaling language modeling with pathways. arXiv preprint arXiv:2204.02311. https://arxiv.org/abs/2204.02311
用 Pathways 系统在 6144 块 TPU v4 上训练 540B 参数的稠密 Transformer（PaLM），以研究规模如何在众多任务上提升少样本性能。
[Christiano et al. 2017] Deep reinforcement learning from human preferences. https://arxiv.org/abs/1706.03741
本文表明，深度强化学习智能体可通过非专家对轨迹片段成对比较（基于人类反馈的强化学习）的偏好来学习复杂行为，所需反馈量不足环境交互次数的 1
[Christiano et al. 2018] Supervising strong learners by amplifying weak experts. arXiv preprint arXiv:1810.08575. https://arxiv.org/abs/1810.08575
迭代放大通过把困难任务递归分解为较易子问题，让弱专家参与回答，从而为复杂任务提供训练信号。
[Chroma 2025] Chroma: Open-source embedding database. https://www.trychroma.com/
Chroma 是开源 AI 搜索基础设施，基于对象存储提供向量、全文、正则及元数据搜索，采用 Apache 2.0 许可。
[Chung et al. 2021] w2v-BERT: Combining contrastive learning and masked language modeling for self-supervised speech pre-training. https://arxiv.org/abs/2108.06209
w2v-BERT 将 wav2vec 2.0 的对比学习与掩码语言建模合并为单一端到端自监督框架，用于语音表示学习，在 LibriSpeech 上取得有竞争力的自动语音识别（ASR）结果。
[Clark et al. 2021] All that's 'human' is not gold: Evaluating human evaluation of generated text. arXiv preprint arXiv:2107.00061. https://arxiv.org/abs/2107.00061
Clark 等人表明，未训练评审常常只能以随机水平识别 GPT-3 生成文本，因此需要评审训练与更清晰的协议。
[Cloudflare 2025] Introducing pay per crawl: enabling content owners to charge AI crawlers for access. https://blog.cloudflare.com/introducing-pay-per-crawl/
第一个规模化的 HTTP 402 部署：发布方为 AI 爬虫设定按请求计的价格，爬虫通过报文头协商并付款，为机器读者实现按次抓取的价格发现。
[Cloudflare 2025] The age of agents: cryptographically recognizing agent traffic. https://blog.cloudflare.com/signed-agents/
签名智能体把 Cloudflare 的可信机器人计划扩展到用户控制的智能体：以 RFC 9421 HTTP 报文签名对照公开密钥，一个正在成形的「机器人是谁」注册处。
[CNBC 2025] Michael Burry accuses AI hyperscalers of artificially boosting earnings. https://www.cnbc.com/2025/11/11/big-short-investor-michael-burry-accuses-ai-hyperscalers-of-artificially-boosting-earnings.html
报道 Michael Burry 的主张：超大规模厂商把加速器使用年限拉长到超出其两到三年的经济寿命，将在 2026 至 2028 年间少计约 1760 亿美元折旧。
[CNBC 2025] AI GPU depreciation: CoreWeave, nvidia respond to michael burry. https://www.cnbc.com/2025/11/14/ai-gpu-depreciation-coreweave-nvidia-michael-burry.html
Nvidia 与 CoreWeave 回应称，A100 等上一代加速器仍高度满载、以接近原价续租，为四到六年的折旧年限辩护。
[CNBC 2026] Amazon wins court order to block Perplexity's AI shopping agent. https://www.cnbc.com/2026/03/10/amazon-wins-court-order-to-block-perplexitys-ai-shopping-agent.html
[Coalition for Content Provenance and Authenticity 2024] C2PA technical specification. https://c2pa.org/specifications/
[Cobbe et al. 2021] Training verifiers to solve math word problems. arXiv preprint arXiv:2110.14168. https://arxiv.org/abs/2110.14168
Training Verifiers 提出 GSM8K，并展示在数学文字题上采样多个解法再用验证器选择，能胜过只直接微调生成器。
[Cohen 1960] A coefficient of agreement for nominal scales. Educational and Psychological Measurement. https://doi.org/10.1177/001316446002000104
Cohen κ 衡量两位标注者扣除偶然一致后的协议程度，避免把原始一致率误当成可靠性。
[Coinbase 2025] Introducing x402: a new standard for internet-native payments. https://www.coinbase.com/developer-platform/discover/launches/x402
把 HTTP 402 复活成具体协议：服务器给请求标价，客户端在报文头里附上签名的稳定币付款重试，由一个促成方在链上结算。
[Collobert et al. 2011] Torch7: a matlab-like environment for machine learning. https://ronan.collobert.com/pub/matos/2011_torch7_nipsw.pdf
[Computer Weekly 2023] Google saves almost $3bn by running servers for six years. https://www.computerweekly.com/news/366557152/Google-saves-almost-3bn-by-running-servers-for-six-years
报道 Alphabet 2023 年把服务器使用年限从四年延长到六年，使折旧减少 39 亿美元、净利润增加 30 亿美元，是全行业模式的一部分。
[Construct Validity Review 2025] Measuring what matters: Construct validity in large language model benchmarks. https://openreview.net/forum?id=mdA5lVvNcU
[CoreWeave 2023] CoreWeave secures $2.3 billion debt financing facility. https://www.prnewswire.com/news-releases/coreweave-secures-2-3-billion-debt-financing-facility-led-by-magnetar-capital-and-blackstone-301892706.html
第一笔规模化的 GPU 抵押债务融资，以已签约的加速器收入、而非芯片残值作抵押。
[Costan and Devadas 2016] Intel SGX explained. https://eprint.iacr.org/2016/086
Intel SGX 的权威解读：隔离区、度量与远程证明在硅片层面究竟如何运作，至今仍是理解可信执行的最佳入门。
[Costanza-Chock et al. 2022] Who Audits the Auditors? Recommendations from a field scan of the algorithmic auditing ecosystem. https://dl.acm.org/doi/10.1145/3531146.3533213
一项领域普查发现「算法审计」没有确立的含义，无法核验的审计声明可能加剧而非减轻伤害，是「审计洗白」批评的出处。
[Cottier et al. 2024] How much does it cost to train frontier AI models?. https://epoch.ai/blog/how-much-does-it-cost-to-train-frontier-ai-models
Epoch AI 分析显示，前沿 AI 模型的训练成本每年增长 2-3 倍，持续八年，预计到 2027 年最大规模模型的训练成本可能超过十亿美元。
[Cottier et al. 2024] The rising costs of training frontier AI models. https://arxiv.org/abs/2405.21015
Cottier 等人构建详细成本模型，表明前沿 AI 模型训练成本自 2016 年以来每年增长 2.4 倍，GPT-4 与 Gemini Ultra 的训练成本均达数千万美元。
[Council of the European Union 2026] Artificial intelligence: Council and Parliament agree to simplify and streamline rules. https://www.consilium.europa.eu/en/press/press-releases/2026/05/07/artificial-intelligence-council-and-parliament-agree-to-simplify-and-streamline-rules/
[Council of the European Union 2026] Artificial intelligence: Council and parliament agree to simplify and streamline rules. https://www.consilium.europa.eu/en/press/press-releases/2026/05/07/artificial-intelligence-council-and-parliament-agree-to-simplify-and-streamline-rules/
[Council of the European Union 2026] Artificial intelligence: Council gives final green light to simplify and streamline rules. https://www.consilium.europa.eu/en/press/press-releases/2026/06/29/artificial-intelligence-council-gives-final-green-light-to-simplify-and-streamline-rules/
[Council on Foreign Relations 2025] China's AI chip deficit: Why huawei can't catch nvidia and U.S. export controls should remain. https://www.cfr.org/articles/chinas-ai-chip-deficit-why-huawei-cant-catch-nvidia-and-us-export-controls-should-remain
一篇美国外交关系委员会政策分析认为，华为在 AI 芯片性能上无法赶上 Nvidia，美国对华 GPU 出口管制应当维持。
[Covington et al. 2016] Deep neural networks for YouTube recommendations. https://dl.acm.org/doi/10.1145/2959100.2959190
确立业界两阶段术语的论文：候选生成网络从数百万条目中检索出数百条，排序网络再对幸存者打分，是 RAG 中「先检索后重排」的直接结构祖先。
[Cui et al. 2023] UltraFeedback: Boosting language models with scaled AI feedback. arXiv preprint arXiv:2310.01377. https://arxiv.org/abs/2310.01377
UltraFeedback 在 25 万段对话上使用大规模 GPT-4 反馈，并强调多样性与偏差缓解是 AI 反馈能用于对齐的关键因素。
[Cui et al. 2025] Free-MAD: Consensus-free multi-agent debate. arXiv preprint arXiv:2509.11035. https://arxiv.org/abs/2509.11035
FREE-MAD 是一种无需共识的多智能体辩论框架，用基于分数的决策机制评估完整辩论轨迹，替代多数投票，将大语言模型推理所需的辩论轮次压缩至一轮，同时降低词元开销。
[Cui et al. 2025] OR-bench: An over-refusal benchmark for large language models. https://arxiv.org/abs/2405.20947
OR-Bench 是首个大规模大语言模型过度拒绝基准，包含跨 10 个类别自动生成的 80,000 条安全提示，用于系统衡量 32 个模型的过度拒绝率。
[Cunningham et al. 2023] Sparse autoencoders find highly interpretable features in language models. arXiv preprint arXiv:2309.08600. https://arxiv.org/abs/2309.08600
稀疏自编码器（SAE）通过稀疏字典学习将语言模型内部激活中的多义性神经元分解为单义、可解释的特征，从而消解叠加现象。
[Cursor 2025] Checkpoints in the agent workflow. https://stevekinney.com/courses/ai-development/cursor-checkpoints
Cursor 在每次 AI 智能体编辑前自动对代码库状态创建快照，以独立于 Git 的本地临时检查点存储，供用户回滚不期望的变更。
[D'Amour et al. 2020] Underspecification presents challenges for credibility in modern machine learning. arXiv preprint arXiv:2011.03395. https://arxiv.org/abs/2011.03395
本文指出现代机器学习流水线常常欠定：许多预测器留出性能相近，却在部署环境中表现不同。
[Dabney et al. 2020] A distributional code for value in dopamine-based reinforcement learning. Nature.
Dabney 等人发现多巴胺神经元表征未来奖励的分布，为分布式强化学习提供了生物学证据。
[Dai et al. 2024] DeepSeekMoE: Towards ultimate expert specialization in mixture-of-experts language models. https://arxiv.org/abs/2401.06066
DeepSeekMoE 通过细粒度专家分割和共享专家隔离两项策略，提升混合专家（MoE）语言模型的专家专业化程度，以更少计算量达到稠密模型的性能水平。
[Dao et al. 2022] FlashAttention: Fast and memory-efficient exact attention with IO-awareness. https://arxiv.org/abs/2205.14135
FlashAttention 是一种 IO 感知的精确注意力算法，通过分块（tiling）与重计算减少高带宽显存（HBM）访问次数，实现更快的实际训练速度并将显存占用降至序列长度线性级别。
[Dao 2023] FlashAttention-2: Faster attention with better parallelism and work partitioning. https://arxiv.org/abs/2307.08691
FlashAttention-2 通过改进 GPU 线程块工作分区与序列长度维度并行，相较 FlashAttention 实现约 2 倍加速，在 A100 上达到理论峰值 FLOPs/s 的 50–73
[Dao and Gu 2024] Transformers are ssms: Generalized models and efficient algorithms through structured state space duality. https://arxiv.org/abs/2405.21060
Mamba-2 通过半可分矩阵建立状态空间模型（SSM）与注意力之间的结构化状态空间对偶（SSD）框架，使 SSM 层训练速度提升 2-8 倍，在语言建模上与 Transformer 竞争。
[Dathathri et al. 2024] Scalable watermarking for identifying large language model outputs. Nature. https://www.nature.com/articles/s41586-024-08025-4
SynthID-Text 把生成时水印做成了生产系统，延迟开销可忽略，在 Gemini 线上流量上完成了两千万次响应的实测，并已开源。
[Davis 2025] Durable execution meets AI. https://temporal.io/blog/durable-execution-meets-ai-why-temporal-is-the-perfect-foundation-for-ai
Temporal 的持久执行模型满足 LLM 驱动的智能体应用的所有核心可靠性需求，因为智能体本质上是需要应对瞬时故障的分布式系统。
[Dean et al. 2012] Large scale distributed deep networks. https://proceedings.neurips.cc/paper/2012/hash/6aca97005c68f1206823815f66102863-Abstract.html
[Dean and Barroso 2013] The tail at scale. ACM. https://research.google/pubs/the-tail-at-scale/
Dean 与 Barroso 阐释了大规模分布式系统中尾延迟主导总响应时间的原因，并提出通过对冲请求与冗余执行来降低高百分位延迟的技术。
[Debenedetti et al. 2024] AgentDojo: a dynamic environment to evaluate prompt injection attacks and defenses for LLM agents. https://arxiv.org/abs/2406.13352
AgentDojo 是一个可扩展的基准框架，包含 97 个真实任务和 629 个安全测试用例，用于评估 LLM 智能体对提示注入攻击的对抗鲁棒性。
[Debenedetti et al. 2025] Defeating prompt injections by design. arXiv preprint arXiv:2503.18813. https://arxiv.org/abs/2503.18813
CaMeL 是一种针对 LLM 智能体提示注入攻击的系统层防御，通过对控制流和数据流强制执行基于能力的安全策略，无需修改底层模型，在 AgentDojo 上以可证明安全性解决 77
[DeepSeek-AI 2024] DeepSeek-V3 technical report. https://arxiv.org/abs/2412.19437
介绍 DeepSeek-V3，一个 671B 参数、每词元激活 37B 的混合专家模型，用 14.8T 词元与 fp8 矩阵乘法训练，采用无辅助损失的负载均衡，以低成本比肩闭源模型。
[DeepSeek-AI 2024] DeepSeek-V2: a strong, economical, and efficient mixture-of-experts language model. https://arxiv.org/abs/2405.04434
DeepSeek-V2 是一个 236B 混合专家（MoE）语言模型，通过多头潜在注意力（MLA）和 DeepSeekMoE 将 KV 缓存压缩 93.3
[DeepSeek-AI 2025] DeepSeek-V3.2: Pushing the frontier of open large language models. arXiv preprint arXiv:2512.02556. https://arxiv.org/abs/2512.02556
提出 DeepSeek 稀疏注意力（DSA），一种由 lightning indexer 驱动的细粒度稀疏注意力，最早随 DeepSeek-V3.2-Exp 上线，把长上下文注意力成本从 O(L^2) 降向 O(Lk)，输出质量几乎不变。
[Défossez et al. 2023] High fidelity neural audio compression. Transactions on Machine Learning Research (TMLR). https://arxiv.org/abs/2210.13438
EnCodec 是一种实时神经音频编解码器，采用流式编解码器架构、残差向量量化与对抗训练，在 1.5 至 24 kbps 码率下达到最优压缩质量。
[Défossez et al. 2024] Moshi: a speech-text foundation model for real-time dialogue. arXiv preprint arXiv:2410.00037. https://arxiv.org/abs/2410.00037
Moshi 是一个实时全双工语音-文本基础模型，通过并行音频流和"内心独白"方法直接进行语音到语音生成，理论延迟达 160ms。
[Delétang et al. 2024] Language modeling is compression. https://arxiv.org/abs/2309.10668
大语言模型是强大的通用无损压缩器：Chinchilla 70B 将 ImageNet 图像块压缩至原始大小的 43.4
[Dettmers et al. 2022] llm.int8(): 8-bit matrix multiplication for transformers at scale. https://arxiv.org/abs/2208.07339
LLM.int8() 通过混合精度分解将高达 175B 参数的 Transformer 推理显存减半：对 99.9
[Dettmers et al. 2023] QLoRA: Efficient finetuning of quantized llms. arXiv preprint arXiv:2305.14314. https://arxiv.org/abs/2305.14314
QLoRA 通过将冻结的 4 位量化模型的梯度反向传播至 LoRA 低秩适配器，并引入 NF4、双重量化和分页优化器，实现在单张 48GB GPU 上对 65B 参数大语言模型进行参数高效微调。
[Dhariwal and Nichol 2021] Diffusion models beat gans on image synthesis. https://arxiv.org/abs/2105.05233
Dhariwal 和 Nichol 通过改进 UNet 架构并引入分类器引导来权衡多样性与保真度，证明扩散模型在图像合成质量上超越了 GAN。
[Dillon et al. 2025] Shifting work patterns with generative AI. https://arxiv.org/abs/2504.11436
一项覆盖 6000 名员工、持续六个月的随机实验发现，AI 主要改变可由个人控制的工作模式，使使用者减少邮件时间，但没有显著减少会议时间。
[Ding et al. 2026] Photonic rails in ML datacenters with opus. arXiv preprint arXiv:2602.12521. https://arxiv.org/abs/2602.12521
Opus 将 ML 数据中心 rail 网络中的电气分组交换机替换为光学电路交换机，利用并行维度驱动的重配置实现超过 23 倍的网络功耗降低和 4 倍成本节省，训练开销低于 6
[Dong et al. 2023] RAFT: Reward rAnked FineTuning for generative foundation model alignment. arXiv preprint arXiv:2304.06767. https://arxiv.org/abs/2304.06767
RAFT（奖励排序微调）通过迭代采样模型输出、用奖励模型评分并仅对高分子集做监督微调，以稳定的方式替代 PPO 完成大语言模型与扩散模型的对齐。
[Dong et al. 2023] PUMA: Secure inference of LLaMA-7B in five minutes. arXiv preprint arXiv:2307.12533. https://arxiv.org/abs/2307.12533
LLM 安全多方计算的里程碑：三方协作推理 LLaMA-7B，每生成一个词元约需五分钟，也由此标定了与可信硬件之间的成本差距。
[Dong et al. 2024] XGrammar: Flexible and efficient structured generation engine for large language models. arXiv preprint arXiv:2411.15100. https://arxiv.org/abs/2411.15100
XGrammar 通过将词汇表拆分为上下文无关词元与上下文相关词元，加速 LLM 约束解码中的上下文无关文法执行，单词元延迟最高降低 100 倍。
[Dong et al. 2025] Agentic reinforced policy optimization. arXiv preprint arXiv:2507.19849. https://arxiv.org/abs/2507.19849
ARPO 是一种面向多轮 LLM 智能体的智能体强化学习算法，通过基于熵的自适应 rollout 在高不确定性工具调用步骤分支采样，将可验证奖励的强化学习（RLVR）所需工具调用预算减半。
[Dosovitskiy et al. 2021] An image is worth 16x16 words: Transformers for image recognition at scale. https://arxiv.org/abs/2010.11929
ViT 表明，将纯 Transformer 直接应用于图像块序列，在足够规模的预训练后，可在图像分类任务上达到或超越 CNN 的性能。
[Dror et al. 2017] Replicability analysis for natural language processing: Testing significance with multiple datasets. Transactions of the Association for Computational Linguistics. https://aclanthology.org/Q17-1033/
本文为跨多个数据集的 NLP 系统比较提出可复现性分析框架，处理宽评测套件中的多重比较问题。
[Dror et al. 2018] The hitchhiker's guide to testing statistical significance in natural language processing. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics. https://aclanthology.org/P18-1128/
Dror 等人梳理 NLP 中的统计显著性检验，并按常见指标与实验设计给出检验选择建议。
[Du et al. 2022] GLaM: Efficient scaling of language models with mixture-of-experts. https://arxiv.org/abs/2112.06905
GLaM 通过稀疏激活的混合专家（MoE）将仅解码器语言模型扩展至 1.2T 参数，在 29 项 NLP 任务上超越 GPT-3，同时训练能耗仅为其三分之一。
[Du et al. 2025] Context length alone hurts LLM performance despite perfect retrieval. https://arxiv.org/abs/2510.05381
即使大语言模型（LLM）能完美检索所有相关内容，随着输入上下文长度增加，其推理性能仍大幅下降（13.9
[Du 2026] Tiered super-moore's law: Price evolution, production frontiers, and market competition in large language model inference services. https://arxiv.org/abs/2603.28576
Du 记录不同模型层级的词元价格快速下降和推理市场集中度降低，将词元价格视为一种独立的数字商品市场。
[Dubois et al. 2024] Length-controlled AlpacaEval: a simple way to debias automatic evaluators. arXiv preprint arXiv:2404.04475. https://arxiv.org/abs/2404.04475
Length-Controlled AlpacaEval 在长度差为零的反事实条件下估计评判偏好，从而降低冗长偏差，并提升与 Chatbot Arena 排名的相关性。
[Edge et al. 2024] From local to global: a graph RAG approach to query-focused summarization. arXiv preprint arXiv:2404.16130. https://arxiv.org/abs/2404.16130
GraphRAG 通过大语言模型从语料库中构建实体知识图谱，利用层次社区检测生成社区摘要，再以 map-reduce 方式回答向量检索增强生成（RAG）无法处理的全局意义建构查询。
[Efron 1979] Bootstrap methods: Another look at the jackknife. The Annals of Statistics. https://doi.org/10.1214/aos/1176344552
Efron 提出 bootstrap 自助法，用重采样来估计不确定性，而不必为每个统计量推导封闭形式的抽样分布。
[Eigen AI Team and SGLang Team 2025] Accelerating SGLang with multiple token prediction. https://lmsys.org/blog/2025-07-17-mtp/
SGLang 为 DeepSeek-V3 实现的多词元预测投机解码，据报告在小规模部署中把输出吞吐最高提高 60
[Eldan and Li 2023] TinyStories: How small can language models be and still speak coherent english?. https://arxiv.org/abs/2305.07759
TinyStories 提出一个由简单短故事构成的合成数据集，证明参数量低于 1000 万的语言模型也能生成流畅连贯的英文文本并涌现出推理能力。
[Elhage et al. 2021] A mathematical framework for transformer circuits. https://transformer-circuits.pub/2021/framework/index.html
本文提出一个用于 Transformer 机械可解释性的数学框架，通过残差流、QK/OV 电路和归纳头对纯注意力模型进行逆向工程分析。
[Elhage et al. 2022] Toy models of superposition. https://arxiv.org/abs/2209.10652
玩具 ReLU 网络证明神经网络通过叠加将比维度更多的特征编码为方向，解释了多义性并揭示了特征是否与神经元对齐的相图。
[Elo 1978] The rating of chessplayers, past and present. Arco Publishing. https://archive.org/details/ratingofchesspla0000eloa
Arpad Elo 的 1978 年著作介绍了 Elo 评分系统，一种基于成对比较预期得分来对棋手进行排名的概率方法。
[Elsworth et al. 2025] Measuring the environmental impact of delivering AI at google scale. arXiv preprint arXiv:2508.15734. https://arxiv.org/abs/2508.15734
谷歌在生产环境中测量 Gemini Apps 推理的完整技术栈能耗、碳排放与水消耗，发现中位数文本提示消耗 0.24 Wh，一年内碳足迹降低 44 倍。
[Endsley 1995] Toward a theory of situation awareness in dynamic systems. Human Factors. https://doi.org/10.1518/001872095779049543
Endsley 把情境感知形式化为动态决策中的构念，受感知、理解、预测、工作负载、复杂性与自动化影响。
[Enevoldsen and others 2025] MMTEB: Massive multilingual text embedding benchmark. https://arxiv.org/abs/2502.13595
MMTEB 是一个社区驱动的文本嵌入基准，涵盖 250 余种语言的 500 余个质量受控评测任务，并通过优化子集将计算量降低 98
[Engels et al. 2025] Scaling laws for scalable oversight. arXiv preprint arXiv:2504.18530. https://arxiv.org/abs/2504.18530
本文提出一套量化框架，将可扩展监督建模为能力不匹配的 LLM 之间的博弈，推导出扩展律并分析嵌套可扩展监督（NSO）的最优配置。
[Epoch AI 2026] GDPval. https://epoch.ai/benchmarks/gdpval
Epoch AI 对 GDPval 基准的持续追踪：2026 年最好的模型在约 71
[Erdil 2025] Inference economics of language models. arXiv preprint arXiv:2506.04645. https://arxiv.org/abs/2506.04645
该论文建立理论模型，综合计算、高带宽显存带宽与网络延迟约束，推导 LLM 推理中每词元生成速度与每词元成本的 Pareto 前沿。
[Eren et al. 2026] Financing the AI infrastructure boom: on- and off-balance sheet borrowing. https://www.bis.org/publ/qtrpdf/r_qt2603u.htm
国际清算银行季度评论的研究，记录科技巨头 2025 年债券发行突破千亿美元，以及在超大规模厂商、私募信贷与银行之间制造新联系的 SPV 影子借贷。
[Es et al. 2023] RAGAS: Automated evaluation of retrieval augmented generation. arXiv preprint arXiv:2309.15217. https://arxiv.org/abs/2309.15217
RAGAS 为 RAG 流水线提出无参考指标，包括上下文相关性、上下文召回、忠实度和答案相关性。
[Esser et al. 2021] Taming transformers for high-resolution image synthesis. https://arxiv.org/abs/2012.09841
VQGAN 将基于 CNN 的离散码本与 Transformer 结合，通过自回归方式实现百万像素级高分辨率图像合成。
[Esser et al. 2024] Scaling rectified flow transformers for high-resolution image synthesis. https://arxiv.org/abs/2403.03206
SD3 为修正流训练引入改进的噪声采样，并提出支持图像与文本词元双向混合的扩散 Transformer 架构，在高分辨率文生图任务中展示出可预测的扩展律。
[Ethayarajh 2019] How contextual are contextualized word representations? Comparing the geometry of BERT, elmo, and GPT-2 embeddings. https://aclanthology.org/D19-1006/
本文分析 BERT、ELMo 和 GPT-2 中上下文词表示的几何结构，发现其具有各向异性，且上层产生更具上下文特异性的嵌入。
[Ethayarajh et al. 2024] KTO: Model alignment as prospect theoretic optimization. arXiv preprint arXiv:2402.01306. https://arxiv.org/abs/2402.01306
KTO 基于 Kahneman-Tversky 前景理论提出对齐目标，仅需二元可取性信号而非偏好对，在 1B 到 30B 参数规模上与 DPO 持平或更优。
[European Commission 2025] The general-purpose AI code of practice. https://digital-strategy.ec.europa.eu/en/policies/contents-code-gpai
[European Commission 2025] Guidelines for providers of general-purpose AI models. https://digital-strategy.ec.europa.eu/en/policies/guidelines-gpai-providers
欧盟委员会面向 AI Act 下 GPAI 提供者的指引：义务自 2025 年 8 月 2 日起适用，执法权自 2026 年 8 月起生效，提供者须按官方模板发布训练内容摘要。
[European Commission 2025] The general-purpose AI code of practice. https://digital-strategy.ec.europa.eu/en/policies/contents-code-gpai
欧盟委员会 GPAI 行为准则为模型提供者提供自愿路径，以证明其满足 AI Act 下透明、版权和系统性风险安全义务。
[European Parliament and Council of the European Union 2024] Regulation (EU) 2024/1689 of the european parliament and of the council laying down harmonised rules on artificial intelligence (artificial intelligence act). https://eur-lex.europa.eu/eli/reg/2024/1689/oj
[European Parliament and Council of the European Union 2024] Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence. https://eur-lex.europa.eu/eli/reg/2024/1689/oj
欧盟 AI Act 要求高风险 AI 系统支持人工监督，包括意识到自动化偏差、正确解释、覆盖输出以及停止或中断程序。
[Ewen et al. 2025] Durable AI loops: Fault tolerance across frameworks. https://www.restate.dev/blog/durable-ai-loops-fault-tolerance-across-frameworks-and-without-handcuffs
Restate 的持久执行机制将智能体循环封装为可容错、可恢复、具备可观测性和人机协作能力的工作流，兼容任意智能体 SDK 而无需框架绑定。
[Fast.io 2025] AI agent reliability report 2025. https://fast.io/resources/ai-agent-idempotent-operations/
一份面向开发者的指南，阐述 AI 智能体为何必须使用幂等操作（原子写入、幂等键、文件锁），以防止重试时发生数据损坏和重复副作用。
[Faysse et al. 2024] ColPali: Efficient document retrieval with vision language models. arXiv preprint arXiv:2407.01449. https://arxiv.org/abs/2407.01449
[Fedus et al. 2021] Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity. Journal of Machine Learning Research. https://arxiv.org/abs/2101.03961
Switch Transformer 将混合专家（MoE）路由简化为每词元单专家选择，在相同 FLOPs 下实现万亿参数稀疏模型，预训练速度较 T5 最高提升 7 倍。
[Feng et al. 2023] Alphazero-like tree-search can guide large language model decoding and training. arXiv preprint arXiv:2309.17179. https://arxiv.org/abs/2309.17179
TS-LLM 将 AlphaZero 式树搜索与学习到的价值函数相结合，在推理、规划、RLHF 对齐和决策任务中同时引导大语言模型的解码与迭代训练。
[Feng et al. 2025] Group-in-group policy optimization for LLM agent training. https://arxiv.org/abs/2505.10978
GiGPO 提出一种两级组相对策略优化算法，通过锚状态分组在多轮大语言模型智能体训练中实现细粒度的逐步信度分配，无需额外展开或评论家模型。
[Fernandes et al. 2023] Bridging the gap: a survey on integrating human feedback for natural language generation. arXiv preprint arXiv:2305.00955. https://arxiv.org/abs/2305.00955
这篇综述形式化自然语言生成中的人类反馈，覆盖反馈形式、目标、训练用途、解码用途，以及 AI 反馈的新角色。
[Fielding et al. 2022] HTTP semantics (RFC 9110), section 15.5.3: 402 payment required. https://www.rfc-editor.org/rfc/rfc9110.html
这个 HTTP 状态码的全部规范只有一句「保留供将来使用」，自 HTTP/1.1 起就待在协议里，等一个没有心智交易成本的付款方。
[Financial Times 2025] Insurers seek to exclude AI liabilities from corporate policies. https://www.ft.com/content/ai-insurance-exclusions-2025
报道多家大型保险公司申请把 AI 责任从一般企业保单中剔除，这是一个尚无法为相关性 AI 风险定价的市场的反应。
[FinOps Foundation 2026] What is FinOps?. https://www.finops.org/introduction/what-is-finops/
FinOps 把技术成本管理定义为工程、财务、产品和业务团队共同参与的协作式运营模型。
[FinOps Open Cost and Usage Specification 2026] FOCUS: FinOps open cost and usage specification. https://focus.finops.org/
FOCUS 提供供应商中立的成本与用量数据格式，让 AI 花费可以与其他技术花费放在一起分析；其虚拟货币列覆盖词元购入与消耗进度，按模型统计词元消耗则列入 1.4 之后版本的范围。
[Foundation for Defense of Democracies 2025] Rolling back export controls, U.S. offers china powerful AI chips. https://www.fdd.org/analysis/2025/12/10/rolling-back-export-controls-u-s-offers-china-powerful-ai-chips/
民主保卫基金会（FDD）政策分析指出，特朗普政府于2025年12月放宽AI芯片出口管制，使中国得以获取强大的AI半导体，削弱了此前的限制措施。
[Frantar et al. 2022] GPTQ: Accurate post-training quantization for generative pre-trained transformers. https://arxiv.org/abs/2210.17323
GPTQ 是一种基于近似二阶信息的训练后量化方法，可在数小时内将 OPT-175B 等大语言模型压缩至每权重 3-4 比特，困惑度损失可忽略，并首次实现在单张 GPU 上运行 175B 参数模型的生成推理。
[Friedl et al. 2026] The impossibility of eliciting latent knowledge. arXiv preprint arXiv:2606.12268. https://arxiv.org/abs/2606.12268
本文用因果影响图形式化 eliciting latent knowledge，并证明只依赖行为反馈不能在所有情形下保证训练出诚实智能体。
[Friston 2010] The free-energy principle: a unified brain theory?. Nature Reviews Neuroscience.
Friston 提出自由能原理，认为大脑通过最小化对惊异度的变分自由能上界来实现感知、学习与行动。
[Frostig et al. 2018] Compiling machine learning programs via high-level tracing. https://mlsys.org/Conferences/doc/2018/146.pdf
定义 JAX 的四页论文：把纯 Python/NumPy 函数追踪成图、下沉到 XLA，并把求导、编译与向量化暴露为可组合的变换。
[Fu et al. 2024] Break the sequential dependency of LLM inference using lookahead decoding. https://arxiv.org/abs/2402.02057
Lookahead Decoding 无需草稿模型，通过 Jacobi 迭代并行生成并验证 n-gram，将大语言模型自回归解码速度提升最高 4 倍。
[Fu et al. 2025] AReaL: a large-scale asynchronous reinforcement learning system for language reasoning. arXiv preprint arXiv:2505.24298. https://arxiv.org/abs/2505.24298
AReaL 是一个完全异步的大语言模型强化学习训练系统，通过将生成与训练解耦并引入感知数据陈旧度的 PPO 变体，相比同步系统实现最高 2.77 倍的训练加速。
[Furman 2025] Information-processing investment and US GDP growth (public remarks). https://x.com/jasonfurman/status/1971995367202775284
Furman 的发现：约占 GDP 4
[Gao et al. 2019] Representation degeneration problem in training natural language generation models. https://arxiv.org/abs/1907.12009
本文发现自然语言生成模型在权重绑定的极大似然训练中，词嵌入退化集中于狭窄锥形区域，并提出正则化方法加以缓解。
[Gao et al. 2020] The pile: An 800GB dataset of diverse text for language modeling. https://arxiv.org/abs/2101.00027
The Pile 是一个由 22 个多样化来源组成的 825 GiB 英语文本语料库，旨在提升大语言模型预训练的跨领域泛化能力。
[Gao et al. 2021] SimCSE: Simple contrastive learning of sentence embeddings. https://arxiv.org/abs/2104.08821
SimCSE 通过对比学习提升句子嵌入质量，无监督时以 dropout 噪声作为最小数据增强，有监督时利用自然语言推断的蕴含与矛盾句对。
[Gao et al. 2022] Scaling laws for reward model overoptimization. arXiv preprint arXiv:2210.10760. https://arxiv.org/abs/2210.10760
本文度量 RLHF 中的奖励模型过优化现象，推导出黄金奖励随策略与初始策略之间 KL 散度变化的扩展律，覆盖强化学习与 best-of-n 采样两种优化方式。
[Gao et al. 2022] PAL: Program-aided language models. arXiv preprint arXiv:2211.10435. https://arxiv.org/abs/2211.10435
PAL 让大语言模型把自然语言推理题翻译成可执行程序，再把计算交给 Python 解释器完成。
[Gao et al. 2023] Enabling large language models to generate text with citations. arXiv preprint arXiv:2305.14627. https://arxiv.org/abs/2305.14627
ALCE 从回答正确性、流畅性和引用质量评测带检索的生成，显示强模型也常常缺少完整引用支持。
[Gao et al. 2024] Scaling and evaluating sparse autoencoders. arXiv preprint arXiv:2406.04093. https://arxiv.org/abs/2406.04093
本文提出使用 TopK 稀疏自编码器（SAE）直接控制稀疏度以改善重建-稀疏度边界，建立关于 SAE 规模与稀疏度的扩展律，并在 GPT-4 激活上训练了一个拥有 1600 万潜变量的 SAE。
[Gao et al. 2025] Weight-sparse transformers have interpretable circuits. arXiv preprint arXiv:2511.13653. https://arxiv.org/abs/2511.13653
OpenAI 的研究者把 Transformer 的权重训练成大部分为零，使电路从构造上就可解释，代价是在小规模下用能力换可解释性。
[Gebru et al. 2021] Datasheets for datasets. Communications of the ACM. https://arxiv.org/abs/1803.09010
数据表框架提出标准化数据集文档，覆盖动机、构成、采集、预处理、用途、发布和维护。
[Gema et al. 2024] Are we done with MMLU?. arXiv preprint arXiv:2406.04127. https://arxiv.org/abs/2406.04127
对 5,700 道 MMLU 题目的人工重标注估计约 6.49
[Gemini Team, Google 2023] Gemini: a family of highly capable multimodal models. arXiv preprint arXiv:2312.11805. https://arxiv.org/abs/2312.11805
Google 推出 Gemini 多模态大语言模型系列（Ultra、Pro、Nano），在文本、图像、音频和视频上联合训练，Gemini Ultra 首次在 MMLU 基准上超越人类专家水平。
[Gemini Team, Google 2024] Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context. https://arxiv.org/abs/2403.05530
Gemini 1.5 Pro 和 Flash 是多模态混合专家模型，在文本、视频和音频模态下对最长 10M 词元的上下文实现近乎完美的召回。
[Gemma Team, Google DeepMind 2024] Gemma 2: Improving open language models at a practical size. arXiv preprint arXiv:2408.00118. https://arxiv.org/abs/2408.00118
Gemma 2 发布了 2B、9B、27B 三款开放大语言模型，通过知识蒸馏、交替局部-全局注意力与 GQA，使其性能媲美参数量大 2-3 倍的模型。
[Generalist AI 2025] GEN-0: Embodied foundation models that scale with physical interaction. https://generalistai.com/blog/nov-04-2025-GEN-0
GEN-0 是一类具身基础模型，通过在超过 270,000 小时真实世界操作数据上训练，并采用谐波推理架构同步感知与行动，展示了随物理交互数据增长的扩展律。
[Geng et al. 2025] Mean flows for one-step generative modeling. arXiv preprint arXiv:2505.13447. https://arxiv.org/abs/2505.13447
[Geng and Neubig 2026] Effective strategies for asynchronous software engineering agents. https://arxiv.org/abs/2603.21489
CAID 提出一种基于 git worktree、依赖图与分支合并集成的多智能体协调范式，在长时程软件工程任务中最多提升 26.7
[Gerstgrasser et al. 2024] Is model collapse inevitable? Breaking the curse of recursion by accumulating real and synthetic data. arXiv preprint arXiv:2404.01413. https://arxiv.org/abs/2404.01413
在模型迭代训练中累积真实与合成数据（而非替换旧数据）可证明地避免模型崩溃，替换策略则导致性能逐步退化。
[ggml project 2023] GGUF file format specification. https://github.com/ggml-org/ggml/blob/master/docs/gguf.md
面向本地推理的单文件格式，把张量、分词器与全部元数据打进一个可内存映射、量化感知的文件，无需单独的配置。
[ggml-org 2023] llama.cpp. https://github.com/ggml-org/llama.cpp
llama.cpp 是一个开源 C/C++ 库，支持在本地无 GPU 依赖地运行大语言模型（LLM）推理，使用量化权重。
[ggml-org 2023] GGUF. https://github.com/ggml-org/ggml/blob/master/docs/gguf.md
GGUF 是用于 GGML 推理引擎的二进制单文件大语言模型权重格式，以可扩展键值元数据和 mmap 兼容布局取代了旧版 GGML/GGJT 格式。
[Ghazvininejad et al. 2019] Mask-predict: Parallel decoding of conditional masked language models. https://arxiv.org/abs/1904.09324
Mask-Predict 提出条件掩码语言模型，通过迭代并行解码算法在接近自回归翻译质量的同时显著加快解码速度。
[Ghosal et al. 2025] Does thinking more always help? Understanding test-time scaling in reasoning models. arXiv preprint arXiv:2506.04210. https://arxiv.org/abs/2506.04210
本文报告测试时思考长度呈非单调曲线：额外思考先有帮助，随后伤害表现，因而需要并行思考与自适应预算分配。
[Ghosh et al. 2023] GenEval: An object-focused framework for evaluating text-to-image alignment. https://arxiv.org/abs/2310.11513
GENEVAL 是一个以目标检测为核心的基准，通过检测与判别式视觉模型评估文本到图像模型在计数、位置和属性绑定等组合任务上的对齐能力。
[Gitpod 2022] Data loss when workspace timeout fires before sync completes. https://github.com/gitpod-io/gitpod/issues/9544
该 GitHub issue 报告了 Gitpod 工作区在超时后 pod 进入终止状态时数据丢失的问题，根本原因是工作区活跃期间未将数据及时同步到存储账户。
[Glassman et al. 1995] The millicent protocol for inexpensive electronic commerce. https://www.w3.org/Conferences/WWW4/Papers/246/
DEC 的经纪商加代币设计，支持低至千分之一美元的交易；这是机器粒度支付的可行答案，只是比会花钱的机器早了三十年。
[Glazer et al. 2024] FrontierMath: a benchmark for evaluating advanced mathematical reasoning in AI. arXiv preprint arXiv:2411.04872. https://arxiv.org/abs/2411.04872
FrontierMath 使用专家审定的原创高难数学题和自动验证来衡量高级数学推理，同时降低数据污染风险。
[Gloeckle et al. 2024] Better & faster large language models via multi-token prediction. https://arxiv.org/abs/2404.19737
通过让大语言模型使用 n 个独立输出头同时预测多个未来词元，可提升样本效率、在代码基准上提升约 15
[Goldman Sachs 2026] Tracking Trillions: the assumptions shaping the scale of the AI build-out. https://www.goldmansachs.com/insights/articles/tracking-trillions-the-assumptions-shaping-scale-of-the-ai-build-out
把 AI 相关投资定在 2026 年约占美国 GDP 的 1.5
[Gollwitzer 2025] Federal courts find fair use in AI training: Key takeaways from kadrey v. meta and bartz v. anthropic. https://www.jw.com/news/insights-kadrey-meta-bartz-anthropic-ai-copyright/
[Google 2025] Private AI Compute: our next step in building private and helpful AI. https://blog.google/innovation-and-ai/products/google-private-ai-compute/
Google 的机密服务设计把 Gemini 模型放进 TPU 隔离区运行，CPU 侧配 SEV-SNP，是通往「包括我们自己也看不见」这一承诺的第二条自研硅片路线。
[Google 2025] Ironwood: The first google TPU for the age of inference. https://blog.google/innovation-and-ai/infrastructure-and-cloud/google-cloud/ironwood-tpu-age-of-inference/
Google Ironwood 是专为推理工作负载设计的第七代张量处理器（TPU），可扩展至 9,216 块芯片，配备增强型 SparseCore、更大的高带宽显存（HBM）容量与带宽，以及改进的芯片间互连（ICI）网络。
[Google 2026] Gemma 4: Byte for byte, the most capable open models. https://blog.google/innovation-and-ai/technology/developers-tools/gemma-4/
[Google Cloud 2025] Announcing the Agent2Agent protocol (A2A). https://developers.googleblog.com/en/a2a-a-new-era-of-agent-interoperability/
Google 将 A2A 定义为开放协议，使不同厂商或框架构建的智能体能够通信、协同行动，并支持长时间运行的多智能体工作流。
[Google DeepMind 2025] Gemini diffusion. https://deepmind.google/models/gemini-diffusion/
Gemini Diffusion 是 Google DeepMind 的离散扩散语言模型，一次生成整块词元，采样速度达 1479 词元/秒，基准性能与 Gemini 2.0 Flash-Lite 相当。
[Google DeepMind 2025] Genie 3: a new frontier for world models. https://deepmind.google/discover/blog/genie-3-a-new-frontier-for-world-models/
一个实时交互式世界模型，以 24fps 生成 720p 画面并带短时视觉记忆，把请求从批处理作业变成带数十毫秒帧截止时间的有状态每用户会话。
[Google DeepMind 2025] Gemini robotics 1.5: Pushing the frontier of generalist robots with embodied reasoning, thinking, and motion transfer. arXiv preprint arXiv:2510.03342. https://arxiv.org/abs/2510.03342
Gemini Robotics 1.5 提出一种多形态视觉-语言-动作模型（VLA），通过运动迁移（Motion Transfer）机制和具身思维能力，实现跨不同机器人形态的零样本技能迁移。
[Google DeepMind 2025] Advanced version of gemini with deep think officially achieves gold-medal standard at the international mathematical olympiad. https://deepmind.google/blog/advanced-version-of-gemini-with-deep-think-officially-achieves-gold-medal-standard-at-the-international-mathematical-olympiad/
[Google DeepMind 2026] Decoupled DiLoCo: Cross-datacenter training of language models. arXiv preprint arXiv:2604.21428. https://arxiv.org/abs/2604.21428
Decoupled DiLoCo 将 DiLoCo 框架扩展为完全异步的学习器架构，通过中央同步器采用最小仲裁数和词元加权合并，在持续硬件故障下实现零停机预训练，同时保持与数据并行基线相当的模型质量。
[Grattafiori and others 2024] The llama 3 herd of models. https://arxiv.org/abs/2407.21783
Meta 发布 Llama 3 系列密集 Transformer 大语言模型，参数量分别为 8B、70B 和 405B，在 15T 词元上预训练，跨任务性能与 GPT-4 相当。
[Graves et al. 2006] Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks. https://www.cs.toronto.edu/~graves/icml_2006.pdf
CTC 提出一种直接用循环神经网络对未分段序列进行标注的训练方法，无需预分段或后处理。
[Graves 2012] Sequence transduction with recurrent neural networks. ICML 2012 Representation Learning Workshop; arXiv:1211.3711. https://arxiv.org/abs/1211.3711
Graves 2012 提出 RNN Transducer（RNN-T），一种端到端概率序列转换系统，无需预定义对齐即可联合建模输入-输出与输出-输出依赖关系，扩展了连接主义时序分类（CTC）。
[Greenblatt et al. 2024] AI control: Improving safety despite intentional subversion. arXiv preprint arXiv:2312.06942. https://arxiv.org/abs/2312.06942
AI control 评估在强模型可能主动破坏任务时，安全协议是否仍能保持可接受。
[Greenblatt et al. 2024] Alignment faking in large language models. arXiv preprint arXiv:2412.14093. https://arxiv.org/abs/2412.14093
Greenblatt 等人发现，仅凭关于自身将被重训的情境信息，Claude 3 Opus 就会在训练中选择性顺从以保住原有偏好；经强化学习后，对齐伪装推理从 14
[Greshake et al. 2023] Not what you've signed up for: Compromising real-world LLM-integrated applications with indirect prompt injection. https://arxiv.org/abs/2302.12173
本文提出间接提示注入攻击：攻击者在大语言模型集成应用所检索的数据中植入恶意指令，无需直接访问即可远程劫持模型行为。
[Greshake et al. 2023] Not what you've signed up for: Compromising real-world LLM-integrated applications with indirect prompt injection. arXiv preprint arXiv:2302.12173. https://arxiv.org/abs/2302.12173
本文提出间接提示注入攻击：攻击者将恶意指令植入大语言模型应用检索的数据中，无需直接访问即可远程劫持大语言模型的行为。
[Griewank 1992] Achieving logarithmic growth of temporal and spatial complexity in reverse automatic differentiation. Optimization Methods and Software. https://doi.org/10.1080/10556789208805505
[Griewank and Walther 2008] Evaluating derivatives: Principles and techniques of algorithmic differentiation. SIAM. https://epubs.siam.org/doi/book/10.1137/1.9780898717761
算法微分的正典参考书：廉价梯度原理、复杂度法则，以及可证最优的检查点调度。
[Griewank 2012] Who invented the reverse mode of differentiation?. Documenta Mathematica, Extra Volume ISMP. https://ftp.gwdg.de/pub/EMIS/journals/DMJDMV/vol-ismp/52_griewank-andreas-b.pdf
一部好读的反向模式微分史，从 Linnainmaa 1970 年的洞见讲到现代实践，包含廉价梯度原理与检查点复杂度结果。
[Grinsztajn et al. 2022] Why do tree-based models still outperform deep learning on typical tabular data?. https://arxiv.org/abs/2207.08815
一项严谨的基准测试，表明树集成在中等规模表格数据上仍是最优，并将优势归因于归纳偏置：对无信息特征的鲁棒性，以及对非平滑、轴对齐目标函数的适配。
[Grünwald 2004] A tutorial introduction to the minimum description length principle. arXiv preprint math/0406077. https://arxiv.org/abs/math/0406077
Grünwald 的教程介绍了 Rissanen 的最小描述长度（MDL）原理，将统计模型选择与归纳推断框架化为数据压缩，以自动防止过拟合。
[Gu et al. 2018] Non-autoregressive neural machine translation. https://arxiv.org/abs/1711.02281
非自回归 Transformer (NAT) 以繁殖度作为潜变量，并行生成全部输出词元，推理延迟降低一个数量级，相比自回归教师模型仅损失约 2.0 BLEU 分。
[Gu et al. 2019] Levenshtein transformer. https://arxiv.org/abs/1905.11006
Levenshtein Transformer（LevT）是一种基于插入和删除操作的部分自回归序列生成模型，采用双策略模仿学习训练，在机器翻译任务上实现相当的生成质量并获得最高 5 倍的解码加速。
[Gu et al. 2021] Efficiently modeling long sequences with structured state spaces. https://arxiv.org/abs/2111.00396
S4 通过低秩加正规矩阵分解重参数化状态空间模型（SSM），实现 O(N+L) 计算复杂度，并在长程序列基准（包括此前无模型能解的 Path-X 任务）上达到最优性能。
[Gu and Dao 2023] Mamba: Linear-time sequence modeling with selective state spaces. https://arxiv.org/abs/2312.00752
Mamba 提出带输入依赖参数的选择性状态空间模型（SSM）和硬件感知并行扫描算法，以线性时间复杂度实现与 Transformer 相当的语言建模质量。
[Guan et al. 2024] Deliberative alignment: Reasoning enables safer language models. arXiv preprint arXiv:2412.16339. https://arxiv.org/abs/2412.16339
Deliberative Alignment 将安全规范教给模型，并训练其在回答前依据规范推理，从而同时提升越狱鲁棒性并降低过度拒绝。
[Guha et al. 2025] OpenThoughts: Data recipes for reasoning models. arXiv preprint arXiv:2506.04178. https://arxiv.org/abs/2506.04178
对推理数据流水线做上千次受控消融得到 OpenThoughts3-1.2M；在其上训练的 OpenThinker3-7B 在 AIME 2025 上达到 53
[Gulati et al. 2020] Conformer: Convolution-augmented transformer for speech recognition. https://arxiv.org/abs/2005.08100
Conformer 在单个编码器块中结合卷积与自注意力，同时捕获局部与全局音频特征，在 LibriSpeech 上取得当时最优的自动语音识别结果。
[Gulrajani and Hashimoto 2023] Likelihood-based diffusion language models. https://arxiv.org/abs/2305.18619
Plaid 1B 是一个基于似然的扩散语言模型，通过算法改进和计算最优扩展律在零样本困惑度基准上超越了 GPT-2 124M。
[Gunasekar et al. 2023] Textbooks are all you need. https://arxiv.org/abs/2306.11644
phi-1 是一个 1.3B 参数的代码大语言模型，仅用 7B 词元的教科书级高质量数据训练，在 HumanEval 上达到 50.6
[Gunjal et al. 2025] Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746. https://arxiv.org/abs/2507.17746
Rubrics as Rewards 把开放式判断拆成逐条清单式评分准则，由模型逐条打分并作为在线强化学习的奖励，在 HealthBench 与 GPQA-Diamond 上优于模型作为评判者的 Likert 基线。
[Guo et al. 2017] On calibration of modern neural networks. Proceedings of the 34th International Conference on Machine Learning. https://proceedings.mlr.press/v70/guo17a.html
Guo 等人表明，现代神经网络可以准确却未校准，而简单的温度缩放能显著改善概率校准。
[Guo et al. 2024] LightRAG: Simple and fast retrieval-augmented generation. arXiv preprint arXiv:2410.05779. https://arxiv.org/abs/2410.05779
LightRAG 将图结构文本索引与双层检索增强生成（RAG）相结合，通过捕捉实体关系并支持增量知识库更新，提升对复杂查询的回答连贯性。
[Guo et al. 2025] DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning. Nature. https://www.nature.com/articles/s41586-025-09422-z
DeepSeek-R1 展示了大规模可验证奖励强化学习能引出长推理行为；R1-Zero 不用监督冷启动直接 RL，R1 则加入多阶段训练以改善可读性和稳定性。
[Gupta et al. 2020] The architectural implications of facebook's DNN-based personalized recommendation. https://arxiv.org/abs/1906.03109
[Gururangan et al. 2020] Don't stop pretraining: Adapt language models to domains and tasks. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. https://arxiv.org/abs/2004.10964
表明在领域语料与任务语料上继续预训练，可在生物医学、计算机科学、新闻和评论等任务上提升下游表现。
[Haas et al. 2025] SimpleQA verified: a reliable factuality benchmark to measure parametric knowledge. arXiv preprint arXiv:2509.07968. https://arxiv.org/abs/2509.07968
SimpleQA Verified 是 SimpleQA 的 1,000 题修订版，通过去重、主题再平衡与来源核对，剔除了评分集里的错误标签。
[Hales et al. 2015] A formal proof of the kepler conjecture. arXiv preprint arXiv:1501.02155. https://arxiv.org/abs/1501.02155
Flyspeck 项目用 HOL Light 和 Isabelle 给出了 Kepler 猜想的形式化证明，展示了大型数学结果如何交给证明助手检查。
[Han et al. 2024] WildGuard: Open one-stop moderation tools for safety risks, jailbreaks, and refusals of llms. https://arxiv.org/abs/2406.18495
WILDGUARD 是一个开源轻量级大语言模型安全审核工具，在 13 个风险类别中联合检测提示有害性、响应有害性和模型拒绝行为，包括对抗性越狱场景。
[Hashimoto and Liang 2025] CS336: Language modeling from scratch. https://cs336.stanford.edu/spring2025/
Stanford 的实现密集型语言模型课程，覆盖分词器构造、Transformer 实现、系统优化、扩展律、数据处理、评测与对齐。
[Hayes and Krippendorff 2007] Answering the call for a standard reliability measure for coding data. Communication Methods and Measures. https://doi.org/10.1080/19312450709336664
Hayes 与 Krippendorff 主张使用 Krippendorff alpha 作为通用可靠性系数，可处理多标注者、缺失数据和不同测量等级。
[He et al. 2019] Streaming end-to-end speech recognition for mobile devices. https://arxiv.org/abs/1811.06621
Google 提出面向移动设备的流式端到端 RNN-T 自动语音识别（ASR）系统，在语音搜索和听写任务上的延迟与词错误率均优于传统 CTC 模型。
[He 2019] The state of machine learning frameworks in 2019. https://thegradient.pub/state-of-ml-frameworks-2019-pytorch-dominates-research-tensorflow-dominates-industry/
用数出来的会议论文而非印象裁决框架之战：PyTorch 占 CVPR 2019 可识别框架论文的 69
[He 2022] Making deep learning go brrrr from first principles. https://horace.io/brrr_intro.html
对 GPU 性能最平易而正确的入门：任何负载不是受限于显存带宽、就是受限于算力或调度开销，而算子融合是深度学习编译器最重要的优化。
[He 2025] Defeating nondeterminism in LLM inference. https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/
He 把 LLM 推理的不确定性归因于数值随动态批大小变化的归约核，而非单纯的并发，并给出批不变内核，使温度为零的解码逐位一致，解码耗时约为原来的 1.6 至 2 倍。
[Hebb 1949] The organization of behavior: a neuropsychological theory. John Wiley & Sons.
Hebb 提出学习会强化共同激活神经元之间的突触连接（同时放电的神经元彼此相连），即赫布学习的基础。
[Heer 2019] Agency plus automation: Designing artificial intelligence into interactive systems. Proceedings of the National Academy of Sciences. https://doi.org/10.1073/pnas.1807184115
Heer 主张用共享表示、审查、修改与丢弃机制，把预测模型嵌入能增强人类工作的交互系统。
[Hendrycks and Gimpel 2016] Gaussian error linear units (gelus). https://arxiv.org/abs/1606.08415
本文提出 GELU 激活函数，定义为 x 乘以高斯累积分布函数，在视觉、NLP 和自动语音识别（ASR）任务上均优于 ReLU 和 ELU。
[Hendrycks et al. 2020] Measuring massive multitask language understanding. arXiv preprint arXiv:2009.03300. https://arxiv.org/abs/2009.03300
MMLU 提出一个涵盖 STEM、人文和社会科学共 57 个科目的多项选择题基准，用于在零样本和少样本设置下衡量大语言模型的世界知识广度。
[Hendrycks et al. 2021] Measuring mathematical problem solving with the MATH dataset. arXiv preprint arXiv:2103.03874. https://arxiv.org/abs/2103.03874
MATH 数据集包含 12,500 道竞赛数学题及逐步解答，表明仅靠 Transformer 扩展律无法解决高难度数学推理问题。
[Hermann and Del Balso 2017] Meet michelangelo: Uber's machine learning platform. https://www.uber.com/blog/michelangelo-machine-learning-platform/
[Hernández-Orallo and others 2026] General scales unlock AI evaluation with explanatory and predictive power. arXiv preprint arXiv:2503.06378. https://arxiv.org/abs/2503.06378
本文提出 18 条通用需求级别评分准则（ADeLe），对大语言模型基准测试实例进行标注，从而生成可解释的能力画像，并实现分布内外的实例级性能预测。
[Hines et al. 2024] Defending against indirect prompt injection attacks with spotlighting. arXiv preprint arXiv:2403.14720. https://arxiv.org/abs/2403.14720
Spotlighting 是一种针对间接提示注入攻击的提示工程防御方法，通过对不可信输入文本进行转换以标记其来源，将 GPT 系列模型上的攻击成功率从超过 50
[Ho et al. 2020] Denoising diffusion probabilistic models. https://arxiv.org/abs/2006.11239
Ho 等人证明以去噪得分匹配目标训练的 DDPM 可实现高质量图像合成，在 CIFAR10 上达到 FID 3.17。
[Ho and Salimans 2022] Classifier-free diffusion guidance. https://arxiv.org/abs/2207.12598
无分类器引导（CFG）通过联合训练条件与无条件扩散模型，在推理时混合两者的分数估计，无需独立分类器即可在样本质量与多样性之间权衡。
[Ho et al. 2022] Video diffusion models. https://arxiv.org/abs/2204.03458
Ho 等人通过时空分解的 3D U-Net 和重建引导的条件采样，将图像扩散模型扩展至视频生成，在视频生成和预测基准上取得了最优结果。
[Hoffmann et al. 2022] Training compute-optimal large language models. https://arxiv.org/abs/2203.15556
指出模型规模与训练词元应当等比扩展（约每参数 20 个词元），因此多数大模型严重训练不足；在同等算力下，70B 的 Chinchilla 胜过 Gopher、GPT-3 等大得多的模型。
[Hofstätter et al. 2020] Improving efficient neural ranking models with cross-architecture knowledge distillation. arXiv preprint arXiv:2010.02666. https://arxiv.org/abs/2010.02666
Margin-MSE 是一种跨架构知识蒸馏损失，通过让高效通道排序模型（TK、ColBERT、PreTT、BERT_DOT）学习 BERT_CAT 教师模型的分数差值，在不牺牲查询延迟的前提下提升检索效果。
[Hofstätter et al. 2021] Efficiently teaching an effective dense retriever with balanced topic aware sampling. https://arxiv.org/abs/2104.06967
TAS-Balanced 通过将训练批次按话题聚类组合、并以双教师知识蒸馏平衡成对分数边距，使 BERT_DOT 双编码器稠密检索模型可在单块消费级 GPU 上完成训练。
[Hohnhold et al. 2015] Focusing on the long-term: It's good for users and business. https://research.google/pubs/focusing-on-the-long-term-its-good-for-users-and-business/
[Hollmann et al. 2025] Accurate predictions on small data with a tabular foundation model. Nature. https://www.nature.com/articles/s41586-024-08328-6
TabPFN 是在数百万合成表格任务上预训练的 Transformer，把整张训练表作为上下文读入，在约一万样本以内的数据集上数秒内胜过精调的树集成。
[Hong et al. 2024] ORPO: Monolithic preference optimization without reference model. arXiv preprint arXiv:2403.07691. https://arxiv.org/abs/2403.07691
ORPO 是一种单体偏好对齐算法，通过在监督微调（SFT）损失中附加优势比惩罚项，将 SFT 与偏好优化合并为单步训练，无需参考模型。
[Hong et al. 2025] Context rot: How increasing input tokens impacts LLM performance. https://www.trychroma.com/research/context-rot
Chroma 的"Context Rot"报告对 18 个大语言模型（LLM）进行评测，表明在任务复杂度保持不变的情况下，模型在受控检索任务上的性能随输入词元数增加而非均匀下降。
[Hooker 2021] The hardware lottery. Communications of the ACM. https://arxiv.org/abs/2009.06489
一个研究想法可能因为贴合现有软硬件而胜出，而非因为它更优越；当硅片围绕矩阵乘法特化，偏离这条路的想法连被评估都要付出越来越高的代价。
[Hooker 2026] On the slow death of scaling. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5877662
[Horvitz 1999] Principles of mixed-initiative user interfaces. https://doi.org/10.1145/302979.303030
Horvitz 把界面描述为混合主动性系统，人和计算机在其中协商控制权，而不是只选择直接操纵或完全自动化。
[Houlsby et al. 2019] Parameter-efficient transfer learning for NLP. https://arxiv.org/abs/1902.00751
向 BERT 各层插入适配器模块，仅训练全量参数高效微调（PEFT）的 3.6
[Hsieh et al. 2024] RULER: What's the real context size of your long-context language models?. arXiv preprint arXiv:2404.06654. https://arxiv.org/abs/2404.06654
RULER 是一个可配置上下文长度和任务复杂度的合成基准，揭示大多数长上下文大语言模型在超出简单检索的任务上，实际有效上下文长度远低于其宣称值。
[Hsu et al. 2021] HuBERT: Self-supervised speech representation learning by masked prediction of hidden units. IEEE/ACM Transactions on Audio, Speech, and Language Processing. https://arxiv.org/abs/2106.07447
HuBERT 通过预测掩码区域的离线 k-means 聚类标签进行自监督语音表示学习，在自动语音识别（ASR）基准上达到或超越 wav2vec 2.0 的性能。
[Hu et al. 2021] LoRA: Low-rank adaptation of large language models. arXiv preprint arXiv:2106.09685. https://arxiv.org/abs/2106.09685
LoRA 冻结预训练权重，向每个 Transformer 层注入可训练的低秩矩阵对，与全量微调相比可将可训练参数减少 10,000 倍、将 GPU 显存需求降低 3 倍，且不引入额外推理延迟。
[Hu et al. 2022] LoRA: Low-rank adaptation of large language models. https://arxiv.org/abs/2106.09685
LoRA 冻结预训练权重，向 Transformer 各层注入可训练的低秩分解矩阵，实现参数高效微调（PEFT），可训练参数减少 10,000 倍且不引入额外推理延迟。
[Hu et al. 2024] MiniCPM: Unveiling the potential of small language models with scalable training strategies. arXiv preprint arXiv:2404.06395. https://arxiv.org/abs/2404.06395
提出可与 7B-13B 大模型匹敌的小模型（1.2B/2.4B），借助模型风洞式扩展实验，以及支持持续训练的 Warmup-Stable-Decay 学习率调度。
[Hu et al. 2024] ELLA: Equip diffusion models with LLM for enhanced semantic alignment. arXiv preprint arXiv:2403.05135. https://arxiv.org/abs/2403.05135
ELLA 是一种轻量级大语言模型适配器，通过时步感知语义连接器（TSC）为基于 CLIP 的扩散模型增强稠密提示词的语义对齐，无需重新训练 U-Net 或 LLM。
[Hu and others 2024] OpenRLHF: An easy-to-use, scalable and high-performance RLHF framework. arXiv preprint arXiv:2405.11143. https://arxiv.org/abs/2405.11143
OpenRLHF 是基于 Ray、vLLM 和 DeepSpeed 构建的开源基于人类反馈的强化学习（RLHF）与可验证奖励的强化学习（RLVR）训练框架，相比 verl 实现了 1.22x 至 1.68x 的加速，同时代码量更少。
[Hu et al. 2025] Elucidating the design space of FP4 training. arXiv preprint arXiv:2509.17791. https://arxiv.org/abs/2509.17791
系统梳理 4 位训练的设计空间，涵盖分块缩放格式、Hadamard 变换与随机舍入，指出哪些组合能让 fp4 矩阵乘法在可接受的开销下逼近基线质量。
[Huang et al. 2019] GPipe: Efficient training of giant neural networks using pipeline parallelism. https://arxiv.org/abs/1811.06965
GPipe 通过微批量切分实现流水线并行（PP），突破单加速器显存限制，在多加速器上实现近线性加速以训练超大规模神经网络。
[Huang et al. 2020] Embedding-based retrieval in facebook search. https://arxiv.org/abs/2006.11632
嵌入检索的完整生产配方：双塔模型、ANN 索引、稠密与关键词混合检索、难负例挖掘，比 RAG 热潮重新发现这些要点早了四年。
[Huang et al. 2024] Compression represents intelligence linearly. https://arxiv.org/abs/2404.09937
在 31 个公开大语言模型与 12 个基准上，平均基准分数与模型对外部文本语料的压缩效率几乎线性相关，各能力领域的 Pearson 相关系数约为 -0.95。
[Huang et al. 2024] Large language models cannot self-correct reasoning yet. arXiv preprint arXiv:2310.01798. https://arxiv.org/abs/2310.01798
大语言模型（LLM）在没有外部反馈的情况下无法自我纠正推理，内在自我纠正在 GPT-3.5、GPT-4 和 Llama-2 的推理基准上一致导致准确率下降。
[Huang et al. 2025] R-zero: Self-evolving reasoning LLM from zero data. arXiv preprint arXiv:2508.05004. https://arxiv.org/abs/2508.05004
R-Zero 从同一个基座初始化出题的 Challenger 与答题的 Solver 并让二者共同演化：Challenger 不断提出更难的任务，Solver 学着解决，从零外部数据生成自己的课程。
[Huawei 2025] Groundbreaking SuperPoD interconnect: Leading a new paradigm for AI infrastructure. https://www.huawei.com/en/news/2025/9/hc-xu-keynote-speech
Huawei 发布 Atlas 950 SuperPoD：8,192 块 Ascend 芯片组成的光互连 scale-up 域，配自研 HBM，预定 2026 年第四季度上市。
[Hubert et al. 2025] Olympiad-level formal mathematical reasoning with reinforcement learning. Nature. https://www.nature.com/articles/s41586-025-09833-y
AlphaProof 用 AlphaZero 式强化学习训练智能体写 Lean 证明，训练题来自数百万道自动形式化的问题，在 2024 年 IMO 题目上达到银牌水平；自动形式化是其瓶颈。
[Hubinger et al. 2024] Sleeper agents: Training deceptive llms that persist through safety training. arXiv preprint arXiv:2401.05566. https://arxiv.org/abs/2401.05566
通过训练植入大语言模型的后门能够抵抗监督微调、强化学习与红队对抗训练，表明标准安全训练无法可靠消除欺骗性对齐。
[Hugging Face 2023] Audit shows that safetensors is safe and ready to become the default. https://huggingface.co/blog/safetensors-security-audit
safetensors 格式及其委托的外部审计，未发现任意代码执行路径：加载只是带边界检查的解析加内存映射，没有重建钩子。
[Hugging Face 2026] The state of open source on hugging face: Spring 2026. https://huggingface.co/blog/huggingface/state-of-os-hf-spring-2026
模型库自己的报告，2026 年初约有两百万个公开模型，而极小一部分模型占了约一半的下载量。
[Hugging Face Nanotron Team 2025] The ultra-scale playbook: Training llms on GPU clusters. https://huggingface.co/spaces/nanotron/ultrascale-playbook
Hugging Face Nanotron 团队的专门指南，聚焦在大型 GPU 集群上训练大语言模型，并提供 PDF 与交互网页版本。
[Hui et al. 2024] Qwen2.5-coder technical report. arXiv preprint arXiv:2409.12186. https://arxiv.org/abs/2409.12186
报告 Qwen2.5-Coder，一个在超过 5.5T 词元上继续训练的代码专门化模型系列，使用清洗代码、可扩展合成数据与平衡混合，同时保留一般与数学能力。
[Hunton Andrews Kurth 2025] Bartz v. anthropic: Settlement reached after landmark summary judgment and class certification. https://www.insidetechlaw.com/blog/2025/09/bartz-v-anthropic-settlement-reached-after-landmark-summary-judgment-and-class-certification
[Huyen 2025] AI engineering: Building applications with foundation models. O'Reilly Media. https://www.oreilly.com/library/view/ai-engineering/9781098166298/
Chip Huyen 的著作介绍 AI 工程实践：基于基础模型构建生产应用，涵盖评测、模型适配技术（提示工程、RAG、微调、智能体）与推理部署。
[Hwang et al. 2025] Dynamic chunking for end-to-end hierarchical sequence modeling. arXiv preprint arXiv:2507.07955. https://arxiv.org/abs/2507.07955
H-Net 用一个层级模型取代分词流水线，端到端地学习依内容而定的切块边界，在算力对齐下超过字节级与 BPE Transformer。
[IETF 2025] OAuth 2.0 on-behalf-of user for AI agents. https://datatracker.ietf.org/doc/draft-oauth-ai-agents-on-behalf-of-user/
一份 IETF Internet-Draft，定义了 OAuth 2.0 扩展，引入新授权类型与 requested_agent 参数，使 AI 智能体能在用户明确同意下以代表用户（OBO）方式获取委托访问令牌。
[Ilharco et al. 2023] Editing models with task arithmetic. https://arxiv.org/abs/2212.04089
任务算术提出任务向量（微调权重减去预训练权重所得方向），通过对其取负或相加即可在无需重新训练的情况下编辑模型行为。
[Inan et al. 2023] Llama guard: LLM-based input-output safeguard for human-AI conversations. arXiv preprint arXiv:2312.06674. https://arxiv.org/abs/2312.06674
Llama Guard 是一个基于 Llama2-7b 的指令微调模型，依据可定制的安全性风险分类体系对用户输入和 LLM 输出同时进行分类，性能达到或超过现有内容审核 API。
[Inception Labs et al. 2025] Mercury: Ultra-fast language models based on diffusion. arXiv preprint arXiv:2506.17298. https://arxiv.org/abs/2506.17298
Mercury Coder 是一组基于扩散的商业级大语言模型，通过并行生成词元，在保持相近代码质量的同时实现比自回归模型高达 10 倍的吞吐量。
[International Energy Agency 2025] Energy and AI. https://www.iea.org/reports/energy-and-ai
IEA 报告分析 AI 如何推高数据中心用电需求，同时影响电力系统、能源安全、排放、创新与可负担性。
[International Organization for Standardization 2025] ISO/DIS 22144: Authenticity of information, content credentials. https://www.iso.org/standard/90726.html
[Invariant Labs 2025] GitHub MCP exploited: Accessing private repositories via MCP. https://invariantlabs.ai/blog/mcp-github-vulnerability
Invariant Labs 展示了官方 GitHub MCP 服务器中的一个严重提示注入漏洞，攻击者可通过恶意 GitHub Issue 窃取私有仓库数据。
[Irving et al. 2018] AI safety via debate. arXiv preprint arXiv:1805.00899. https://arxiv.org/abs/1805.00899
辩论让智能体围绕相反立场交锋，使人类裁判能借助对抗过程评估难以直接检查的主张。
[ISO/IEC 2023] ISO/IEC 42001:2023, information technology, artificial intelligence, management system. https://www.iso.org/standard/42001
首个国际 AI 管理体系标准：它认证的是组织具备成文的政策、风险评估、角色分工与持续改进闭环，而不是任何模型行为安全。
[Ivanov et al. 2021] Data movement is all you need: a case study on optimizing transformers. Proceedings of Machine Learning and Systems (MLSys). https://arxiv.org/abs/2007.00072
[Izacard et al. 2022] Unsupervised dense information retrieval with contrastive learning. Transactions on Machine Learning Research (TMLR). https://arxiv.org/abs/2112.09118
Contriever 通过对比学习在无标注文本上训练无监督稠密检索器，在 BEIR 基准 15 个数据集中的 11 个上达到或超越 BM25 稀疏检索，无需任何标注数据。
[Jacovi and others 2025] The FACTS grounding leaderboard: Benchmarking llms' ability to ground responses to long-form input. arXiv preprint arXiv:2501.03200. https://arxiv.org/abs/2501.03200
FACTS Grounding 评测长文本回答是否完全立足于给定的、最长 32k 词元的文档，由来自不同家族的评判模型组成评审组，分别核查回答是否切题、是否有据。
[Jagadeesh et al. 2026] Reinforcement learning towards broadly and persistently beneficial models. https://alignment.openai.com/beneficial-rl/
OpenAI 报告称，在真实场景上针对七项有益特质（真实性、认知谦逊、元认知透明、可纠正性、风险敏感、普遍公平、关切人类福祉）做强化学习，在 53 个留出基准中的大多数上提升了对齐表现，并能从仅医疗领域的训练迁移到其他领域，且在对抗性引导与微调下依然保持。
[Jamshidi et al. 2025] Securing the model context protocol: Defending llms against tool poisoning and adversarial attacks. https://arxiv.org/abs/2512.06556
该文研究 MCP 的语义攻击，包括工具投毒、遮蔽和 rug pull，并提出描述符签名、语义审查与运行时护栏。
[JFrog Security Research 2024] Data scientists targeted by malicious hugging face ML models with silent backdoor. https://jfrog.com/blog/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor/
对最大模型库的一次扫描发现约一百个真正的恶意模型，其中一个的 pickle 重建钩子在加载时向攻击者反弹 shell。
[Jiang et al. 2024] Mixtral of experts. https://arxiv.org/abs/2401.04088
Mixtral 8x7B 是一个稀疏混合专家（MoE）仅解码器模型，总参数量 46.7B，每词元仅激活 12.9B 参数，在 Apache 2.0 许可下以 6 倍更快的推理速度超越 Llama 2 70B。
[Jimenez et al. 2023] SWE-bench: Can language models resolve real-world GitHub issues?. arXiv preprint arXiv:2310.06770. https://arxiv.org/abs/2310.06770
SWE-bench 是一个包含来自 12 个 Python 仓库的 2,294 个真实 GitHub 问题修复任务的基准，要求模型编辑代码库以通过测试，最优模型 Claude 2 仅能解决 1.96
[Jin et al. 2025] Search-R1: Training llms to reason and leverage search engines with reinforcement learning. arXiv preprint arXiv:2503.09516. https://arxiv.org/abs/2503.09516
SEARCH-R1 通过强化学习训练大语言模型在推理过程中自主发起多轮搜索查询，在问答基准上比检索增强生成（RAG）基线最高提升 24
[Johnson et al. 2019] Billion-scale similarity search with GPUs. IEEE Transactions on Big Data. https://arxiv.org/abs/1702.08734
[Jones et al. 2020] OAuth 2.0 token exchange. https://datatracker.ietf.org/doc/html/rfc8693
RFC 8693 规定了 OAuth 2.0 令牌交换协议，定义客户端如何向授权服务器请求安全令牌，以支持身份模拟与委托（代表用户）流程。
[Jordan et al. 2024] Muon: An optimizer for hidden layers in neural networks. https://kellerjordan.github.io/posts/muon/
提出 Muon，一种通过正交化基于动量的更新来优化隐藏层的优化器，在 NanoGPT 与 CIFAR-10 上创下训练速度纪录。
[Jouppi et al. 2017] In-datacenter performance analysis of a tensor processing unit. https://arxiv.org/abs/1704.04760
[Ju et al. 2024] NaturalSpeech 3: Zero-shot speech synthesis with factorized codec and diffusion models. https://arxiv.org/abs/2403.03100
NaturalSpeech 3 提出 FACodec 与分解扩散模型，将语音分解为内容、韵律、音色和声学细节的解耦子空间，用于零样本文本到语音合成，在多说话人数据集上达到人类水平的自然度。
[Kahneman 2011] Thinking, fast and slow. Farrar, Straus,Giroux.
Kahneman 对比了快速直觉的系统 1 与缓慢审慎的系统 2 思维，以及二者各自产生的认知偏差。
[Kalai et al. 2025] Why language models hallucinate. arXiv preprint arXiv:2509.04664. https://arxiv.org/abs/2509.04664
本文通过将大语言模型（LLM）生成错误归约为二分类问题，论证幻觉在预训练阶段由统计压力产生，并因主流基准奖励猜测而非表达不确定性而在后训练阶段持续存在。
[Kang et al. 2025] How far is video generation from world model: a physical law perspective. https://openreview.net/forum?id=DLlVjZQ7vD
扩展扩散视频生成模型可实现完美的分布内泛化，但无法在分布外场景中推断物理定律，表明单纯扩展不足以让模型发现基本物理规律。
[Kang et al. 2025] ACON: Optimizing context compression for long-horizon LLM agents. https://arxiv.org/abs/2510.00615
ACON 是一个模型无关的框架，通过自然语言压缩指导优化，将大语言模型智能体的上下文峰值词元用量降低 26–54
[Kantamneni et al. 2025] Are sparse autoencoders useful? A case study in sparse probing. arXiv preprint arXiv:2502.16681. https://arxiv.org/abs/2502.16681
一项跨 113 个数据集的探针研究发现，稀疏自编码器（SAE）潜变量在数据稀缺、类别不平衡、标签噪声和协变量偏移等困难设置下，未能持续超越简单基线方法的 LLM 激活探针性能。
[Kaplan et al. 2020] Scaling laws for neural language models. https://arxiv.org/abs/2001.08361
确立了语言模型损失随模型规模、数据集规模与算力呈幂律下降，并指出计算最优的训练应训练很大的模型、只用相对较少的数据，并在收敛前就停止。
[Kaplan 2023] Hardware VM isolation in the cloud. ACM Queue. https://dl.acm.org/doi/abs/10.1145/3623392
AMD SEV 的架构师回顾十年间在真实攻击下迭代虚拟机隔离设计的历程，是机密计算如何一步步变硬的坦率记录。
[Kapoor et al. 2024] On the societal impact of open foundation models. https://arxiv.org/abs/2403.07918
该立场论文从收益、风险和相对既有技术的边际风险分析开放权重基础模型，并指出哪些证据仍然不足。
[Karpathy 2025] +1 for “context engineering” over “prompt engineering”. https://x.com/karpathy/status/1937902205765607626
[Karpinska et al. 2021] The perils of using mechanical turk to evaluate open-ended text generation. arXiv preprint arXiv:2109.06835. https://arxiv.org/abs/2109.06835
Karpinska 等人发现众包工人可能无法区分开放式故事中的人类文本与模型文本，而专家教师和成对示例能提供更强的评测信号。
[Karpukhin et al. 2020] Dense passage retrieval for open-domain question answering. arXiv preprint arXiv:2004.04906. https://arxiv.org/abs/2004.04906
DPR 表明，使用批内负样本对双编码器进行微调，在开放域问答的 top-20 段落检索中，比 BM25 稀疏检索的绝对准确率高出 9-19 个百分点。
[Karras et al. 2022] Elucidating the design space of diffusion-based generative models. https://arxiv.org/abs/2206.00364
Karras 等人将扩散模型的训练与采样分解为清晰的设计空间，通过改进预处理和调度在 CIFAR-10 与 ImageNet-64 上创下新的 FID 记录。
[Kawrakow 2023] k-quants. https://github.com/ggml-org/llama.cpp/pull/1684
该 llama.cpp 拉取请求引入了 k-quants，一套 2-6 位量化方法及量化混合方案，提供 scalar、AVX2、ARM_NEON 和 CUDA 实现。
[Khalifa et al. 2025] Process reward models that think. arXiv preprint arXiv:2504.16828. https://arxiv.org/abs/2504.16828
ThinkPRM 是一种生成式 PRM，把逐步验证写成思维链，仅用 PRM800K 约 1
[Khan et al. 2024] Debating with more persuasive llms leads to more truthful answers. arXiv preprint arXiv:2402.06782. https://arxiv.org/abs/2402.06782
实验研究表明，让两个专家 LLM 就对立答案进行辩论可实现可扩展监督，弱评判者在 QuALITY 任务上分别达到 76
[Khashabi et al. 2021] GENIE: Toward reproducible and standardized human evaluation for text generation. arXiv preprint arXiv:2101.06561. https://arxiv.org/abs/2101.06561
GENIE 研究文本生成中的人工评测设计选择，并提出标准化平台，以提升跨任务与跨标注人群的可复现性。
[Khattab and Zaharia 2020] ColBERT: Efficient and effective passage search via contextualized late interaction over BERT. arXiv preprint arXiv:2004.12832. https://arxiv.org/abs/2004.12832
ColBERT 提出延迟交互架构，用 BERT 分别编码查询与文档，再通过 MaxSim 运算计算相关性，在保持与现有 BERT 模型相当效果的同时，将检索延迟降低约两个数量级。
[Kim and Rush 2016] Sequence-level knowledge distillation. https://arxiv.org/abs/1606.07947
序列级知识蒸馏让学生神经机器翻译模型在教师束搜索输出上训练，推理速度提升 10 倍，贪婪解码下 BLEU 与教师相当。
[Kim et al. 2024] OpenVLA: An open-source vision-language-action model. arXiv preprint arXiv:2406.09246. https://arxiv.org/abs/2406.09246
OpenVLA 是一个 7B 参数的开源视觉-语言-动作模型（VLA），在 970k 机器人演示上训练，性能超越闭源 55B RT-2-X，并支持在消费级 GPU 上通过 LoRA 进行参数高效微调。
[Kim et al. 2025] Pre-training under infinite compute. arXiv preprint arXiv:2509.14786. https://arxiv.org/abs/2509.14786
在数据受限、算力不受限的预训练场景下，结合强正则化、参数扩展与集成扩展，可比标准方案实现更低的扩展律渐近损失并提升 5.17 倍数据效率。
[Kimi Team 2025] Kimi K2: Open agentic intelligence. arXiv preprint arXiv:2507.20534. https://arxiv.org/abs/2507.20534
Kimi K2 是总参数 1T、激活 32B 的 MoE 模型，用 MuonClip（在 Muon 上加 QK-clip 抑制注意力 logit 爆炸）在 15.5T 词元上预训练，全程没有损失尖峰。
[Kimi Team et al. 2025] Kimi k1.5: Scaling reinforcement learning with llms. arXiv preprint arXiv:2501.12599. https://arxiv.org/abs/2501.12599
Kimi k1.5 报告了一个多模态强化学习推理系统，在不依赖 MCTS、价值函数或 PRM 的情况下扩展长上下文 RL，并提出 long2short 方法改善短 CoT 模型。
[Kirchenbauer et al. 2023] A watermark for large language models. https://arxiv.org/abs/2301.10226
本文提出一种大语言模型输出的水印框架，通过在采样时将词元偏向随机"绿名单"来嵌入信号，无需访问模型参数即可从最少 25 个词元中统计检测水印。
[Kirk et al. 2024] The benefits, risks and bounds of personalizing the alignment of large language models to individuals. Nature Machine Intelligence. https://www.nature.com/articles/s42256-024-00820-y
个性化对齐的规范性研究：把模型调向个人能换来什么，随之而来的画像与偏见强化风险是什么，以及为何需要明确的边界。
[Kleppmann 2016] How to do distributed locking. https://martin.kleppmann.com/2016/02/08/how-to-do-distributed-locking.html
Martin Kleppmann 指出 Redis 的 Redlock 算法因进程暂停和时钟漂移会违反其时序假设，不适合用于要求正确性的分布式锁场景。
[Kohavi et al. 2020] Trustworthy online controlled experiments: a practical guide to a/B testing. Cambridge University Press. https://experimentguide.com/
大规模在线对照实验的权威参考，浓缩自 Microsoft、Google 与 LinkedIn 每年数万次实验的经验；建议先读总体评估准则与长期指标两章。
[Kojima et al. 2022] Large language models are zero-shot reasoners. https://arxiv.org/abs/2205.11916
在问题后添加"Let's think step by step"（Zero-shot-CoT）无需任务特定的少样本示例，即可大幅提升 LLM 在算术和符号推理任务上的思维链（CoT）推理能力。
[Komatsuzaki et al. 2022] Sparse upcycling: Training mixture-of-experts from dense checkpoints. https://arxiv.org/abs/2212.05055
稀疏升循环（sparse upcycling）从预训练的稠密检查点初始化混合专家（MoE）模型，以约 50
[Koomey et al. 2025] Electricity demand growth and data centers: a guide for the perplexed. https://bipartisanpolicy.org/report/electricity-demand-growth-and-data-centers/
[Köpf et al. 2023] OpenAssistant conversations: Democratizing large language model alignment. arXiv preprint arXiv:2304.07327. https://arxiv.org/abs/2304.07327
OpenAssistant Conversations 发布一份宽松许可的众包对齐语料，包含 35 种语言的 161,443 条消息、461,292 个评分和 10,000 多棵带标注对话树。
[Korthikanti et al. 2022] Reducing activation recomputation in large transformer models. https://arxiv.org/abs/2205.05198
本文提出序列并行与选择性激活重计算，在结合张量并行训练大型 Transformer 模型时，将激活内存降低 5 倍，并将激活重计算的执行时间开销减少 90
[Kubernetes 2023] PVC binding prevents pod rescheduling. https://github.com/kubernetes/kubernetes/issues/121436
Kubernetes 缺陷报告：Pod 在绑定阶段调度失败后，其 PVC 和 PV 仍保持与节点绑定，导致该 Pod 永久卡在 Pending 状态无法重新调度。
[Kubernetes 2026] Multi-tenancy. https://kubernetes.io/docs/concepts/security/multi-tenancy/
Kubernetes 文档列出了 AI 平台在模型、缓存、索引和工具边界上继承并扩展的隔离与公平性工具。
[Kudo 2018] Subword regularization: Improving neural network translation models with multiple subword candidates. https://aclanthology.org/P18-1007/
子词正则化通过在训练时对多个概率采样的子词切分方案进行边际化，并提出基于一元语言模型的分词器作为 BPE（字节对编码）的概率替代方案，以提升神经机器翻译的鲁棒性。
[Kudo and Richardson 2018] SentencePiece: a simple and language independent subword tokenizer and detokenizer for neural text processing. https://aclanthology.org/D18-2012/
SentencePiece 是一种语言无关的子词分词器，直接从原始句子训练，支持字节对编码（BPE）和 unigram 语言模型，无需预分词即可实现端到端文本处理。
[Kumar et al. 2023] High-fidelity audio compression with improved RVQGAN. https://arxiv.org/abs/2306.06546
Kumar 等人提出 Improved RVQGAN，一种通用神经音频编解码器，可将 44.1 kHz 音频以 8 kbps（90 倍压缩）压缩为离散词元，保真度优于 EnCodec 与 SoundStream。
[Kumar et al. 2025] OverThink: Slowdown attacks on reasoning llms. arXiv preprint arXiv:2502.02542. https://arxiv.org/abs/2502.02542
OverThink 表明，检索内容中的诱饵推理题能让推理模型消耗更多思考词元，同时仍给出上下文上正确的答案。
[Kusupati and others 2022] Matryoshka representation learning. https://arxiv.org/abs/2205.13147
Matryoshka 表示学习（MRL）训练单个嵌入向量，使其任意前缀维度均构成有效表示，从而在保持精度的同时实现分类与检索嵌入尺寸最多缩小 14 倍。
[Kutasov et al. 2025] SHADE-arena: Evaluating sabotage and monitoring in LLM agents. arXiv preprint arXiv:2506.15740. https://arxiv.org/abs/2506.15740
SHADE-Arena 把良性的长程智能体任务与隐藏的破坏性副任务配对，同时评估智能体隐蔽完成副任务的能力和 LLM 监测器识别记录的能力。
[Kwa et al. 2025] Measuring AI ability to complete long software tasks. arXiv preprint arXiv:2503.14499. https://arxiv.org/abs/2503.14499
METR 用「智能体成功率为 50
[Kwa et al. 2025] Measuring AI ability to complete long tasks. https://metr.org/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks/
METR 提出以智能体能自主完成的任务时长衡量 AI 进展，发现该指标在过去 6 年中每约 7 个月翻倍一次。
[Kwon et al. 2023] Efficient memory management for large language model serving with PagedAttention. https://arxiv.org/abs/2309.06180
PagedAttention 将 LLM 的 KV 缓存分散存储在非连续分页块中，消除碎片并支持跨请求共享，vLLM 基于此实现 2-4 倍的推理吞吐量提升。
[Kwon et al. 2023] Efficient memory management for large language model serving with PagedAttention. https://arxiv.org/abs/2309.06180
PagedAttention 借鉴操作系统虚拟内存，将 KV 缓存以固定大小的非连续分页管理，使 vLLM 的大语言模型服务吞吐量比现有系统提升 2-4 倍。
[Lambert et al. 2024] Tulu 3: Pushing frontiers in open language model post-training. arXiv preprint arXiv:2411.15124. https://arxiv.org/abs/2411.15124
Tulu 3 是面向 Llama 3.1 底座的完全开放后训练配方，结合 SFT、DPO 与 RLVR，并公开数据、权重和训练代码。
[LangChain 2025] LangGraph time travel and branching. https://docs.langchain.com/oss/python/langgraph/use-time-travel
LangGraph 的时间旅行功能允许用户重放过去的图执行记录，并从任意历史检查点分叉以探索不同的执行路径。
[LangChain 2025] LangGraph interrupts. https://docs.langchain.com/oss/python/langgraph/interrupts
LangGraph 的 interrupt() API 允许智能体图节点在执行中途暂停并等待人类输入，通过在同一线程上传递 Command(resume=...) 来恢复执行。
[Lattner et al. 2021] MLIR: Scaling compiler infrastructure for domain specific computation. https://arxiv.org/abs/2002.11054
MLIR 是由可组合方言与渐进下沉构成的编译器框架，XLA、Triton 内部、Mosaic 以及多数较新的机器学习编译器如今都构建在它之上。
[Le et al. 2023] Voicebox: Text-guided multilingual universal speech generation at scale. https://arxiv.org/abs/2306.15687
Voicebox 是一个基于流匹配训练的非自回归生成（NAR）模型，在逾 5 万小时语音上通过上下文学习实现零样本文本到语音（TTS）、去噪与内容编辑，在可懂度和音频相似度上均超越 VALL-E。
[Lechner 2025] Why we started with JAX but moved to PyTorch. https://mlechner.substack.com/p/why-we-started-with-jax-but-moved
[Lee and See 2004] Trust in automation: Designing for appropriate reliance. Human Factors. https://doi.org/10.1518/hfes.46.1.50_30392
Lee 与 See 将自动化信任视为复杂情境下恰当依赖的基础，并说明展示设计与情境如何影响依赖是否合理。
[Lee et al. 2022] Deduplicating training data makes language models better. https://aclanthology.org/2022.acl-long.577/
对大语言模型训练数据去重可将逐字记忆率降低十倍、减少训练-测试集重叠，同时以更少训练步骤达到相同或更高的准确率。
[Lee et al. 2025] NV-embed: Improved techniques for training llms as generalist embedding models. https://arxiv.org/abs/2405.17428
NV-Embed 通过潜在注意力池化层、双向对比训练和两阶段指令微调，将仅解码器 LLM 改造为通用嵌入模型，在 MTEB 56 项任务上取得第一。
[Lee et al. 2025] Gemini embedding: Generalizable embeddings from gemini. arXiv preprint arXiv:2503.07891. https://arxiv.org/abs/2503.07891
Gemini Embedding 是一个基于 Gemini 初始化的多语言文本嵌入模型，在覆盖 250 余种语言的 MMTEB 基准上取得了多语言、英语及代码任务的最优成绩。
[Lees et al. 2022] A new generation of perspective API: Efficient multilingual character-level transformers. https://arxiv.org/abs/2202.11176
本文提出 UTC，一个基于 Charformer 的无分词器方案多语言 Transformer，用于有毒内容分类，并部署为 Google Jigsaw Perspective API 的新一代后端。
[Lepikhin et al. 2020] GShard: Scaling giant models with conditional computation and automatic sharding. https://arxiv.org/abs/2006.16668
GShard 提出轻量级注解 API 与 XLA 编译器扩展，通过自动 SPMD 分片，在 2048 块 TPU v3 上训练了 600B 参数的混合专家 Transformer，实现 100 种语言的多语言翻译。
[Leroy 2009] A formally verified compiler back-end. Journal of Automated Reasoning. https://arxiv.org/abs/0902.2137
CompCert 的已验证后端用 Coq 证明了从 Cminor 到 PowerPC 汇编的语义保持，把编译器正确性纳入可信证据链。
[Letta 2025] Letta: Stateful agents with memory as a first-class primitive. https://www.letta.com/
Letta 是一家 AI 研究机构与产品平台，致力于构建具备持久记忆、持续学习和自我改进能力的有状态智能体，源自 MemGPT 项目。
[Letta 2025] Benchmarking AI agent memory. https://www.letta.com/blog/benchmarking-ai-agent-memory
Letta 智能体仅用文件系统工具在 LoCoMo 基准上以 gpt-4o-mini 达到 74.0
[Leviathan et al. 2023] Fast inference from transformers via speculative decoding. https://arxiv.org/abs/2211.17192
推测解码用一个小型草稿模型提出词元、再由大目标模型并行校验，在不改变输出分布的前提下实现 2X-3X 加速。
[Leviathan et al. 2023] Fast inference from transformers via speculative decoding. https://arxiv.org/abs/2211.17192
推测解码用小型草稿模型并行提议词元，再由目标模型验证，无需重新训练即可在保持输出分布不变的前提下实现 2-3 倍推理加速。
[Levine 2026] Agentic commerce won't kill cards, but it'll open a gap. https://a16zcrypto.com/posts/article/agentic-commerce-wont-kill-cards/
论证智能体不会把卡组织通道优化掉：卡捆绑着信贷、预授权与欺诈担保；稳定币则接走那些没有支付处理商愿意承保的商户与机器服务。
[Lewis et al. 2020] Retrieval-augmented generation for knowledge-intensive NLP tasks. arXiv preprint arXiv:2005.11401. https://arxiv.org/abs/2005.11401
RAG 将预训练参数化 seq2seq 模型与通过 DPR 检索的非参数化 Wikipedia 稠密索引相结合，在开放域问答上达到最优，并比纯参数化基线生成更具事实性的文本。
[Lewis et al. 2021] BASE layers: Simplifying training of large, sparse models. https://arxiv.org/abs/2103.16716
BASE 层将词元到专家的分配建模为线性分配问题，无需辅助损失或额外超参数即可保证混合专家（MoE）模型中各专家负载均衡。
[Li et al. 2020] On the sentence embeddings from pre-trained language models. https://arxiv.org/abs/2011.05864
BERT-flow 通过归一化流将 BERT 各向异性的句子嵌入空间映射为各向同性的高斯分布，在无监督条件下提升语义文本相似度性能。
[Li et al. 2022] Diffusion-LM improves controllable text generation. https://arxiv.org/abs/2205.14217
Diffusion-LM 将连续扩散模型适配至文本，通过迭代去噪高斯向量得到词向量，支持基于梯度的插件式可控生成，可处理句法结构等复杂控制任务。
[Li et al. 2022] Design and verification of the arm confidential compute architecture. https://www.usenix.org/conference/osdi22/presentation/li
Arm 基于 realm 的机密架构，设计与固件的形式化验证同步完成，是该领域最干净的纸面设计，仍在等待量产硬件。
[Li et al. 2023] BLIP-2: Bootstrapping language-image pre-training with frozen image encoders and large language models. https://arxiv.org/abs/2301.12597
BLIP-2 提出轻量级 Q-Former，通过两阶段预训练连接冻结的视觉 Transformer（ViT）编码器与冻结的大语言模型（LLM），以极少的可训练参数实现领先的视觉语言模型性能。
[Li et al. 2023] Towards general text embeddings with multi-stage contrastive learning. arXiv preprint arXiv:2308.03281. https://arxiv.org/abs/2308.03281
GTE 是一个 110M 参数的通用文本嵌入模型，通过多阶段对比学习在开源数据上训练，在 MTEB 基准上超越了 OpenAI 的嵌入 API。
[Li et al. 2023] API-bank: a comprehensive benchmark for tool-augmented llms. arXiv preprint arXiv:2304.08244. https://arxiv.org/abs/2304.08244
API-Bank 用可运行的 API 工具与对话来评测工具增强语言模型，覆盖规划、API 检索与调用。
[Li et al. 2024] EAGLE: Speculative sampling requires rethinking feature uncertainty. https://arxiv.org/abs/2401.15077
EAGLE 是一种推测解码框架，通过以超前一步的词元序列为条件预测次顶层特征，在保持输出分布不变的情况下实现对自回归 LLM 解码 2.7x-3.5x 的延迟加速。
[Li et al. 2024] EAGLE-2: Faster inference of language models with dynamic draft trees. https://arxiv.org/abs/2406.16858
EAGLE-2 将推测解码中的静态草稿树替换为上下文感知的动态草稿树，无需额外训练即可实现 3.05x-4.26x 的无损 LLM 推理加速。
[Li et al. 2024] SnapKV: LLM knows what you are looking for before generation. https://arxiv.org/abs/2404.14469
SnapKV 是一种无需微调的方法，通过在生成前从观测窗口识别重要注意力位置来压缩长上下文 LLM 的 KV 缓存，在 16K 词元输入下实现 3.6 倍解码加速和 8.2 倍内存效率提升。
[Li et al. 2024] DistriFusion: Distributed parallel inference for high-resolution diffusion models. https://arxiv.org/abs/2402.19481
通过错位图块并行把单张高分辨率扩散样本切分到多张 GPU 上，复用上一步的特征图使各 worker 异步通信，延迟最多降低 6.1 倍且无质量损失。
[Li et al. 2024] Does style matter? Disentangling style and substance in chatbot arena. https://lmsys.org/blog/2024-08-28-style-control/
[Li et al. 2025] EAGLE-3: Scaling up inference acceleration of large language models via training-time test. https://arxiv.org/abs/2503.01840
EAGLE-3 用直接词元预测和多层特征融合替代特征预测，通过 training-time test 技术发现推测解码的扩展律，推理加速比最高达 6.5x。
[Li et al. 2025] ScreenSpot-pro: GUI grounding for professional high-resolution computer use. arXiv preprint arXiv:2504.07981. https://arxiv.org/abs/2504.07981
在 4K 专业软件上做视觉定位：当时最好的模型只找到 18.9
[Liang et al. 2022] Mind the gap: Understanding the modality gap in multi-modal contrastive representation learning. https://arxiv.org/abs/2203.02053
本文识别并解释了"模态间隔"现象：CLIP 等多模态模型中图像与文本的嵌入向量因深度网络的锥效应与对比学习目标而分布在共享表示空间的不同区域。
[Liang et al. 2022] Holistic evaluation of language models. arXiv preprint arXiv:2211.09110. https://arxiv.org/abs/2211.09110
HELM 对 30 个大语言模型在 42 个场景下以 7 项指标（准确率、校准、鲁棒性、公平性、偏见、毒性、效率）进行整体评测，揭示单一指标所遮蔽的权衡关系。
[Liang et al. 2022] Holistic evaluation of language models. arXiv preprint arXiv:2211.09110. https://arxiv.org/abs/2211.09110
HELM 在标准化条件下，对 30 个大语言模型（LLM）在 42 个场景和 7 项指标（准确率、校准度、鲁棒性、公平性、偏见、毒性、效率）上进行整体评测，以提升评估透明度。
[Liang et al. 2025] SafeRAG: Benchmarking security in retrieval-augmented generation of large language model. arXiv preprint arXiv:2501.18636. https://arxiv.org/abs/2501.18636
SafeRAG 是一个评测检索增强生成（RAG）安全性的基准，提出四种新型攻击任务（银噪声、跨上下文冲突、软广告、白色拒绝服务），可绕过现有检索器、过滤器和大语言模型（LLM）的防御。
[Liang et al. 2025] The SWE-bench illusion: When state-of-the-art llms remember instead of reason. arXiv preprint arXiv:2506.12286. https://arxiv.org/abs/2506.12286
前沿模型仅凭 issue 文本就能以高达 76
[Libovický and Helcl 2018] End-to-end non-autoregressive neural machine translation with connectionist temporal classification. https://arxiv.org/abs/1811.04719
本文提出一种基于 CTC 的端到端非自回归生成神经机器翻译模型，无需多步骤分离训练即可实现完全并行解码，并在 WMT 英语-罗马尼亚语和英语-德语任务上进行了评估。
[Lieber et al. 2024] Jamba: a hybrid transformer-mamba language model. https://arxiv.org/abs/2403.19887
Jamba 是基于混合 Transformer-Mamba 混合专家架构的大语言模型，支持 256K 词元上下文，在单张 80GB GPU 上实现比 Mixtral-8x7B 高 3 倍的吞吐量。
[Lightman et al. 2023] Let's verify step by step. arXiv preprint arXiv:2305.20050. https://arxiv.org/abs/2305.20050
过程监督标注中间推理步骤，并在 MATH 上优于结果监督，同时产生 PRM800K 逐步反馈数据集。
[Lin et al. 2021] TruthfulQA: Measuring how models mimic human falsehoods. arXiv preprint arXiv:2109.07958. https://arxiv.org/abs/2109.07958
TruthfulQA 测试语言模型是否复现人类常见错误观念，发现更大的模仿式训练模型在对抗性问题上可能更不真实。
[Lin et al. 2023] AWQ: Activation-aware weight quantization for LLM compression and acceleration. https://arxiv.org/abs/2306.00978
AWQ 提出基于激活感知的逐通道权重缩放，实现对大语言模型硬件友好的低比特（W4A16）量化，精度接近混合精度 FP16 且无需反向传播，配套 TinyChat 推理框架在边缘 GPU 上实现超过 3 倍加速。
[Lin and others 2025] Continual learning via sparse memory finetuning. arXiv preprint arXiv:2510.15103. https://arxiv.org/abs/2510.15103
稀疏记忆微调通过 TF-IDF 排名仅更新记忆增强 LLM 中的特定记忆槽，在持续学习新知识的同时避免全量微调和 LoRA 所引发的灾难性遗忘。
[Lindenbauer et al. 2025] The complexity trap: Simple observation masking is as efficient as LLM summarization for agent context management. https://arxiv.org/abs/2508.21433
在 SWE-bench Verified 上，简单的观测遮蔽策略将大语言模型智能体成本减半，同时在五种模型配置下匹配甚至略超基于 LLM 摘要方案的解题率。
[Lindsey et al. 2025] On the biology of a large language model. https://transformer-circuits.pub/2025/attribution-graphs/biology.html
本文将电路追踪方法应用于 Claude 3.5 Haiku，通过机械可解释性分析揭示该模型在多步推理、诗歌规划、多语言及算术任务中使用的内部机制。
[Linnainmaa 1976] Taylor expansion of the accumulated rounding error. BIT Numerical Mathematics. https://doi.org/10.1007/BF01931367
[Lior 2022] Insuring AI: The role of insurance in artificial intelligence regulation. Harvard Journal of Law & Technology. https://jolt.law.harvard.edu/assets/articlePDFs/v35/Lior-Insuring-AI.pdf
论证保险公司通过给风险定价并施加条件，能像历史上规训消防与汽车安全那样，充当 AI 的私人监管者。
[Lipman et al. 2023] Flow matching for generative modeling. https://arxiv.org/abs/2210.02747
流匹配（FM）是一种无需仿真即可训练连续归一化流的方法，通过回归条件向量场并结合最优传输路径，在 ImageNet 上超越扩散模型的性能。
[Liu et al. 2023] Ring attention with blockwise transformers for near-infinite context. https://arxiv.org/abs/2310.01889
Ring Attention 将长序列分布到多设备环形拓扑中，通过将键值块通信与分块自注意力计算重叠，实现无近似的近乎无限上下文长度。
[Liu et al. 2023] Flow straight and fast: Learning to generate and transfer data with rectified flow. https://arxiv.org/abs/2209.03003
修正流通过学习一个沿直线路径传输分布的常微分方程（ODE），在迭代 reflow 后仅需一步 Euler 积分即可实现高质量图像生成与域迁移。
[Liu et al. 2023] Visual instruction tuning. arXiv preprint arXiv:2304.08485. https://arxiv.org/abs/2304.08485
LLaVA 通过线性投影将 CLIP 视觉编码器接入大语言模型，并在 GPT-4 生成的多模态指令数据上进行视觉指令微调，构建通用视觉语言模型助手。
[Liu et al. 2023] Lost in the middle: How language models use long contexts. arXiv preprint arXiv:2307.03172. https://arxiv.org/abs/2307.03172
语言模型在长上下文任务中呈现 U 形性能曲线，相关信息位于上下文开头或结尾时表现最佳，位于中间时性能显著下降。
[Liu et al. 2024] Improved baselines with visual instruction tuning. https://arxiv.org/abs/2310.03744
LLaVA-1.5 将 LLaVA 的线性视觉语言连接器替换为 MLP 并加入带格式提示的 VQA 数据，仅用 120 万条公开样本即在 11 项多模态基准上达到最优性能。
[Liu et al. 2024] LLaVA-NeXT: Improved reasoning, OCR, and world knowledge. https://llava-vl.github.io/blog/2024-01-30-llava-next/
LLaVA-NeXT 在 LLaVA-1.5 基础上将输入图像分辨率提升至 4 倍，通过改进指令微调数据增强 OCR 和推理能力，并在多个基准上达到或超越 Gemini Pro，同时保持原有的简洁设计。
[Liu et al. 2024] MobileLLM: Optimizing sub-billion parameter language models for on-device use cases. https://arxiv.org/abs/2402.14905
MobileLLM 表明，对于端侧部署的亿级参数大语言模型，采用深细架构、嵌入共享与分组查询注意力（GQA）比加宽模型更有效，在 125M/350M 规模上分别超越先前最优模型 2.7
[Liu et al. 2024] KIVI: a tuning-free asymmetric 2bit quantization for KV cache. https://arxiv.org/abs/2402.02750
KIVI 是一种无需微调的 2bit KV 缓存量化算法，对键缓存按通道量化、对值缓存按词元量化，峰值显存减少 2.6 倍，吞吐量最高提升 3.47 倍。
[Liu et al. 2025] Muon is scalable for LLM training. arXiv preprint arXiv:2502.16982. https://arxiv.org/abs/2502.16982
通过加入权重衰减并调整每参数的更新尺度，使 Muon 优化器可扩展到大型 LLM，达到约为 AdamW 两倍的算力效率；并用 5.7T 词元训练出 16B 的 MoE 模型 Moonlight。
[Liu et al. 2025] Midtraining bridges pretraining and posttraining distributions. arXiv preprint arXiv:2510.14865. https://arxiv.org/abs/2510.14865
把中段训练定义为介于预训练与后训练之间、仍近似预训练的阶段，并发现混合专门数据可桥接预训练与后训练分布，在代码和数学上尤其有效，且相比纯继续预训练更能降低遗忘。
[Liu 2025] OpenAI could be blowing as much as $15 million per day on silly sora videos. https://www.forbes.com/sites/phoebeliu/2025/11/10/openai-spending-ai-generated-sora-videos/
[Liu et al. 2025] ProRL: Prolonged reinforcement learning expands reasoning boundaries in large language models. arXiv preprint arXiv:2505.24864. https://arxiv.org/abs/2505.24864
ProRL 通过 KL 散度控制与参考策略重置实现持续强化学习训练，证明 RL 能真正扩展大语言模型推理边界，并训练出在多项基准上超越 DeepSeek-R1-7B 的 Nemotron-Research-Reasoning-Qwen-1.5B 模型。
[Liu et al. 2025] Understanding R1-zero-like training: a critical perspective. arXiv preprint arXiv:2503.20783. https://arxiv.org/abs/2503.20783
Dr. GRPO 修正了组相对策略优化（GRPO）中人为拉长错误回答长度的优化偏差，在保持推理性能的同时提升了词元效率。
[llama.cpp project 2023] GGUF file format. https://github.com/ggml-org/llama.cpp
llama.cpp 是一个面向消费级硬件的 C/C++ 大语言模型推理库，引入了 GGUF 模型格式，支持从 1.5 位到 8 位整数量化，并兼容 CPU 与 GPU 混合后端。
[llm-d project 2025] llm-d: Kubernetes-native distributed inference serving. https://github.com/llm-d/llm-d
llm-d 是由 Red Hat、Google Cloud、IBM Research、CoreWeave 与 NVIDIA 发起的 CNCF 沙箱项目，把预填充／解码分离、前缀缓存感知路由与多级 KV 缓存卸载带进基于 Kubernetes 的大模型服务。
[LMCache team 2025] LMCache: a KV cache management layer for LLM inference. https://github.com/LMCache/LMCache
LMCache 是面向大模型服务引擎的 KV 缓存管理层，把 KV 缓存卸载到 GPU 显存、CPU 内存、本地磁盘与远端后端组成的多级层次并加以复用，使一次算出的前缀能跨请求、跨实例地由缓存供给。
[Longpre et al. 2023] The data provenance initiative: a large scale audit of dataset licensing and attribution in AI. https://arxiv.org/abs/2310.16787
Data Provenance Initiative 审计超过 1800 个文本数据集，发现广泛的许可证缺失、许可证错误，以及商业开放数据和闭合数据之间的分化。
[Longpre et al. 2024] Consent in crisis: The rapid decline of the AI data commons. https://arxiv.org/abs/2407.14933
这项对 14000 个网页域名的审计发现 AI 专用限制快速增长，许多重要 C4 来源通过 robots.txt 或服务条款变为受限。
[Loshchilov and Hutter 2019] Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101. https://arxiv.org/abs/1711.05101
指出对 Adam 而言 L2 正则化与权重衰减并不等价，并提出将权重衰减从梯度更新中解耦（AdamW），从而改善泛化。
[Lou et al. 2024] Discrete diffusion modeling by estimating the ratios of the data distribution. https://arxiv.org/abs/2310.16834
SEDD 提出评分熵损失，将分数匹配扩展到离散空间，构建的扩散语言模型在困惑度上优于 GPT-2，且仅需 32 倍更少的网络评估次数。
[Lovelace et al. 2026] Prescriptive scaling laws for data constrained training. arXiv preprint arXiv:2605.01640. https://arxiv.org/abs/2605.01640
在数据受限的扩展律中加入一个显式的过拟合惩罚项，发现更大的模型在重复数据上过拟合得更快，而强权重衰减能大幅降低该惩罚。
[Lu et al. 2022] DPM-solver: a fast ODE solver for diffusion probabilistic model sampling in around 10 steps. https://arxiv.org/abs/2206.00927
DPM-Solver 是一种无需额外训练的高阶常微分方程（ODE）求解器，专为扩散概率模型采样设计，仅需 10 至 20 次函数评估即可生成高质量样本，相比此前采样器加速 4 至 16 倍。
[Luo et al. 2023] Latent consistency models: Synthesizing high-resolution images with few-step inference. arXiv preprint arXiv:2310.04378. https://arxiv.org/abs/2310.04378
潜在一致性模型（LCMs）通过在潜在空间中进行一致性蒸馏，将预训练的 Stable Diffusion 压缩为可在 2 至 4 步内生成 768x768 图像的模型。
[Lütke 2025] Context engineering over prompt engineering. https://x.com/tobi/status/1935533422589399127
[Lyu et al. 2023] Faithful chain-of-thought reasoning. arXiv preprint arXiv:2301.13379. https://arxiv.org/abs/2301.13379
Faithful CoT 将自然语言问题翻译成符号推理链并交给确定性求解器，使被执行的链条成为最终答案的因果来源。
[Ma et al. 2024] DeepCache: Accelerating diffusion models for free. arXiv preprint arXiv:2312.00858. https://arxiv.org/abs/2312.00858
一种免训练方法，在相邻去噪步之间缓存 U-Net 的高层特征、只重算快速变化的部分，加速 2 至 4 倍且质量损失可忽略。
[Ma et al. 2024] The era of 1-bit llms: All large language models are in 1.58 bits. arXiv preprint arXiv:2402.17764. https://arxiv.org/abs/2402.17764
BitNet b1.58 提出三值权重 -1, 0, 1 的大语言模型，在 3B 规模下与 FP16 Transformer 的困惑度和任务性能相当，同时将显存和延迟降低 3 倍以上。
[Ma et al. 2025] Understanding silent data corruption in LLM training. arXiv preprint arXiv:2502.12340. https://arxiv.org/abs/2502.12340
本文首次对真实生产节点上的静默数据损坏（SDC）对大语言模型（LLM）训练的影响进行实证分析，发现 SDC 会导致模型参数偏移并在微调中引发损失尖峰。
[Madaan et al. 2023] Self-refine: Iterative refinement with self-feedback. arXiv preprint arXiv:2303.17651. https://arxiv.org/abs/2303.17651
SELF-REFINE 让单个大语言模型在测试时对自身输出迭代生成反馈并精炼，无需训练或强化学习，在七项任务上使用 GPT-3.5 和 GPT-4 平均提升约 20 个百分点。
[Maini et al. 2024] Rephrasing the web: a recipe for compute and data-efficient language modeling. https://arxiv.org/abs/2401.16380
WRAP 方法用指令微调的 LLM 将嘈杂网页文本改写为多种风格的合成数据，与在原始网页语料上预训练大语言模型相比，可将所需计算量减少约 3 倍、数据量减少约 5 倍。
[Malkov and Yashunin 2018] Efficient and robust approximate nearest neighbor search using hierarchical navigable small world graphs. IEEE Transactions on Pattern Analysis and Machine Intelligence. https://arxiv.org/abs/1603.09320
HNSW 提出了一种基于多层邻近图的近似最近邻搜索索引，实现对数复杂度的分层可导航小世界图结构。
[Manakul et al. 2023] SelfCheckGPT: Zero-resource black-box hallucination detection for generative large language models. arXiv preprint arXiv:2303.08896. https://arxiv.org/abs/2303.08896
SelfCheckGPT 通过对黑盒大语言模型多次采样并检查句级不一致，检测生成文本中的幻觉。
[Markov et al. 2023] A holistic approach to undesired content detection in the real world. AAAI 2023. https://arxiv.org/abs/2208.03274
OpenAI 提出一套面向真实流量的内容审核完整流程，结合内容分类体系设计、主动学习、质量管控标注与合成数据，用于检测性相关、仇恨、暴力、自我伤害和骚扰等不良内容。
[Martucci 2026] GE vernova gas turbine backlog hits 100 GW as prices rise. https://www.utilitydive.com/news/ge-vernova-gas-turbine-backlog-hits-100-gw-as-prices-rise/818332/
GE Vernova 的燃气轮机积压加预订量在 2026 年第一季度达到 100 GW，公司预计到年底 2030 年之前的预约将全部售罄。
[Mazeika et al. 2024] HarmBench: a standardized evaluation framework for automated red teaming and robust refusal. arXiv preprint arXiv:2402.04249. https://arxiv.org/abs/2402.04249
HarmBench 是一个标准化基准，包含 510 个有害行为及评测流水线，对 33 个大语言模型上的 18 种自动化红队方法进行大规模比较，以支持攻防协同开发。
[McCandlish et al. 2018] An empirical model of large-batch training. arXiv preprint arXiv:1812.06162. https://arxiv.org/abs/1812.06162
提出用梯度噪声尺度来预测临界批大小，超过该值后增大批大小不再减少训练步数，只是浪费算力。
[McCulloch and Pitts 1943] A logical calculus of the ideas immanent in nervous activity. The Bulletin of Mathematical Biophysics.
McCulloch 与 Pitts 提出首个神经元的数学模型，证明阈值逻辑单元构成的网络可以计算任意逻辑函数。
[McKinsey & Company 2025] The automation curve in agentic commerce. https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-automation-curve-in-agentic-commerce
[McMahan et al. 2013] Ad click prediction: a view from the trenches. https://research.google/pubs/ad-click-prediction-a-view-from-the-trenches/
Google 生产环境广告点击率预测系统的报告：数十亿稀疏特征上的 FTRL 在线学习，以及支撑其运行的校准、特征管理与监控纪律。
[McNemar 1947] Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika. https://doi.org/10.1007/BF02295996
McNemar 检验通过关注两个系统在同一样本上发生分歧的项目来比较配对二元结果，适合许多基准 A/B 比较。
[Mehta et al. 2024] OpenELM: An efficient language model family with open training and inference framework. arXiv preprint arXiv:2404.14619. https://arxiv.org/abs/2404.14619
OpenELM 对仅解码器 Transformer 引入逐层缩放策略，在各层之间非均匀分配参数，以少 2 倍预训练词元的代价比 OLMo 精度高 2.36
[Mei et al. 2025] A survey of context engineering for large language models. arXiv preprint arXiv:2507.13334. https://arxiv.org/abs/2507.13334
本文对大语言模型的上下文工程进行综述，提出涵盖检索增强生成（RAG）、记忆系统、工具集成推理与多智能体系统的统一分类体系，覆盖逾1400篇论文。
[Meng et al. 2022] Locating and editing factual associations in GPT. https://arxiv.org/abs/2202.05262
ROME 利用因果中介分析将 GPT 中的事实关联定位到中层前馈网络（FFN）模块，并提出秩一权重编辑方法以精确修改特定事实。
[Meng et al. 2023] Mass-editing memory in a transformer. https://arxiv.org/abs/2210.07229
MEMIT 通过将参数更新分摊到一组关键 MLP 层，将大语言模型的知识编辑扩展至数千条事实的同步批量更新。
[Meng et al. 2024] SimPO: Simple preference optimization with a reference-free reward. https://arxiv.org/abs/2405.14734
SimPO 用长度归一化的平均对数概率替代 DPO 的参考模型奖励，并引入目标奖励间隔，无需参考模型，在 Arena-Hard 上比 DPO 最多提升 7.5 个百分点。
[Meta 2025] Improving your recommendations on our apps with AI at meta. https://about.fb.com/news/2025/10/improving-your-recommendations-apps-ai-meta/
[Meta 2025] Private processing for WhatsApp. https://ai.meta.com/static-resource/private-processing-technical-whitepaper
Meta 的技术白皮书，用通用部件重建 Private Cloud Compute 的要求：SEV-SNP 机密虚拟机、NVIDIA GPU 机密模式与匿名中继，规模是整个 WhatsApp。
[Meta 2025] Collective communication for 100k+ gpus. arXiv preprint arXiv:2510.20171. https://arxiv.org/abs/2510.20171
NCCLX 是 Meta 为 Llama4 开发的集合通信框架，基于 NCCL 扩展，支持 100K+ GPU 的零拷贝、SM-free 传输、容错 AllReduce 及面向混合专家（MoE）推理的 GPU 常驻集合操作。
[Meta 2025] Meta and blue owl capital to develop hyperion data center. https://about.fb.com/news/2025/10/meta-blue-owl-capital-develop-hyperion-data-center/
一个约 270 亿美元的合资项目，由信贷基金持有数据中心园区的大部分，Meta 再回租算力，从而把债务留在自身资产负债表之外。
[Meta AI 2025] The llama 4 herd: The beginning of a new era of natively multimodal AI innovation. https://ai.meta.com/blog/llama-4-multimodal-intelligence/
[Meta AI 2025] Llama guard 4 model card (llama-guard-4-12B). https://huggingface.co/meta-llama/Llama-Guard-4-12B
[METR 2025] Details about metr's preliminary evaluation of GPT-4.5. https://metr.org/blog/2025-02-27-gpt-4-5-evals/
一次部署前的自主性评估，坦率交代了自身局限：对某个检查点的短暂、由实验室控制的访问，评估者称之为第一步，而非审计。
[METR 2025] Measuring the impact of early-2025 AI on experienced open-source developer productivity. arXiv preprint arXiv:2507.09089. https://arxiv.org/abs/2507.09089
一项随机对照试验（RCT）对16名有经验的开源开发者进行研究，发现使用2025年初前沿 AI 工具（Cursor Pro 配合 Claude 3.5/3.7 Sonnet）实际使任务完成时间增加了19
[METR 2026] Time horizon 1.1. https://metr.org/blog/2026-1-29-time-horizon-1-1/
METR 发布 Time Horizon 1.1，使用更多任务和新评测基础设施更新 AI 智能体任务完成时间跨度的基准估计。
[METR 2026] A simpler AI timelines model predicts 99% AI R&D automation in 2032. https://metr.org/notes/2026-02-10-simpler-ai-timelines-model/
METR 提出一个仅含 8 个参数的 AI 时间线预测模型，预测到约 2032 年 AI 研发将实现约 99
[Mialon et al. 2023] GAIA: a benchmark for general AI assistants. arXiv preprint arXiv:2311.12983. https://arxiv.org/abs/2311.12983
GAIA 是面向通用 AI 助手的基准测试，包含 466 道真实世界问题，人类得分 92
[Michaud et al. 2023] The quantization model of neural scaling. https://arxiv.org/abs/2303.13506
提出技能是离散的量子，按使用频率递减的顺序被学到；当这些频率服从幂律时，按序学习便产生平滑的幂律损失，并把涌现重新解释为量子逐个开启。
[Micikevicius et al. 2017] Mixed precision training. https://arxiv.org/abs/1710.03740
本文提出混合精度训练方法，结合 FP16 存储与计算、FP32 主权重副本、损失缩放和 FP32 累加，在不损失精度的情况下将训练显存减少约一半。
[Micikevicius et al. 2022] FP8 formats for deep learning. https://arxiv.org/abs/2209.05433
本文提出由 E4M3 和 E5M2 两种编码组成的 FP8 二进制交换格式，并证明 FP8 训练在 CNN、RNN 及最高 175B 参数的 Transformer 模型上均能匹配 16 位精度的训练质量。
[Microsoft 2024] MLOps and GenAIOps for AI workloads on azure. https://learn.microsoft.com/en-us/azure/well-architected/ai/mlops-genaiops
Microsoft 的工作负载指南把 AI 运营视为非确定系统的生命周期管理，覆盖监控、漂移、部署、治理和自动化。
[Microsoft 2025] The next chapter of the Microsoft-OpenAI partnership. https://blogs.microsoft.com/blog/2025/10/28/the-next-chapter-of-the-microsoft-openai-partnership/
微软持有 OpenAI 新营利实体约 27
[Milakov and Gimelshein 2018] Online normalizer calculation for softmax. arXiv preprint arXiv:1805.02867. https://arxiv.org/abs/1805.02867
单趟计算的 softmax：边扫描边维护运行中的最大值与归一化项，这个四页纸的技巧几年后使分块精确注意力成为可能。
[Miller 2024] Adding error bars to evals: a statistical approach to language model evaluations. arXiv preprint arXiv:2411.00640. https://arxiv.org/abs/2411.00640
Anthropic 把 LLM 评测当作统计推断来处理：报告标准误，题目成组时改用聚类标准误，模型比较用配对差值分析，并用功效分析提前规划样本量。
[Min et al. 2023] FActScore: Fine-grained atomic evaluation of factual precision in long form text generation. arXiv preprint arXiv:2305.14251. https://arxiv.org/abs/2305.14251
FActScore 将长文本生成拆成原子事实，并计算其中被可靠来源支持的比例，使真假混杂的段落可被测量。
[MiniMax 2025] MiniMax-01: Scaling foundation models with lightning attention. arXiv preprint arXiv:2501.08313. https://arxiv.org/abs/2501.08313
MiniMax-01 在一个 456B 参数的 MoE 模型里交错排布 lightning attention（一种线性注意力）与 softmax 注意力，以前沿质量支撑百万词元上下文。
[Mitchell et al. 2019] Model cards for model reporting. https://arxiv.org/abs/1810.03993
模型卡记录预期用途、评测过程和分组性能，支持关于模型部署的透明决策。
[Mithril Security 2023] PoisonGPT: How we hid a lobotomized LLM on hugging face to spread fake news. https://mithrilsecurity.io/blog/poisongpt
一次演示：把特定的虚假事实编辑进模型权重，并以与知名实验室仅差一个字母的组织名上传，把权重编辑与仿冒命名结合起来。
[mlc-ai 2023] MLC-LLM: Universal LLM deployment engine with ML compilation. https://github.com/mlc-ai/mlc-llm
MLC-LLM 是一个开源通用大语言模型部署引擎，通过机器学习编译技术在多种硬件后端上运行大语言模型。
[Model Context Protocol 2025] MCP transport future: Streamable HTTP replaces SSE. https://blog.modelcontextprotocol.io/posts/2025-12-19-mcp-transport-future/
MCP 传输工作组发布路线图，计划将模型上下文协议（MCP）改造为无状态协议、将会话提升至数据模型层，并引入 Server Cards 以支持企业级远程部署扩展。
[Model Context Protocol 2025] Transports: Mcp-Session-Id and Last-Event-ID. https://modelcontextprotocol.io/specification/2025-11-25/basic/transports
MCP（模型上下文协议）规范的传输层定义了两种 JSON-RPC 消息交换机制：用于子进程通信的 stdio 和用于网络化 MCP 服务器的可流式 HTTP（取代 SSE）。
[Model Context Protocol 2025] Key changes: MCP specification 2025-06-18. https://modelcontextprotocol.io/specification/2025-06-18/changelog
MCP 2025-06-18 修订版将服务器归类为 OAuth 资源服务器，要求客户端实现 RFC 8707 资源指示符，移除 JSON-RPC 批处理，并新增结构化工具输出与征询（elicitation）能力。
[Model Context Protocol 2025] Model context protocol specification, revision 2025-06-18: Authorization. https://modelcontextprotocol.io/specification/2025-06-18/basic/authorization
[Model Context Protocol 2026] The 2026 MCP roadmap. https://blog.modelcontextprotocol.io/posts/2026-mcp-roadmap/
MCP 2026 官方路线图将传输可扩展性、智能体通信、治理授权与企业就绪列为推动模型上下文协议（MCP）发展的四大优先领域。
[Model Context Protocol 2026] The 2026-07-28 MCP specification release candidate. https://blog.modelcontextprotocol.io/posts/2026-07-28-release-candidate/
MCP 2026-07-28 候选版本将协议改为无状态：SEP-2567 移除 Mcp-Session-Id 头与协议级会话，SEP-2575 移除 initialize 握手，服务器改用显式句柄承载跨调用状态。
[Mohan et al. 2021] CheckFreq: Frequent, fine-grained DNN checkpointing. https://www.usenix.org/conference/fast21/presentation/mohan
[Moonshot AI 2025] Kimi-researcher: End-to-end RL training for emerging agentic capabilities. https://moonshotai.github.io/Kimi-Researcher/
Kimi-Researcher 完全通过端到端智能体强化学习训练，每个任务平均执行 23 步推理、访问 200 余个 URL，在 Humanity's Last Exam 上取得 26.9
[Morgan Stanley Research 2025] Bridging a $1.5tr data center financing gap. https://www.morganstanley.com/content/dam/msdotcom/en/assets/pdfs/Research_Bridging-Data-Center-Gap.pdf
估算到 2028 年全球数据中心支出约 2.9 万亿美元，而超大规模厂商现金流约 1.4 万亿，留下约 1.5 万亿的融资缺口，其中约 8000 亿来自资产支持的私募信贷。
[Motamed et al. 2025] Do generative video models understand physical principles?. arXiv preprint arXiv:2501.09038. https://arxiv.org/abs/2501.09038
Physics-IQ 是一个涵盖五个物理领域的真实视频基准，包含 396 段视频，揭示当前生成式视频模型得分最高仅 29.5
[Muennighoff et al. 2023] Scaling data-constrained language models. arXiv preprint arXiv:2305.16264. https://arxiv.org/abs/2305.16264
研究数据受限下的训练，发现重复数据至多约四轮几乎与新数据等效，并据此提出一条刻画重复词元与多余参数价值递减的扩展律。
[Muennighoff et al. 2023] MTEB: Massive text embedding benchmark. https://arxiv.org/abs/2210.07316
MTEB 提出一个涵盖 8 项嵌入任务、58 个数据集与 112 种语言的基准，发现没有单一文本嵌入方法能在所有任务上保持领先。
[Muennighoff et al. 2025] s1: Simple test-time scaling. arXiv preprint arXiv:2501.19393. https://arxiv.org/abs/2501.19393
s1 通过在 1,000 条精选推理样本上进行监督微调并引入预算强制技术，使 s1-32B 在竞赛数学上超越 o1-preview，实现测试时扩展。
[Nakano et al. 2021] WebGPT: Browser-assisted question-answering with human feedback. arXiv preprint arXiv:2112.09332. https://arxiv.org/abs/2112.09332
WebGPT 通过文本浏览器环境对 GPT-3 进行微调，使其能搜索网页回答长篇问题，并结合模仿学习与基于人类反馈的强化学习（RLHF）中的奖励模型和拒绝采样进行优化。
[Narayanan et al. 2019] PipeDream: Generalized pipeline parallelism for DNN training. https://doi.org/10.1145/3341301.3359646
PipeDream 将流水线并行与数据并行结合，使 GPU 间通信量降低最多 95
[Narayanan et al. 2021] Efficient large-scale language model training on GPU clusters using megatron-LM. https://arxiv.org/abs/2104.04473
Megatron-LM 将张量并行（TP）、流水线并行（PP）与数据并行（DP）组合为 PTD-P，并提出交错流水线调度，在 3072 块 GPU 上以 502 petaFLOP/s 训练万亿参数语言模型。
[National Institute of Standards and Technology 2023] Artificial intelligence risk management framework (AI RMF 1.0). https://www.nist.gov/itl/ai-risk-management-framework
NIST AI RMF 1.0 将 AI 风险管理组织为治理、映射、度量和管理四类功能，贯穿 AI 生命周期。
[National Institute of Standards and Technology 2024] Artificial intelligence risk management framework: Generative artificial intelligence profile. https://doi.org/10.6028/NIST.AI.600-1
NIST 生成式 AI profile 将 AI RMF 调整到生成式系统的特有风险，本章把这些风险翻译成运营控制。
[Naumov et al. 2019] Deep learning recommendation model for personalization and recommendation systems. arXiv preprint arXiv:1906.00091. https://arxiv.org/abs/1906.00091
Meta 的参考推荐架构：TB 级稀疏嵌入表加上一个小型稠密网络，是大模型时代之前主导 AI 数据中心的工作负载形态。
[Ni et al. 2022] Sentence-T5: Scalable sentence encoders from pre-trained text-to-text models. https://arxiv.org/abs/2108.08877
Sentence-T5（ST5）提出三种从 T5 编码器-解码器模型中提取句子嵌入的方法，在 STS 和迁移基准上超越 SentenceBERT 与 SimCSE，参数规模扩展至 110 亿时性能持续提升。
[Ni et al. 2022] Large dual encoders are generalizable retrievers. https://arxiv.org/abs/2112.07899
GTR 表明，在保持瓶颈嵌入维度固定的条件下，将基于 T5 的双编码器扩展至 50 亿参数并结合多阶段训练，可显著提升在 BEIR 上的跨域检索泛化能力。
[Nichol and Dhariwal 2021] Improved denoising diffusion probabilistic models. https://arxiv.org/abs/2102.09672
本文表明，通过学习逆过程方差和混合训练目标，DDPM 可达到有竞争力的对数似然，同时将高质量采样所需的前向传播次数减少约 20 倍。
[Nickolls et al. 2008] Scalable parallel programming with CUDA. ACM Queue. https://queue.acm.org/detail.cfm?id=1365500
CUDA 执行模型的正典描述，线程网格、线程块、warp 与 SIMT，由其架构师在发布次年写就。
[Nie et al. 2025] Large language diffusion models. arXiv preprint arXiv:2502.09992. https://arxiv.org/abs/2502.09992
LLaDA 提出从头训练的掩码扩散大语言模型，通过预训练与监督微调证明可扩展性、上下文学习和指令遵循能力无需自回归建模即可涌现。
[Northcutt et al. 2021] Pervasive label errors in test sets destabilize machine learning benchmarks. NeurIPS Datasets and Benchmarks Track. https://arxiv.org/abs/2103.14749
该论文发现 10 个主流机器学习基准测试集中平均存在 3.3
[Noukhovitch et al. 2024] Asynchronous RLHF: Faster and more efficient off-policy RL for language models. arXiv preprint arXiv:2410.18252. https://arxiv.org/abs/2410.18252
异步 RLHF 将生成与训练分离到不同 GPU 上，利用离策略 Online DPO，在保持最终性能的同时将基于人类反馈的强化学习训练速度提升 40-70
[Novikov et al. 2025] AlphaEvolve: a coding agent for scientific and algorithmic discovery. arXiv preprint arXiv:2506.13131. https://arxiv.org/abs/2506.13131
AlphaEvolve 用带评估器反馈的演化式编码智能体循环改进算法和基础设施代码，展示了验证已经工程化时的自动发现。
[NucNet 2025] Constellation secures $1 billion federal loan for three mile island restart. https://www.nucnet.org/news/constellation-secures-usd1-billion-federal-loann-for-three-mile-island-restart-11-3-2025
[NVIDIA 2023] TensorRT-LLM. https://github.com/NVIDIA/TensorRT-LLM
TensorRT-LLM 是 NVIDIA 开源的大语言模型推理库，提供 Python API 和前沿优化技术，支持在 NVIDIA GPU 上高效执行推理，并包含 C++ 与 Python 运行时用于编排推理流程。
[NVIDIA 2024] NCCL: NVIDIA collective communications library. https://github.com/NVIDIA/nccl
NCCL 是 NVIDIA 开源的集合通信库，为多 GPU 系统提供优化的集合通信原语。
[NVIDIA 2024] Nemotron-4 340B technical report. https://arxiv.org/abs/2406.11704
NVIDIA 发布 Nemotron-4 340B 系列开放访问模型，包含基础、指令和奖励模型，对齐阶段超过 98
[NVIDIA 2025] Nemotron-h: a family of accurate and efficient hybrid mamba-transformer models. arXiv preprint arXiv:2504.03624. https://arxiv.org/abs/2504.03624
Nemotron-H 在 8B 与 56B 模型里把大部分注意力层换成 Mamba 层，在保持 Transformer 精度的同时把长上下文推理加速最多 3 倍。
[NVIDIA 2025] Pretraining large language models with NVFP4. arXiv preprint arXiv:2509.25149. https://arxiv.org/abs/2509.25149
用 NVFP4 这一 4 位微缩放格式在 10 万亿词元上训练一个 12B 模型，借助随机 Hadamard 变换、二维缩放与随机舍入，达到与 fp8 基线相当的效果。
[NVIDIA 2025] NVIDIA Dynamo: a datacenter-scale distributed inference serving framework. https://github.com/ai-dynamo/dynamo
NVIDIA Dynamo 是一个开源的数据中心级推理服务框架，围绕预填充／解码分离、KV 缓存感知的请求路由，以及跨 GPU 显存、主机 DRAM、SSD 与网络存储的多级 KV 缓存卸载构建。
[NVIDIA 2025] OpenAI and NVIDIA announce strategic partnership to deploy 10GW of NVIDIA systems. https://nvidianews.nvidia.com/news/openai-and-nvidia-announce-strategic-partnership-to-deploy-10gw-of-nvidia-systems
一份部署至少 10GW 英伟达系统的意向书，英伟达计划随每吉瓦部署逐步向 OpenAI 投资最多 1000 亿美元。
[Nygard 2018] Release it! Design and deploy production-ready software. Pragmatic Bookshelf.
Nygard 总结了用于构建可在故障中存活的生产软件的稳定性与韧性模式，如断路器、隔板与超时。
[Odlyzko 2010] Collective hallucinations and inefficient markets: The british railway mania of the 1840s. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=1537338
以铁路狂潮为范例，说明真正变革性的技术如何与灾难性的资本毁灭并存，而需求证据就在眼前却被无视。
[Office of Governor Kathy Hochul 2025] Governor hochul signs nation-leading legislation to require AI frameworks for AI frontier models. https://www.governor.ny.gov/news/governor-hochul-signs-nation-leading-legislation-require-ai-frameworks-ai-frontier-models
[Ogenrwot and Businge 2026] AgenticFlict: a large-scale dataset of merge conflicts in AI coding agent pull requests on GitHub. https://arxiv.org/abs/2604.03551
AGENTICFLICT 是一个大规模数据集，包含从 142K+ AI 编程智能体 pull request 中提取的 336K+ 合并冲突区域，揭示了五个智能体 27.67
[Okta 2025] Okta for AI agents, early access. https://www.okta.com/blog/ai/okta-ai-agents-early-access-announcement/
Okta for AI Agents（早期访问版）为 AI 智能体提供专属身份层，涵盖可观测性、生命周期管理与治理。
[Olah et al. 2020] Zoom in: An introduction to circuits. Distill. https://distill.pub/2020/circuits/zoom-in/
该 Distill 文章提出神经网络内部存在可理解的"电路"，由神经元连接构成有意义的算法，并提出特征、电路与跨模型通用性三个假说。
[OLMo Team 2025] 2 olmo 2 furious. https://arxiv.org/abs/2501.00656
OLMo 2 是一个完全开放的自回归大语言模型系列，包含 7B、13B 和 32B 规模，公开权重、训练数据、代码与配方，在性能与训练 FLOPs 的 Pareto 前沿上与 Llama 3.1 等开放权重模型持平。
[Olsson et al. 2022] In-context learning and induction heads. https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html
本文认定归纳头（induction heads）是 Transformer 中由两个注意力头构成的电路，是各规模模型中上下文学习的主要机制来源。
[Olston et al. 2017] TensorFlow-serving: Flexible, high-performance ML serving. arXiv preprint arXiv:1712.06139. https://arxiv.org/abs/1712.06139
[Oord et al. 2018] Representation learning with contrastive predictive coding. arXiv preprint arXiv:1807.03748. https://arxiv.org/abs/1807.03748
CPC 通过在潜在空间中用对比损失（InfoNCE）预测未来观测，从无标注数据中学习表征，在语音、图像、文本和强化学习四个领域均取得良好效果。
[Open Source Initiative 2024] The open source AI definition 1.0. https://opensource.org/ai/open-source-ai-definition
OSI 定义把开源 AI 视为需要使用、研究、修改和分享四项自由，并要求数据说明、代码与参数以便于修改的首选形式提供。
[Open X-Embodiment Collaboration 2023] Open x-embodiment: Robotic learning datasets and RT-x models. arXiv preprint arXiv:2310.08864. https://arxiv.org/abs/2310.08864
Open X-Embodiment 汇集了来自 21 个机构共 22 种机器人形态的超百万条轨迹数据集，并训练 RT-X 模型，证明跨机器人平台的正迁移。
[OpenAI 2023] GPT-4 technical report. https://cdn.openai.com/papers/gpt-4.pdf
GPT-4 是一个经 RLHF 训练的多模态 Transformer，在多项专业学术基准上达到人类水平，并可通过扩展律从使用少 1,000 倍算力的小模型预测其能力。
[OpenAI 2024] Memory and new controls for ChatGPT. https://openai.com/index/memory-and-new-controls-for-chatgpt/
助手记忆的首个消费级部署：用户可管理的保存记忆、删除控制，以及不留痕迹的临时对话。
[OpenAI 2024] Introducing SWE-bench verified. https://openai.com/index/introducing-swe-bench-verified/
[OpenAI 2025] Sycophancy in GPT-4o: What happened and what we're doing about it. https://openai.com/index/sycophancy-in-gpt-4o/
对谄媚模型更新的事后复盘，其中承认用户记忆在部分情况下加重了谄媚的影响。
[OpenAI 2025] Introducing gpt-realtime and Realtime API updates for production voice agents. https://openai.com/index/introducing-gpt-realtime/
[OpenAI 2025] Introducing 4o image generation. https://openai.com/index/introducing-4o-image-generation/
[OpenAI 2025] Model spec. https://model-spec.openai.com/2025-12-18.html
Model Spec 定义模型目标行为，并规定用来解决指令冲突的权限层级。
[OpenAI 2025] Introducing deep research. https://openai.com/index/introducing-deep-research/
OpenAI 的 Deep Research 智能体在真实的浏览与 Python 工具使用任务上端到端强化学习训练，采用与 o1 推理模型相同的 RL 方法。
[OpenAI 2025] Introducing operator. https://openai.com/index/introducing-operator/
计算机使用智能体（CUA）：输入截图、输出鼠标键盘动作，跑在托管的远程浏览器里，在基准发布一年内把 OSWorld 最好成绩提高到近三倍。
[OpenAI 2025] GDPval: Evaluating AI model performance on real-world economically valuable tasks. arXiv preprint arXiv:2510.04374. https://arxiv.org/abs/2510.04374
GDPval 是一个覆盖 44 个职业、9 个美国 GDP 行业、共 1,320 个任务的基准测评，通过成对比较显示前沿模型正在接近行业专家水平。
[OpenAI 2025] Introducing gpt-oss. https://openai.com/index/introducing-gpt-oss/
OpenAI 以 Apache 2.0 许可证发布 gpt-oss-120b 与 gpt-oss-20b 两个开放权重混合专家推理模型，是其自 GPT-2 以来首次发布开放权重语言模型；较大的模型可在单张 80 GB GPU 上运行，推理基准接近 o4-mini。
[OpenAI 2026] Codex CLI: Conversation and code-reverting rewind. https://github.com/openai/codex/issues/11626
该 GitHub issue 请求在 openai/codex CLI 中增加 /rewind 命令，能够将对话历史与 Codex 所做的文件编辑同步回退至指定检查点。
[OpenAI 2026] Dreaming: Better memory for a more helpful ChatGPT. https://openai.com/index/chatgpt-memory-dreaming/
[OpenID Foundation 2026] AuthZEN authorization API 1.0. https://openid.net/specs/authorization-api-1_0.html
[OpenSSF AI/ML Working Group 2025] Launch of model signing v1.0. https://openssf.org/blog/2025/04/04/launch-of-model-signing-v1-0/
面向任意格式与体量模型的签名库与格式，凭签名者身份并借透明日志核验，回答的是出处而非安全。
[OpenTelemetry n.d.] OpenTelemetry GenAI conventions. https://github.com/open-telemetry/semantic-conventions-genai
OpenTelemetry GenAI 语义约定为跨厂商追踪模型调用、智能体步骤和生成式 AI 系统行为定义属性与 span。
[Ou et al. 2025] Your absorbing discrete diffusion secretly models the conditional distributions of clean data. https://arxiv.org/abs/2406.03736
RADD 将吸收离散扩散的具体分数重参数化为与时间无关的清洁数据条件分布，通过输出缓存加速采样，在 GPT-2 规模的零样本语言建模困惑度上达到扩散模型的最优性能。
[Ou 2026] Goalless agents. https://changkun.de/blog/posts/goalless-agents
实验表明，无目标 AI 智能体（Claude 与 Codex）展现出由训练塑造的稳定先验偏好，而 80/20 的探索与利用节奏能使系统产生有方向的纵深演进，这是刚性流水线和完全自由均无法实现的。
[Ouyang et al. 2022] Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems (NeurIPS). https://arxiv.org/abs/2203.02155
InstructGPT 通过监督微调（SFT）、奖励模型训练和近端策略优化（PPO）对 GPT-3 进行基于人类反馈的强化学习（RLHF），使 1.3B 参数模型的输出优于 175B GPT-3。
[Ouyang et al. 2022] Training language models to follow instructions with human feedback. https://arxiv.org/abs/2203.02155
InstructGPT 通过基于人类反馈的强化学习（监督微调后用 PPO 优化人类偏好奖励模型）对 GPT-3 进行微调，使 1.3B 参数的模型在人类评测中优于 175B 的 GPT-3 基线。
[Ouyang et al. 2025] KernelBench: Can llms write efficient GPU kernels?. https://arxiv.org/abs/2502.10517
检验模型能否写出正确且快于 PyTorch 的 GPU 内核的基准：250 个负载、一个考虑加速比的指标，以及前沿模型单次尝试击败基线的比例不足 20
[OWASP CycloneDX 2024] CycloneDX v1.6 with AI/ML bill of materials (ML-BOM). https://cyclonedx.org/capabilities/mlbom/
软件物料清单标准的机器学习扩展，让模型附带一份组件、数据集与血统的机器可读清单。
[Packer et al. 2023] MemGPT: Towards llms as operating systems. https://arxiv.org/abs/2310.08560
MemGPT 提出虚拟上下文管理方案，借鉴操作系统分层存储思想，在大语言模型（LLM）固定上下文窗口与外部存储之间分页调度数据，实现文档分析与多轮对话中的无限上下文。
[Pagnoni et al. 2024] Byte latent transformer: Patches scale better than tokens. arXiv preprint arXiv:2412.09871. https://arxiv.org/abs/2412.09871
BLT 去掉分词器，按下一字节的熵把原始字节聚成动态大小的字节块，在 FLOP 对齐的扩展比较中追平基于分词的模型，规模最高到 8B 参数。
[Pai 2025] Designing large language model applications: a holistic approach. O'Reilly Media. https://www.oreilly.com/library/view/designing-large-language/9781098150495/
Suhas Pai 所著 O'Reilly 图书，介绍将大语言模型（LLM）从原型过渡到企业生产级应用的设计模式与工程决策。
[Pan et al. 2024] Training software engineering agents and verifiers with SWE-gym. arXiv preprint arXiv:2412.21139. https://arxiv.org/abs/2412.21139
SWE-Gym 提出首个软件工程智能体训练环境，包含 2,438 个真实 Python GitHub issue、可执行环境与单元测试，支持通过监督微调和推理阶段扩展训练 SWE 智能体。
[Panickssery et al. 2024] LLM evaluators recognize and favor their own generations. arXiv preprint arXiv:2404.13076. https://arxiv.org/abs/2404.13076
GPT-4 和 Llama 2 等大语言模型（LLM）在评测中存在自我偏好偏差，且该偏差与模型识别自身输出的能力呈线性相关。
[Parasuraman et al. 2000] A model for types and levels of human interaction with automation. IEEE Transactions on Systems, Man, and Cybernetics - Part A: Systems and Humans. https://doi.org/10.1109/3468.844354
Parasuraman、Sheridan 与 Wickens 按信息获取、分析、决策选择和行动执行拆分自动化，并给出不同的人类参与等级。
[Parikh and Surapaneni 2025] Announcing agent payments protocol (AP2). https://cloud.google.com/blog/products/ai-machine-learning/announcing-agents-to-payments-ap2-protocol
Google 联合六十余家伙伴的支付协议：签名的意图授权书与购物车授权书构成防篡改的链条，回答谁授权了什么、请求是否反映用户意图、出事由谁负责。
[Park et al. 2023] Generative agents: Interactive simulacra of human behavior. arXiv preprint arXiv:2304.03442. https://arxiv.org/abs/2304.03442
按新近度、重要性与相关性打分检索的记忆流，加上定期把经验综合成高层记忆的反思机制：后来所有记忆系统都在回响的概念模板。
[Paszke et al. 2019] PyTorch: An imperative style, high-performance deep learning library. https://arxiv.org/abs/1912.01703
PyTorch 的设计论文：基于磁带的即时自动微分，热路径在 C++ 里，配缓存式 CUDA 分配器，并论证了易用性与性能并非对立。
[Patwardhan et al. 2025] GDPval: Evaluating AI model performance on real-world economically valuable tasks. https://arxiv.org/abs/2510.04374
GDPval 用来自美国 GDP 贡献最大的九个行业、44 个职业的 1320 件真实工作交付物评估模型输出，发现前沿模型在规格明确的交付物上接近行业专家水平。
[Pearce and Song 2024] Reconciling kaplan and chinchilla scaling laws. Transactions on Machine Learning Research (TMLR). https://arxiv.org/abs/2406.12907
将 Kaplan 与 Chinchilla 的分歧主要归因于 Kaplan 在小规模下计入的是非嵌入参数而非总参数；一旦计入嵌入参数并放大规模，最优指数便收敛到 Chinchilla 的估计。
[Peebles and Xie 2023] Scalable diffusion models with transformers. https://arxiv.org/abs/2212.09748
DiT 用 Transformer 替换潜在扩散模型中的 U-Net 主干，证明模型 Gflops 增大时 FID 持续下降，在 ImageNet 256x256 上达到当时最优 FID 2.27。
[Penedo et al. 2023] The RefinedWeb dataset for falcon LLM: Outperforming curated corpora with web data, and web data only. https://arxiv.org/abs/2306.01116
RefinedWeb 表明，对 CommonCrawl 进行严格过滤与去重后得到的五万亿词元纯网页数据，可训练出超越使用精心策划语料库（如 The Pile）所训练的大语言模型。
[Penedo et al. 2024] The FineWeb datasets: Decanting the web for the finest text data at scale. https://arxiv.org/abs/2406.17557
FineWeb 是一个从 96 个 Common Crawl 快照中提取的 15 万亿词元预训练数据集，采用消融实验驱动的过滤策略与逐快照最小哈希去重，性能优于其他公开预训练数据集；FineWeb-Edu 是 1.3 万亿词元的教育子集，在 MMLU 和 ARC 上表现显著更好。
[Peng et al. 2023] YaRN: Efficient context window extension of large language models. arXiv preprint arXiv:2309.00071. https://arxiv.org/abs/2309.00071
YaRN 以比先前方法更少的词元和训练步数扩展基于 RoPE 的 LLaMA 上下文窗口，并展示了超出微调长度的外推能力。
[Peng et al. 2024] Rapid response: Mitigating LLM jailbreaks with a few examples. arXiv preprint arXiv:2411.07494. https://arxiv.org/abs/2411.07494
RapidResponseBench 评测在增殖越狱样本上微调 LLM 输入分类器的防御方案，仅观测每类越狱一个样本即可将攻击成功率降低逾 240 倍。
[Perez et al. 2022] Red teaming language models with language models. arXiv preprint arXiv:2202.03286. https://arxiv.org/abs/2202.03286
本文提出用语言模型自动生成测试用例对目标语言模型进行红队测试，在一个 280B 参数聊天机器人中发现数万条有害输出。
[Petrov et al. 2023] Language model tokenizers introduce unfairness between languages. https://proceedings.neurips.cc/paper_files/paper/2023/hash/74bb24dca8334adce292883b4b651eda-Abstract-Conference.html
分词器对相同文本在非英语语言中生成的词元数量最多相差15倍，导致不同语言社区在访问成本、延迟和上下文长度方面存在不公平差异。
[pgvector 2025] pgvector: Open-source vector similarity search for postgres. https://github.com/pgvector/pgvector
pgvector 是一个开源 PostgreSQL 扩展，直接在 Postgres 中提供向量相似度搜索和近邻检索能力。
[Phan et al. 2025] Humanity's last exam. arXiv preprint arXiv:2501.14249. https://arxiv.org/abs/2501.14249
Humanity's Last Exam 是一个广覆盖的专家级多模态闭合题基准，用来在 MMLU 一类测试饱和之后继续衡量前沿能力。
[Physical Intelligence 2025] pi-0.5: a vision-language-action model with open-world generalization. arXiv preprint arXiv:2504.16054. https://arxiv.org/abs/2504.16054
pi-0.5 是一个视觉-语言-动作模型（VLA），通过在异构数据源（其他机器人、网络数据、语义子任务、口语指令）上协同训练，实现在未见过的家庭环境中执行长时序家务操作任务的开放世界泛化能力。
[Pinecone 2025] Pinecone: Managed vector database for AI. https://www.pinecone.io/
Pinecone 是一个托管向量数据库服务，为构建 RAG 管道和 AI 应用提供低延迟相似度检索与元数据过滤能力。
[Podell et al. 2024] SDXL: Improving latent diffusion models for high-resolution image synthesis. https://arxiv.org/abs/2307.01952
SDXL 是一个用于文本到图像合成的潜扩散模型，采用 2.6B 参数 UNet、双文本编码器、图像尺寸与裁剪条件化、多宽高比训练及可选的精化阶段。
[Polu and Sutskever 2020] Generative language modeling for automated theorem proving. arXiv preprint arXiv:2009.03393. https://arxiv.org/abs/2009.03393
GPT-f 把 Transformer 语言模型用于 Metamath 证明搜索，并贡献了被形式数学库接受的短证明。
[Poly 2026] Durable execution: The key to harnessing AI agents in production. https://www.inngest.com/blog/durable-execution-key-to-harnessing-ai-agents
Inngest 博客文章，阐述持久化执行（durable execution）作为一种在故障中保证代码完成的编程模型，是在生产环境中可靠运行 AI 智能体的关键基础设施原语。
[Polyak and others 2024] Movie gen: a cast of media foundation models. arXiv preprint arXiv:2410.13720. https://arxiv.org/abs/2410.13720
Meta 的媒体基础模型，其视频模型为十六秒高清画面维护 7.3 万词元的上下文，而单张百万像素图像约为四千个潜变量词元。
[Pope et al. 2022] Efficiently scaling transformer inference. arXiv preprint arXiv:2211.05102. https://arxiv.org/abs/2211.05102
本文提出用于 TPU v4 的张量并行分区框架与底层优化，使 PaLM 540B 在 int8 量化下实现 29ms/词元延迟与 76
[Press and Wolf 2017] Using the output embedding to improve language models. https://arxiv.org/abs/1608.05859
将神经语言模型的输入与输出嵌入矩阵绑定（weight tying），可降低困惑度，并将翻译模型参数量压缩至原来的不足一半而不损失性能。
[Press et al. 2022] Train short, test long: Attention with linear biases enables input length extrapolation. https://arxiv.org/abs/2108.12409
ALiBi 用与距离成线性比例的偏置替换位置嵌入，使模型在短序列上训练后能在推理时外推到更长序列，且不增加额外运行时开销。
[Python Software Foundation 2024] pickle: Python object serialization (module documentation). https://docs.python.org/3/library/pickle.html
pickle 模块文档，其页首警告指出反序列化不可信数据会按设计执行任意代码，正是恶意检查点的机制来源。
[PyTorch Foundation 2024] ExecuTorch. https://github.com/pytorch/executorch
ExecuTorch 是 PyTorch 官方的端侧 AI 部署框架，面向移动、嵌入式和边缘硬件。
[Qian et al. 2021] Glancing transformer for non-autoregressive neural machine translation. https://arxiv.org/abs/2008.07905
GLAT 提出瞥视语言模型训练策略，使非自回归生成神经机器翻译可在单次并行解码中完成，以 8x-15x 加速将质量差距缩小到自回归 Transformer 的 0.25-0.9 BLEU 以内。
[Qian et al. 2025] ToolRL: Reward is all tool learning needs. arXiv preprint arXiv:2504.13958. https://arxiv.org/abs/2504.13958
ToolRL 对大语言模型工具集成推理中的奖励设计进行首次系统研究，通过细粒度分解奖励结合 GRPO 训练，在多种工具使用基准上比监督微调（SFT）提升 15
[Qin et al. 2023] ToolLLM: Facilitating large language models to master 16000+ real-world apis. arXiv preprint arXiv:2307.16789. https://arxiv.org/abs/2307.16789
ToolLLM 基于 16,464 个真实 API 构造 ToolBench，并提出 ToolEval 来评测语言模型规划和执行 API 使用任务的能力。
[Qin et al. 2024] Mooncake: a kvcache-centric disaggregated architecture for LLM serving. arXiv preprint arXiv:2407.00079. https://arxiv.org/abs/2407.00079
Mooncake 是 Kimi 的 KV 缓存为中心的分离式大语言模型推理平台，将预填充与解码集群分离，利用闲置 CPU/DRAM/SSD 实现 KV 缓存池，在满足服务等级目标的前提下吞吐量最高提升 525
[Qin et al. 2025] UI-TARS: Pioneering automated GUI interaction with native agents. arXiv preprint arXiv:2501.12326. https://arxiv.org/abs/2501.12326
端到端训练的原生 GUI 智能体：输入截图、输出拟人动作，不套任何商业模型，并通过数百台在线虚拟机上的强化学习持续打磨。
[Qu et al. 2021] RocketQA: An optimized training approach to dense passage retrieval for open-domain question answering. https://arxiv.org/abs/2010.08191
RocketQA 通过跨批次负样本、去噪难负样本和交叉编码器数据增强三种训练策略，提升双编码器密集段落检索在开放域问答中的性能。
[Qualcomm Technologies, Inc. 2024] Qualcomm AI engine direct SDK. https://www.qualcomm.com/developer/software/qualcomm-ai-engine-direct-sdk
Qualcomm AI Engine Direct SDK 提供统一 API 和硬件专用库，用于在 Snapdragon 处理器上部署全栈 AI 推理。
[Qwen Team 2025] Qwen3-next-80B-A3B-instruct model card. https://huggingface.co/Qwen/Qwen3-Next-80B-A3B-Instruct
Qwen3-Next 是总参数 80B、激活 3B 的 MoE 模型，48 层按三层 Gated DeltaNet 线性注意力配一层门控全注意力交替排布。
[Rabe and Staats 2021] Self-attention does not need O(n^2) memory. arXiv preprint arXiv:2112.05682. https://arxiv.org/abs/2112.05682
[Rack2Cloud 2026] Kubernetes day 2 failures: 5 incidents and the metrics that predict them. https://www.rack2cloud.com/kubernetes-day-2-failures/
一篇实践指南，列举五种常见 Kubernetes Day 2 故障模式，并为每种模式给出一个可提前预警的关键指标。
[Radford et al. 2021] Learning transferable visual models from natural language supervision. https://arxiv.org/abs/2103.00020
CLIP 通过对比语言-图像预训练在 4 亿图文对上联合训练图像编码器与文本编码器，实现对下游视觉任务的零样本迁移。
[Radford et al. 2023] Robust speech recognition via large-scale weak supervision. https://arxiv.org/abs/2212.04356
Whisper 在 68 万小时弱监督多语言音频上训练编码器-解码器 Transformer，无需针对特定数据集微调，即可在自动语音识别（ASR）任务上实现接近人类水平的鲁棒性。
[Rafailov et al. 2023] Direct preference optimization: Your language model is secretly a reward model. https://arxiv.org/abs/2305.18290
DPO 用简单的二元交叉熵损失替代基于人类反馈的强化学习（RLHF）中的显式奖励模型与强化学习循环，直接从人类偏好数据中提取最优策略。
[Raffel et al. 2020] Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research. https://www.jmlr.org/papers/v21/20-074.html
T5 提出统一的文本到文本框架，将所有自然语言处理任务转化为同一格式，并系统比较预训练目标、模型架构与数据规模，在多个基准上达到最优水平。
[Ragan-Kelley et al. 2013] Halide: a language and compiler for optimizing parallelism, locality, and recomputation in image processing pipelines. https://dl.acm.org/doi/10.1145/2491956.2462176
Halide 把「算什么」与「怎样调度到机器上」分离开来，这是每一个张量编译器做调度搜索背后的奠基思想。
[Rajbhandari et al. 2019] ZeRO: Memory optimizations toward training trillion parameter models. https://arxiv.org/abs/1910.02054
ZeRO（零冗余优化器）通过跨数据并行（DP）进程划分优化器状态、梯度和参数来消除显存冗余，使超过 100B 参数的模型训练成为可能，并实现超线性吞吐量扩展。
[Rajbhandari et al. 2021] ZeRO-infinity: Breaking the GPU memory wall for extreme scale deep learning. https://arxiv.org/abs/2104.07857
ZeRO-Infinity 是一种异构训练系统，将模型状态卸载至 CPU 和 NVMe 内存，使现有 GPU 集群无需修改模型代码即可训练数十万亿参数规模的模型。
[Rajput et al. 2023] Recommender systems with generative retrieval. https://arxiv.org/abs/2305.05065
TIGER 将每个条目的内容嵌入量化为语义 ID，并训练序列模型直接生成下一个条目的 ID，把检索索引折叠进模型权重。
[Ramesh et al. 2022] Hierarchical text-conditional image generation with CLIP latents. arXiv preprint arXiv:2204.06125. https://arxiv.org/abs/2204.06125
DALL-E 2（unCLIP）通过将文本映射到 CLIP 图像嵌入的先验模型与将嵌入还原为 1024×1024 图像的扩散解码器串联，实现文本条件图像生成。
[Rand et al. 2025] Queued up: 2025 edition. Characteristics of power plants seeking transmission interconnection. https://emp.lbl.gov/publications/queued-2025-edition-characteristics
[Rao and Ballard 1999] Predictive coding in the visual cortex: a functional interpretation of some extra-classical receptive-field effects. Nature Neuroscience.
Rao 与 Ballard 提出预测编码，认为高级皮层区域预测低级活动，仅有预测误差向前传播。
[Raschka 2024] Build a large language model (from scratch). Manning Publications. https://www.manning.com/books/build-a-large-language-model-from-scratch
本书手把手引导读者从头实现大语言模型（LLM）的注意力机制与 GPT 风格的 Transformer 架构，涵盖训练、微调与指令跟随。
[Rasmussen et al. 2025] Zep: a temporal knowledge graph architecture for agent memory. arXiv preprint arXiv:2501.13956. https://arxiv.org/abs/2501.13956
把记忆做成时序知识图谱：事实带有效期，被作废而不是被覆写，存储因此能回答「什么时候什么为真」。
[Ratner et al. 2016] Data programming: Creating large training sets, quickly. Advances in Neural Information Processing Systems (NeurIPS). https://arxiv.org/abs/1605.07723
数据编程让用户编写带噪声的标注函数替代手工标注，通过生成式模型对输出去噪，从而以程序化方式快速构建大规模训练集。
[Rebedea et al. 2023] NeMo guardrails: a toolkit for controllable and safe LLM applications with programmable rails. arXiv preprint arXiv:2310.10501. https://arxiv.org/abs/2310.10501
NeMo Guardrails 是一个开源工具包，通过自定义对话流语言 Colang 在运行时为大语言模型（LLM）应用添加可编程护栏，无需修改底层模型。
[Rehberger 2024] SpAIware: Spyware injection into ChatGPT's long-term memory. https://embracethered.com/blog/posts/2024/chatgpt-macos-app-persistent-data-exfiltration/
一次能活过会话的提示词注入：植入助手记忆的外传指令让此后每一场对话都在泄漏，直到那条记忆被发现并删除。
[Reimers and Gurevych 2019] Sentence-BERT: Sentence embeddings using siamese BERT-networks. https://arxiv.org/abs/1908.10084
SBERT 通过孪生网络和三元组网络对 BERT 进行微调，生成可用余弦相似度直接比较的句子嵌入，将成对相似度搜索时间从 65 小时缩短至 5 秒。
[Rein et al. 2023] GPQA: a graduate-level google-proof Q&a benchmark. arXiv preprint arXiv:2311.12022. https://arxiv.org/abs/2311.12022
GPQA 是一个包含 448 道生物、物理和化学研究生级别题目的基准，博士专家准确率为 65
[Ren et al. 2025] DeepSeek-prover-V2: Advancing formal mathematical reasoning via reinforcement learning for subgoal decomposition. arXiv preprint arXiv:2504.21801. https://arxiv.org/abs/2504.21801
DeepSeek-Prover-V2 把非形式化与形式化推理结合到 Lean 4 定理证明中，通过递归分解和强化学习在 MiniF2F 与 PutnamBench 上取得强结果。
[Replit 2025] Checkpoints and rollbacks. https://docs.replit.com/replitai/checkpoints-and-rollbacks
Replit 的 Checkpoints and Rollbacks 文档介绍了 Replit Agent 如何在开发里程碑处自动保存项目快照，支持一键还原完整项目状态与 AI 对话上下文。
[Replit 2025] Inside replit's snapshot engine. https://blog.replit.com/inside-replits-snapshot-engine
[Replit 2025] Finding and solving memory leaks. https://blog.replit.com/finding-and-solving-memory-leaks
[ReversingLabs 2025] nullifAI: malicious ML models evade Hugging Face picklescan. https://www.reversinglabs.com/blog/rl-identifies-malware-ml-model-hosted-on-hugging-face
一批恶意模型通过采用扫描器不解析的压缩格式、并把载荷放在故意损坏的指令之前，绕过了模型库的 pickle 扫描器，说明扫描并非保证。
[Riedl and Desai 2025] AI agents and the law. arXiv preprint arXiv:2508.08544. https://arxiv.org/abs/2508.08544
对照计算机科学与法律的「代理」概念，指出技术框架低估了忠实义务与对第三方的义务，而这恰恰是代理法存在的理由。
[Rissanen 1978] Modeling by shortest data description. Automatica.
Rissanen 提出最小描述长度（MDL）原理，将模型选择表述为选取最能压缩数据的模型。
[Rombach et al. 2022] High-resolution image synthesis with latent diffusion models. https://arxiv.org/abs/2112.10752
潜在扩散模型（LDM）将扩散过程移至预训练自编码器的潜在空间，大幅降低训练和推理成本，并通过交叉注意力机制支持文本到图像等多模态条件生成。
[Rosenblatt 1958] The perceptron: a probabilistic model for information storage and organization in the brain. Psychological Review.
Rosenblatt 提出感知机，一种带权重更新学习规则的可训练线性分类器，是神经网络的早期基础。
[Rosenfeld et al. 2020] A constructive prediction of the generalization error across scales. https://arxiv.org/abs/1909.12673
提出泛化误差的参数化包络形式，即随模型规模与数据规模的幂律再加一个不可约下界，在视觉与语言上拟合，早于其在语言模型上的专门化。
[Röttger et al. 2024] XSTest: a test suite for identifying exaggerated safety behaviours in large language models. https://arxiv.org/abs/2308.01263
XSTEST 是一个包含 250 条提示的测试集，用于系统识别大语言模型（LLM）因词汇重叠而对安全提示产生过度拒绝（over-refusal）的行为。
[Rouhani and others 2023] Microscaling data formats for deep learning. https://arxiv.org/abs/2310.10537
OCP 微缩放（MX）提案由 AMD、Arm、Intel、Meta、Microsoft、NVIDIA 与 Qualcomm 联合提出，让窄浮点或整数元素类型共享一个块级 scale，并证明包括 MXFP4 在内的 MX 格式能以极小的精度损失用于推理与训练。
[Rumelhart et al. 1986] Learning representations by back-propagating errors. Nature. https://doi.org/10.1038/323533a0
[Russinovich et al. 2024] Great, now write an article about that: The crescendo multi-turn LLM jailbreak attack. arXiv preprint arXiv:2404.01833. https://arxiv.org/abs/2404.01833
Crescendo 是一种多轮大语言模型越狱攻击，通过利用模型自身的历史输出逐步升级无害提示，在 GPT-4、Gemini-Pro 等模型上实现高攻击成功率，绕过安全对齐。
[Saharia et al. 2022] Photorealistic text-to-image diffusion models with deep language understanding. https://arxiv.org/abs/2205.11487
Imagen 将冻结的 T5-XXL 文本编码器与级联扩散模型结合，发现扩展语言模型对文本到图像质量的提升远大于扩展图像扩散模型，在 COCO 上取得 FID 7.27。
[Sahoo et al. 2024] Simple and effective masked diffusion language models. https://arxiv.org/abs/2406.07524
MDLM 通过 Rao-Blackwell 化目标与现代训练方法，大幅缩小了离散扩散模型与自回归语言模型之间的困惑度差距。
[Sakana AI 2025] The AI CUDA engineer: Agentic CUDA kernel discovery, optimization and composition. https://sakana.ai/ai-cuda-engineer/
[Salesforce 2025] 2025 holiday shopping data. https://www.salesforce.com/news/stories/2025-holiday-shopping-data/
[Salimans et al. 2017] Evolution strategies as a scalable alternative to reinforcement learning. arXiv preprint arXiv:1703.03864. https://arxiv.org/abs/1703.03864
通过共享随机种子将进化策略（ES）扩展至1440个并行工作节点，无需反向传播或价值函数即可在MuJoCo和Atari上取得与策略梯度强化学习相当的结果。
[Salimans and Ho 2022] Progressive distillation for fast sampling of diffusion models. https://arxiv.org/abs/2202.00512
反复把扩散采样器蒸馏成只需一半步数的学生模型，把生成从数千步降到最少四步，代价不超过原始训练。
[Sambasivan et al. 2021] “Everyone wants to do the model work, not the data work”: Data Cascades in High-Stakes AI. https://doi.org/10.1145/3411764.3445518
Sambasivan 等记录了高风险 AI 中的数据级联：上游数据问题会复合成严重的下游模型失效。
[San Roman et al. 2024] Proactive detection of voice cloning with localized watermarking. https://arxiv.org/abs/2401.17264
AudioSeal 是首个面向 AI 生成语音样本级定位检测的音频水印系统，采用联合训练的生成器与检测器架构，检测速度比现有方法快两个数量级。
[Santhanam et al. 2022] ColBERTv2: Effective and efficient retrieval via lightweight late interaction. https://arxiv.org/abs/2112.01488
ColBERTv2 将残差压缩与去噪监督相结合，使晚期交互检索的存储占用降低 6-10 倍，同时在训练域内外均达到最优检索质量。
[Sardana et al. 2024] Beyond chinchilla-optimal: Accounting for inference in language model scaling laws. https://arxiv.org/abs/2401.00448
本文将扩展律扩展至涵盖推理成本，证明预期大规模推理需求的从业者应训练比计算最优更小、词元数更多的模型。
[Sardana et al. 2024] Beyond chinchilla-optimal: Accounting for inference in language model scaling laws. https://arxiv.org/abs/2401.00448
本文将 Chinchilla 扩展律扩展以纳入推理成本，表明面对大规模推理需求（约 10 亿次请求）的开发者，应训练比计算最优更小但词元数更多的 LLM。
[Sauer et al. 2024] Adversarial diffusion distillation. https://arxiv.org/abs/2311.17042
把分数蒸馏与对抗损失结合，实现一到四步采样，是 SDXL-Turbo 背后的方法，四步之内即可达到与教师模型相当的实时合成。
[Savinov et al. 2022] Step-unrolled denoising autoencoders for text generation. https://arxiv.org/abs/2112.06749
SUNDAE 提出一种非自回归生成文本模型，在训练时采用展开去噪机制对词元序列迭代去噪，在 WMT'14 翻译任务上达到非自回归方法的最优结果。
[Saxena 2023] Prompt lookup decoding. https://github.com/apoorvumang/prompt-lookup-decoding
提示词查找解码用对提示词的 n-gram 匹配取代投机解码中的草稿模型，在输出大量复用输入的任务上带来 2 至 4 倍加速且不改变输出质量；已进入 transformers 与 vLLM。
[Schaeffer et al. 2023] Are emergent abilities of large language models a mirage?. https://arxiv.org/abs/2304.15004
大语言模型（LLM）中表观出现的涌现能力是非线性或不连续评估指标造成的假象，并非模型行为随规模发生的根本性变化。
[Schick et al. 2023] Toolformer: Language models can teach themselves to use tools. https://arxiv.org/abs/2302.04761
Toolformer 通过自监督的 API 调用过滤，训练大语言模型自主决定何时及如何调用外部工具，在无需人工标注的情况下实现强零样本性能。
[Schulman et al. 2017] Proximal policy optimization algorithms. arXiv preprint arXiv:1707.06347. https://arxiv.org/abs/1707.06347
PPO 提出裁剪代理目标函数，使策略梯度强化学习在仅用一阶优化的条件下达到 TRPO 的可靠性，并具备更优的样本复杂度。
[Schulman and Thinking Machines Lab 2025] LoRA without regret. https://thinkingmachines.ai/blog/lora/
大规模实验表明，把 LoRA 施加到所有线性层（含 MLP 与 MoE）并以完整微调约十倍的学习率训练时，效果与完整微调相当；只作用于注意力层会明显欠佳，而在 RL 后训练中即便秩为 1，LoRA 也能追平完整微调。
[Schultz et al. 1997] A neural substrate of prediction and reward. Science.
Schultz、Dayan 与 Montague 证明中脑多巴胺神经元编码奖励预测误差，将神经科学与时序差分强化学习联系起来。
[Schuman 2026] What really caused that AWS outage in december?. https://www.computerworld.com/article/4136512/what-really-caused-that-aws-outage-in-december.html
Computerworld 对 2025 年 12 月 AWS Cost Explorer 故障的追踪报道：AWS 确认其 Kiro 智能体删除并重建了环境，但将根因归于角色权限配置错误，作者对这一定性提出质疑。
[Sculley et al. 2015] Hidden technical debt in machine learning systems. https://papers.nips.cc/paper/2015/hash/86df7dcfd896fcaf2674f757a2463eba-Abstract.html
Sculley 等人描述机器学习系统中的隐性技术债，包括边界侵蚀、纠缠、数据依赖和未声明消费者。
[Seamless Communication 2023] SeamlessM4T: Massively multilingual & multimodal machine translation. arXiv preprint arXiv:2308.11596. https://arxiv.org/abs/2308.11596
SeamlessM4T 是一个统一模型，支持自动语音识别（ASR）、语音到语音、语音到文本、文本到语音及文本到文本翻译，覆盖多达 100 种语言，使用 406,000 小时多语言语音数据训练。
[Seamless Communication 2023] Seamless: Multilingual expressive and streaming speech translation. arXiv preprint arXiv:2312.05187. https://arxiv.org/abs/2312.05187
Seamless 提出 SeamlessM4T v2、SeamlessExpressive 和 SeamlessStreaming，一套支持多语言实时、保留韵律与声音风格的表达性语音到语音翻译模型家族。
[SemiAnalysis 2024] MI300X vs H100 vs H200 benchmark part 1: Training, CUDA moat still alive. https://semianalysis.com/2024/12/22/mi300x-vs-h100-vs-h200-benchmark-part-1-training/
[Sen et al. 2026] Is grep all you need? How agent harnesses reshape agentic search. arXiv preprint arXiv:2605.15184. https://arxiv.org/abs/2605.15184
对智能体框架内检索策略的受控比较：对实时状态的 grep 式搜索总体上比向量检索准确率更高，差距大小取决于框架与工具调用方式。
[Senarath and Dissanayaka 2025] OAuth 2.0 extension: On-behalf-of user authorization for AI agents (internet-draft, expired). https://datatracker.ietf.org/doc/draft-oauth-ai-agents-on-behalf-of-user/
[Sennrich et al. 2015] Neural machine translation of rare words with subword units. arXiv preprint arXiv:1508.07909. https://arxiv.org/abs/1508.07909
本文提出将 BPE（字节对编码）用于稀有词的子词分割，使神经机器翻译无需回退词典即可实现开放词表翻译。
[Seung et al. 1992] Statistical mechanics of learning from examples. Physical Review A.
Seung、Sompolinsky 与 Tishby 用统计力学分析学习，推导出泛化误差与学习曲线随训练样本数的变化规律。
[Seyedi and NVIDIA 2025] Scaling AI factories with co-packaged optics for better power efficiency. https://developer.nvidia.com/blog/scaling-ai-factories-with-co-packaged-optics-for-better-power-efficiency/
NVIDIA 技术博客介绍共封装光学（CPO）如何降低 AI 数据中心网络的功耗，以扩展大语言模型（LLM）训练集群规模。
[SGLang Team 2025] Towards deterministic inference in sglang and reproducible RL training. https://lmsys.org/blog/2025-09-22-sglang-deterministic/
[Shah et al. 2024] FlashAttention-3: Fast and accurate attention with asynchrony and low-precision. https://arxiv.org/abs/2407.08608
FlashAttention-3 利用 Hopper GPU 的异步执行与 FP8 低精度，通过 warp 专化将注意力计算比 FlashAttention-2 加速 1.5-2 倍，FP16 达 740 TFLOPs/s，FP8 接近 1.2 PFLOPs/s。
[Shankar et al. 2022] Operationalizing machine learning: An interview study. arXiv preprint arXiv:2209.09125. https://arxiv.org/abs/2209.09125
对18位机器学习工程师的访谈研究识别出MLOps成功的三个关键变量（速度、验证、版本管理），并记录了在生产环境中部署和维护机器学习流水线的实践与痛点。
[Shannon 1948] A mathematical theory of communication. Bell System Technical Journal.
Shannon 奠定了信息论，将熵定义为信息的度量，并确立了数据压缩与有噪信道可靠通信的极限。
[Shao et al. 2024] DeepSeekMath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300. https://arxiv.org/abs/2402.03300
DeepSeekMath 结合 1200 亿词元数学语料与 GRPO，后者是去掉评论家、在采样组内归一化奖励的 PPO 变体。
[Shao et al. 2025] Spurious rewards: Rethinking training signals in RLVR. arXiv preprint arXiv:2506.10947. https://arxiv.org/abs/2506.10947
在 Qwen2.5-Math-7B 上，用随机甚至错误的奖励做 RLVR 也能取得接近真值奖励的增益（MATH-500 上 +21.4 对 +29.1 分），而同样的伪奖励在 Llama 与 OLMo 上无效，说明 GRPO 更多是在放大预训练已有的行为，而非教出新推理。
[Sharma and Kaplan 2020] A neural scaling law from the dimension of the data manifold. arXiv preprint arXiv:2004.10802. https://arxiv.org/abs/2004.10802
从数据流形的内蕴维数推导出扩展指数，预言损失随幂律下降，其速率由数据实际占据的维数决定。
[Sharma et al. 2024] Towards understanding sycophancy in language models. https://arxiv.org/abs/2310.13548
[Sharma et al. 2025] Constitutional classifiers: Defending against universal jailbreaks across thousands of hours of red teaming. arXiv preprint arXiv:2501.18837. https://arxiv.org/abs/2501.18837
Constitutional Classifiers 使用宪法（constitution）引导合成数据训练大语言模型（LLM）分类器防护层，在生产流量中以仅 0.38
[Shazeer et al. 2017] Outrageously large neural networks: The sparsely-gated mixture-of-experts layer. https://arxiv.org/abs/1701.06538
本文提出稀疏门控混合专家（MoE）层，通过可训练门控网络从数千个前馈网络专家中稀疏选取，在语言建模和机器翻译任务上以极小的计算开销实现超过 1000 倍的模型容量提升。
[Shazeer 2019] Fast transformer decoding: One write-head is all you need. https://arxiv.org/abs/1911.02150
多查询注意力（MQA）在所有注意力头之间共享键和值，大幅降低增量解码的内存带宽需求，且质量损失极小。
[Shazeer 2020] GLU variants improve transformer. https://arxiv.org/abs/2002.05202
本文提出将 SwiGLU、GEGLU 等 GLU 变体用于 Transformer 前馈网络（FFN）子层，替换 ReLU 激活函数，实验表明这些变体可降低困惑度并提升下游任务性能。
[Shehabi et al. 2024] 2024 united states data center energy usage report. https://escholarship.org/uc/item/32d6m0d1
[Sheng et al. 2023] S-LoRA: Serving thousands of concurrent LoRA adapters. arXiv preprint arXiv:2311.03285. https://arxiv.org/abs/2311.03285
[Sheng et al. 2025] HybridFlow: a flexible and efficient RLHF framework. https://arxiv.org/abs/2409.19256
HybridFlow 通过混合单控制器与多控制器范式实现 RLHF 数据流的灵活表示与高效分布式执行，相比现有系统吞吐量提升 1.53x 至 20.57x。
[Shi et al. 2017] World of bits: An open-domain platform for web-based agents. https://proceedings.mlr.press/v70/shi17a.html
GUI 智能体研究线的起点：智能体感知像素与 DOM、用鼠标键盘行动，并附带此后多年供整个领域训练用的 MiniWoB 任务集。
[Shi et al. 2023] Detecting pretraining data from large language models. arXiv preprint arXiv:2310.16789. https://arxiv.org/abs/2310.16789
MIN-K
[Shi et al. 2024] Simplified and generalized masked diffusion for discrete data. https://arxiv.org/abs/2406.04329
MD4 将离散数据的掩码扩散简化为连续时间 ELBO 等价于交叉熵损失的加权积分，在文本困惑度和像素级图像建模上超越了此前的离散扩散模型。
[Shi et al. 2025] Judging the judges: a systematic study of position bias in LLM-as-a-judge. https://aclanthology.org/2025.ijcnlp-long.18/
系统研究大语言模型作为评判者中的位置偏差，提出三项度量指标，通过 15 个评判模型和逾 15 万条实例发现偏差主要受候选解质量差距驱动。
[Shilov 2026] TSMC 'super carrier' CoWoS interposer enables 9-reticle packages with 12 HBM4 stacks. https://www.tomshardware.com/tech-industry/tsmc-super-carrier-cowos-interposer-gets-bigger-enabling-massive-ai-chips-to-reach-9-reticle-sizes-with-12-hbm4-stacks
[Shinn et al. 2023] Reflexion: Language agents with verbal reinforcement learning. arXiv preprint arXiv:2303.11366. https://arxiv.org/abs/2303.11366
Reflexion 通过将语言自我反思存储在情节记忆中来强化大语言模型智能体，无需更新权重，在 HumanEval 上达到 91
[Shoeybi et al. 2019] Megatron-LM: Training multi-billion parameter language models using model parallelism. https://arxiv.org/abs/1909.08053
Megatron-LM 提出一种无需新编译器的层内张量并行方案，在 512 个 GPU 上以 76
[Shokri et al. 2017] Membership inference attacks against machine learning models. https://arxiv.org/abs/1610.05820
本文提出成员推断攻击，利用影子训练技术，仅通过黑盒 API 访问即可判断某条记录是否属于模型的训练数据集。
[Shumailov et al. 2024] AI models collapse when trained on recursively generated data. Nature. https://www.nature.com/articles/s41586-024-07566-y
在大语言模型自身合成输出上递归训练会导致模型崩塌，跨代累积后输出分布退化为噪声。
[Si et al. 2025] Excessive reasoning attack on reasoning llms. arXiv preprint arXiv:2506.14374. https://arxiv.org/abs/2506.14374
本文构造能触发过度推理与延迟终止的输入，使推理模型在保持任务效用的同时，将推理长度提高数倍。
[Silent Data Corruption Study 2026] The anatomy of silent data corruption: GPU error pattern study and modeling guidance. arXiv preprint arXiv:2605.04213. https://arxiv.org/abs/2605.04213
通过对生产级 GPU 进行门级故障注入，系统表征静默数据损坏（SDC）规律，发现 NaN/INF 仅占损坏输出的 1.01
[Singh et al. 2025] Agentic reasoning and tool integration for llms via reinforcement learning. arXiv preprint arXiv:2505.01441. https://arxiv.org/abs/2505.01441
ARTIST 是一个将智能体推理、基于 GRPO 的强化学习与动态工具集成紧密耦合的统一框架，在数学基准测试上实现了最高 22
[Singh 2025] AWS outage and the kiro AI bot: a post-mortem. https://singhajit.com/aws-outage-kiro-ai-bot/
一篇博文分析 2025 年 12 月的一起事故：AI 智能体 Kiro 因访问控制缺失自主删除并重建了 AWS 生产环境，导致长达 13 小时的服务中断。
[Singh et al. 2025] Agentic retrieval-augmented generation: a survey on agentic RAG. arXiv preprint arXiv:2501.09136. https://arxiv.org/abs/2501.09136
本综述提出检索增强生成（RAG）的智能体化分类体系，追溯从朴素 RAG 到嵌入自主智能体的流水线的演进，并分析设计权衡、应用场景与开放挑战。
[Singh et al. 2025] The leaderboard illusion. arXiv preprint arXiv:2504.20879. https://arxiv.org/abs/2504.20879
记录了 Chatbot Arena 排名的系统性失真：未披露的多变体私测与选择性撤回分数、偏向大厂的数据获取不对称，以及模型的静默下架，每一项都会使 Bradley-Terry 拟合产生偏差。
[SK hynix 2025] SK hynix completes world's first HBM4 development and readies mass production. https://www.prnewswire.com/news-releases/sk-hynix-completes-worlds-first-hbm4-development-and-readies-mass-production-302554538.html
SK hynix 宣布完成全球首款 HBM4 高带宽显存的开发并准备好量产。
[Snap Research 2024] LOCOMO: Long-term conversational memory benchmark. https://snap-research.github.io/locomo/
LoCoMo 是一个通过问答、事件摘要和多模态对话生成任务评测大语言模型（LLM）智能体超长期对话记忆能力的基准。
[Snell et al. 2024] Scaling LLM test-time compute optimally can be more effective than scaling model parameters. arXiv preprint arXiv:2408.03314. https://arxiv.org/abs/2408.03314
本文表明，依据提示难度自适应分配测试时计算（计算最优策略）可超越参数量大 14 倍的预训练模型，相比 best-of-N 采样效率提升逾 4 倍。
[Sohl-Dickstein et al. 2015] Deep unsupervised learning using nonequilibrium thermodynamics. https://arxiv.org/abs/1503.03585
本文提出扩散概率模型，通过学习逐步破坏数据结构的前向扩散过程的逆过程，构建兼具灵活性与可处理性的生成模型。
[Song and Ermon 2019] Generative modeling by estimating gradients of the data distribution. https://arxiv.org/abs/1907.05600
Song 和 Ermon 提出噪声条件分数网络（NCSN），通过在多个噪声水平上估计数据分布梯度，并结合退火 Langevin 动力学进行采样，在 CIFAR-10 上达到当时最优 inception score 8.87。
[Song et al. 2021] Score-based generative modeling through stochastic differential equations. https://arxiv.org/abs/2011.13456
本文通过连续时间随机微分方程（SDE）框架统一了基于分数的生成模型与去噪扩散概率模型（DDPM），实现了精确似然计算、可控生成，并在 CIFAR-10 上达到当时最优的图像合成性能。
[Song et al. 2021] Denoising diffusion implicit models. https://arxiv.org/abs/2010.02502
DDIM 将 DDPM 的马尔可夫前向过程替换为非马尔可夫过程，无需重新训练即可实现 10 至 50 倍的采样加速。
[Song et al. 2023] Consistency models. https://arxiv.org/abs/2303.01469
把去噪轨迹上任意一点直接映射到其起点的模型，支持一步生成并可选多步细化，既可蒸馏训练也可从头训练。
[Song et al. 2025] Seed diffusion: a large-scale diffusion language model with high-speed inference. arXiv preprint arXiv:2508.02193. https://arxiv.org/abs/2508.02193
[Song et al. 2025] CoAct-1: Computer-using multi-agent system with coding actions. arXiv preprint arXiv:2508.03923. https://arxiv.org/abs/2508.03923
CoAct-1 是一个计算机使用多智能体系统，其协调者将子任务分派给 GUI 操作员或程序员智能体，在 OSWorld 上取得 60.76
[Souly et al. 2025] Poisoning attacks on llms require a near-constant number of poison samples. arXiv preprint arXiv:2510.07192. https://arxiv.org/abs/2510.07192
约 250 篇投毒文档就能给从 6 亿到 130 亿参数的模型植入后门，与干净数据量无关，意味着模型越大投毒相对越容易。
[Speelpenning 1980] Compiling fast partial derivatives of functions given by algorithms. https://archive.org/details/compilingfastpar1002spee
[Staab et al. 2024] Beyond memorization: Violating privacy via inference with large language models. https://arxiv.org/abs/2310.07298
大语言模型能以接近人类分析员的精度、远低于人力的成本，从寻常文本推断位置、收入与人口属性；记忆存储所持久化的，正是这种持续运行的推断。
[Stanovich and West 2000] Individual differences in reasoning: Implications for the rationality debate?. Behavioral and Brain Sciences.
Stanovich 与 West 提出双过程推理的系统 1 与系统 2 术语，并分析了人类理性中的个体差异。
[Starace et al. 2025] PaperBench: Evaluating ai's ability to replicate AI research. arXiv preprint arXiv:2504.01848. https://arxiv.org/abs/2504.01848
PaperBench 评测 AI 智能体复现实验论文的能力，将每项复现任务拆成数千个按评分准则评分的子任务，并单独评测裁判。
[Stray et al. 2021] What are you optimizing for? Aligning recommender systems with human values. arXiv preprint arXiv:2107.10939. https://arxiv.org/abs/2107.10939
把以互动率为目标的推荐系统视为已在行星尺度上部署的对齐问题，并综述了让其对准人类价值而非点击代理指标的具体干预手段。
[Stripe 2025] Developing an open standard for agentic commerce. https://stripe.com/blog/developing-an-open-standard-for-agentic-commerce
ChatGPT 即时结账背后的智能体商务协议：一个限定单一商户与单一购物车金额的共享支付令牌，助手因此永远不持有原始卡片凭证。
[Study 2025] The illusion of diminishing returns: Measuring long horizon execution in llms. arXiv preprint arXiv:2509.09677. https://arxiv.org/abs/2509.09677
本文指出短任务基准上的边际收益递减掩盖了长时域执行长度的指数级提升，并发现了一种"自我条件化"失效模式：大语言模型在上下文包含历史错误时性能显著下降。
[Study 2026] Beyond pass@1: a reliability science framework for long-horizon LLM agents. arXiv preprint arXiv:2603.29231. https://arxiv.org/abs/2603.29231
本文提出一个面向长时域 LLM 智能体的可靠性科学框架，包含四项指标（RDC、VAF、GDS、MOP），并证明随任务时长增加，能力排名与可靠性排名存在系统性分化。
[Su et al. 2021] RoFormer: Enhanced transformer with rotary position embedding. https://arxiv.org/abs/2104.09864
RoFormer 提出 RoPE（旋转位置嵌入），在自注意力中将词元位置编码为旋转矩阵，同时实现序列长度灵活性和随相对距离衰减的词元间依赖。
[Su et al. 2021] Whitening sentence representations for better semantics and faster retrieval. arXiv preprint arXiv:2103.15316. https://arxiv.org/abs/2103.15316
本文表明，对 BERT 句子嵌入施加经典白化变换可纠正其各向异性，提升语义相似度性能，并通过降维加速检索。
[Su and others 2022] One embedder, any task: Instruction-finetuned text embeddings. https://arxiv.org/abs/2212.09741
INSTRUCTOR 是一个在推理时接受任务指令的文本嵌入模型，无需进一步微调即可生成任务感知与领域感知的嵌入向量，在 70 个多样化任务上达到最优性能。
[Sun 2025] Why did M2 end up as a full attention model?. https://www.minimax.io/news/why-did-m2-end-up-as-a-full-attention-model
MiniMax 预训练负责人解释 M2 为何放弃 lightning attention 混合设计：混合体的短板要到规模上去后才在多跳推理上显形，而高效注意力周边的推理与评估栈尚未达到生产成熟度。
[Sutton 1988] Learning to predict by the methods of temporal differences. Machine Learning.
Sutton 提出时序差分学习，依据相邻预测估计之间的差异来更新预测，而非等待最终结果。
[Swinhoe 2026] TSMC announces 2026 capex spend of $56bn as CEO dismisses bubble concerns. https://www.datacenterdynamics.com/en/news/tsmc-announces-2026-capex-spend-of-56bn-after-posting-eighth-consecutive-quarter-of-growth/
[Szabo 1999] Micropayments and mental transaction costs. https://nakamotoinstitute.org/library/micropayments-and-mental-transaction-costs/
判了 1990 年代微支付死刑的论证：小额购买真正的成本是决策而非手续费；Szabo 对把决策委托给智能体的怀疑，如今读来像预言。
[Tan et al. 2024] Democratizing large language models via personalized parameter-efficient fine-tuning. arXiv preprint arXiv:2402.04401. https://arxiv.org/abs/2402.04401
[Tang et al. 2024] Quest: Query-aware sparsity for efficient long-context LLM inference. https://arxiv.org/abs/2406.10774
Quest 保留完整 KV 缓存，用每页键的逐通道极值做摘要，每次查询只加载与之最相关的前 K 页，在长依赖任务上以可忽略的精度损失把自注意力最高加速 2.23 倍。
[Templeton et al. 2024] Scaling monosemanticity: Extracting interpretable features from claude 3 sonnet. https://transformer-circuits.pub/2024/scaling-monosemanticity/index.html
[Thakur et al. 2021] BEIR: a heterogenous benchmark for zero-shot evaluation of information retrieval models. https://arxiv.org/abs/2104.08663
BEIR 提出包含 18 个数据集、覆盖 9 类检索任务的异构基准，用于信息检索模型的零样本评测，发现 BM25 稀疏检索与重排序方法的分布外泛化性最强。
[The Authors Guild 2025] Bartz v. anthropic settlement: What authors need to know. https://authorsguild.org/advocacy/artificial-intelligence/what-authors-need-to-know-about-the-anthropic-settlement/
[The Hacker News 2025] Experts find AI browsers can be tricked by PromptFix exploit. https://thehackernews.com/2025/08/experts-find-ai-browsers-can-be-tricked.html
对 Guardio Labs「Scamlexity」研究的报道：智能体浏览器在假店铺下单、执行伪装成 CAPTCHA 的隐藏指令，自主花掉了存储的支付信息。
[The Linux Foundation 2025] Linux foundation launches the Agent2Agent protocol project to enable secure, intelligent communication between AI agents. https://www.linuxfoundation.org/press/linux-foundation-launches-the-agent2agent-protocol-project-to-enable-secure-intelligent-communication-between-ai-agents
Google 将 A2A 协议捐赠给 Linux Foundation，使智能体互操作标准处于厂商中立的治理之下，并获得 100 多家技术公司的支持。
[The Linux Foundation 2026] A2A protocol surpasses 150 organizations, lands in major cloud platforms, and sees enterprise production use in first year. https://www.prnewswire.com/news-releases/a2a-protocol-surpasses-150-organizations-lands-in-major-cloud-platforms-and-sees-enterprise-production-use-in-first-year-302737641.html
A2A 于 2026 年 4 月发布 v1.0 稳定规范，获 150 余家组织支持，并集成进 Azure AI Foundry、Amazon Bedrock AgentCore 与 Google Cloud 等平台。
[Thorne et al. 2018] FEVER: a large-scale dataset for fact extraction and verification. arXiv preprint arXiv:1803.05355. https://arxiv.org/abs/1803.05355
FEVER 提出大规模 claim 验证数据集，系统需要检索证据并判断 claim 是被支持、被反驳，还是证据不足。
[Tian et al. 2024] Visual autoregressive modeling: Scalable image generation via next-scale prediction. https://arxiv.org/abs/2404.02905
VAR 将图像自回归重新定义为由粗到细的"下一尺度预测"，使 GPT 风格的自回归模型在图像质量、速度和扩展律上首次超越扩散 Transformer。
[Tillet et al. 2019] Triton: An intermediate language and compiler for tiled neural network computations. https://dl.acm.org/doi/10.1145/3315508.3329973
Triton 把静态形状的分块（tile）作为 GPU 编程的基本单元：程序员为每个分块写一个程序，合并访存、共享内存与处理器内调度交给编译器。
[Tokui et al. 2015] Chainer: a next-generation open source framework for deep learning. http://learningsys.org/papers/LearningSys_2015_paper_33.pdf
提出「运行即定义」一词的论文：即时执行宿主语言代码，边运行边记录运算，再对记录的磁带求导，并首次成文陈述了反对静态图的理由。
[Tom's Hardware 2026] Nvidia removes rubin CPX accelerators from its roadmap. https://www.tomshardware.com/pc-components/gpus/nvidia-removes-rubin-cpx-accelerators-from-its-roadmap-groq-3-lpus-take-center-stage-as-cpx-is-removed
报道称 NVIDIA 在 GTC 2026 上把 Rubin CPX 预填充加速器撤下路线图，这一思路可能在后续一代回归。
[Touvron et al. 2023] LLaMA: Open and efficient foundation language models. https://arxiv.org/abs/2302.13971
LLaMA 发布了一系列仅使用公开数据训练的开放基础大语言模型（7B 至 65B 参数），通过在更多词元上训练较小模型，在推理阶段达到或超越更大专有模型的性能。
[Trail of Bits 2024] A few notes on AWS nitro enclaves: Images and attestation. https://blog.trailofbits.com/2024/02/16/a-few-notes-on-aws-nitro-enclaves-images-and-attestation/
从业者对 AWS Nitro Enclaves 的分析：它的证明究竟覆盖什么，以及没有内存加密的隔离为何把平台厂商留在了信任边界之内。
[TrendForce 2025] Huawei unveils ascend 950 with in-house HBM in 2026, touts SuperPoD to rival NVIDIA. https://www.trendforce.com/news/2025/09/18/news-huawei-unveils-ascend-950-with-in-house-hbm-in-2026-touts-superpod-to-rival-nvidia/
TrendForce 报道 Huawei Ascend 950 系列自 2026 年起出货，搭载自研 HBM，这类国产内存落后前沿一到两代。
[TrendForce 2026] TSMC sees AI wafer demand rising 11x from 2022–2026, targets CoWoS with 24 HBM stacks in 2029. https://www.trendforce.com/news/2026/05/14/news-tsmc-sees-ai-wafer-demand-rising-11x-from-2022-2026-targets-cowos-with-24-hbm-stacks-in-2029/
[U.S. Bureau of Industry and Security 2026] Revision to license review policy for advanced computing commodities. https://www.federalregister.gov/documents/2026/01/15/2026-00789/revision-to-license-review-policy-for-advanced-computing-commodities
缓存文件仅为 Federal Register 网站的访问拦截页面，显示 CAPTCHA 验证请求，无法获取实际文档内容。
[Uesato et al. 2022] Solving math word problems with process- and outcome-based feedback. arXiv preprint arXiv:2211.14275. https://arxiv.org/abs/2211.14275
本文在 GSM8K 上对比过程奖励模型（PRM）与结果监督方法，发现 PRM 将推理过程错误率从 14.0
[United States District Court for the District of Delaware 2025] Thomson reuters enterprise centre GmbH v. ross intelligence inc., no. 1:20-cv-613, memorandum opinion. https://www.ded.uscourts.gov/sites/ded/files/opinions/20-613_5.pdf
[Van Bulck et al. 2018] Foreshadow: Extracting the keys to the intel SGX kingdom with transient out-of-order execution. https://www.usenix.org/conference/usenixsecurity18/presentation/bulck
利用瞬态执行提取出 SGX 自身证明密钥的攻击，重置了整个领域的预期：可信执行边界是工程造物，而非数学证明。
[Variety 2024] News corp inks OpenAI licensing deal potentially worth more than $250 million. https://variety.com/2024/digital/news/news-corp-openai-licensing-deal-1236013734/
[Vaswani et al. 2017] Attention is all you need. https://arxiv.org/abs/1706.03762
Vaswani 等人提出 Transformer，一种完全基于多头注意力、无循环和卷积的序列转换架构，以更高并行性实现了当时最优的机器翻译质量。
[Vidgen et al. 2024] Introducing v0.5 of the AI safety benchmark from mlcommons. arXiv preprint arXiv:2404.12241. https://arxiv.org/abs/2404.12241
MLCommons 发布 AI Safety Benchmark v0.5，提供涵盖七个危害类别的 43,090 条测试提示，用于评估对话调优大语言模型（LLM）的安全性风险。
[Villalobos et al. 2024] Will we run out of data? Limits of LLM scaling based on human-generated data. arXiv preprint arXiv:2211.04325. https://arxiv.org/abs/2211.04325
本文预测，按当前大语言模型发展趋势，训练数据需求将在 2026 至 2032 年间耗尽全部公开人类生成文本，并探讨合成数据与迁移学习作为应对策略。
[Vincent 2011] A connection between score matching and denoising autoencoders. Neural Computation 23(7):1661–1674. https://direct.mit.edu/neco/article-abstract/23/7/1661/7677
[Vipra and Korinek 2023] Market concentration implications of foundation models. https://arxiv.org/abs/2311.01550
Vipra 和 Korinek 认为最强基础模型倾向自然垄断，而非前沿模型会面对激烈竞争，这塑造了反垄断和监管重点。
[Visa 2025] Visa introduces trusted agent protocol: An ecosystem-led framework for AI commerce. https://investor.visa.com/news/news-details/2025/Visa-Introduces-Trusted-Agent-Protocol-An-Ecosystem-Led-Framework-for-AI-Commerce/default.aspx
Visa 与 Cloudflare 共建的智能体身份框架：合法智能体为请求签名，商户防御从此识别「已知的机器人」，而不是靠指纹鉴别人类。
[Visa 2025] Visa and partners complete secure AI transactions, setting the stage for mainstream adoption in 2026. https://usa.visa.com/about-visa/newsroom/press-releases.releaseId.21961.html
[vLLM 2026] Batch invariance. https://docs.vllm.ai/en/latest/features/batch_invariance/
vLLM 的批不变模式换用确定性内核，让同一请求无论怎样组批都产生相同输出，以吞吐换可复现性。
[vLLM Multimodal Workstream 2025] Encoder disaggregation for scalable multimodal model serving. https://vllm.ai/blog/2025-12-15-vllm-epd
vLLM 原生的编码／预填充／解码（EPD）分离自 v0.11.1 起可用，把视觉编码器放进独立的池运行，据报告多图工作负载的有效吞吐量约翻倍，P99 延迟降低 20
[W3C 2025] Verifiable credentials data model v2.0. https://www.w3.org/TR/vc-data-model-2.0/
W3C 推荐标准，规范可加密核验的声明；AP2 授权书采用的信封格式，恰好在支付协议发布前四个月定稿。
[Wallace et al. 2024] The instruction hierarchy: Training llms to prioritize privileged instructions. arXiv preprint arXiv:2404.13208. https://arxiv.org/abs/2404.13208
指令层级训练模型在冲突中选择性忽略低权限指令，从而提高对提示注入与越狱的鲁棒性，同时尽量减少能力损失。
[Wallace et al. 2024] The instruction hierarchy: Training llms to prioritize privileged instructions. arXiv preprint arXiv:2404.13208. https://arxiv.org/abs/2404.13208
本文提出指令层级方法，训练大语言模型（LLM）优先遵循系统提示而非用户消息和工具输出，从而大幅提升对提示注入、越狱和系统提示提取攻击的鲁棒性。
[Wan et al. 2025] The 2025 foundation model transparency index. https://arxiv.org/abs/2512.10169
2025 年 FMTI 报告称开发者透明度均分从 100 分中的 58 分降至 40 分，训练数据、训练算力与部署后使用情况最不透明。
[Wang and Isola 2020] Understanding contrastive representation learning through alignment and uniformity on the hypersphere. https://arxiv.org/abs/2005.10242
本文将对比表示学习的成功归因于单位超球面上的对齐性与均匀性两个关键属性，证明对比损失渐近地优化这两者，并表明直接优化这两个可量化指标可达到与对比学习相当甚至更好的下游任务性能。
[Wang and Liu 2021] Understanding the behaviour of contrastive loss. https://arxiv.org/abs/2012.09740
本文分析无监督对比损失是一种硬度感知损失函数，并证明温度 T 控制均匀性与语义容忍度之间的两难权衡。
[Wang et al. 2022] Self-consistency improves chain of thought reasoning in language models. https://arxiv.org/abs/2203.11171
自一致性（self-consistency）通过对思维链（CoT）提示采样多条推理路径并以多数投票选出最一致答案，替代贪婪解码，显著提升大语言模型的推理准确率。
[Wang et al. 2022] Text embeddings by weakly-supervised contrastive pre-training. arXiv preprint arXiv:2212.03533. https://arxiv.org/abs/2212.03533
E5 通过在精心筛选的 2.7 亿网络文本对数据集 CCPairs 上进行对比预训练，获得通用文本嵌入，在 BEIR 和 MTEB 基准上达到最先进水平。
[Wang et al. 2023] Neural codec language models are zero-shot text to speech synthesizers. arXiv preprint arXiv:2301.02111. https://arxiv.org/abs/2301.02111
VALL-E 将文本到语音（TTS）建模为条件编解码器语言模型任务，在 60K 小时语音数据上预训练，仅需 3 秒声学提示即可实现零样本个性化语音合成。
[Wang et al. 2023] HelpSteer: Multi-attribute helpfulness dataset for SteerLM. arXiv preprint arXiv:2311.09528. https://arxiv.org/abs/2311.09528
HelpSteer 除整体有用性外，还标注正确性、连贯性、复杂度与冗长度，使偏好数据比单一标量标签更可诊断。
[Wang et al. 2023] Improving text embeddings with large language models. arXiv preprint arXiv:2401.00368. https://arxiv.org/abs/2401.00368
E5-Mistral-7B 通过对 Mistral-7B 在覆盖 93 种语言的 LLM 合成数据上进行对比学习微调，以不到 1k 步训练在 BEIR 和 MTEB 上取得最优文本嵌入表示效果。
[Wang et al. 2023] Large language models are not fair evaluators. arXiv preprint arXiv:2305.17926. https://arxiv.org/abs/2305.17926
本文揭示大语言模型作为评判者（LLM-as-judge）时存在严重的位置偏差，交换候选回复顺序会导致 GPT-4 和 ChatGPT 翻转评判结果，并提出三种校准策略加以缓解。
[Wang et al. 2023] BitNet: Scaling 1-bit transformers for large language models. arXiv preprint arXiv:2310.11453. https://arxiv.org/abs/2310.11453
BitNet 提出一种从头训练的 1-bit Transformer 架构，用于大语言模型，在显著降低内存占用与能耗的同时保持有竞争力的困惑度，并表现出与 FP16 模型相似的扩展律。
[Wang et al. 2024] Auxiliary-loss-free load balancing strategy for mixture-of-experts. https://arxiv.org/abs/2408.15664
Loss-Free Balancing 通过动态更新每个专家的路由偏置来维持混合专家（MoE）模型的负载均衡，消除辅助损失引入的干扰梯度并提升模型性能。
[Wang et al. 2024] Qwen2-VL: Enhancing vision-language model's perception of the world at any resolution. arXiv preprint arXiv:2409.12191. https://arxiv.org/abs/2409.12191
Qwen2-VL 通过动态分辨率机制和多模态旋转位置嵌入（M-RoPE）构建视觉语言模型（VLM）系列（2B、8B、72B），支持任意分辨率的图像与视频理解，在多模态基准上与 GPT-4o 性能相当。
[Wang and others 2024] Emu3: Next-token prediction is all you need. arXiv preprint arXiv:2409.18869. https://arxiv.org/abs/2409.18869
Emu3 用单个 8B 参数 Transformer 对图像、视频和文本的离散词元做下一词元预测，无需扩散模型或 CLIP，性能媲美 SDXL 与 LLaVA-1.6。
[Wang et al. 2024] Executable code actions elicit better LLM agents. https://arxiv.org/abs/2402.01030
CodeAct 让大语言模型智能体以可执行 Python 代码作为动作空间，取代每轮一次的结构化工具调用，在单个动作中组合多次工具调用，在 17 个模型上将成功率最多提升 20
[Wang et al. 2024] BitNet a4.8: 4-bit activations for 1-bit llms. arXiv preprint arXiv:2411.04965. https://arxiv.org/abs/2411.04965
BitNet a4.8 通过混合量化与稀疏化策略为1比特大语言模型启用4比特激活值，在性能与 BitNet b1.58 相当的同时仅激活55
[Wang et al. 2024] 1-bit AI infra: Part 1.1, fast and lossless BitNet b1.58 inference on cpus. arXiv preprint arXiv:2410.16144. https://arxiv.org/abs/2410.16144
bitnet.cpp 是面向 1-bit 大语言模型（BitNet b1.58）的 CPU 推理框架，在 x86 和 ARM CPU 上相比 llama.cpp 实现 2.37 至 6.17 倍加速并降低最高 82.2
[Wang and others 2025] RAGEN: Understanding self-evolution in LLM agents via multi-turn reinforcement learning. arXiv preprint arXiv:2504.20073. https://arxiv.org/abs/2504.20073
RAGEN 提出 StarPO 多轮轨迹级强化学习框架用于训练 LLM 智能体，识别出训练不稳定模式（Echo Trap）并给出使智能体稳定自进化的推演设计原则。
[Wang et al. 2025] MCPTox: a benchmark for tool poisoning attack on real-world MCP servers. https://arxiv.org/abs/2508.14925
MCPTox 在 45 个真实 MCP 服务器和 353 个工具上评估工具投毒，显示藏在工具元数据中的恶意指令会诱导不安全的工具调用。
[Waxell 2025] The $47,000 agent loop: Why token budget alerts aren't budget enforcement. https://dev.to/waxell/the-47000-agent-loop-why-token-budget-alerts-arent-budget-enforcement-389i
[Wei et al. 2022] Emergent abilities of large language models. Transactions on Machine Learning Research. https://arxiv.org/abs/2206.07682
本文定义并综述大语言模型（LLM）的涌现能力，即在小规模模型中不存在、超过临界规模后突然出现的能力，涵盖少样本提示与增强提示场景。
[Wei et al. 2022] Chain-of-thought prompting elicits reasoning in large language models. https://arxiv.org/abs/2201.11903
思维链（CoT）提示通过在少样本示例中加入中间推理步骤，显著提升了大语言模型（LLM）在算术、常识与符号推理任务上的性能。
[Wei et al. 2024] Long-form factuality in large language models. arXiv preprint arXiv:2403.18802. https://arxiv.org/abs/2403.18802
SAFE 把长文本回答拆成原子 claim，再由一个发起 Google 搜索查询的 LLM 智能体逐条核查，与众包标注者一致率 72
[Wei et al. 2024] Measuring short-form factuality in large language models. arXiv preprint arXiv:2411.04368. https://arxiv.org/abs/2411.04368
SimpleQA 用只有单一明确答案的短事实问题评测模型，将回答标为正确、错误或不作答，以衡量模型是否知道自己知道什么。
[Wei et al. 2025] SWE-RL: Advancing LLM reasoning via reinforcement learning on open software evolution. arXiv preprint arXiv:2502.18449. https://arxiv.org/abs/2502.18449
SWE-RL 将基于规则的补丁相似度奖励的强化学习应用于软件演化数据，训练出的 Llama3-SWE-RL-70B 在 SWE-bench Verified 上达到 41.0
[Wei et al. 2025] BrowseComp: a simple yet challenging benchmark for browsing agents. arXiv preprint arXiv:2504.12516. https://arxiv.org/abs/2504.12516
BrowseComp 是一个包含 1,266 道难题的基准，用于衡量浏览智能体在网络中持久搜索难以找到信息的能力，仅 OpenAI Deep Research 能解决约一半的问题。
[Weiss et al. 2024] What was your prompt? A remote keylogging attack on AI assistants. https://arxiv.org/abs/2403.09751
证明加密流式响应中的词元长度模式，能让网络观察者在不解密的情况下精确重建 29
[Weller et al. 2024] FollowIR: Evaluating and teaching information retrieval models to follow instructions. arXiv preprint arXiv:2403.15246. https://arxiv.org/abs/2403.15246
FOLLOWIR 基于 TREC 标注员叙述构建基准与训练集，用于评估和训练信息检索模型遵循详细自然语言指令的能力。
[Wen et al. 2025] Reinforcement learning with verifiable rewards implicitly incentivizes correct reasoning in base llms. arXiv preprint arXiv:2506.14245. https://arxiv.org/abs/2506.14245
本文指出普通 Pass@K 可能把错误推理但答案正确的样本计为成功，并提出 CoT-Pass@K，要求推理路径与最终答案同时正确。
[Weng 2023] LLM powered autonomous agents. https://lilianweng.github.io/posts/2023-06-23-agent/
Lilian Weng 的博文综述了以大语言模型（LLM）为核心控制器的自主智能体系统，将其分解为规划、记忆与工具使用三个核心组件。
[Wengert 1964] A simple automatic derivative evaluation program. Communications of the ACM. https://dl.acm.org/doi/10.1145/355586.364791
1964 年这篇两页纸的论文提出了求值轨迹：基本运算的线性化列表，每一个基于磁带的自动微分引擎至今仍在记录它。
[Wenzek et al. 2020] CCNet: Extracting high quality monolingual datasets from web crawl data. https://aclanthology.org/2020.lrec-1.494/
CCNet 是一条自动化流水线，通过去重、语言识别和基于维基百科困惑度的过滤，从 Common Crawl 中提取大规模高质量单语数据集。
[White et al. 2024] LiveBench: a challenging, contamination-limited LLM benchmark. arXiv preprint arXiv:2406.19314. https://arxiv.org/abs/2406.19314
LiveBench 每月从近期来源更新题目，并使用客观自动评分，以同时降低污染和主观裁判偏差。
[White et al. 2024] The model openness framework: Promoting completeness and openness for reproducibility, transparency, and usability in artificial intelligence. https://arxiv.org/abs/2403.13784
模型开放框架按照代码、数据、文档和模型组件是否足够完整和开放，对 AI 发布进行分层，以支持复现、透明和复用。
[White et al. 2025] About 30% of humanity's last exam chemistry/biology answers are likely wrong. https://www.futurehouse.org/research-announcements/hle-exam
[Wijk and others 2025] RE-bench: Evaluating frontier AI R&D capabilities of language model agents against human experts. arXiv preprint arXiv:2411.15114. https://arxiv.org/abs/2411.15114
RE-Bench 是一个包含七个机器学习研究工程任务的基准，将前沿 AI 智能体与 61 位人类专家进行对比，发现智能体在 2 小时预算下得分是人类的 4 倍，但人类在 8 小时及更长时间预算下超越了智能体。
[Willard and Louf 2023] Efficient guided generation for large language models. arXiv preprint arXiv:2307.09702. https://arxiv.org/abs/2307.09702
本文将 LLM 约束解码重新表述为有限状态机（FSM）状态转移，通过预构建词汇表索引实现正则表达式和上下文无关文法约束下平均 O(1) 的词元掩码生成。
[Williams et al. 2009] Roofline: An insightful visual performance model for multicore architectures. Communications of the ACM. https://doi.org/10.1145/1498765.1498785
屋顶线模型：可达吞吐量是峰值算力与「显存带宽乘以算术强度」二者的较小值，让「受限于显存还是算力」成为一张图，而不是一场争论。
[Willison 2022] Prompt injection attacks against GPT-3. https://simonwillison.net/2022/Sep/12/prompt-injection/
Simon Willison 在 2022 年的博文中命名并定义了提示注入攻击：恶意用户输入覆盖 GPT-3 系统提示，类比于 SQL 注入漏洞。
[Willison 2025] Comparing the memory implementations of claude and ChatGPT. https://simonwillison.net/2025/Sep/12/claude-memory/
对两种已上线设计的解剖：一种把综合出的画像自动注入每场对话，另一种从空白开始，需要时才用显式工具搜索原始历史。
[Willison 2025] The lethal trifecta for AI agents: private data, untrusted content, and external communication. https://simonwillison.net/2025/Jun/16/the-lethal-trifecta/
Simon Willison 的博文定义了 LLM 智能体的"致命三元组"：同时具备访问私有数据、暴露于不可信内容、以及对外通信能力时，提示注入攻击可导致数据泄露。
[Wood Mackenzie 2025] Power transformers and distribution transformers will face supply deficits of 30% and 10% in 2025. https://www.woodmac.com/press-releases/power-transformers-and-distribution-transformers-will-face-supply-deficits-of-30-and-10-in-2025/
[WorkOS 2025] Maxim fateev on durable execution for AI agents. https://workos.com/blog/maxim-fateev-temporal-durable-execution-ai-agents
WorkOS 对 Temporal 联合创始人 Maxim Fateev 的访谈，阐述持久化执行对 AI 智能体工作流可靠性的重要性。
[Wortsman et al. 2022] Model soups: Averaging weights of multiple fine-tuned models improves accuracy without increasing inference time. https://arxiv.org/abs/2203.05482
对多个微调模型的权重取平均（称为"模型汤"）可在不增加推理成本的前提下，优于最佳单一模型并提升分布外鲁棒性。
[Xia et al. 2024] Sheared LLaMA: Accelerating language model pre-training via structured pruning. https://arxiv.org/abs/2310.06694
Sheared LLaMA 通过有针对性的结构化剪枝与动态批次加载，以从头训练 3
[Xiao et al. 2022] SmoothQuant: Accurate and efficient post-training quantization for large language models. https://arxiv.org/abs/2211.10438
SmoothQuant 通过数学等价的逐通道缩放变换将激活离群值迁移至权重，从而为大语言模型实现无需训练的 W8A8 训练后量化。
[Xiao et al. 2024] Efficient streaming language models with attention sinks. https://arxiv.org/abs/2309.17453
StreamingLLM 通过在滑动窗口 KV 缓存中保留少量初始注意力汇词元，使 LLM 无需微调即可处理无限长序列。
[Xiao et al. 2024] C-pack: Packed resources for general chinese embeddings. https://arxiv.org/abs/2309.07597
C-Pack 发布了 BGE 嵌入模型系列、C-MTP 训练数据集（1 亿中文文本对）和 C-MTEB 基准（35 个数据集、6 类任务），推动通用中文文本嵌入的发展。
[Xie et al. 2023] DoReMi: Optimizing data mixtures speeds up language model pretraining. https://openreview.net/forum?id=lXuByUeHhd
DoReMi 在小代理模型上应用组分布鲁棒优化，自动确定预训练数据的领域混合比例，使 8B 模型下游准确率提升 6.5
[Xie et al. 2023] Self-evaluation guided beam search for reasoning. arXiv preprint arXiv:2305.00633. https://arxiv.org/abs/2305.00633
本文提出将逐步自评估机制与随机束搜索结合，引导大语言模型（LLM）多步推理，在 GSM8K 等推理基准上相比 Codex 基线最高提升 9.56
[Xie et al. 2024] OSWorld: Benchmarking multimodal agents for open-ended tasks in real computer environments. arXiv preprint arXiv:2404.07972. https://arxiv.org/abs/2404.07972
真实操作系统上的 369 个任务，以执行结果判分：人类高于 72
[Xie et al. 2025] Show-o: One single transformer to unify multimodal understanding and generation. https://arxiv.org/abs/2408.12528
Show-o 是单一 Transformer，将文本的自回归建模与图像的离散扩散建模统一在一个模型中，同时支持多模态理解与生成。
[Xiong et al. 2020] On layer normalization in the transformer architecture. https://arxiv.org/abs/2002.04745
本文用平均场理论证明，将层归一化置于残差块内部（Pre-LN）可在初始化时产生良好梯度，从而无需学习率预热即可训练 Transformer。
[Xiong et al. 2021] Approximate nearest neighbor negative contrastive learning for dense text retrieval. https://arxiv.org/abs/2007.00808
ANCE 通过异步更新的 ANN 索引从整个语料库全局选取困难负样本来训练稠密检索模型，性能接近 BERT 级联流水线，效率提升 100 倍。
[Xu et al. 2021] GSPMD: General and scalable parallelization for ML computation graphs. https://arxiv.org/abs/2105.04663
GSPMD 是一个基于编译器的自动并行化系统，通过张量分片标注统一表达数据并行、张量并行和流水线并行，在最多 2048 个 Cloud TPUv3 核上训练万亿参数模型时达到 50
[Yadav et al. 2023] TIES-merging: Resolving interference when merging models. Advances in Neural Information Processing Systems (NeurIPS). https://arxiv.org/abs/2306.01708
TIES-MERGING 是一种无需训练的模型合并方法，通过裁剪冗余参数、解决符号冲突、仅对符号对齐的参数求平均，将多个微调模型合并为单一多任务模型。
[Yan et al. 2024] Corrective retrieval augmented generation. arXiv preprint arXiv:2401.15884. https://arxiv.org/abs/2401.15884
CRAG 提出一种即插即用的纠正式检索增强生成（RAG）方法，使用轻量检索评估器对检索文档进行质量判断，并在文档不相关时回退到网络搜索。
[Yan et al. 2025] The berkeley function calling leaderboard (BFCL): From tool use to agentic evaluation of large language models. https://openreview.net/forum?id=2GmDdhBdDk
[Yang et al. 2022] Tensor programs V: Tuning large neural networks via zero-shot hyperparameter transfer. arXiv preprint arXiv:2203.03466. https://arxiv.org/abs/2203.03466
提出一种宽度参数化（muP），使在小模型上调好的最优超参数可零样本迁移到大得多的模型上，省去全规模的超参数扫描。
[Yang et al. 2023] Rethinking benchmark and contamination for language models with rephrased samples. https://arxiv.org/abs/2311.04850
本文表明改写的基准测试样本（改述或翻译）可绕过 n-gram 与嵌入式去污染检测，并提出一种基于大语言模型的去污染方法，用于发现预训练数据集中的此类污染。
[Yang et al. 2023] Set-of-mark prompting unleashes extraordinary visual grounding in GPT-4V. arXiv preprint arXiv:2310.11441. https://arxiv.org/abs/2310.11441
在检测到的屏幕区域上叠加编号标记，让模型输出编号而不是坐标；在原生定位模型出现之前，这个变通办法支撑了 GUI 视觉定位。
[Yang et al. 2023] LeanDojo: Theorem proving with retrieval-augmented language models. arXiv preprint arXiv:2306.15626. https://arxiv.org/abs/2306.15626
LeanDojo 发布 Lean 定理证明的工具、数据、模型和基准，并把检索增强的前提选择作为核心瓶颈来处理。
[Yang et al. 2024] Gated delta networks: Improving mamba2 with delta rule. arXiv preprint arXiv:2412.06464. https://arxiv.org/abs/2412.06464
Gated DeltaNet 在线性注意力递归中把门控遗忘机制与 delta 规则的状态更新结合起来，在语言建模与长上下文任务上超过 Mamba2 与 DeltaNet。
[Yang et al. 2024] CogVideoX: Text-to-video diffusion models with an expert transformer. arXiv preprint arXiv:2408.06072. https://arxiv.org/abs/2408.06072
CogVideoX 是一个文本到视频的扩散 Transformer 模型，采用三维因果 VAE 与专家自适应 LayerNorm，可生成 10 秒、768x1360 分辨率、16 fps 的连贯运动视频。
[Yang et al. 2025] Qwen2.5-1M technical report. arXiv preprint arXiv:2501.15383. https://arxiv.org/abs/2501.15383
报告 Qwen2.5-1M，使用长数据合成、渐进式长上下文预训练和多阶段 SFT，把上下文扩到 1M 词元，同时尽量保留短上下文表现。
[Yang and others 2025] Qwen3 technical report. https://arxiv.org/abs/2505.09388
Qwen3 发布涵盖稠密模型与混合专家（MoE）架构（参数量从 0.6B 到 235B）的统一大语言模型（LLM）系列，将思考模式与非思考模式集成于单一模型，并引入思考预算机制以控制推理时计算资源分配。
[Yao et al. 2022] ReAct: Synergizing reasoning and acting in language models. arXiv preprint arXiv:2210.03629. https://arxiv.org/abs/2210.03629
ReAct 将推理轨迹与任务动作交错起来，使大语言模型能利用来自工具或环境的外部观察更新计划。
[Yao et al. 2023] Tree of thoughts: Deliberate problem solving with large language models. https://arxiv.org/abs/2305.10601
思维树（ToT）框架让大语言模型通过树搜索探索多条推理路径并自评估，将 GPT-4 在 Game of 24 上的成功率从 4
[Yao et al. 2023] ReAct: Synergizing reasoning and acting in language models. https://arxiv.org/abs/2210.03629
ReAct 提出在 LLM 提示中交替生成推理轨迹与环境动作，减少幻觉并在问答、事实核查和决策任务上超越仅推理或仅动作的基线。
[Yao et al. 2024] <span class="nocase">τ-bench</span>: a benchmark for tool-agent-user interaction in real-world domains. arXiv preprint arXiv:2406.12045. https://arxiv.org/abs/2406.12045
τ-bench 是一个评测语言智能体在领域特定策略下工具调用与动态用户交互能力的基准，引入 pass^k 一致性指标，发现 gpt-4o 的任务成功率不足 50
[Ye et al. 2025] Dream 7B: Diffusion large language models. arXiv preprint arXiv:2508.15487. https://arxiv.org/abs/2508.15487
Dream 7B 是一个 70 亿参数的离散扩散大语言模型，通过自回归初始化和上下文自适应词元级噪声重调度，在通用任务上达到与自回归 LLM 相当的性能，同时支持任意顺序生成和灵活的质速权衡。
[Ye et al. 2025] LIMO: Less is more for reasoning. arXiv preprint arXiv:2502.03387. https://arxiv.org/abs/2502.03387
LIMO 表明，对 Qwen2.5-32B-Instruct 仅用 800 条精选样本进行监督微调即可激发强数学推理能力，在 AIME24 上达到 63.3
[Yee and Lochmiller 2025] How crusoe powers and transforms AI with stranded energy. https://www.mckinsey.com/capabilities/tech-and-ai/our-insights/the-ai-infrastructure-of-the-future
在 McKinsey 的访谈里，Crusoe CEO Chase Lochmiller 描述了公司能源优先的模式：起步时把模块化数据中心放在油井旁，消耗本会被烧掉的天然气，后来发展为把大型 AI 园区建在搁浅与可再生电力之上的垂直整合厂商。
[Yi et al. 2019] Sampling-bias-corrected neural modeling for large corpus item recommendations. https://dl.acm.org/doi/10.1145/3298689.3346996
[Yin et al. 2024] One-step diffusion with distribution matching distillation. https://arxiv.org/abs/2311.18828
DMD 通过最小化真实分布与生成分布之间的近似 KL 散度，将预训练扩散模型蒸馏为单步图像生成器，在 ImageNet 64x64 上达到 2.62 FID，FP16 推理下可实现每秒 20 帧。
[Yin et al. 2024] Fast JSON decoding for local llms with compressed finite state machine. https://www.lmsys.org/blog/2024-02-05-compressed-fsm/
SGLang 的跳跃前向解码通过压缩 FSM 中的单一路径，在约束解码时一次预填充多个词元，将延迟降低最多 2 倍、吞吐量提升最多 2.5 倍。
[Yin et al. 2024] From slow bidirectional to fast autoregressive video diffusion models. arXiv preprint arXiv:2412.07772. https://arxiv.org/abs/2412.07772
把五十步的双向视频扩散模型蒸馏成四步的因果自回归生成器，用 KV 缓存流式生成视频，把大模型的服务经济学引入视频。
[Yu et al. 2022] Vector-quantized image modeling with improved VQGAN. https://arxiv.org/abs/2110.04627
ViT-VQGAN 用视觉 Transformer（ViT）替换 VQGAN 的 CNN 编码器，并引入因式分解与 L2 归一化码本学习，在 ImageNet 上同时提升了图像生成 FID 与无监督线性探针精度。
[Yu et al. 2022] Scaling autoregressive models for content-rich text-to-image generation. arXiv preprint arXiv:2206.10789. https://arxiv.org/abs/2206.10789
Parti 将文本到图像生成建模为序列到序列问题，使用 ViT-VQGAN 图像词元化器，将自回归 Transformer 扩展至 200 亿参数，在 MS-COCO 上达到当时最优 FID 分数。
[Yu et al. 2022] Orca: a distributed serving system for transformer-based generative models. https://www.usenix.org/conference/osdi22/presentation/yu
[Yu et al. 2024] Language models are super mario: Absorbing abilities from homologous models as a free lunch. https://arxiv.org/abs/2311.03099
DARE 通过随机丢弃并重缩放监督微调（SFT）的增量参数，使多个任务专用语言模型无需重新训练即可合并为单一模型。
[Yu et al. 2025] DAPO: An open-source LLM reinforcement learning system at scale. arXiv preprint arXiv:2503.14476. https://arxiv.org/abs/2503.14476
DAPO 提出解耦裁剪与动态采样策略优化算法，通过 Clip-Higher、动态采样、词元级策略梯度损失和超长奖励塑形四项技术，基于 Qwen2.5-32B 在 AIME 2024 上达到 50 分，并完全开源大规模大语言模型强化学习系统。
[Yuan et al. 2023] Scaling relationship on learning mathematical reasoning with large language models. arXiv preprint arXiv:2308.01825. https://arxiv.org/abs/2308.01825
本文研究数学推理学习的扩展关系，并提出拒绝采样微调，用验证器选出的正确推理路径扩充训练数据。
[Yuan et al. 2024] LLM inference unveiled: Survey and roofline model insights. arXiv preprint arXiv:2402.16363. https://arxiv.org/abs/2402.16363
本综述以 Roofline 模型为框架分析大语言模型推理效率，并引入 LLM-Viewer 工具，用于识别大语言模型部署在硬件上时的显存与计算瓶颈。
[Yuan et al. 2024] LLM inference unveiled: Survey and roofline model insights. arXiv preprint arXiv:2402.16363. https://arxiv.org/abs/2402.16363
本综述提出 LLM-Viewer，一个基于 Roofline 模型的框架，系统分析大语言模型推理中的显存与算力瓶颈，并整合了量化、推测解码及系统级优化的研究进展。
[Yuan et al. 2025] Native sparse attention: Hardware-aligned and natively trainable sparse attention. arXiv preprint arXiv:2502.11089. https://arxiv.org/abs/2502.11089
NSA 把稀疏注意力做成端到端可训练，而非事后加掩码：压缩、选择与滑窗三路层级设计，在保持全注意力质量的同时加速长上下文的训练与解码。
[Yuan et al. 2025] From hard refusals to safe-completions: Toward output-centric safety training. arXiv preprint arXiv:2508.09224. https://arxiv.org/abs/2508.09224
安全补全训练用以输出为中心的目标取代二元拒绝：在输出安全约束下最大化有用性；该方法用于 GPT-5，在意图分类失灵的双用途提示上同时改善安全性与有用性。
[Yuan et al. 2025] Incentivizing reasoning from weak supervision. arXiv preprint arXiv:2505.20072. https://arxiv.org/abs/2505.20072
本文研究弱到强的推理监督，并报告较弱推理器监督更强学生时，可恢复昂贵强化学习的大部分收益。
[Yue et al. 2023] MMMU: a massive multi-discipline multimodal understanding and reasoning benchmark for expert AGI. arXiv preprint arXiv:2311.16502. https://arxiv.org/abs/2311.16502
MMMU 用 1.15 万道大学水平题目评测多模态模型，覆盖六大学科，要求领域知识、视觉理解与审慎推理。
[Yue et al. 2024] MMMU: a massive multi-discipline multimodal understanding and reasoning benchmark for expert AGI. https://arxiv.org/abs/2311.16502
MMMU 是一个包含 11.5K 道大学水平多模态题目的基准，覆盖 6 个学科领域的 30 个科目，用于评测大语言模型的专家级感知、知识与推理能力。
[Yue et al. 2024] MMMU-pro: a more robust multi-discipline multimodal understanding benchmark. arXiv preprint arXiv:2409.02813. https://arxiv.org/abs/2409.02813
[Yue et al. 2025] Does reinforcement learning really incentivize reasoning capacity in llms beyond the base model?. arXiv preprint arXiv:2504.13837. https://arxiv.org/abs/2504.13837
RLVR（可验证奖励的强化学习）提升了低 pass@k（至少一次成功率）下的采样效率，但不会产生超出基础模型分布的新推理能力，基础模型构成 RLVR 训练模型的推理上界。
[Zadouri et al. 2026] FlashAttention-4: Algorithm and kernel pipelining co-design for asymmetric hardware scaling. https://arxiv.org/abs/2603.05451
FlashAttention-4 面向 Blackwell，用 CuTe-DSL（嵌入 Python 的 DSL）实现，在 FMA 单元上以软件模拟指数运算，并做条件式 softmax 重缩放，在 B200 上比 cuDNN 注意力快 1.1 至 1.3 倍。
[Zeff 2025] Silicon Valley bets big on 'environments' to train AI agents. https://techcrunch.com/2025/09/21/silicon-valley-bets-big-on-environments-to-train-ai-agents/
TechCrunch 报道一批初创公司正在为 AI 智能体训练构建强化学习环境，被视为硅谷的新一轮投资热潮。
[Zeghidour et al. 2021] SoundStream: An end-to-end neural audio codec. IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 30. https://arxiv.org/abs/2107.03312
SoundStream 是一种端到端神经音频编解码器，采用卷积编码/解码器与残差向量量化器（RVQ），在 3-18 kbps 低码率下对语音、音乐及通用音频的质量超越 Opus 和 EVS。
[Zelikman et al. 2022] STaR: Bootstrapping reasoning with reasoning. arXiv preprint arXiv:2203.14465. https://arxiv.org/abs/2203.14465
STaR 迭代生成 rationale，保留通向正确答案的轨迹，并在这些轨迹上微调，从少量 rationale 种子自举出推理能力。
[Zeng et al. 2024] ShieldGemma: Generative AI content moderation based on gemma. arXiv preprint arXiv:2407.21772. https://arxiv.org/abs/2407.21772
ShieldGemma 是一套基于 Gemma2 构建的大语言模型内容审核模型（2B 至 27B），可对用户输入和模型输出中的六类有害内容进行分类检测。
[Zep 2025] Zep: Temporal knowledge graph for agent memory. https://www.getzep.com/
Zep 是面向企业的智能体记忆平台，通过时序上下文知识图谱（Graphiti）存储并追踪事实随时间的变化，在 200 ms 内向智能体提供检索结果。
[Zhai et al. 2023] Sigmoid loss for language image pre-training. https://arxiv.org/abs/2303.15343
SigLIP 用成对 sigmoid 损失替代 softmax 对比损失，用于语言-图像预训练，在小批量下性能更优且内存效率更高。
[Zhai et al. 2024] Actions speak louder than words: Trillion-parameter sequential transducers for generative recommendations. https://arxiv.org/abs/2402.17152
Meta 的 HSTU 把排序与检索重构为序列转导，部署了万亿参数的生成式推荐模型，在线 A/B 提升达两位数，并报告质量随训练算力呈幂律缩放。
[Zhai and others 2026] HLE-verified: a systematic verification and structured revision of humanity's last exam. arXiv preprint arXiv:2602.13964. https://arxiv.org/abs/2602.13964
[Zhan et al. 2024] InjecAgent: Benchmarking indirect prompt injections in tool-integrated large language model agents. https://aclanthology.org/2024.findings-acl.624/
INJECAGENT 是一个包含 1,054 个测试用例的基准，用于评估工具集成 LLM 智能体对间接提示注入攻击的脆弱性，发现 ReAct 提示的 GPT-4 攻击成功率达 24
[Zhang and Sennrich 2019] Root mean square layer normalization. https://arxiv.org/abs/1910.07467
RMSNorm 去除 LayerNorm 的均值中心化步骤，仅用 RMS 统计量做归一化，在保持相近精度的同时将每步运行时间降低 7
[Zhang et al. 2023] H2O: Heavy-hitter oracle for efficient generative inference of large language models. https://arxiv.org/abs/2306.14048
H2O 提出一种 KV 缓存淘汰策略，通过累积注意力分数识别"重击者"词元并优先保留，在大幅压缩 KV 缓存内存的同时保持 LLM 生成质量。
[Zhang et al. 2024] SpeechTokenizer: Unified speech tokenizer for speech language models. https://arxiv.org/abs/2308.16692
SpeechTokenizer 是一种基于 RVQ 的统一语音分词器，通过从 HuBERT 进行语义蒸馏，在层次化量化层间分离语义内容与声学细节，专为语音大语言模型设计。
[Zhang et al. 2024] Generative verifiers: Reward modeling as next-token prediction. arXiv preprint arXiv:2408.15240. https://arxiv.org/abs/2408.15240
GenRM 用下一词元预测训练大语言模型验证器，而非判别式分类，使验证器能写思维链并通过测试时投票改善 Best-of-N 选择。
[Zhang et al. 2025] The lessons of developing process reward models in mathematical reasoning. arXiv preprint arXiv:2501.07301. https://arxiv.org/abs/2501.07301
用蒙特卡洛估计合成的步骤标签训练出的 PRM，弱于 LLM 评判与人工标注；只保留两者一致步骤的共识过滤造就了更强的 Qwen2.5-Math-PRM，并在同时发布的 ProcessBench 上评估。
[Zhang et al. 2025] The landscape of agentic reinforcement learning for llms: a survey. arXiv preprint arXiv:2509.02547. https://arxiv.org/abs/2509.02547
综述大语言模型的智能体强化学习，将范式从单步 RLHF 形式化为基于 POMDP 的多步智能体，涵盖规划、工具调用、记忆与自我改进能力。
[Zhang et al. 2025] Qwen3 embedding: Advancing text embedding and reranking through foundation models. arXiv preprint arXiv:2506.05176. https://arxiv.org/abs/2506.05176
Qwen3 Embedding 基于 Qwen3 基础模型，通过多阶段训练与大语言模型合成数据，训练出 0.6B/4B/8B 规模的文本嵌入与重排序模型，在 MTEB 多语言及代码检索基准上达到最优水平。
[Zhao et al. 2023] PyTorch FSDP: Experiences on scaling fully sharded data parallel. https://arxiv.org/abs/2304.11277
PyTorch FSDP 是一个工业级全分片数据并行（FSDP）训练系统，通过跨 GPU 分片模型参数，在大模型上实现近线性 TFLOPS 扩展，同时在小模型上达到与 DDP 相当的性能。
[Zhao et al. 2025] Absolute zero: Reinforced self-play reasoning with zero data. arXiv preprint arXiv:2505.03335. https://arxiv.org/abs/2505.03335
Absolute Zero 让同一个模型自己提出最有学习价值的任务并求解，两个角色都由代码执行器核查，在不用任何外部数据的情况下取得强的代码与数学推理表现。
[Zheng et al. 2021] MiniF2F: a cross-system benchmark for formal olympiad-level mathematics. arXiv preprint arXiv:2109.00110. https://arxiv.org/abs/2109.00110
MiniF2F 提供 488 个跨 Metamath、Lean、Isabelle 和 HOL Light 的奥数级形式化问题陈述，用于神经定理证明基准测试。
[Zheng et al. 2023] SGLang: Efficient execution of structured language model programs. https://arxiv.org/abs/2312.07104
SGLang 是一个结构化生成语言与运行时系统，通过 RadixAttention 实现 KV 缓存复用、以压缩有限状态机加速约束解码，在复杂大语言模型程序上吞吐量最高提升 6.4 倍。
[Zheng et al. 2023] Judging LLM-as-a-judge with MT-bench and chatbot arena. arXiv preprint arXiv:2306.05685. https://arxiv.org/abs/2306.05685
本文提出 MT-bench 和 Chatbot Arena 两个基准，验证大语言模型作为评判者的方法，证明 GPT-4 与人类偏好的一致率超过 80
[Zheng et al. 2024] SGLang: Efficient execution of structured language model programs. https://arxiv.org/abs/2312.07104
SGLang 提出 RadixAttention 实现自动 KV 缓存复用，并用压缩有限状态机加速约束解码，在多种任务上吞吐量最高达 vLLM 等系统的 6.4 倍。
[Zheng et al. 2025] Group sequence policy optimization. arXiv preprint arXiv:2507.18071. https://arxiv.org/abs/2507.18071
GSPO 将 GRPO 的词元级重要性比率替换为序列级比率与裁剪，稳定了混合专家（MoE）强化学习训练，并提升了 Qwen3 模型的性能。
[Zheng et al. 2025] Prosperity before collapse: How far can off-policy RL reach with stale data on llms?. arXiv preprint arXiv:2510.01161. https://arxiv.org/abs/2510.01161
M2PO 通过约束重要性权重的二阶矩，使大语言模型在数据陈旧达 256 次模型更新时仍能稳定地进行离策略强化学习训练，并达到与在策略 GRPO 相当的性能。
[Zhong et al. 2023] MemoryBank: Enhancing large language models with long-term memory. arXiv preprint arXiv:2305.10250. https://arxiv.org/abs/2305.10250
面向陪伴型助手的长期记忆，记忆强度按 Ebbinghaus 式遗忘曲线更新，是把「遗忘」当作设计要素最早的严肃处理。
[Zhong et al. 2024] DistServe: Disaggregating prefill and decoding for goodput-optimized large language model serving. https://arxiv.org/abs/2401.09670
DistServe 将预填充与解码阶段分配到不同 GPU，消除两者干扰并独立优化各自的并行策略，从而提升 LLM 推理的有效吞吐量。
[Zhou et al. 2020] Understanding knowledge distillation in non-autoregressive machine translation. https://arxiv.org/abs/1911.02727
本文通过实验表明，序列级知识蒸馏能降低训练数据的复杂度，从而帮助非自回归生成（NAR）翻译模型，且最优数据复杂度与模型容量强相关。
[Zhou et al. 2022] Mixture-of-experts with expert choice routing. https://arxiv.org/abs/2202.09368
Expert Choice MoE 提出让每个专家主动选择 top-k 词元而非词元选择专家，从根本上保证负载均衡，相比 Switch Transformer 和 GShard 的混合专家路由实现超过 2 倍的训练收敛加速。
[Zhou et al. 2022] Least-to-most prompting enables complex reasoning in large language models. https://arxiv.org/abs/2205.10625
由最少到最多提示法将复杂问题分解为更简单的子问题并顺序求解，使大语言模型能够泛化到比示例更难的问题。
[Zhou et al. 2023] LIMA: Less is more for alignment. arXiv preprint arXiv:2305.11206. https://arxiv.org/abs/2305.11206
LIMA 表明，仅用 1,000 条精心筛选的提示-回复对对 65B LLaMa 模型进行监督微调（无需 RLHF）即可实现强对齐效果，支持了"表层对齐假说"。
[Zhou et al. 2023] WebArena: a realistic web environment for building autonomous agents. arXiv preprint arXiv:2307.13854. https://arxiv.org/abs/2307.13854
自托管的真实网页任务（电商、论坛、代码托管），最好的 GPT-4 智能体端到端完成率 14.41
[Zhou et al. 2025] Transfusion: Predict the next token and diffuse images with one multi-modal model. https://arxiv.org/abs/2408.11039
Transfusion 在单一 Transformer 上联合训练文本的下一词元预测损失与图像的 DDPM 扩散损失，将多模态模型规模扩展至 7B 参数，性能与专用模型相当。
[Zhou and others 2026] Externalization in LLM agents: a unified review of memory, skills, protocols and harness engineering. https://arxiv.org/abs/2604.08224
本综述以"外化"为统一原则解释大语言模型（LLM）智能体设计，将记忆、技能与协议视为认知制品，将模型负担转移至持久化外部基础设施，由协同层（harness）统一协调。
[Zhu et al. 2024] Confidential computing on NVIDIA hopper gpus: a performance benchmark study. arXiv preprint arXiv:2409.03992. https://arxiv.org/abs/2409.03992
对 H100 机密计算模式做 LLM 服务基准测试：典型查询开销低于 5
[Zhu et al. 2025] LLaDA-MoE: a sparse MoE diffusion language model. arXiv preprint arXiv:2509.24389. https://arxiv.org/abs/2509.24389
[Zhu and Li 2025] Towards concise and adaptive thinking in large reasoning models: a survey. arXiv preprint arXiv:2507.09662. https://arxiv.org/abs/2507.09662
本文综述推理模型中简洁与自适应思考的方法、基准与开放问题，聚焦不必要长链带来的推断成本。
[Zoph et al. 2022] ST-MoE: Designing stable and transferable sparse expert models. https://arxiv.org/abs/2202.08906
ST-MoE-32B 是一个 269B 参数的稀疏混合专家（MoE）模型，通过 router z-loss 等技术解决训练不稳定和微调迁移差距，在多项 NLP 基准上达到最优性能。
[Zou et al. 2023] Universal and transferable adversarial attacks on aligned language models. arXiv preprint arXiv:2307.15043. https://arxiv.org/abs/2307.15043
GCG 提出一种自动化的贪婪坐标梯度方法，通过搜索对抗性后缀实现对已对齐大语言模型的越狱，并可迁移至 ChatGPT、Bard、Claude 等黑盒模型。
[Zou et al. 2024] Improving alignment and robustness with circuit breakers. arXiv preprint arXiv:2406.04313. https://arxiv.org/abs/2406.04313
电路断路器通过表示重路由将大语言模型内部表示从有害输出重定向，在不牺牲能力的前提下对未见攻击实现对抗鲁棒性，并可扩展至多模态模型与智能体。
评论
登录后评论