数据筛选与质量

第 5 章 定下的是算力预算；这一章要问的是，用什么语料把它填满。算力和架构一旦固定，把强模型和平庸模型拉开差距的，就是语料。从原始网络字节到词元 id 分片，这条路径决定模型会学到哪种分布，哪些能力会训练过度或训练不足，也决定后面的评测数字还能不能被信任。

语料是一个系统，不是一段脚本

一次预训练消耗的算力预算，由 第 5 章 设定，是固定的。这笔预算换来一个词元数，而填满它的语料，是影响最终质量最大的环节，也是最难从公开配方里照搬过来的部分。麻烦在于，这里的失败是无声的：一份重复的分片、一个把某种方言整体剔除的过滤器、一个通过合成数据步骤混入的基准题，都不会抛出任何错误，却都要等到评估时才浮现。到那时再诊断，代价高昂，而且往往不重跑就无法挽回。所以语料必须当成一个系统来建：每个阶段都可审计，它与栈中其余部分的每一次交接，都是一份显式的契约。

其中有两次交接，约束着本书的其余部分。词表会进入 第 7 章 里的架构，本章对分词器（tokenizer）只是点到为止，它的设计留到那里展开。去污染（decontamination）报告，也就是说明哪些基准重叠已从训练语料中移除的审计记录，会进入 第 47 章 里的评估，而本章据以核对的评估清册则由评估层提供。

这不是一个单纯写脚本的问题。下文所讲的一切，都在 PB 量级上运行，是跨大规模 CPU 集群的分布式批处理或流处理作业（Apache Spark、Ray，或自研的 MapReduce 式集群），与 GPU 训练集群相互独立，且位于它的上游。难的是吞吐、确定性和可恢复性，而不是单文档层面的算法。重跑必须产出逐字节一致的分片，否则数据配比和去污染契约就无从验证。

明确这些契约之后，下一步就是跟着一个字节走：从开放网络出发，穿过一道道决定它去留的收窄过滤器，然后退一步，看那三项很早就被锁死的决策、那份保护数字的契约，以及解释这个领域为何至今仍在争论这一切的两条历史。

一个字节穿过逐级收窄的过滤器

这条流水线就是一连串逐级收窄的过滤器。相对它所供给的那次训练，每一级都很廉价，而且特意安排成让最廉价的削减最先发生。

字节从哪里来

主体数据来自网络。CommonCrawl 是原始输入：WARC/WET 抽取、样板内容剥离、语言识别，以及 URL 和主机层级的过滤。CommonCrawl 既原始又嘈杂，价值在于后续流水线，而非爬取数据本身。围着这个网络核心的，是各类精选来源：书籍、论文、百科和参考类文本，带许可证与质量信号的源代码，以及按刻意设定的比例配进来的非英文文本。每一类来源的许可、质量和去重特性都不一样，而它们都在争抢同一份词元预算。

任何过滤之前，先把字节规范化。清洗和归一化包括 Unicode 归一化、文本抽取伪影的修复、PII 处理，以及毒性和安全的预过滤。目标是移除低质量内容，同时别把合理的分布多样性也一并抹掉：模型要想泛化，正需要见到这些语域、方言和领域。

第一道削减：去重

去重在三种粒度上使用三种机制。精确哈希移除完全相同的文档。后缀数组或子串方法，去掉那些近重复的片段，它们藏在本来各不相同的文档内部。最小哈希（MinHash） 配合局部敏感哈希（LSH），在语料规模上做模糊的文档级去重：它从一小组哈希后的 shingle（文档里相互重叠的 k 词片段）估出文档间的 Jaccard 相似度（两篇文档共享的片段占比），于是代价是次平方，而不是全配对。去重回收被浪费的算力，也减少逐字记忆。这里长期有一处取舍：去重越激进，就越可能连真正独特的内容也一起删掉。

去重不只是省钱，证据也支持这一点。Lee 等人发现，对训练数据去重会让模型变好，而不只是变便宜：它削减记忆、改善留出损失（在模型未曾训练过的数据上度量的误差）(Lee et al. 2022)。SemDeDup 把这个想法推进到嵌入空间，移除表层哈希漏掉的语义近重复 (Abbas et al. 2023)。贯穿其中的线索是：冗余并不中性，它会主动让模型退化，所以移除冗余本身也是一种质量过滤。

图 6.4 说明了 MinHash 配合 LSH 为何能避免全配对的成本爆炸：每篇文档被压成一个短签名，LSH 的分带把相似签名分进共享的桶，而完整的 Jaccard 估计，只对那些已经进入同一个桶的少数文档计算。

运行下面这段代码，看 最小哈希 签名怎样只凭几个哈希就估出 Jaccard 相似度，以及估计如何随 num_perm 增大而变准。

import numpy as np

rng = np.random.default_rng(0)
universe = 5000                       # shingle 词表大小
A = set(rng.choice(universe, 800, replace=False).tolist())
B = set(A) ^ set(rng.choice(universe, 400, replace=False).tolist())
true_j = len(A & B) / len(A | B)      # 精确 Jaccard

def minhash_estimate(A, B, num_perm):
    seeds = rng.integers(1, 2**31 - 1, size=num_perm)
    a = np.array(sorted(A)); b = np.array(sorted(B))
    hits = 0
    for s in seeds:                   # 哈希排列的最小值就是 MinHash
        if (a * s % universe).min() == (b * s % universe).min():
            hits += 1
    return hits / num_perm            # P(最小值碰撞) = Jaccard

for num_perm in [16, 64, 256, 1024]:
    est = minhash_estimate(A, B, num_perm)
    print(f"num_perm={num_perm:>5}  估计={est:.3f}  真实={true_j:.3f}")

图 6.3 把这条成本论证量化了。朴素的全配对比较随语料规模呈平方增长，在 PB 量级上毫无希望；而 LSH 只比较那些本就共享同一个桶的文档，把候选数量压得接近线性。

第二道削减：质量过滤

通过去重的内容，还得跨过一道质量门槛，而这道门槛由两个家族来设。启发式过滤基于规则：长度、符号与词的比例、重复度、停用词是否出现，以及一个由参考模型给出的困惑度阈值（即该模型对这段文本有多意外，困惑度越低越说明文本流畅）。它们廉价、可审计，对明显的垃圾召回率高，但在边缘情形下脆弱。分类器过滤器是学出来的：一个模型用每篇文档对照一份「优质」文本的参考来打分，比如训练一个分类器，去区分精选文本和原始网络文本。分类器精确度更高，却带着一个结构性风险，它会把参考集对「质量」的定义，编码进整套语料。这种参考困惑度过滤，可以直接追溯到 CCNet，它把语言识别和一个来自参考语言模型的困惑度分数配在了一起 (Wenzek et al. 2020)。

很早就被锁死的决策

等字节通过质量过滤，单文档层面的处理就结束了。剩下的都是全局性的：怎么组合各个来源，怎么给它们排序，要不要再生成更多文本。这些决策说起来很轻，改起来却很重，因为每一项都牵制着其余几项。

数据配比是网络、代码、精选、多语种之间的比例，再加上各来源的权重。它可以手工调，可以从小规模的代理消融实验（受控地只改一个变量，以测量它的影响）外推，也可以直接拿去优化。DoReMi 把配比选择刻画成一个分组的分布鲁棒优化：先训一个小代理，用它找到让各领域最坏情形超额损失最小的权重，再把这些权重套到完整训练上 (Xie et al. 2023)。配比很早就锁死、事后再改代价高昂，因为一改它，课程编排就得重新推导，往往还要把代理消融实验重跑一遍。

课程编排是数据在训练过程里的排序和分阶段：由易到难、按领域分阶段，或者把一份高质量切片留到后期。这是数据层内部的排序。它和退火阶段不是一回事，后者在训练接近末尾时给高质量数据加权，属于中段训练，放在 第 11 章 讨论。

合成数据是模型生成和模板化出来的文本：对网络文本做改写或增广、教科书式生成，以及蒸馏目标。其理由是：少量稠密、质量高、贴合分布的文本，价值可能远高于它在原始网络里所占的词元比例。它在填补能力空白上很有力，第 23 章 会把它当作一种一等的后训练工具来谈。风险则是分布收缩、事实漂移，以及把评估内容带回训练里。正因为最后这项风险会直接影响随后那份契约，合成数据也恰恰是流水线最需要下一阶段严格把关的地方。

去污染作为一份契约

去污染包含几件事：拿训练文档去对照评估清册做 N-gram 或子串重叠检测、一个重叠阈值、一个丢弃或标记的决策，以及一份作为契约交给评估的报告。这个阶段让数据层直接影响评测层。交接的是这份报告，而不是一套共享的实现。

阈值不是一个自由参数。N-gram 重叠检测本身可以被绕过：改写过的基准样本会漏过表层匹配，这恰恰是阈值和方法要做成一份谈判出来的契约、而非一个私有默认值的原因 (Yang et al. 2023)。阈值太松，会泄露基准、虚抬分数。阈值太严，会过度移除合理的近重复内容、让语料缩水。无论哪种，这个决策都属于本章和 第 47 章 之间的边界，而不属于数据团队内部。

这套配方怎么走到今天：两条历史

从拼装语料到把流水线做成产品

早期的语料是拼装出来的，不是工程化出来的。The Pile 从二十二个多样来源里精选出 800GB，并把组成部分清楚列出 (Gao et al. 2020)。为 T5 而建的 C4 表明，对 CommonCrawl 施加少数几条启发式清洗规则，就已经能改动下游质量 (Raffel et al. 2020)。把流水线做成产品的转向，始于 CCNet，它把语言识别和一个来自参考语言模型的困惑度过滤结合起来 (Wenzek et al. 2020)，接着是 RefinedWeb，它的主张更明确：单凭网络数据，只要过滤和去重足够严格，就能匹敌甚至胜过精选语料 (Penedo et al. 2023)。FineWeb 借助公开的消融实验把这一点推得更远，这些实验固定算力和架构、只改数据，把语料构建从经验法则（folklore）变成了一门可度量的科学 (Penedo et al. 2024)。

合成的转向

合成的转向是靠两个结果到来的。TinyStories 表明，一份狭窄、完全合成的语料，能教会小模型连贯的英文 (Eldan and Li 2023)。由「Textbooks Are All You Need」开启的 phi 系列主张，教科书质量的合成与过滤数据，能用惯常词元数的一个零头达到强推理 (Gunasekar et al. 2023)。Rephrasing the Web（WRAP）给出了成本更低的版本：把已有的网络文本改写成质量更高的文风，而不从头生成，从而在不凭空造内容的前提下获得算力和数据上的效率 (Maini et al. 2024)。最新、也记录得最少的来源，是智能体轨迹记录：工具使用轨迹和经过验证的多步轨迹，被回收成训练信号，ToolBench 这样的数据集是它的先声 (Qin et al. 2023)。那里悬而未决的问题，包括来源出处、对源模型自身输出的去重，以及内嵌评估任务带来的污染。

图 6.5 勾勒了为什么这是个结构性抉择，而不是一个单一可调的比值：每一派都会分叉出不同的栈、成本结构和污染风险。

权衡项与失效模式

上文每一个阶段都是一个决策点，方向错了，都会无声地失败。这些决策值得放在一起点名，因为它们彼此牵连。

• 数量对质量。 更多词元，只有在它们不是垃圾或重复时才有帮助。越过某个点，激进的过滤和去重就会胜过单纯堆量，正如 图 6.6 所示：原始网络数据的留出损失，会在新增词元大多只是重复模型见过的内容时趋于平坦，而同样的算力用于去重并过滤后的词元时，损失仍在下降。难的是知道对给定算力预算而言那个点在哪，而那个点会随着 第 5 章 设定的预算一起移动。

• 去重的激进程度。 更强的模糊去重能消掉记忆风险和算力浪费，但也可能删掉合理而稀有、却独特的内容。阈值是在召回与精确之间做权衡，没有一个普适正确的设定。
• 启发式对分类器过滤。 启发式成本低、可审计、偏见也轻，但精度有限。分类器精确，却会把它参考集的偏见引入整套语料，成片地移除某些语域、方言或领域。
• 合成占比。 合成数据能以较低成本填补空白，但有分布收缩、事实漂移和评估污染的风险。这个比例，是在多样性和可控性之间权衡。
• 去污染的严格程度。 阈值太松会泄露基准、虚抬分数。阈值太严会过度移除合理的近重复内容、让语料缩水。这个阈值是一项契约条款，不是一个内部细节。

这些失效模式值得逐一点名，因为它们各在不同时刻出现。一次污染泄露会虚抬结果，就算能被发现也很晚。一处去重缺口会浪费算力、提高记忆风险，而过度去重又会无声地移除稀有内容。过滤器偏见放大，会在整套语料上移除合理的多样性。合成数据导致分布收缩或漂移，会收窄分布，或把生成器的错误传播下去。配比失误会让某项能力训练不足或训练过度，而由于配比很早就锁死、又只在评估时才浮现，它是诊断和重做代价最高的那一个。

确定性纪律

设计决策之后，落到运维上就是确定性纪律。因为数据配比和去污染都是契约，每一个阶段都必须逐字节可复现。具体到实践，这意味着内容寻址的输入、被钉死的过滤阈值和模型版本，以及一份清单，为每个输出分片记下产生它的确切变换。一个有代表性的去重步骤，是用 MinHash 和 LSH 做模糊文档匹配，下面针对其方法、而非任何单一代码库来勾勒：

# 模糊去重：按 LSH 分桶，再在桶内丢弃近重复。
def dedup(docs, threshold=0.8, num_perm=128):
    seen = LSHIndex(threshold=threshold, num_perm=num_perm)
    for doc in docs:
        sig = minhash(shingles(doc.text), num_perm=num_perm)
        if not seen.query(sig):      # 还没有保留过近重复
            seen.insert(doc.id, sig)
            yield doc                 # 否则丢弃，并记入清单

去污染步骤是同样的形状、只换一个索引：为评估清册里的每一项构建 n-gram 签名，然后把任何重叠超过契约阈值的训练文档丢弃或标记，并把被移除文档的数量和身份，写进评估所使用的那份报告。

延伸阅读