法律、监管与政策
安全栈前面的章节一直在系统内部和边界上治理它:读出特征、监督训练、约束权限、过滤运行时行为、测试攻击、控制它记住什么。它们没有一个能决定这个模型究竟能不能被部署,也没有一个能决定它学习所用的语料在使用上是否合法。这个决定是在系统之外作出的,写在成文法与判例里,而它又会反过来影响整个技术栈。法律这一层把一个已部署的能力放进欧盟的风险分级,规定一次发布如今在法律上要求哪些文档,暴露出版权为什么仍是每一份预训练语料下面不稳定的基础,也让一条由监管者写下的规则改写几个月前在训练集群里作出的数据治理决定。
这一层新增的约束
下面各层回应的是物理与经济:延迟、内存、每个 token 多少钱。这一层回应的是另一类约束,而一个系统可以在之前每一条轴上都很出色,却仍然在这里失败。
第一条是可部署性:这个能力,在这个司法辖区、用于这个用途,究竟能不能被部署。第二条是来源合法性:它训练所用的数据,采集与学习是否合法。第三条是问责:当已部署的行为造成伤害时,由哪一方来负责。这三条没有一条是建模选择。如今它们都被写进了具有约束力的法律,而这套法律在一个模型所服务的各个市场之间并不统一。
那部成了参照系的法案
欧盟的《人工智能法案》,即第 2024/1689 号条例(Regulation (EU) 2024/1689),是这个领域第一部综合性的横向立法,它的结构已经成了世界其余各处用来争论的词汇 (European Parliament and Council of the European Union 2024)。它的组织思想是按风险而非按技术来监管。一个系统被归入四个层级之一,而层级决定义务。
金字塔的底座,多数软件所在之处,不承担任何新义务。一个有限风险层级加上一条透明度义务:与系统对话的用户必须被告知对方是机器,合成媒体也必须被相应标注,这项透明度义务就接到了 第 59 章 的来源机制上。高风险层级覆盖诸如受监管产品的安全部件、雇佣筛选、信用评分以及某些公共服务等用途,沉重的义务都在这里:一套有文档记录的风险管理流程、数据治理、日志、人类监督,以及系统进入市场之前的一次合格评定。一份简短的禁止清单则把少数几种用途彻底移出市场。
法案把通用模型当作自成一类的范畴,叠加在以用途为基础的层级之上,因为这样一个模型并没有单一用途可供评定。每一个通用模型的提供者,都负有一条技术文档的底线义务,以及一项尊重下文所述版权信号的政策。若一个模型越过某个算力阈值,也就是当训练这个模型所耗的算力越过某个固定水平、一道以 FLOPs 计量的界线时,规则便随之触发,因而被推定带有系统性风险,那么它的提供者所负的义务更多:模型评估、对抗性测试、事件报告以及网络安全。这个阈值是一个代理量,而且是有争议的一个,但它的用意是把义务绑定到能力、而非绑定到公司规模上。
这些义务并非一次性到位。法案分阶段生效:先是禁止条款,其次是通用模型义务,最后才是完整的高风险机制。连这份时间表本身也不是定死的。针对 AI 的《数字综合法案》(Digital Omnibus on AI)是法案的第一批修正案,2026 年 5 月达成协议,同年 6 月经议会与理事会最终批准,把高风险的期限往后推:附件 III 所列的独立高风险系统推迟到 2027 年 12 月 2 日,嵌入受监管产品的附件 I 系统推迟到 2028 年 8 月 2 日 (Council of the European Union 2026)。这种分阶段对工程师之所以重要,是因为它决定了某个特定模型发布时哪一条规则正在生效;而这次修正正是 图 61.1 那道节奏差的具体化:受治理的系统已经在发布,合规目标却还在移动。
为什么一部欧洲的成文法,会为一个在另一片大陆上训练和服务的模型定下规矩?因为 Anu Bradford 命名的那个动力:布鲁塞尔效应(Brussels effect)。当一个大市场立了规,一家全球性公司往往会发现,按最严的适用标准造一款产品,比维护一套拼凑出来的差异化版本更省钱,于是那条最严的标准便悄然成了各处的默认 (Bradford 2020)。法案的触及范围与其说是法律上的域外效力,不如说是经济上的引力。
另一种姿态:自愿且分行业
法案是治理的一种哲学,而非唯一的一种。美国至今没有采用单一的横向成文法,而是形成了更松散的一套:一个自愿的风险框架,随政府更替而变动的行政行动,以及一片日益生长的州法拼图。美国国家标准与技术研究院的《人工智能风险管理框架》是这一自愿层的锚点,它把工作组织为治理、映射、度量、管理四项职能,却不把任何人绑定到某项具体管控上 (National Institute of Standards and Technology 2023)。这个对比是结构性的。一种机制是事前的、产品形态的:在发货之前先证明合规。另一种机制在很大程度上是事后的、分行业的:既有的消费者保护、反歧视与责任法律事后适用,由相关机构执行。一个跨两个市场部署的模型,继承的是它们两套要求的并集。
这片州法拼图如今有了一块前沿模型的锚。加州的 SB 53,即《前沿人工智能透明度法案》(Transparency in Frontier Artificial Intelligence Act),2025 年 9 月签署、2026 年 1 月生效,要求训练算力超过 FLOPs 的模型开发者向州政府报告事件并保护吹哨人,年收入超过 5 亿美元的开发者还须公开自己的安全框架 (California State Legislature 2025)。纽约州的 RAISE 法案于 2025 年 12 月跟进 (Office of Governor Kathy Hochul 2025)。这个设计与欧盟的系统性风险层级如出一辙,义务挂在算力上;它也让美国那个悬而未决的问题更加尖锐:不是要不要监管前沿模型,而是联邦法律会不会凭联邦优先权(preemption)压过这些已经动手的州法。
仍不稳定的基础:版权与语料
第一部分一直假定有一份语料。法律这一层追问那份语料是否合法,而答案是:这个问题悬而未决。前沿的预训练数据绝大多数从公开网络抓取(第 6 章),而公开网络含有大量受版权保护的文本、代码与图像。未经许可就用受版权保护的作品来训练一个模型,究竟是一种被允许的转换性使用,还是一种侵权,正在多个司法辖区里被同时诉讼,至今没有任何终局的、有约束力的权威把它定下来。作者、新闻机构、视觉艺术家与代码托管方都提起了诉讼;被告主张转换性使用;上诉法院尚未作出任何裁决。第一批标志性判决于 2025 年出现在地区法院层面,它们没有回答这个问题,而是把它剖成了两半。Bartz v. Anthropic(加州北区法院,2025 年 6 月)认定:用合法取得的书籍训练是典型的转换性合理使用,而留存一座盗版书库则不是;付出代价的正是获取这一侧:一笔 15 亿美元的集体和解,美国版权史上金额最大的一笔 (Hunton Andrews Kurth 2025)。Kadrey v. Meta 同月以另一条理由得出合理使用的结论,即原告未能证明市场损害 (Gollwitzer 2025);Thomson Reuters v. Ross(特拉华区法院,2025 年 2 月)则驳回了一个作为市场替代品的非生成式法律检索工具的合理使用抗辩 (United States District Court for the District of Delaware 2025)。正在成形的界线,把学习是否合法与采集是否合法分开,恰好就是上文点名的来源合法性约束。同一份不确定性也驱动着那条平行的商业轨道:模型开发者与大型内容持有方之间的授权协议,以及让出版方得以请求不被用于训练的退出(opt-out)信号,二者都是在法律强行划线之前先构建一份站得住脚的语料的尝试。
关于视频的那一章,已经见识过这道边界有多锋利:一款旗舰生成器停止发布,部分原因正是与版权的一次碰撞(第 16 章)。这场碰撞并非视频独有。它压在每一种模态之下。
- 在受版权保护的数据上训练,是合理使用还是侵权? 一派把它读作一种转换性使用,产出的是一件新的统计制品、而非一份拷贝;另一派则把采集与训练读作复制。没有终局权威把它了结,而答案可能因司法辖区、因模态而不同。
- 开放权重的发布能否清楚地纳入这些义务? 文档与透明度义务的起草,是以一个经 API 提供服务的模型为蓝本的。它们如何约束一个可自由再分发的权重文件,而原提供者根本无法观察其下游用途,确实并不清楚,也正被积极地争论着。
- 规定式的监管是在保护公众,还是在加固既得者? 合格评定与系统性风险测试都是固定成本。批评者主张固定成本利好最大的实验室,提高了新进入者的门槛;辩护者主张这些成本正是后果重大的系统取得可部署性所要付的价钱。
问责:由谁来负责
当一个已部署的系统造成伤害时,法律必须指出一名被告,而一个模型要经过许多参与方。法案的回答是把义务分派给角色、而非分派给单一一方。把一个模型投放市场的提供者,负有文档义务,对通用模型还负有透明度与版权政策义务。把模型投入某个具体用途的部署者,负有该用途的义务,对高风险应用还包括人类监督。终端用户继承的是其上一层的服务条款。这对一个搭建者的现实后果是:集成一个第三方模型并不免除责任,而是把责任拆开;这种拆分必须在部署之前就厘清,不能等到事故之后。
治理即工程制品
上面那些抽象,到了工程层就落地为文档。合规不靠意图来满足,而要靠监管者或审计者读得懂的制品,而这个领域在法律要求之前,其实早就发明了它们中的大部分。
模型卡(model card)以一种标准形式记录一个模型的预期用途、评测结果与已知局限 (Mitchell et al. 2019)。数据表(datasheet)则为一份数据集做同样的事,记录它的构成、采集过程与预期用途,好让后来的使用者判断它是否适用 (Gebru et al. 2021)。系统卡(system card)把模型卡延伸到一个已部署的系统,在原始模型之外,覆盖 第 57 章 的护栏与 第 55 章 的监督。这些文档是否被一致地产出、有多完整,本身是可度量的:基础模型透明度指数(Foundation Model Transparency Index)正是就这一点给主要开发者打了分,发现平均披露程度偏低 (Bommasani et al. 2023)。
法律已经开始直接取用这些制品。通用模型义务自 2025 年 8 月起适用,而 2025 年 7 月发布的《通用 AI 行为准则》(General-Purpose AI Code of Practice)把它们变成了一份可签署的文件:准则分透明度、版权、安全三章,提供者签署并遵守即可获得合规推定,委员会的执法权则从 2026 年 8 月起跟进,主要开发商大多已经签署 (European Commission 2025)。
保证层
每一套监管制度周围,都会长出一个为「符合它」出具证明的私人市场,而围绕 AI 的这个市场正以快进的节奏成形。它有四级台阶,有用的办法是逐级追问:这一级究竟核验了什么。最低一级是管理体系认证。ISO/IEC 42001 于 2023 年 12 月发布,是首个国际 AI 管理体系标准,它认证的是一个组织具备成文的政策、风险评估、角色分工与改进闭环,与 ISO 的安全、质量标准形状相同 (ISO/IEC 2023)。它不认证的,是模型的行为是否安全:认证的单位是组织的流程,而不是那件制品,这也是为什么较早公开宣布通过认证的采纳者,都谨慎地把它描述为负责任 AI 的治理,而非安全保证 (Anthropic 2025)。第二级是框架符合性,其中最突出的是 NIST 的 AI 风险管理框架及其生成式 AI 专章:明确自愿,是一套词汇而非一纸证书,却承载着分量,因为采购合同、以及至少一个美国州的责任避风港,都是照着它写的 (National Institute of Standards and Technology 2024)。
第三级是第三方评估,对象在这里从流程转向行为。少数几家评估机构如今能在部署前拿到前沿模型的访问权,就自主性、欺骗与危险能力风险出具报告;各国政府自己的研究所也在自愿协议下做平行测试 (METR 2025)。值得注意的结构性特征是那种不对称:评估者出报告,实验室做决定,访问被限时且由实验室掌控,而评估者自己也这样说,把「对某个检查点、用实验室提供的信息做一周冲刺」称为第一步,而非金融意义上的审计。这份坦率接上了审计文献里一项由来已久的批评:在「审计覆盖什么、谁有资格、失败意味着什么」都没有确立标准之前,「审计」之名洗白正当性的速度,会快过它赋予问责的速度,这种模式被称作审计洗白(audit-washing)(Costanza-Chock et al. 2022)。底下的制度动荡,2025 到 2026 年间各国测试机构的更名与重新划界,提醒人们这一级台阶的权威是政治性的、也是临时的。
最高一级是保险,四级之中只有它把资本押在自己的判断上。为 AI 表现与 AI 责任出具的保单如今已经存在,当一个模型表现不佳、产生幻觉或发生漂移时向部署者赔付 (Armilla 2025)。保险是原则上能直接给安全定价、并像历史上消防与汽车保险规训各自行业那样成为事实监管者的那一级 (Lior 2022);但精算师在 AI 面前两头落空:既没有可供建表的损失历史,故障之间又相互关联,因为成千上万个下游部署共用那少数几个基座模型,于是上游一个缺陷会在整本保单上同时引发理赔,而不是保险赖以定价的那种相互独立的零星发生。下面的可运行单元把第二个问题算成具体的数字。市场的第一反应印证了这份难处:2025 年底,几家大型保险公司申请把 AI 责任从一般企业保单中剔除,这是一个尚无法为某种风险定价的市场的反应,而不是一个正在规训它的市场 (Financial Times 2025)。
import random
random.seed(0)
N, p, trials = 1000, 0.01, 20000 # 1000 份保单,各自 1% 的理赔概率
def portfolio(correlated):
if correlated: # 共用基座模型:一次冲击让所有保单同时理赔
return N if random.random() < p else 0
return sum(random.random() < p for _ in range(N)) # 相互独立的理赔
for mode in (False, True):
losses = sorted(portfolio(mode) for _ in range(trials))
mean = sum(losses) / trials
p99 = losses[int(0.99 * trials)]
print(f"{'相关' if mode else '独立'}: 均值 {mean:5.1f} 笔理赔,"
f"99 分位 {p99:4d} 笔 -> 需备资本: {p99}")
print("均值相同;相关的尾部需要多一个数量级的资本")
把保证层合起来看,每一级核验的东西都比它的名号要窄:是流程而非安全,是自我对照而非符合,是抽样到的行为而非保证,以及只在保险公司仍愿承保处才有的、被定价的残余风险。它是真实的基础设施,也是上文那些监管义务变成付费、可核验之工作的地方;但一纸签过的证书回答的是「他们有没有遵守某个流程」,一次评估回答的是「这一次抽样有没有失常」,两者都回答不了「这个系统安全吗」,而后者正如 第 55 章 所论,仍是一个没有任何证明能了结的开放问题。
一条由监管者写下的规则,会一直向下作用到技术栈的底部,改写一项看上去纯属技术的决定。通用模型义务把模型卡从可有可无的内部习惯,变成了一道发布闸门:一个没有充分文档的模型不可部署,于是 第 73 章 里的文档工作便成了发货的前提,而非事后补办。版权政策义务又继续向下作用,进到 第 6 章:提供者必须尊重退出信号,并保留一份训练数据来源的记录,这在第一步梯度更新之前就重塑了语料。一条在架构定型多年之后才起草的合规条款,如今约束着技术栈底层的数据与发布。
法律也是下层约束
在这里,能力就是可部署性:一个无法为其用途被合法部署的系统,根本谈不上任何能力,无论它的基准分数多强。法律这一层能减去建模各层费力加上的一项能力。效率是合规的固定成本,包括文档、合格评定与授权,而这份成本落得并不均匀,这正是它为何会影响 第 76 章、塑造谁负担得起入场。信任是这一层的明确主题:法律之所以存在,是为了让一个已部署的行为对它的搭建者之外的某人负责,而它所要求的那些制品,恰恰是一个负责任的运营者本来也会留存的。不要把这一层当成末尾才附加的摩擦。它是第二套约束,和内存带宽一样真实,下面各层如今必须照着它来设计。
延伸阅读
- European Parliament and Council of the European Union, “Regulation (EU) 2024/1689 of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act)” (风险分级结构、通用模型义务与分阶段时间表), 2024. eur-lex.europa.eu
- National Institute of Standards and Technology, “Artificial Intelligence Risk Management Framework (AI RMF 1.0)” (自愿性的治理-映射-度量-管理框架), 2023. nist.govNIST 发布的 AI 风险管理框架(AI RMF)是一个自愿采用、与具体应用场景无关的框架,帮助组织在 AI 全生命周期中识别、评估和管理风险。
- Bradford, Anu. The Brussels Effect: How the European Union Rules the World (一个市场的规则为何成为全球默认). Oxford University Press, 2020.Bradford 论述了布鲁塞尔效应,即欧盟如何凭借市场准入设定事实上的全球标准,从而向全球输出其监管规则。
- Mitchell et al., “Model Cards for Model Reporting” (作为标准披露形式的模型卡), 2019. arXiv:1810.03993Mitchell 等人提出模型卡,即随训练好的机器学习模型发布的简短文档,通过跨人口群体和交叉群体的分类性能报告,支持透明、公平的评估。
- Gebru et al., “Datasheets for Datasets” (数据集层面的文档), 2021. arXiv:1803.09010Gebru 等人提出数据表(datasheets for datasets)框架,通过标准化记录数据集的动机、构成、采集过程与预期用途,以提升机器学习的透明度并减少社会偏见。
- Bommasani et al., “The Foundation Model Transparency Index” (度量开发者是否披露), 2023. arXiv:2310.12941基础模型透明度指数(FMTI)从上游资源、模型细节和下游部署三个维度,用 100 项指标对 10 家主要大语言模型开发商进行透明度评分。
- Council of the European Union, “Artificial intelligence: Council and Parliament agree to simplify and streamline rules” (AI 法案的首批修正案:高风险截止期分别推迟到 2027 年 12 月与 2028 年 8 月), 2026. consilium.europa.eu
- Hunton Andrews Kurth, “Bartz v. Anthropic: Settlement Reached After Landmark Summary Judgment and Class Certification” (对合法获得的书籍进行训练被认定为转换性合理使用;盗版藏书则不是,代价为 15 亿美元), 2025. insidetechlaw.com
- Gollwitzer, “Federal Courts Find Fair Use in AI Training: Key Takeaways from Kadrey v. Meta and Bartz v. Anthropic” (Kadrey 案的市场损害理由,以及训练使用与语料获取的分野), 2025. jw.com
- United States District Court for the District of Delaware, “Thomson Reuters Enterprise Centre GmbH v. Ross Intelligence Inc., No. 1:20-cv-613, Memorandum Opinion” (对一个作为市场替代品的非生成式法律检索工具,合理使用抗辩被驳回), 2025. ded.uscourts.gov
- California State Legislature, “SB 53: Transparency in Frontier Artificial Intelligence Act” (美国第一部有约束力的前沿模型州法:按算力阈值划界,要求公开安全框架、事件报告与吹哨人保护), 2025. leginfo.legislature.ca.gov
- Office of Governor Kathy Hochul, “Governor Hochul Signs Nation-Leading Legislation to Require AI Frameworks for AI Frontier Models” (纽约州 RAISE 法案,第二部州级前沿模型法), 2025. governor.ny.gov
- European Commission, “The General-Purpose AI Code of Practice” (透明度、版权与安全三章;签署即获得合规推定), 2025. digital-strategy.ec.europa.eu
- ISO/IEC, “ISO/IEC 42001:2023, Information technology, Artificial intelligence, Management system” (首个 AI 管理体系标准:认证的是流程,不是模型行为), 2023. iso.org首个国际 AI 管理体系标准:它认证的是组织具备成文的政策、风险评估、角色分工与持续改进闭环,而不是任何模型行为安全。
- Anthropic, “Anthropic achieves ISO 42001 certification for responsible AI” (早期采纳者把认证定位为治理,而非安全保证), 2025. anthropic.com一家前沿实验室较早取得 ISO/IEC 42001 认证,实验室将其描述为负责任 AI 的治理,而非对某个具体模型安全的保证。
- NIST, “Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST-AI-600-1)” (采购合同与责任避风港所援引的自愿性词汇表), 2024. nist.govNIST 自愿性 AI 风险管理框架的生成式 AI 专章:它不是证书,而是采购合同与至少一个州的责任避风港所援引的共用词汇表。
- METR, “Details about METR's preliminary evaluation of GPT-4.5” (一家评估机构记录自身访问权限的局限), 2025. metr.org一次部署前的自主性评估,坦率交代了自身局限:对某个检查点的短暂、由实验室控制的访问,评估者称之为第一步,而非审计。
- Costanza-Chock et al., “Who Audits the Auditors? Recommendations from a field scan of the algorithmic auditing ecosystem” (审计洗白:没有确立标准的「审计」之名), 2022. dl.acm.org一项领域普查发现「算法审计」没有确立的含义,无法核验的审计声明可能加剧而非减轻伤害,是「审计洗白」批评的出处。
- Lior, “Insuring AI: The Role of Insurance in Artificial Intelligence Regulation” (保险作为私人监管者,援引消防安全的先例), 2022. jolt.law.harvard.edu论证保险公司通过给风险定价并施加条件,能像历史上规训消防与汽车安全那样,充当 AI 的私人监管者。
- Armilla, “Armilla launches affirmative AI liability insurance backed by Lloyd's underwriters” (由模型表现不佳、幻觉、漂移触发的保单), 2025. armilla.ai一份在劳合社承保的肯定式 AI 责任险,触发条件是 AI 表现不佳,包括幻觉、模型漂移与偏离预期行为。
- Financial Times, “Insurers seek to exclude AI liabilities from corporate policies” (市场退出一个它还无法定价的风险), 2025. ft.com报道多家大型保险公司申请把 AI 责任从一般企业保单中剔除,这是一个尚无法为相关性 AI 风险定价的市场的反应。
评论
登录后评论