第十部分 · 前沿与极限
第十部分 · 前沿与极限
「一项技术要想成功,现实必须优先于公关,因为自然是骗不过去的。」
Richard P. Feynman,"Personal Observations on Reliability of Shuttle"
第九部分停在会坏掉的机器上。所谓前沿,不只是在能力增长的地方,也是在约束变得清楚的地方。第十部分要问的是另一类极限:不是这套底座能供给多少,而是这些供给最终转化成了什么。算力是投入,能力是产出,中间横着三道再多硬件也搬不开的约束:可学习信号的存量、报告前沿走到哪里的仪器,以及把一个产出的主张变成一个被接受的主张所要付的代价。
这些问题为全书关于能力本身的讨论收尾。再往后,能力被当作既定条件:先看给它定价、把它分发出去的市场,再看把它运营起来的实践。把这三道极限放在一起,还说明了前面各部分说不出的一点:今天压住一个前沿系统的天花板,落在能不能知道上的,和落在能不能造出来上的一样多。
第 70 章 从投入这一侧讲起:高质量人类文本的存量是有限的,而每一条替代路线都还有争议:合成数据、从经验中学习、把算力花在推断而非训练、让模型在部署之后继续学。第 71 章 转到测量:把前沿读成一个模型能自主完成的任务有多长,比读成一个基准百分比更有用;而测量仪器饱和的速度,快过新仪器造出来的速度。第 72 章 收在接受这一侧:当产出一个主张比检查它更便宜,证明、复现、对抗性审查,以及授予信任的那些制度,本身就成了基础设施。
这三道极限并不对称。一道关乎燃料,一道关乎仪器,一道关乎信任,其中只有第一道还有希望靠多花钱缓解。算力不够,会立刻变成排队和账单;仪器或信任不够,则变成一个没人能核对的主张,被发现得更晚,纠正起来也更贵。
评论
登录后评论