AI 基建
0%
小结

小结

作者Changkun Ou
阅读时长约 1 分钟

第四部分把推理视为一个计算控制问题,而实现它的手段并不唯一。提示本身有时就能引出模型尚未表现出来的推理过程;系统也可以在推理链、搜索树、程序、求解器调用或证明脚本之间搜索。验证器从候选中选择结果,训练则可以让模型更稳定地产生有用的推理轨迹。服务系统还可以根据请求难度,在推断时临时增加算力。

这些办法确实有效,但都有适用条件。增加计算既可能提高候选覆盖率和最终选择质量,也可能掩盖故障、拉长延迟,或把预算浪费在难度尚未测清的任务上。因此,关于推理能力的每个主张都应落实为运维问题:额外工作在哪里发生、由谁核查、保留哪些轨迹,以及循环依据什么规则停止。

本部分留下的长期结论很简单:推理系统不由某种神秘的内在能力定义,而由预算、搜索空间、验证器、轨迹和停止规则定义。仍未解决的核心问题是路由:测试时算力何时还能继续带来收益,何时已经饱和,以及生产服务应该如何把有限的推理预算分配给真实工作负载。第五部分会把这个路由问题转化为服务系统中的具体机制。在那里,延迟、批处理、缓存驻留和价格共同决定,系统能否在产品中提供这部分额外推理。

评论

登录后评论