小结
小结
第六部分把工作单位从一次 completion 扩展成一个任务。模型要通过循环、工具、记忆、检索、上下文拼装,有时还要通过其他智能体来行动。围绕模型的运行框架会成为行为的一部分,因为它决定系统能看见哪些状态、接纳哪些证据、调用哪些工具,以及一步失败之后怎样恢复。
风险也随这套外部机械增长。普通模型错误可能变成副作用,记忆既是证据也是责任,而当它活得比任务更久、成为产品对用户的记忆时,它还同时成了转换成本与攻击面。检索可能把不可信文本洗进提示,操作屏幕的智能体读到的是攻击者能让屏幕渲染出的任何东西,而多智能体讨论非但暴露不了错误,反而往往把它一并复制。真正重要的问题不是智能体听起来有多自主,而是哪一个循环拥有下一步决策,以及系统在哪里能被打断。
这一部分的结论是,编排是在设计决策回路。状态、权限、检索、中断和恢复,和模型调用本身一样重要。仍未解决的是,哪些智能体模式能在生产负载、对抗输入、租户边界和不断变化的工具权限下保持可靠。第七部分补上的就是这层仪器:系统一旦通过循环行动,评测就不能只看答案,还要看证据、副作用,以及任务结束后留下的状态。
评论
登录后评论