AI 基建
0%
第六部分 · 编排 · 第 40 章

个性化与用户记忆

作者Changkun Ou
阅读时长约 14 分钟

第 39 章 已经介绍了记忆系统的通用基础:有明确范围的记录、清晰的读写策略、时间有效性、来源血缘,以及删除链路。个性化把这套基础设施用于关于某个人的主张。它给用户带来的价值很直接:不用反复说明长期有效的约束和偏好。风险同样直接:系统可能记错内容、用错场景,或者保留了超出服务需要的个人经历。

因此,好的个性化必须受用途约束,也必须允许被推翻。系统只保留服务于已声明用途的信息,当前请求始终是判断用户此刻意图的最强证据。并非每一条记住的细节都有用。能改善餐厅推荐的偏好,可能与税务问题毫无关系;在一个工作区收集的事实,也不一定获准用于另一个工作区。

记忆是证据,不是权限

tt 轮的个性化回答可以表示为:

ytpθ ⁣(yP,xt,ht,R(qt,Mu,at,pt)).y_t \sim p_\theta\!\left(y \mid P, x_t, h_t, R(q_t, M_u, a_t, p_t)\right).

其中,yty_t 是回答;pθp_\theta 是参数为 θ\theta 的模型;PP 是适用的治理策略;xtx_t 是当前请求;hth_t 是当前会话上下文;MuM_u 是与用户 uu 关联的记录集合;ata_t 是经过身份验证的行为者;ptp_t 是获准用途;qtq_t 是检索查询;RR 返回仍然有效、已经授权且适用于当前请求的记录。

这个顺序很重要。检索到的记忆是不可信的证据,不是权限。它不能验证行为者身份,不能扩大权限,不能覆盖安全策略,也不能推翻清晰的当前指令。系统只有在核对一项记忆的主体、范围、用途、有效期、敏感性和来源之后,才应该使用它。

状态保存在哪里,不等于它如何进入模型

要把个性化设计讲清楚,需要分开两条彼此独立的轴。持久化位置说明长期状态保存在哪里;应用路径说明这些状态如何影响推理。服务端存储既可以把记录放进提示词上下文,也可以通过工具调用提供记录;参数适配器可以由路由器选择;客户端存储则可以只披露当前请求所需的记录。

持久化位置 持久状态 主要工程影响
完整模型权重 从训练数据中学到的行为 很难按记录粒度追溯、更正或删除
参数适配器或软提示词 用户或群组专属的参数增量 需要管理适配器的存储、路由、评估和版本
服务端存储 结构化主张、摘要、嵌入或来源链接 便于集中执行策略,但隐私和隔离风险也更集中
客户端存储 用户控制的记录或加密画像数据 用户保管能力更强,但要权衡同步和可用性
源历史或连接器 对话、文档和应用记录 保留来源证据,但搜索和访问检查必须理解用途
应用路径 推理时发生什么 典型用途
参数路由 生成前选择参数适配器或软提示词 反复出现的风格或领域适配
提示词上下文 在输入中放入少量带来源的画像 稳定偏好和约束
查询时检索或工具调用 任务需要时搜索已授权记录 大量历史和有来源支持的事实
确定性处理 在自由生成之外应用偏好或约束 单位、地区设置、无障碍要求或硬性排除项
混合方式 组合路由、检索和确定性检查 同时管理多类记忆的产品

每位用户使用不同适配器会增加批处理和运维的复杂度,但异构批处理并非不可能。S-LoRA 等系统已经展示了并发服务大量 LoRA 适配器的方法 (Sheng et al. 2023)。反过来,一条外部记录不会因为存在数据库里,就自动成为“上下文”的一部分。只有获准的应用路径读取并提供记录,它才会影响回答。

一条用户记忆,就是一项有范围的主张

一条有用的记录必须区分用户明确说过的内容,以及系统观察到或推断出的内容。把三者都当成事实,会让弱推测拥有直接指令的效力。可以用一个具体模式让这种区别便于检查:

UserMemory {
  id, subject, origin, claim, source_ref,
  scope, purpose, observed_at, valid_from, valid_until,
  confidence, sensitivity, confirmation, status, supersedes
}

subject 标识主张涉及的人,而不只是当前登录的账户。origin 区分明确指令、用户提供的事实、观察行为、推断画像,以及导入或从来源提取的主张。source_ref 用来保留来源。scopepurpose 界定允许使用记录的范围和用途。时间字段表达有效期,而不是假定记录永久成立。confidence 记录不确定性;sensitivity 决定是否需要更严格的处理;confirmation 记录确认状态,也就是用户是否确认过主张;statussupersedes 则保留更正历史,避免悄悄改写原始证据。

候选信息 默认处理方式 原因
当前轮指令 保留在会话上下文中,除非用户要求长期保存 今天的请求不一定是长期偏好
明确的长期偏好 在用户要求或配置的范围内持久化 这是直接证据,但当前请求仍可覆盖它
稳定事实或约束 连同来源保存,并设置复查规则 事实会变化,约束也可能关系安全
临时计划 设置到期时间,并保留其“计划”状态 到期不代表事情已经发生
观察到的模式 作为不确定证据,并让用户容易检查 重复行为可能源于情境,而不是偏好
推断出的偏好或画像 使用低置信度,保持可见,并请求确认 推断可能暴露敏感属性,也可能只是错误猜测
密钥和凭据 不要写入通用个性化记忆 偏好存储不是密钥管理器
第三方或未成年人的数据 默认避免;必须有具体用途和更严格的审查 账户持有人未必有权为对方建立画像

写入策略还应该拒绝不必要的敏感推断。模型从普通文本中推断隐私属性的能力,可能远超关键词过滤器的覆盖范围 (Staab et al. 2024)。因此,数据最小化既要约束原文,也要约束推断出的主张。

完整生命周期需要写入门和适用性门

个性化不是“抽取、嵌入、检索”,而是一套受控的生命周期:

  1. 根据确切的支持来源,创建一项候选主张。
  2. 标记它的来源类型、主体、用途、范围、敏感性、置信度和有效期。
  3. 通过写入门。它可以拒绝、缩短、脱敏、请求确认,或者只在当前会话保留候选内容。
  4. 追加获准记录。如果它更正了较早的主张,就用 supersedes 建立关联,不要覆盖历史。
  5. 在检索排序前,根据行为者、主体、范围、用途、状态、有效期和策略进行过滤。
  6. 把选中的记录作为带来源的证据提供给模型,并记录哪些记录影响了回答。
  7. 通过同一套理解血缘的状态模型,处理更正、删除、导出、到期和反馈。
S 陈述、观察结果 或导入来源 C 带来源血缘的 候选主张 S->C W 写入门 用途、敏感性、有效期 C->W M 有版本的用户记录 W->M A 适用性门 行为者、范围、用途、状态 M->A R 用于当前请求的 带来源证据 A->R U 检查、更正、暂停、 删除或导出 R->U 反馈 U->M 状态转移
图 40.1. “个性化分别决定记录能否进入系统,以及能否用于当前请求。用户控制会改变记录及其派生血缘的状态。”

相关性排序必须放在适用性过滤之后。否则,来自错误账户、项目或用途的高相似记录,可能排在已授权记录之前。

解决冲突,不能凭空改写用户经历

当前请求会覆盖当前行动中的记忆偏好,但不一定会抹掉长期偏好。冲突处理规则必须明确:

情况 必须采取的行为
“我通常喜欢坐火车”,随后说“这次订一张机票” 遵从当前例外,不要改写长期偏好
“我不再使用公制单位” 让新偏好取代旧偏好,并保留更正血缘
一项计划到达有效期 将计划标记为陈旧或过期;到期不代表事情已经发生
推断偏好与明确指令冲突 采用明确指令,并降低置信度、拒绝推断或向用户确认
两条可信记录构成尚未解决的矛盾 请求澄清或放弃个性化这一选择
偏好与客观证据或策略冲突 保持事实和策略不变;可以个性化呈现或选项,但不能个性化客观事实

这种区分可以避免两类常见错误:把一次例外当作永久变化,以及把尚未观察到的计划变成已经完成的人生事件。

用户控制是状态转移,不是界面标签

只有语义准确,控制项才真正有用。不同产品中的“关闭”“暂停”“重置”和“删除”,可能影响完全不同的数据流。系统必须记录每次状态转移,并进行端到端测试。

控制项 最低语义契约
关闭读取记忆 现有记录不再影响新回答;同时说明记录是否仍被保存
暂停写入 不再创建长期记录或更新派生画像;同时说明是否继续读取
临时模式 当前会话既不读取也不写入个性化记忆,除非产品明确承诺更窄的范围
删除一条记忆 立即停止使用该记录,并依据血缘删除受其治理的派生物
删除源聊天或文件 重新评估或删除依赖它的摘要、主张、嵌入和索引;删除源数据并不自动删除派生数据
重置 明确定义会清除哪些范围、源历史、摘要和索引
导出 提供可理解、机器可读的记录,包括来源、范围、时间戳和状态
退出训练 将训练用途与推理时个性化和存储分开治理

现有产品文档说明了这些区别为何重要。OpenAI 的记忆常见问题指出,彻底移除某项信息可能需要同时删除已保存记忆和源聊天;出于安全和调试目的,部分删除日志还可能暂时保留 (OpenAI 2026)。Anthropic 区分暂停记忆和重置记忆,提供无痕对话,并说明删除来源不一定会删除派生记忆条目 (Anthropic 2026)。这些是产品契约的示例,不是通用定义。每项实现都必须说明自己的准确语义。

隐私义务决定系统架构

对于适用《欧盟通用数据保护条例》的系统,目的限制、数据最小化、准确性和存储期限限制都是架构输入,不是事后清理工作 (European Union 2016)。更正权和删除权有适用条件,可携带权也是如此;合适的法律依据取决于司法管辖区、控制者角色、用途和数据类别。同意并不是唯一可能的法律依据;如果同意并非自由作出或不具效力,就不应声称以它为依据。

可携带权比“导出模型推断的一切”更窄。欧洲数据保护委员会的指南说明,在规定条件下,法定权利适用于个人提供的数据,其中包括部分观察数据,但通常不包括控制者推断出的画像 (European Data Protection Board 2026)。产品仍然可以自愿向用户展示推断主张,因为可见性和更正能力能提高安全性。导出应采用 JSON、XML 或 CSV 等结构化、常用、机器可读的格式,不能把 PDF 当成足够的可携带实现。

删除是一项图操作。一份来源可能生成规范化主张、画像摘要、嵌入、搜索索引条目、缓存值、副本和审计引用。服务必须能从每个派生物追溯到来源。安全的工作流先阻止继续使用,再根据保留和备份策略,对受治理存储执行并验证物理删除。系统还必须防止后续重建让已删除主张复活。法律保留和强制记录需要明确的例外路径,不能让删除控制悄悄失效。

个性化带来独有的安全与完整性风险

记忆会放大几类熟悉故障的影响:

  • 敏感推断: 看似无害的对话也可能支持关于健康、位置、收入、信仰或人际关系的主张,而用户从未选择保存它们 (Staab et al. 2024)。
  • 提示词注入与投毒: 对话、文档、连接器或知识库中的内容,可能试图植入能延续到后续任务的指令。AgentPoison 在其评估的威胁模型下,展示了对智能体记忆或知识库的定向投毒 (Chen et al. 2024)。因此,导入的记忆必须始终作为带来源的不可信证据。
  • 跨账户或跨项目泄漏: 如果缺少主体、租户或用途检查,系统可能检索到属于他人的高相关记录。
  • 谄媚: 记住用户观点,可能让模型更容易附和,而不是诚实纠正。OpenAI 曾报告,在一次特定模型更新中,记忆在部分情况下加剧了谄媚;该报告同时明确指出,这不代表记忆通常会导致谄媚 (OpenAI 2025)。
  • 个性化虚假陈述: 模型可能让事实回答迎合用户历史,而不是遵从证据 (Sun et al. 2026)。可以个性化选择、示例、语气和呈现方式,不能个性化客观真相。

安全测试应覆盖被投毒的来源、恶意导入画像、账户切换、共享设备会话、过期授权,以及删除后重建索引。加密能保护存储和传输,但不能决定一条记录是否应该存在,也不能判断一次读取是否获得授权。

评估完整生命周期

个性化质量不只是记忆召回准确率。LaMP 提出了七项个性化语言模型任务和检索增强画像 (Salemi et al. 2024)。PrefEval 表明,随着上下文增长,模型遵从偏好的能力可能下降;它还区分了显式偏好和隐式偏好 (Zhao et al. 2025)。两者都提供了有用的受控证据,但都不能取代针对具体产品的安全、控制和长期评估。

至少要把无记忆基线与只使用显式画像、从历史中检索和综合画像几种方案进行比较。只有在符合预期架构时,才加入完整历史或适配器方案。所有方案应使用相同的模型、任务集、安全策略和延迟口径,从而隔离记忆本身的影响。

阶段 需要回答的问题 示例指标
写入 系统是否收录了正确主张,并附上正确来源和范围? 收录精确率与召回率、敏感信息写入率、来源完整度
更新 更正和到期是否正确改变了活动状态? 矛盾解决、陈旧记忆使用率、更正延迟
检索 系统是否只找到适用记录? 授权召回率、跨范围检索率、来源标注
使用 记忆是否改善回答,同时没有扭曲事实? 个性化增益、错误个性化率、事实性、任务成功率
控制与安全 暂停、临时、删除和导出是否符合所宣称的语义? 删除完整度、复活率、跨账户泄漏率、投毒成功率
运营 收益是否值得资源成本? 新增延迟、词元开销、存储增长、可用性、单请求成本

“个性化增益”应当指相对于匹配的无记忆基线所取得的改善,而不是个性化系统的绝对得分。“错误个性化率”统计记忆让回答变得更不合适的情况,包括陈旧、范围错误、置信过高或扭曲事实的使用方式。两项指标都要报告,因为平均收益可能掩盖少量但严重的伤害。

合成用户和模型裁判也会漏掉真实用户能发现的问题。一项由真实用户参与的个性化评估研究发现了更细致的错误类别,而这些类别没有出现在合成用户和大语言模型裁判的条件中 (Balepur et al. 2026)。应当与知情同意的参与者开展长期测试,支持检查和更正,并按记录来源、敏感性、年龄和范围分层报告结果。厂商公布的基准可以帮助形成假设,但不能独立验证产品主张。

下层约束

记忆服务无法提供下层系统本来就不具备的保证。身份和授权决定谁可以读取记录;存储与索引隔离决定不同范围是否真的分开;持久事件历史决定更正和删除能否传播;备份策略决定物理删除何时完成。推理层无法补救缺失的租户检查,友好的界面也无法让一项未追踪的嵌入变得可删除。因此,个性化主张的可信度,不能超过它所依赖的最弱的身份、血缘、隔离和保留保证。

争议所在

有两个问题还没有通用答案。第一,反复出现的行为并不能证明稳定偏好。用户可能只是在适应临时限制,也可能只是接受了默认选项。合适的确认门槛取决于错误推断的代价,不能只由检索准确率推导出来。第二,不同产品对于暂停、临时和删除背后的状态转移意见不一。统一词汇会让控制项更容易比较,但不同的存储和法律边界也可能要求不同实现。在出现更有力的证据和标准之前,系统应该暴露底层状态变化,并按来源、敏感性和控制模式报告结果,而不是宣称一套通用记忆策略。

运行契约

对于每一项实际使用的主张,生产级个性化服务都应该能回答以下问题:

  1. 主体是谁,哪位经过身份验证的行为者可以使用这项主张?
  2. 哪项来源支持它,它属于明确陈述、观察结果、推断结果还是导入内容?
  3. 它在哪项已声明用途和范围内有效?
  4. 什么让它保持有效,什么会取代它或使它到期?
  5. 它为何为这次请求选中,又怎样影响了输出?
  6. 用户如何检查、更正、暂停、删除和导出它?
  7. 更正或删除发生后,哪些派生物和副本必须同步处理?
  8. 哪些测试证明了收益、错误个性化、隔离、控制准确性和运营成本?

如果系统回答不了这些问题,它只是积累了用户数据,而不是可靠的个性化记忆。第 41 章 会把这些契约转化为可重复的评估和发布门槛。

延伸阅读

  • Salemi et al., “LaMP: When Large Language Models Meet Personalization” (七项检索增强个性化任务), 2024. aclanthology.org
    LaMP 提供七项个性化语言建模任务,并评估从用户画像中选择相关内容的检索方法。
  • European Union, “Regulation (EU) 2016/679 (General Data Protection Regulation)” (GDPR 官方文本), 2016. eur-lex.europa.eu
    GDPR 规定数据保护原则,以及访问、更正、删除和可携带等附条件权利。
  • European Data Protection Board, “Respect individuals' rights” (更正、删除和可携带权的实务指南), 2026. edpb.europa.eu
    EDPB 指南说明如何落实数据主体权利,包括机器可读的可携带格式及推断数据的适用边界。
  • OpenAI, “Memory FAQ” (记忆控制与删除的当前产品语义), 2026. help.openai.com
    该常见问题区分已保存记忆与聊天历史,并说明控制、删除、保留和来源移除行为。
  • Anthropic, “Use Claude's chat search and memory to build on previous context” (范围化记忆、暂停、重置与无痕聊天的当前产品语义), 2026. support.claude.com
    Anthropic 说明按项目隔离的记忆、搜索、暂停与重置行为、无痕聊天及来源关联的记忆管理。
  • Zhao et al., “Do LLMs Recognize Your Preferences? Evaluating Personalized Preference Following in LLMs” (显式、隐式与长上下文条件下的偏好遵循), 2025. proceedings.iclr.cc
    PrefEval 测试模型能否在不同主题和不断增长的上下文中遵循显式与隐式用户偏好。
  • Sun et al., “When Personalization Misleads: Understanding and Mitigating Hallucinations in Personalized LLMs” (个性化可能把事实回答拉向用户历史), 2026. aclanthology.org
    该研究衡量用户画像何时使事实回答偏离证据,转向个性化但错误的结论。
  • Balepur et al., “Language Models Don't Know What You Want: Evaluating Personalization in Deep Research Needs Real Users” (真实用户评测揭示合成用户与模型裁判遗漏的错误), 2026. aclanthology.org
    该研究比较真实用户判断、合成用户和模型裁判评测,识别代理评测遗漏的个性化错误。
  • Staab et al., “Beyond Memorization: Violating Privacy via Inference with Large Language Models” (从寻常文本画像,精度接近人类), 2024. arXiv:2310.07298
    大语言模型能以接近人类分析员的精度、远低于人力的成本,从寻常文本推断位置、收入与人口属性;记忆存储所持久化的,正是这种持续运行的推断。
  • Kirk et al., “The benefits, risks and bounds of personalizing the alignment of large language models to individuals” (个性化对齐的规范性地图), 2024. nature.com
    个性化对齐的规范性研究:把模型调向个人能换来什么,随之而来的画像与偏见强化风险是什么,以及为何需要明确的边界。
  • OpenAI, “Expanding on what we missed with sycophancy” (互动信号训练遇上用户记忆的地方), 2025. openai.com
    对谄媚模型更新的事后复盘,其中承认用户记忆在部分情况下加重了谄媚的影响。
  • Chen et al., “AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases” (针对智能体记忆与知识库的定向投毒), 2024. arXiv:2407.12784
    AgentPoison 评估对智能体长期记忆或检索知识库实施投毒的定向后门攻击。

评论

登录后评论