客服对话到第 18 轮开始答非所问,问退款政策,模型回了一段无关的产品介绍。把发给接口的 messages 打出来,第一条不是 system,系统提示在裁剪历史时被 pop 掉了。代码写的是 while Count(messages) > 4096: messages.pop(0),system 恰好在索引 0。
改成保留索引 0 再裁,新的问题来了,最近三轮被裁掉,模型记不住用户刚说的订单号。因为从头部删消息,越新的越容易被误伤。也试过从尾部删,直接删掉当前问题,接口返回 400。
现在把 system 单独存一个变量,每次请求重新拼。预算分配是 system 固定不超过 800 token,摘要占 400,最近 6 轮对话按从新到旧装,装到 4096 减去输出预留 600 为止。超出部分的旧对话压缩成一段摘要,放在 system 之后、最近对话之前。摘要本身也会膨胀,超过 400 token 就再压一次,压完只留结论和数字。
def build(system, turns, budget=4096):
msgs = [{"role": "system", "content": system}]
used = count(system)
for m in reversed(turns):
n = count(m["content"])
if used + n > budget - 600:
break
msgs.insert(1, m)
used += n
return msgs
顺序必须是 system、摘要、最近对话,摘要用 user 角色并标注「此前对话摘要」。试过把摘要放 system 里,模型把摘要当成指令,开始复述摘要内容。如果用户中途改了订单号,摘要里的旧单号要标成过期,否则模型会拿旧号回答。
改完跑 50 轮长对话,系统提示再没丢过,订单号在第 40 轮还能正确引用。验证方法很土,每轮把 messages 里 role 序列打印出来,第一项必须是 system,最后一项必须是当前 user。这套拼接逻辑封装成一个函数,所有入口都走它,避免有人另写一份又漏掉 system。
