陆零云
29
0
客服对话到第 18 轮开始答非所问,问退款政策,模型回了一段无关的产品介绍。把发给接口的 messages 打出来,第一条不是 system,系统提示在裁剪历史时被 pop 掉了。代码写的是 while count(messages) > 4096: messages.pop(0),system 恰好在索引 0。
改成保留索引 0 再裁,新的问题来了,最近三轮被裁掉,模型记不住用户刚说的订单号。因为从头部删消息,越新的越容易被误伤。也试过从尾部删,直...
陆零云
30
0
在线客服的多轮会话存在 Redis 里,messages 一条条往后追加,用户聊到 20 轮左右,单次请求的 input 涨到 12000 token。网关对单请求做了 8192 的限制,超过就返回 400,错误码 context_length_exceeded。
最早的方案是硬截断,只保留最近 6 轮。问题是用户第一句说的订单号和故障现象被扔了,后面回答开始瞎猜,人工接管率涨了一截。
改成摘要压缩。阈值定在两个条件任一满足:累计 token 超过 600...