max_tokens 4096 截断后系统提示先丢 | 消息顺序怎么保

陆零云 29 0
客服对话到第 18 轮开始答非所问,问退款政策,模型回了一段无关的产品介绍。把发给接口的 messages 打出来,第一条不是 system,系统提示在裁剪历史时被 pop 掉了。代码写的是 while count(messages) > 4096: messages.pop(0),system 恰好在索引 0。 改成保留索引 0 再裁,新的问题来了,最近三轮被裁掉,模型记不住用户刚说的订单号。因为从头部删消息,越新的越容易被误伤。也试过从尾部删,直...

多轮对话涨到 20 轮 max_tokens 4096:摘要压缩阈值怎么定

陆零云 30 0
在线客服的多轮会话存在 Redis 里,messages 一条条往后追加,用户聊到 20 轮左右,单次请求的 input 涨到 12000 token。网关对单请求做了 8192 的限制,超过就返回 400,错误码 context_length_exceeded。 最早的方案是硬截断,只保留最近 6 轮。问题是用户第一句说的订单号和故障现象被扔了,后面回答开始瞎猜,人工接管率涨了一截。 改成摘要压缩。阈值定在两个条件任一满足:累计 token 超过 600...