多轮对话涨到 20 轮 max_tokens 4096:摘要压缩阈值怎么定

陆零云 30 0
在线客服的多轮会话存在 Redis 里,messages 一条条往后追加,用户聊到 20 轮左右,单次请求的 input 涨到 12000 token。网关对单请求做了 8192 的限制,超过就返回 400,错误码 context_length_exceeded。 最早的方案是硬截断,只保留最近 6 轮。问题是用户第一句说的订单号和故障现象被扔了,后面回答开始瞎猜,人工接管率涨了一截。 改成摘要压缩。阈值定在两个条件任一满足:累计 token 超过 600...