多轮对话涨到 20 轮 max_tokens 4096:摘要压缩阈值怎么定 陆零云 2026-11-09 20:48:53 30 0 在线客服的多轮会话存在 Redis 里,messages 一条条往后追加,用户聊到 20 轮左右,单次请求的 input 涨到 12000 token。网关对单请求做了 8192 的限制,超过就返回 400,错误码 context_length_exceeded。 最早的方案是硬截断,只保留最近 6 轮。问题是用户第一句说的订单号和故障现象被扔了,后面回答开始瞎猜,人工接管率涨了一截。 改成摘要压缩。阈值定在两个条件任一满足:累计 token 超过 600...