多轮对话涨到 20 轮 max_tokens 4096:摘要压缩阈值怎么定

在线客服的多轮会话存在 Redis 里,messages 一条条往后追加,用户聊到 20 轮左右,单次请求的 input 涨到 12000 token。网关对单请求做了 8192 的限制,超过就返回 400,错误码 context_length_exceeded。

最早的方案是硬截断,只保留最近 6 轮。问题是用户第一句说的订单号和故障现象被扔了,后面回答开始瞎猜,人工接管率涨了一截。

改成摘要压缩。阈值定在两个条件任一满足:累计 token 超过 6000,或者轮数超过 12。触发后把最早的一半消息交给 gpt-4o-mini 做摘要,控制在 300 token 以内,摘要和最近 6 轮一起作为新的上下文。

token 用 tiktoken 的 cl100k_base 数,不能按字数估。中文一个字大约 0.6 到 1 个 token,代码和数字差别更大,按字数估经常低估三成,阈值到了才发现已经超。

摘要 prompt 里要求保留订单号、金额、报错原文和时间,明确说不要写建议和总结。第一版摘要爱加「用户情绪激动」这类判断,放进上下文后模型跟着变得很客气,回答变长。

也试过每轮都压缩,成本翻倍,回答质量没提升,还因为摘要太碎丢了上下文。最后只在阈值触发时压,一次会话大概压两次。

摘要本身也要存 Redis,和原始消息分开,下次触发时在旧摘要上继续压。不要把摘要再喂给摘要,压三次以后关键信息基本就没了。

验证跑 30 个历史会话回放,压缩前平均 11800 token,压缩后 3900;人工看 30 条回答,指代错误的从 7 条降到 2 条。max_tokens 输出还是给 4096,别把预算全给输入。

import tiktoken
enc = tiktoken.get_encoding("cl100k_base")

def tok(msgs):
    return sum(len(enc.encode(m["content"]))
               for m in msgs)

def need_compress(msgs):
    return len(msgs) > 12 or tok(msgs) > 6000

您可以还会对下面的文章感兴趣: