现象
文档问答接口把整篇 PDF 拼进 prompt,调用时报 This model's maximum Context length is 32768 tokens. However, you requested 41000 tokens。模型卡片写的是 128k,实际却在 32768 就被拒绝。
原因
128k 是模型结构支持的上限,不等于当前部署的配置。推理框架启动时用 max_model_len 指定实际窗口,默认值往往只有 4k 或 32k。另一方面,请求里的 token 数不只来自正文,系统提示、历史对话、工具描述都会计入,多轮对话累积后很容易超限。
解决步骤
第一步,先量出真实 token 数。用与模型匹配的 tokenizer 统计每条消息,不要用字符数估算。中文一个字大约 0.6 到 1 个 token,代码和英文缩写更费。
from transformers import AutoTokenizer
tk = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-7B-Instruct")
n = len(tk.encode(open("doc.txt").read()))
print(n, tk.model_max_length)
第二步,按预算切分而不是硬截断。给输出预留 1024 token,历史对话只保留最近三轮,长文档按语义段落切块后分别总结,再把摘要拼回最终 prompt。硬截断容易把关键结论切掉。
第三步,同步调整服务端窗口。如果显存允许,启动时把 max_model_len 调到 65536 并观察 KV cache 占用;显存不足就维持原值,靠切分解决,不要只改客户端参数。
验证
用同一篇长文重跑,接口返回 200,usage 里的 prompt_tokens 小于窗口上限且留有余量;再问一个只出现在文末的问题,答案正确,说明切分没有丢内容。
小结
上下文超限要区分模型能力和部署配置。先统计 token,再按预算切分,最后才考虑扩窗口,顺序反了会白折腾显存。
