Ollama 跑长文档报 maximum context length 超限该怎么截断输入

现象

文档问答接口把整篇 PDF 拼进 prompt,调用时报 This model's maximum Context length is 32768 tokens. However, you requested 41000 tokens。模型卡片写的是 128k,实际却在 32768 就被拒绝。

原因

128k 是模型结构支持的上限,不等于当前部署的配置。推理框架启动时用 max_model_len 指定实际窗口,默认值往往只有 4k 或 32k。另一方面,请求里的 token 数不只来自正文,系统提示、历史对话、工具描述都会计入,多轮对话累积后很容易超限。

解决步骤

第一步,先量出真实 token 数。用与模型匹配的 tokenizer 统计每条消息,不要用字符数估算。中文一个字大约 0.6 到 1 个 token,代码和英文缩写更费。

from transformers import AutoTokenizer
tk = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-7B-Instruct")
n = len(tk.encode(open("doc.txt").read()))
print(n, tk.model_max_length)

第二步,按预算切分而不是硬截断。给输出预留 1024 token,历史对话只保留最近三轮,长文档按语义段落切块后分别总结,再把摘要拼回最终 prompt。硬截断容易把关键结论切掉。

第三步,同步调整服务端窗口。如果显存允许,启动时把 max_model_len 调到 65536 并观察 KV cache 占用;显存不足就维持原值,靠切分解决,不要只改客户端参数。

验证

用同一篇长文重跑,接口返回 200,usage 里的 prompt_tokens 小于窗口上限且留有余量;再问一个只出现在文末的问题,答案正确,说明切分没有丢内容。

小结

上下文超限要区分模型能力和部署配置。先统计 token,再按预算切分,最后才考虑扩窗口,顺序反了会白折腾显存。

您可以还会对下面的文章感兴趣: