Ollama 跑长文档报 maximum context length 超限该怎么截断输入

陆零云 42 0
现象 文档问答接口把整篇 PDF 拼进 prompt,调用时报 This model's maximum context length is 32768 tokens. However, you requested 41000 tokens。模型卡片写的是 128k,实际却在 32768 就被拒绝。 原因 128k 是模型结构支持的上限,不等于当前部署的配置。推理框架启动时用 max_model_len 指定实际窗口,默认值往往只有 4k 或 32k。另一...