本地 Ollama 0.3 跑 qwen2.5:7b,把 6000 字的会议记录整段贴进去问最后定了哪三件事,回答只覆盖前三分之一,后面的决议完全没提。第一反应是模型的长上下文能力不行。
打开 debug 看请求日志,prompt_eval_Count 只有 2048,输入根本没进完。Ollama 的 num_ctx 默认就是 2048,超出部分静默截断,接口不报错,表现就是读了一半。
试过在 Modelfile 里写 num_ctx 8192 再 create,重启服务后又被拉回 2048。原因是请求没带 options 时走服务端默认,Modelfile 那层被覆盖,改配置文件也没用。
改成请求体里显式带 options,num_ctx 设 8192,num_batch 设 512。显存从 5.1GB 涨到 7.8GB,24GB 的卡扛得住。num_batch 不调的话,长 prompt 的首 token 延迟从 1.2 秒涨到 3.4 秒。
上下文也不是越大越好。8192 下同一段输入的回答开始夹带无关细节,把 num_ctx 收到 6144,刚好覆盖 6000 字加提问,输出反而更聚焦。
num_ctx 只是窗口大小,不等于输出长度。回答写到 300 字突然停住,是另一个参数 num_predict 在限制,默认 128,一起改成 1024,长回答才完整。
确认:prompt_eval_count 从 2048 变成 5980,回答里三件决议全部命中;连续问 5 个问题,显存峰值 8.2GB 不涨;换回默认值复测,同样的输入又只答前三分之一。
{
"model": "qwen2.5:7b",
"messages": [{"role": "user", "content": doc}],
"options": {"num_ctx": 8192, "num_batch": 512},
"stream": false
} 