Ollama num_ctx 默认 2048 六千字文档只读到一半怎么改

陆零云 35 0
本地 Ollama 0.3 跑 qwen2.5:7b,把 6000 字的会议记录整段贴进去问最后定了哪三件事,回答只覆盖前三分之一,后面的决议完全没提。第一反应是模型的长上下文能力不行。 打开 debug 看请求日志,prompt_eval_count 只有 2048,输入根本没进完。Ollama 的 num_ctx 默认就是 2048,超出部分静默截断,接口不报错,表现就是读了一半。 试过在 Modelfile 里写 num_ctx 8192 再 cre...

Ollama keep_alive | 模型 5 分钟后卸载首字延迟怎么保住

陆零云 34 0
内网知识问答用的 Ollama,空转 25 分钟后再问一句,首字要等 9.2 秒。ollama ps 里已经看不到模型,日志有一条 model unloaded,默认 keep_alive 是 5 分钟,到点就把权重从显存里卸了。 第一反应是模型太大,换了个 3B 的,首字还是 8 秒多,只是加载快了一点点。又试在启动命令后面加 --keep-alive 24h,Ollama 0.3 不认这个参数,进程起来后 keep_alive 还是 5m。 正确的位置...

Ollama 0.3.12 输出循环重复同一句:temperature 和惩罚项怎么调

陆零云 50 0
本地跑 Ollama 0.3.12,模型 qwen2.5:7b,做报错原因解释。同一段日志问下去,回答到第三段开始重复「这个问题的根本原因在于配置不当」,连着出现九次,一共 1800 个 token,后面全是废的。 查参数,temperature 当时是 0.8,top_p 0.9,repeat_penalty 用的默认 1.1。把 temperature 降到 0.2,重复次数少了,但回答变得很短,问什么都只回一句,没法用。 又把 repeat_pena...

Ollama 跑 7B 显存不够一直 OOM:q4_K_M 到底该不该换

陆零云 73 0
一台 8G 显存的 3070 上跑 Ollama 0.3.12,拉的是 qwen2.5:7b,默认标签给的是 q8_0。模型能加载,聊到第三轮就断,docker logs 里是 llama runner process has terminated: CUDA error: out of memory,nvidia-smi 看峰值已经贴到 7900MiB。 算一下账:7B 的 q8_0 权重约 8.1GB,本身就超过 8G 卡,Ollama 还要按 num...

Ollama 0.3 开 OLLAMA_NUM_PARALLEL 后显存直接翻倍怎么调回

陆零云 52 0
现象 单请求跑 7B 模型时 nvidia-smi 显示占用 5GB 左右,服务端为了提升吞吐把 OLLAMA_NUM_PARALLEL 设成 4,结果并发一上来显存直接涨到 12GB,8GB 的卡立刻 OOM,接口返回 500,日志里是 CUDA out of memory。 原因 Ollama 的并行是按槽位预分配的,每个槽位都要独立一份 KV cache 和计算缓冲区,显存约等于模型权重加上槽位数乘以单槽 KV。OLLAMA_MAX_LOADED_M...

Ollama pull 卡在 pulling manifest 一直不动怎么换源重试

陆零云 46 0
现象 执行 ollama pull qwen2.5:7b,终端输出 pulling manifest 之后光标一直停住,十分钟没有任何进度,按 Ctrl+C 再来一次还是卡在同一行。换一个小模型能拉下来,日志里没有报错,只是网络请求一直不返回结果。 原因 pull 分两步:先取 manifest 清单,再按 digest 分层下载。卡在第一步说明与 registry.ollama.ai 的 HTTPS 请求没有完成,常见原因是跨境链路握手超时、本机配了失效...

Ollama 跑长文档报 maximum context length 超限该怎么截断输入

陆零云 41 0
现象 文档问答接口把整篇 PDF 拼进 prompt,调用时报 This model's maximum context length is 32768 tokens. However, you requested 41000 tokens。模型卡片写的是 128k,实际却在 32768 就被拒绝。 原因 128k 是模型结构支持的上限,不等于当前部署的配置。推理框架启动时用 max_model_len 指定实际窗口,默认值往往只有 4k 或 32k。另一...

Windows 上 Ollama 启动后 11434 端口连不上 怎么改 OLLAMA_HOST 绑定 0.0.0.0

陆零云 47 0
现象:Windows 上 Ollama 只有本机 localhost 能访问 Windows 上装了 Ollama,本机 http://localhost:11434 能返回 OK,但同一局域网里其他机器连不上 11434 端口。netstat 看端口只绑定在 127.0.0.1 而不是 0.0.0.0。默认 Ollama 只监听回环地址,需要手动改环境变量才能对外暴露。 改 OLLAMA_HOST 环境变量 Windows PowerShell 里执行:...

Ollama 换小模型后 nvidia-smi 显示显存还被大模型占着不释放 怎么彻底清掉

陆零云 56 0
现象:70B 模型换成 7B,显存还剩 90% 不释放 本地跑 Ollama,先拉了 70B 模型占了 40GB 显存,跑完换 7B 小模型,nvidia-smi 一看显存还被那个大模型的 CUDA context 占着,只腾出了 3GB。重启 ollama 服务也没用,内存泄漏一样一直堆,最后只能 kill -9 所有 ollama 进程。 原因:Ollama 默认让模型留在内存里 Ollama 有个 keep_alive 参数,默认 5 分钟,模型跑...

云服务器部署 Ollama 后 11434 端口连不上,OLLAMA_HOST 配置怎么改

陆零云 48 0
现象:本机接口正常,公网 IP 访问 11434 被 refusal 在云服务器上 ollama pull 拉完模型,服务器里 curl http://127.0.0.1:11434/api/tags 一切正常,回到自己电脑用公网 IP 访问却一直 connection refused。多数人第一反应是装错了,其实是 Ollama 默认只监听 127.0.0.1,外网请求根本没到进程,和模型本身无关。 第一步:确认实际监听地址 先看端口绑在哪个地址上,1...