陆零云
2026-11-11 10:21:09
35
0
本地 Ollama 0.3 跑 qwen2.5:7b,把 6000 字的会议记录整段贴进去问最后定了哪三件事,回答只覆盖前三分之一,后面的决议完全没提。第一反应是模型的长上下文能力不行。
打开 debug 看请求日志,prompt_eval_count 只有 2048,输入根本没进完。Ollama 的 num_ctx 默认就是 2048,超出部分静默截断,接口不报错,表现就是读了一半。
试过在 Modelfile 里写 num_ctx 8192 再 cre...
陆零云
2026-11-11 09:43:27
34
0
内网知识问答用的 Ollama,空转 25 分钟后再问一句,首字要等 9.2 秒。ollama ps 里已经看不到模型,日志有一条 model unloaded,默认 keep_alive 是 5 分钟,到点就把权重从显存里卸了。
第一反应是模型太大,换了个 3B 的,首字还是 8 秒多,只是加载快了一点点。又试在启动命令后面加 --keep-alive 24h,Ollama 0.3 不认这个参数,进程起来后 keep_alive 还是 5m。
正确的位置...
陆零云
2026-11-09 20:36:15
50
0
本地跑 Ollama 0.3.12,模型 qwen2.5:7b,做报错原因解释。同一段日志问下去,回答到第三段开始重复「这个问题的根本原因在于配置不当」,连着出现九次,一共 1800 个 token,后面全是废的。
查参数,temperature 当时是 0.8,top_p 0.9,repeat_penalty 用的默认 1.1。把 temperature 降到 0.2,重复次数少了,但回答变得很短,问什么都只回一句,没法用。
又把 repeat_pena...
陆零云
2026-11-09 20:08:11
73
0
一台 8G 显存的 3070 上跑 Ollama 0.3.12,拉的是 qwen2.5:7b,默认标签给的是 q8_0。模型能加载,聊到第三轮就断,docker logs 里是 llama runner process has terminated: CUDA error: out of memory,nvidia-smi 看峰值已经贴到 7900MiB。
算一下账:7B 的 q8_0 权重约 8.1GB,本身就超过 8G 卡,Ollama 还要按 num...
陆零云
2026-11-09 16:40:22
52
0
现象
单请求跑 7B 模型时 nvidia-smi 显示占用 5GB 左右,服务端为了提升吞吐把 OLLAMA_NUM_PARALLEL 设成 4,结果并发一上来显存直接涨到 12GB,8GB 的卡立刻 OOM,接口返回 500,日志里是 CUDA out of memory。
原因
Ollama 的并行是按槽位预分配的,每个槽位都要独立一份 KV cache 和计算缓冲区,显存约等于模型权重加上槽位数乘以单槽 KV。OLLAMA_MAX_LOADED_M...
陆零云
2026-11-09 15:30:01
46
0
现象
执行 ollama pull qwen2.5:7b,终端输出 pulling manifest 之后光标一直停住,十分钟没有任何进度,按 Ctrl+C 再来一次还是卡在同一行。换一个小模型能拉下来,日志里没有报错,只是网络请求一直不返回结果。
原因
pull 分两步:先取 manifest 清单,再按 digest 分层下载。卡在第一步说明与 registry.ollama.ai 的 HTTPS 请求没有完成,常见原因是跨境链路握手超时、本机配了失效...
陆零云
2026-11-09 15:08:21
41
0
现象
文档问答接口把整篇 PDF 拼进 prompt,调用时报 This model's maximum context length is 32768 tokens. However, you requested 41000 tokens。模型卡片写的是 128k,实际却在 32768 就被拒绝。
原因
128k 是模型结构支持的上限,不等于当前部署的配置。推理框架启动时用 max_model_len 指定实际窗口,默认值往往只有 4k 或 32k。另一...
陆零云
2026-11-09 11:33:07
47
0
现象:Windows 上 Ollama 只有本机 localhost 能访问
Windows 上装了 Ollama,本机 http://localhost:11434 能返回 OK,但同一局域网里其他机器连不上 11434 端口。netstat 看端口只绑定在 127.0.0.1 而不是 0.0.0.0。默认 Ollama 只监听回环地址,需要手动改环境变量才能对外暴露。
改 OLLAMA_HOST 环境变量
Windows PowerShell 里执行:...
陆零云
2026-11-09 11:11:27
56
0
现象:70B 模型换成 7B,显存还剩 90% 不释放
本地跑 Ollama,先拉了 70B 模型占了 40GB 显存,跑完换 7B 小模型,nvidia-smi 一看显存还被那个大模型的 CUDA context 占着,只腾出了 3GB。重启 ollama 服务也没用,内存泄漏一样一直堆,最后只能 kill -9 所有 ollama 进程。
原因:Ollama 默认让模型留在内存里
Ollama 有个 keep_alive 参数,默认 5 分钟,模型跑...
陆零云
2026-11-08 23:03:04
48
0
现象:本机接口正常,公网 IP 访问 11434 被 refusal
在云服务器上 ollama pull 拉完模型,服务器里 curl http://127.0.0.1:11434/api/tags 一切正常,回到自己电脑用公网 IP 访问却一直 connection refused。多数人第一反应是装错了,其实是 Ollama 默认只监听 127.0.0.1,外网请求根本没到进程,和模型本身无关。
第一步:确认实际监听地址
先看端口绑在哪个地址上,1...