llama.cpp -ngl 40 在 4090 上显存不够 有几层该留给 CPU 怎么算

陆零云 36 0
13B 模型转成 Q4_K_M 大约 7.9GB,机器是单卡 4090,24GB 显存,按经验能整模型放上去。实际跑 llama.cpp 带 -ngl 40,加载到一半直接退出,日志最后一行 CUDA error: out of memory,nvidia-smi 里进程只占 780MB 就没了。 先算账:权重 7.9GB,剩下 16GB 去哪了。翻启动日志,KV cache 按 -c 4096 预分配,13B 模型 40 层,fp16 的 KV 大约 6...

Ollama keep_alive | 模型 5 分钟后卸载首字延迟怎么保住

陆零云 34 0
内网知识问答用的 Ollama,空转 25 分钟后再问一句,首字要等 9.2 秒。ollama ps 里已经看不到模型,日志有一条 model unloaded,默认 keep_alive 是 5 分钟,到点就把权重从显存里卸了。 第一反应是模型太大,换了个 3B 的,首字还是 8 秒多,只是加载快了一点点。又试在启动命令后面加 --keep-alive 24h,Ollama 0.3 不认这个参数,进程起来后 keep_alive 还是 5m。 正确的位置...

vLLM 0.6 并发到 10 就开始排队 | 24G 显存 batch 怎么配

陆零云 49 0
私有化部署 Qwen2.5-7B-Instruct,单张 4090 24G,vLLM 0.6.3 起服务。压测 5 并发平均首字 1.2 秒,到 10 并发请求全部进 waiting 队列,TTFT 涨到 9 秒,nvidia-smi 显存 23.1G,GPU 利用率 100%。 先把 max-model-len 从默认 32768 降到 8192,显存回落到 20.4G,排队一点没缓解,说明瓶颈不是上下文长度,是 KV cache 块不够。gpu_mem...