陆零云
52
0
现象
单请求跑 7B 模型时 nvidia-smi 显示占用 5GB 左右,服务端为了提升吞吐把 OLLAMA_NUM_PARALLEL 设成 4,结果并发一上来显存直接涨到 12GB,8GB 的卡立刻 OOM,接口返回 500,日志里是 CUDA out of memory。
原因
Ollama 的并行是按槽位预分配的,每个槽位都要独立一份 KV cache 和计算缓冲区,显存约等于模型权重加上槽位数乘以单槽 KV。OLLAMA_MAX_LOADED_M...
陆零云
44
0
现象
24G 显存的卡上用 vLLM 0.6.3 加载 7B 模型,进程启动十几秒就退出,日志最后一行是 ValueError: Free memory on device cuda:0 is less than desired GPU memory utilization。机器上没有别的训练任务,把张量并行改成 2 仍然一样。
原因
vLLM 默认按 gpu_memory_utilization=0.9 去预留整卡显存,权重、KV Cache、CUDA...
陆零云
68
0
先分清是显存不够还是内存不够
Ollama 加载模型失败时,日志里常见两种报错:一种来自 CUDA,提示 out of memory;另一种来自系统内核,只留下一个 killed。前者是显存装不下模型,后者是主机内存被吃光,处理方向完全不同。先看 ollama serve 的前台输出,同时用 nvidia-smi 观察加载瞬间的显存峰值。
ollama serve
nvidia-smi --query-gpu=memory.total,memory.use...