陆零云
52
0
现象
单请求跑 7B 模型时 nvidia-smi 显示占用 5GB 左右,服务端为了提升吞吐把 OLLAMA_NUM_PARALLEL 设成 4,结果并发一上来显存直接涨到 12GB,8GB 的卡立刻 OOM,接口返回 500,日志里是 CUDA out of memory。
原因
Ollama 的并行是按槽位预分配的,每个槽位都要独立一份 KV cache 和计算缓冲区,显存约等于模型权重加上槽位数乘以单槽 KV。OLLAMA_MAX_LOADED_M...
陆零云
38
0
现象
在单张 24G 卡上微调 7B 模型,per_device_train_batch_size 设 8 能跑,改成 16 后训练几十步就抛 torch.cuda.OutOfMemoryError,提示 Tried to allocate 2.00 GiB。显存已经占到 23G。
原因
训练显存由权重、梯度、优化器状态和激活四块组成。7B 全参微调时权重和梯度各约 14G,优化器状态约 56G,单卡放不下,实际能跑的是 LoRA。batch_size 翻...
陆零云
44
0
现象
24G 显存的卡上用 vLLM 0.6.3 加载 7B 模型,进程启动十几秒就退出,日志最后一行是 ValueError: Free memory on device cuda:0 is less than desired GPU memory utilization。机器上没有别的训练任务,把张量并行改成 2 仍然一样。
原因
vLLM 默认按 gpu_memory_utilization=0.9 去预留整卡显存,权重、KV Cache、CUDA...
陆零云
68
0
先分清是显存不够还是内存不够
Ollama 加载模型失败时,日志里常见两种报错:一种来自 CUDA,提示 out of memory;另一种来自系统内核,只留下一个 killed。前者是显存装不下模型,后者是主机内存被吃光,处理方向完全不同。先看 ollama serve 的前台输出,同时用 nvidia-smi 观察加载瞬间的显存峰值。
ollama serve
nvidia-smi --query-gpu=memory.total,memory.use...