4090 显卡在 Docker 容器里 nvidia-smi 报 no devices found 该怎么挂载 陆零云 2026-11-09 16:09:27 43 0 现象 宿主机装了 4090 驱动,nvidia-smi 能正常列出显卡,但执行 docker run --gpus all 进入容器后,nvidia-smi 报 Failed to initialize NVML: no devices found;不指定 --gpus 时又提示 could not select device driver with capabilities。 原因 宿主机驱动正常不代表容器能用。Docker 需要 nvidia-cont...
Ollama 换小模型后 nvidia-smi 显示显存还被大模型占着不释放 怎么彻底清掉 陆零云 2026-11-09 11:11:27 57 0 现象:70B 模型换成 7B,显存还剩 90% 不释放 本地跑 Ollama,先拉了 70B 模型占了 40GB 显存,跑完换 7B 小模型,nvidia-smi 一看显存还被那个大模型的 CUDA context 占着,只腾出了 3GB。重启 ollama 服务也没用,内存泄漏一样一直堆,最后只能 kill -9 所有 ollama 进程。 原因:Ollama 默认让模型留在内存里 Ollama 有个 keep_alive 参数,默认 5 分钟,模型跑...
本地跑大模型报 CUDA out of memory 怎么解决 陆零云 2026-11-07 16:08:12 44 0 现象:加载能过,生成到一半就崩 本地用 transformers 或 vLLM 加载 7B 模型,终端抛出 torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 2.50 GiB。8GB 显存的显卡跑 7B 几乎必现;也有加载正常、对话几轮后上下文变长才崩的情况。 原因:三部分显存叠加 模型权重:fp16 下每十亿参数约 2GB,7B 光权重就要 14GB,已经超过多数消费...