Ollama 跑 7B 显存不够一直 OOM:q4_K_M 到底该不该换

陆零云 73 0
一台 8G 显存的 3070 上跑 Ollama 0.3.12,拉的是 qwen2.5:7b,默认标签给的是 q8_0。模型能加载,聊到第三轮就断,docker logs 里是 llama runner process has terminated: CUDA error: out of memory,nvidia-smi 看峰值已经贴到 7900MiB。 算一下账:7B 的 q8_0 权重约 8.1GB,本身就超过 8G 卡,Ollama 还要按 num...