llama.cpp -ngl 40 在 4090 上显存不够 有几层该留给 CPU 怎么算

陆零云 37 0
13B 模型转成 Q4_K_M 大约 7.9GB,机器是单卡 4090,24GB 显存,按经验能整模型放上去。实际跑 llama.cpp 带 -ngl 40,加载到一半直接退出,日志最后一行 CUDA error: out of memory,nvidia-smi 里进程只占 780MB 就没了。 先算账:权重 7.9GB,剩下 16GB 去哪了。翻启动日志,KV cache 按 -c 4096 预分配,13B 模型 40 层,fp16 的 KV 大约 6...

LM Studio 本地服务 1234 端口被占用怎么换端口

陆零云 29 0
现象 Windows 上打开 LM Studio 的 Local Server,界面显示 Running,但用 curl 请求 http://127.0.0.1:1234/v1/models 报 Failed to connect to 127.0.0.1 port 1234: Connection refused。浏览器直接访问也一样,重启软件后短暂可用,过一会又连不上。 原因 1234 是 LM Studio 的默认端口,很容易和别的本地服务撞车,比如...