阿里云 A10 24G 的包月价 2800 元,按小时 4.6 元,一个月 720 小时折 3312 元,包月省 500。账面上包月划算,但我这台机器一天只跑五小时推理,剩下十九小时在空转。
空转率得实测,不能按排班表估。排班表写的是任务时间,实际跑起来有排队、有重试、有忘了关的调试进程。用 nvidia-smi 每分钟采一次利用率,采一天:
nvidia-smi --query-gpu=utilization.gpu --format=csv -l 60
一千四百多条记录,利用率高于 30% 的只有 312 条,占 21%。也就是说 79% 的时间这张卡在待机,包月付的钱里有两千多是买闲置。
按小时算一遍。一天 5 小时乘 4.6 元是 23 元,一个月 690 元,加上系统盘 50G 一天 0.7 元、弹性 IP 闲置 0.5 元,合计 726 元。比包月 2800 少 2074。
按小时也有坑。计费按秒但最少一小时,任务跑 20 分钟也收一小时;关机后系统盘和 IP 继续计费;镜像和快照另算。这些加起来一天 1.2 元,一个月 36 元,不影响结论。
试过竞价实例,同卡 0.9 元一小时,便宜八成,但两周被回收三次,最长一次跑了 47 分钟。7B 模型的批量推理可以重跑,回收损失能接受;在线服务不行,一次中断就是一次故障。
最后改成按小时加定时关机。任务队列空了自动停,早上 9 点定时开,一个月账单稳定在 760 上下。省下的两千块够再开一台 4 核 8G 的 CPU 机器跑预处理。
判断线定在利用率 50%。高于 50% 包月,30% 到 50% 包月加定时开关,低于 30% 一律按小时。先把一周的真实利用率测出来,再谈哪种计费划算。
