GPU 按小时 3.2 元跑 7B 推理:一天 24 小时账单怎么算

活动页的按小时价:3090 是 2.8 元一小时,A10 是 4.6 元,计费按秒但最少一小时。拿 3090 跑 7B 的 q4 量化模型做推理,先把一天的成本算清楚。

24 小时不停是 67.2 元,一个月 2016 元。同机房同卡包月 1400 元,按小时跑满整月反而贵 600 多。按小时适合间歇负载,不适合常驻服务。

业务侧实测:7B q4 单卡并发 8,输出 42 token/s,一天 5000 次请求、每次平均 400 token,累计只跑 13 小时。剩下 11 小时空转,这段时间按小时计费是纯浪费。

加一个定时关机,晚上 11 点到早上 8 点停机,一天只跑 13 小时,36.4 元,一个月 1092 元,比包月便宜 300。

停机不等于不计费。系统盘 50G 一天 0.7 元,弹性公网 IP 闲置一天 0.5 元,加起来一个月 36 元。这笔钱在「其他费用」里,第一次看账单容易懵。

忘了关机的代价算过。国庆前调完没关,7 天 470 元,账单里九成是 GPU 时长。之后加了预算告警,日消费超过 50 元发短信。

监控 GPU 利用率一条命令够用,空转时低于 5% 就该关机:

nvidia-smi --query-gpu=utilization.gpu,memory.used --format=csv -l 10

也试过竞价实例,同卡 0.9 元一小时,便宜三分之二,但被回收过两次,一次只跑了 40 分钟。推理服务对中断敏感,竞价只适合离线批处理。

按使用时长分:一天超过 16 小时就包月,8 到 16 小时按小时加定时关机,低于 8 小时用竞价。先记一周真实时长再决定,别按峰值估。

您可以还会对下面的文章感兴趣: