陆零云
12
0
阿里云 A10 24G 的包月价 2800 元,按小时 4.6 元,一个月 720 小时折 3312 元,包月省 500。账面上包月划算,但我这台机器一天只跑五小时推理,剩下十九小时在空转。
空转率得实测,不能按排班表估。排班表写的是任务时间,实际跑起来有排队、有重试、有忘了关的调试进程。用 nvidia-smi 每分钟采一次利用率,采一天:
nvidia-smi --query-gpu=utilization.gpu --format=csv -l 60...
陆零云
33
0
T4 16G 按天 45 元,按小时 2.2 元,包月 980 元。拿它跑 Stable Diffusion 1.5 批量出图,想先算清一张图多少钱,再决定租几天还是包月。
512 乘 512、20 步、批大小 4,实测一张 9.4 秒,一小时 383 张。一天跑满 24 小时是 9192 张,45 元除下来一张 0.0049 元,比想象中便宜。
实际跑不满。脚本要读提示词、写文件、传对象存储,GPU 利用率只有 68%,一天有效出图 6300 张,单张成...
陆零云
45
0
活动页的按小时价:3090 是 2.8 元一小时,A10 是 4.6 元,计费按秒但最少一小时。拿 3090 跑 7B 的 q4 量化模型做推理,先把一天的成本算清楚。
24 小时不停是 67.2 元,一个月 2016 元。同机房同卡包月 1400 元,按小时跑满整月反而贵 600 多。按小时适合间歇负载,不适合常驻服务。
业务侧实测:7B q4 单卡并发 8,输出 42 token/s,一天 5000 次请求、每次平均 400 token,累计只跑 13...
陆零云
41
0
现象
做推理和小规模微调,看中阿里云的 A10 实例,按量报价每小时几元到十几元,包月报价几千元;自己攒一台 3090 整机一万多,折下来每月几百元。两边差价明显,但真正跑起来又发现自建机器在稳定性、显存和机房网络上都有坑。
原因
A10 和 3090 的显存都是 24G,A10 的算力偏低但功耗和散热更适合机房长时间运行,云上按小时计费把硬件成本摊薄。3090 消费卡算力高、单价低,但没有企业级质保,长时间满载容易过热掉频,也缺少公网带宽和备案机房环境。...