阿里云 A10 24G 包月 2800 元 空转率怎么算才不亏

陆零云 12 0
阿里云 A10 24G 的包月价 2800 元,按小时 4.6 元,一个月 720 小时折 3312 元,包月省 500。账面上包月划算,但我这台机器一天只跑五小时推理,剩下十九小时在空转。 空转率得实测,不能按排班表估。排班表写的是任务时间,实际跑起来有排队、有重试、有忘了关的调试进程。用 nvidia-smi 每分钟采一次利用率,采一天: nvidia-smi --query-gpu=utilization.gpu --format=csv -l 60...

GPU T4 16G 一天 45 元 跑 SD 出一张图成本怎么算

陆零云 33 0
T4 16G 按天 45 元,按小时 2.2 元,包月 980 元。拿它跑 Stable Diffusion 1.5 批量出图,想先算清一张图多少钱,再决定租几天还是包月。 512 乘 512、20 步、批大小 4,实测一张 9.4 秒,一小时 383 张。一天跑满 24 小时是 9192 张,45 元除下来一张 0.0049 元,比想象中便宜。 实际跑不满。脚本要读提示词、写文件、传对象存储,GPU 利用率只有 68%,一天有效出图 6300 张,单张成...

GPU 按小时 3.2 元跑 7B 推理:一天 24 小时账单怎么算

陆零云 45 0
活动页的按小时价:3090 是 2.8 元一小时,A10 是 4.6 元,计费按秒但最少一小时。拿 3090 跑 7B 的 q4 量化模型做推理,先把一天的成本算清楚。 24 小时不停是 67.2 元,一个月 2016 元。同机房同卡包月 1400 元,按小时跑满整月反而贵 600 多。按小时适合间歇负载,不适合常驻服务。 业务侧实测:7B q4 单卡并发 8,输出 42 token/s,一天 5000 次请求、每次平均 400 token,累计只跑 13...

阿里云 GPU 服务器 A10 租一个月多少钱 和 3090 对比怎么选

陆零云 41 0
现象 做推理和小规模微调,看中阿里云的 A10 实例,按量报价每小时几元到十几元,包月报价几千元;自己攒一台 3090 整机一万多,折下来每月几百元。两边差价明显,但真正跑起来又发现自建机器在稳定性、显存和机房网络上都有坑。 原因 A10 和 3090 的显存都是 24G,A10 的算力偏低但功耗和散热更适合机房长时间运行,云上按小时计费把硬件成本摊薄。3090 消费卡算力高、单价低,但没有企业级质保,长时间满载容易过热掉频,也缺少公网带宽和备案机房环境。...