现象
做推理和小规模微调,看中阿里云的 A10 实例,按量报价每小时几元到十几元,包月报价几千元;自己攒一台 3090 整机一万多,折下来每月几百元。两边差价明显,但真正跑起来又发现自建机器在稳定性、显存和机房网络上都有坑。
原因
A10 和 3090 的显存都是 24G,A10 的算力偏低但功耗和散热更适合机房长时间运行,云上按小时计费把硬件成本摊薄。3090 消费卡算力高、单价低,但没有企业级质保,长时间满载容易过热掉频,也缺少公网带宽和备案机房环境。
解决步骤
第一步,先算每月真实使用小时数。按量计费只有在用得少时才便宜,每天跑满八小时以上,包月通常更划算,可以先算临界点。
hour_price = 6 # A10 按量约 5-10 元/小时,取中间值
month_price = 3000 # 包月区间下限,以活动页为准
print(f"临界点 {month_price/hour_price:.0f} 小时/月")
print(f"每天跑 8 小时,月按量约 {8*30*hour_price} 元")
第二步,按显存需求筛型号。7B 模型 FP16 推理大约要 15G 以上显存,24G 卡刚好够用;要跑 13B 或更长上下文,就得考虑量化或者多卡。先确定显存下限,再比算力,别被参数表上的核心数带偏。
第三步,把隐性成本算进去。自建机器要考虑电费、带宽、机位、故障更换和运维时间;云上则要考虑数据上传下载的流量费和存储费。短周期项目直接用云,长期稳定跑满再考虑自建或托管。
验证
跑一周后看监控:显存占用稳定在 20G 以内,GPU 利用率符合预期,账单按小时累计与预估误差小于 15%,没有出现因抢占或迁移导致的任务中断,说明计费方式选对了。
小结
短时用云、长期自建是基本判断。先按显存选卡,再按小时数选计费方式,最后把流量和运维成本补齐再决策。
