A100(80GB)低至6.68元/小时,40GB版本低至3.28元/小时,A800为5.98元/小时;海外H100的价格被压到每小时2美元。更便宜的还有个人闲置显卡:一些为玩《黑神话:悟空》购买RTX 4090的玩家,把空闲时段挂到平台上,租价约为每小时1元。
这些价格来自36氪对GPU租赁市场的报道。对预算有限的中小企业来说,GPU算力的使用门槛确实低了。但下单前要先回答一个问题:这块卡一旦掉线,会不会直接影响业务?
低价节点适合干什么
闲置GPU通常更适合可暂停、可重试、对完成时间不敏感的任务。例如批量数据处理、渲染、模型测试,以及能够定期保存检查点的训练任务。节点临时中断,最多损失一段运行时间,重新接续即可。
实时推理、高并发API和有明确交付时间的训练任务,则要谨慎。此类业务依赖持续在线的算力,单看显卡型号和小时价格远远不够,还要确认节点可用性、故障响应和服务等级协议。
一个简单的判断方法是:任务失败后,如果团队可以接受重新运行,就能考虑低价闲置算力;如果中断会影响客户服务、交付进度或线上收入,应优先选择有运维和服务承诺的平台。
先弄清楚算力从哪里来
租赁页面上写着同一款GPU,背后的服务可能完全不同。
有些算力来自服务商统一建设和运维的集群,通常会提供相对标准的网络、存储和软件环境;另一些由平台撮合个人或分散节点,价格更低,但机器配置、在线时长和维护能力可能存在差异。还有一些供应商并不直接持有设备,只负责转售或调度其他平台的资源。
询价时不要只问“4090多少钱一小时”,至少还要确认以下信息:
- GPU是否独占,显存是否完整可用;
- 节点中断后能否恢复,检查点由谁保存;
- CUDA、驱动和框架版本能否指定;
- 存储、带宽和数据传输是否另外计费;
- 出现故障后由谁处理,是否有明确响应渠道;
- 任务结束后,数据和系统盘如何清理。
这些问题如果没有明确答案,再低的报价也只能当作测试资源,不能直接承载核心业务。
别让训练跑到一半才发现环境不兼容
中小团队最容易低估的是迁移和调试成本。
同一份代码换到另一台GPU上,可能遇到CUDA版本、驱动、依赖库或显存配置不一致。租金看起来省了,工程师却要花时间重新安装环境、排查报错。节点频繁更换时,这类成本还会反复出现。
正式租用前,可以先跑一个小任务:检查环境安装时间、数据上传速度、显存占用、训练稳定性和检查点恢复。确认流程跑通后,再扩大任务规模。镜像、依赖文件和启动脚本也应由团队自己保存,避免每换一个节点就从头配置。
训练任务还要缩短检查点间隔。个人节点或分散节点一旦离线,最近一次保存之后的计算都可能白费。是否值得使用低价算力,最终要看“有效完成一次任务”的成本,而不是价格表上的每小时单价。
涉及敏感数据,别直接上传
租用闲置GPU意味着数据要进入外部机器。训练集包含用户信息、内部文档、业务记录或未公开模型参数时,风险不能只靠平台页面上的一句“安全可靠”来判断。
上传前应先做数据分类。公开数据、可重复生成的数据,可以放到低价节点处理;涉及个人信息、商业机密和核心模型的内容,应进行脱敏、加密,或者改用具备明确安全条款和运维责任的服务商。
合同和服务说明里还要看清数据存储位置、访问权限、任务结束后的删除方式,以及平台是否保留镜像和日志。相关条款含糊时,不要把核心数据放上去。
报价之外,还有哪些费用
GPU小时单价只是总成本的一部分。存储空间、镜像保存、数据传输、停机等待和环境调试,都可能增加支出。
例如,某个节点虽然便宜,但每次启动都要重新部署环境;或者训练频繁中断,需要反复上传数据、恢复任务。账面租金下降了,项目周期却被拉长。对人手有限的团队来说,工程师处理这些问题所花的时间,往往比几小时GPU租金更值得关注。
比较平台时,可以用一次完整任务做核算:从上传数据开始,到拿到可用结果为止,一共用了多少机器时间、人工时间和附加服务。这样算出的价格,才接近真实成本。
更稳妥的办法是把任务分开
中小企业不必在低价闲置算力和专业平台之间二选一。更实用的做法,是按任务风险分配资源。
线上推理、客户服务和有交付期限的训练,放在稳定、有运维支持的算力平台;模型试验、批处理和可随时重跑的任务,再使用闲置GPU。这样既能利用RTX 4090约1元/小时一类的低价资源,也不会把全部业务押在不稳定节点上。
云计算和算力租赁并非新模式。21经济网刊载的《2023年中国算力租赁行业研究报告》提到,AWS在2006年推出,推动了云计算和算力租赁服务的商业化。如今个人显卡进入租赁市场,只是让供给来源变得更分散,企业仍要为稳定性、运维和安全作出选择。
低价GPU可以用,但最好从小任务开始测试。能中断、能恢复、数据不敏感的任务,适合交给闲置算力;核心业务需要的,则是清楚的责任边界和可预期的服务。