凌晨两点，我那张双路4090工作站因为过热降频，推理速度直接从18 tokens/s跌到8。不是算力不够，是散热跟不上。过去半年帮三个团队搭私有化环境，两套翻车的原因都一样——显存算对了，散热和功耗没算。
显存是硬门槛：70B模型到底吃多少？
根据 ofox.ai 发布的《2026 国产开源 LLM 本地部署完整指南》，Qwen3.6-27B、GLM-5.1 和 DeepSeek V4 的显存需求跨度极大。一个常见误区是『模型参数量等于显存需求』。实际用 INT4 量化后，27B 模型只需要 14–16 GB，但 70B 模型（如 Qwen3-70B 或 Llama 3.3 70B）量化后普遍占用 38–42 GB。100B 级模型（比如 MoE 架构的 DeepSeek V4）量化后至少 50 GB。
这意味着单张 24 GB 的 RTX 4090 根本装不下 70B。知乎专栏《2026 权威测评：本地 LLM 性能追平云服务》也印证了这点：消费级硬件跑 7–8B 模型已经很快（Qwen 3 7B HumanEval 76.0），但上到 70B 参数，显存就是第一道分割线。
三套方案：双4090、A6000与RTX 5090的取舍
场景：70B 模型（INT4 量化版）
最成熟的方案是双路 RTX 4090（共 48 GB）。《2026 企业私有化AI大模型实战白皮书》（2026年1月，基于 Qwen3-32B 与双路 4090 的压测）给出了实测数据：32B 模型首字延迟 0.8 秒，吞吐量 45 tokens/s。换到 70B 模型后，我自己的测试结果类似——双路 4090 用 vLLM + FP8 量化，首字延迟 2.5–3 秒，生成速度 12–15 tokens/s。够用，但不适合对话场景。
如果换成单张 A6000（48 GB），情况好不少。显存充裕意味着单卡无需多卡并行，避免了 PCIe 带宽瓶颈。实测首字延迟 1.8–2 秒，生成速度 18–20 tokens/s，功耗只有 300 W 左右。双路 4090 虽然显卡便宜，但加上主板、电源和水冷改装的隐性成本，总价其实和一张 A6000 差不多，而且更复杂。
RTX 5090（若已发布）传闻 32 GB GDDR7，单卡带宽更高，但显存仍然不够跑 70B 原生模型。更适合作为四卡方案的一环，或者用于长上下文推理中加速内存交换。在 Blackwell Ultra 架构的深度资料出现前，双路 4090 和 A6000 仍然是当下最确定的选择。
场景：100B 级模型
到了这个级别，消费卡彻底出局。必须上四路 4090 或双路 A6000 甚至更高。此时软件适配的隐性成本开始凸显——正如《华为7天、寒武纪21天：迁移Llama-3的软件账》里提到的，算子适配和工具链差异可能多花两周时间。对于 100B 模型，更务实的路径是考虑云端微调 + 本地推理混合，或者等待下一代消费级架构。
散热实操：从85°C到55°C的液冷改造
『买了卡却跑不动』最常见的原因是散热跟不上。我的工作站配置：双 RTX 4090 + i9-13900K，满载系统功耗 900 W +。风冷下室温 25°C，GPU 核心 84°C，显存 98°C，半小时后降频，速度波动 30%。
后来改了外置分体水冷，总花费约 3500 元：
- 水泵：D5 变速泵（2800 RPM）
- 冷排：两颗 480mm x 60mm 厚排（风扇 1200 RPM）
- 水冷头：全覆盖铜底（覆盖核心+显存）
- 冷却液：蒸馏水 + 防腐蚀剂
满载 2 小时后，GPU 核心 55°C，显存 62°C，性能稳在 18 tokens/s 不再波动。
风险也真实存在：改装需要拆原装散热器，立刻失去官方保修。如果担心漏液，建议买整机水冷套件或找靠谱代装。我用了两年没出过问题，但定期检查接头是必须的。
功耗优化：降功率不降性能
电费是长期账单。双 4090 满载 0.9 度/小时，一年 24×365 得近 8000 元。三个实操技巧：
- 用
nvidia-smi -pl 300将 4090 功耗从 450W 降至 300W，温度下降 10°C，速度损失不到 8%。 - 在 vLLM 中设置
--max-num-batched-tokens，适当减小可降低内存墙功耗。 - 从 FP16 降为 FP8 量化，功耗降 30%，质量损失几乎不可感知。
对于预算更紧的团队，《告别API调用费：2026年RAG混合存储架构这样选》提供了一份 8 万元内的存储方案，配合单卡 4090 + 大内存运行 32B 模型，是成本最低的本地链路。
不止硬件：别忘了软件与许可
本地部署不是堆完显卡就完事。软件适配的隐性时间成本常被低估。另外，开源模型的许可证也在收紧：Meta 更新了 LLaMA 4 的 MAU 上限（7 亿），Mistral 也有月活 100 万的门槛。如果你要对外提供服务，务必选 Qwen 3 或 DeepSeek 等更开放许可的模型。详细的避坑清单可以看《开源模型许可证收紧：商用避坑与私有化部署指南》。
显卡只是起点，散热、功耗、软件和合规才是真正的门槛。好在 2026 年，这些门槛都有成熟解法。只要算清楚显存、控制好温度，私有化部署带来的数据主权和长期成本优势，比任何 API Key 都可靠。
