把GPT-5级模型拉进内网，项目会上最先被问的往往是：要多少张GPU？这个问题其实排得太靠前。
现有素材没有给出OpenAI官方的GPT-5私有化规格，也不能证明企业已经能拿到模型权重。进入选型前，应先确认权重、授权方式和可用的推理后端。否则，围绕H100、昇腾910D做出的容量表，只是纸面推演。
《前沿在线》快讯称，2026年四家科技巨头的AI基础设施资本支出将达6600亿美元。这说明算力投入还在加码，却不能回答一套企业内网服务是否划算。云端模型面对的是大规模、多样化请求；企业流量往往更集中，固定知识库、长提示词和有限并发，都可能让云端的效率假设失效。
MoE省的是计算，不保证每张卡都忙
一篇CSDN技术对比文章称，GPT-5采用MoE架构，并给出了GPT-5为72分、DeepSeek为58分的对比结果。由于文章没有提供足够的企业部署基线，这组分数更适合作为二手参考，不能直接拿来做采购判断。
MoE的基本思路，是让每个Token只激活一部分专家，而不是调用全部参数。理论计算量降了，不代表私有集群里的负载自然均匀。
例如金融客服中的“逾期”“利率”“合同”等词会反复出现。如果业务请求长期集中在少数主题，路由器可能持续调用同一批专家：热点专家排队，其他专家空闲；专家分布在不同设备上时，跨卡通信又会吃掉一部分收益。《华为研究》也提到，AI集群规模扩大后，带宽、时延、线性度和可用度都会成为问题。
这时不要急着改路由阈值。先用脱敏后的真实请求做回放，记录每个专家处理的Token数、队列时间、设备利用率和跨卡流量。vLLM、TGI、MindIE是否支持专家并行、专家副本或路由干预，还要按具体版本核对。
如果推理框架允许，可以调整专家放置位置，或给热点专家增加副本。如果不允许，与其硬改模型，不如按业务场景拆分服务。每30秒检查一次、超过2σ就调整5%权重之类的参数，不能直接从别的项目抄过来，只能由自己的压测结果决定。
120GB不是结论，先把KV Cache公式写对
长上下文最先挤爆的往往不是模型权重，而是KV Cache。它的占用与模型层数、KV头数、每头维度、上下文长度、数据精度和并发序列数有关。使用GQA或MQA的模型，还要区分注意力头与KV头，不能拿一个简化公式套所有架构。
在GPT-5正式参数没有出现在现有素材中的情况下，先假设96层、128头、hidden size为16384，再推导出128K上下文需要120GB以上KV Cache，不能写成已确认的部署结论。这类数字可以作为压力测试假设，但必须把假设条件一起写清楚。
即便比较H100的80GB、H200的141GB和B200的192GB显存，单卡容量增加也不等于并发能力同比增加。模型权重、KV Cache、运行时临时张量、显存碎片和通信缓冲区，都在争用同一块空间。
更实用的做法，是先按场景限制上下文。客服问答、合同审阅和代码分析需要的历史信息并不相同，没有必要默认把整份知识库和全部对话都塞进提示词。
缓存也要分清类型。相同或共享的Token前缀适合做Prefix Caching；Eino等应用框架可以用于评估语义缓存，但“问题意思相近”不等于两次请求的KV Cache能够直接复用。混在一起设计，容易高估命中率。
TensorRT-LLM和CANN中的KV Cache量化能力，可以在指定模型和版本上逐项测试。不要在没有本地结果时，直接把“显存下降50%”或“精度损失低于0.5%”写进预算。Mooncake、MegaScale所采用的Prefill与Decode分离思路也值得参考，但是否划算，要看内网带宽、请求长度和流量形态。
FP8跑不跑得快，要看整套软硬件
FP8不是一个打开就能提速的开关。H100提供FP8计算路径；昇腾910D在CANN 8.0等软件栈中的实际表现，则会受到算子覆盖、编译器、批处理大小、上下文长度和缩放策略影响。小批量请求中，量化与缩放的额外开销可能抵消计算收益。
FP8还包括E4M3、E5M2等格式。跨供应商部署时，不能看到“都支持FP8”就认为权重格式、缩放参数和算子行为完全一致。比格式名称更重要的，是同一批业务样本在不同硬件上能否保持可接受的输出质量。
压测至少要分三层进行：
| 测试层级 | 需要覆盖的组合 | 建议记录的指标 |
|---|---|---|
| 单卡 | H100、昇腾910D与FP16、FP8、INT8 | 首字延迟（TTFT）、输出吞吐、最大稳定上下文、任务质量 |
| 单机多卡 | 不同批处理和并发设置 | 显存占用、排队时间、卡间通信 |
| 多机 | 专家并行或Prefill、Decode分离 | 网络吞吐、尾延迟、故障表现 |
生产环境里，更稳妥的方案通常不是让同一个模型实例按请求临时切换精度，而是分别部署FP16、FP8或INT8实例，再用LiteLLM、Envoy等代理按上下文长度、质量要求和延迟目标路由。这样更容易定位问题，也方便回滚。
采购单上最该补的是这四行
- 模型可得性：是否有权重，许可证是否允许内网部署，推理框架是否兼容。
- 流量边界：并发量、上下文长度分布、输出长度和响应时间要求。
- 服务基线：同一批样本在不同硬件、精度和并行方式下的吞吐、延迟与质量。
- 成本口径：除了GPU采购价，还要计入闲置、缓存未命中、重试、跨卡通信以及CPU、内存和网络开销。
显存墙并不只是单卡容量不够。模型权重、KV Cache、临时张量、并发策略和跨卡通信挤在一起，才构成了企业部署时的真实账单。
硬件可以继续加，错误的容量假设也会随之放大。先弄清GPT-5是否具备私有化条件、业务到底需要多长上下文、现有H100或昇腾910D在各精度下能跑到什么水平，再决定是否扩容。
