2026年2月17日，东方财富关于Qwen3.5发布的报道给出两组醒目的数据：Qwen3-Max部署显存占用降低60%，最大推理吞吐量可提升至19倍。
这说明部署优化确实有空间，却无法直接推出“单张RTX 4090可跑”或“本地推理成本减半”。报道摘要没有列出测试硬件、权重精度、上下文长度、并发数和批处理设置。吞吐量提升也不等于单次请求快了19倍。缺少这些条件，60%只能用于描述优化幅度，不能换算成一套具体的显卡方案。
先把Qwen3、Qwen3.5和Max分开
CSDN智能体开发者社区2025年5月6日发布的资料显示，Qwen3系列共有8个模型，其中6个是Dense模型，2个采用MoE架构。Dense模型推理时会激活全部参数，MoE则通过稀疏方式调用部分专家。
智源社区2026年2月19日收录的报道中，Qwen3.5-Plus总参数为397B，推理时激活17B参数；同一报道将Qwen3-Max描述为万亿参数模型。这里最容易出现一个误解：激活参数少，不等于只需要存放这部分权重。权重是否常驻显存取决于部署方式，但总参数量依然影响存储、加载和多卡切分压力。
阿里云PAI的快速开始文档列出了Qwen3-235B-A22B模型卡片，并要求根据模型和Token数选择推荐资源。这个流程更值得参考：先确认准确的模型ID、权重是否可获取、量化格式是否兼容，再谈需要几张卡。只写“Qwen3本地部署”，配置很容易对不上。
12GB跑通9B，不能直接套到Max上
一篇2026年3月7日发布的Qwen3.5本地部署指南提到，9B模型采用4-bit QLoRA后，可以在一张12GB显卡上运行，文中举例包括3060和4060。这是小模型量化的有效参考，但无法证明Qwen3-Max也能沿用同一套配置。
现有素材没有给出两组可复现记录：一是RTX 4090（24GB）加载Qwen3-Max后还剩约4GB用于KV Cache；二是双张A100 80GB可以稳定保留32K上下文。缺少模型ID、权重格式、vLLM版本、并发条件和运行日志，这些数字不宜写成已经验证的结论。
判断一套硬件能否运行模型，至少要看三项：量化后的权重体积、KV Cache需求和推理框架自身开销。模型成功加载，只能说明服务启动过；能否承受长上下文和并发请求，还要继续压测。
vLLM能省下哪部分显存
vLLM的价值主要在批处理、KV Cache管理和多卡调度。INT4、AWQ或bitsandbytes负责压缩模型权重，PagedAttention用于改善KV Cache的分配方式，两者解决的并非同一笔显存开销。
| 显存去向 | 相关设置 | 调整原则 |
|---|---|---|
| 模型权重 | INT4、AWQ、bitsandbytes |
先确认权重和推理后端兼容，再测试业务任务的精度变化 |
| KV Cache | --max-model-len、--max-num-seqs |
从短上下文、低并发开始，逐项增加 |
| 多卡切分 | --tensor-parallel-size |
按实际GPU数量设置，同时观察显存是否均衡 |
| 运行预留 | --gpu-memory-utilization、PagedAttention |
保留系统余量，记录峰值显存和OOM情况 |
把--max-num-seqs固定为20—50、把--gpu-memory-utilization固定为0.9，只能算某个环境里的候选测试值。换一批GPU、上下文长度或量化权重，都要重新压测。vLLM版本也应以实际安装环境的文档为准，固定写成“v0.6+”很快会失去参考价值。
更稳妥的调参顺序是：先用单请求和短上下文确认模型能够稳定加载，再逐步提高--max-model-len，随后增加并发数。上下文从4K提高到32K之前，要先记录KV Cache增量，而不是只看权重是否装进显存。
成本账不能只看电费
智源社区收录的报道提到，阿里云百炼Qwen3.5 API输入价格低至0.8元/百万Tokens。这个数字属于Qwen3.5，不能直接拿来和Qwen3-Max本地部署比较，但它提醒了一个现实：云端价格越低，本地方案越需要证明自己的利用率。
本地推理的单位成本可以按下面这笔账核算：
本地单位成本 =（硬件折旧 + 电力与散热 + 运维 + 闲置成本）÷ 实际处理的有效Tokens
比较时还要对齐模型版本、量化精度、输入输出长度、并发和服务可用性。业务调用零散时，闲置硬件会抬高本地单价；负载长期稳定，量化和批处理才更容易发挥价值。显存占用降低60%，并不会自动换算成总成本下降50%。
一份够用的复现清单
看到“本地部署实测”，可以先找下面几项：
- 模型：准确模型ID、Dense或MoE、总参数与激活参数、量化格式；
- 硬件：GPU型号、数量、单卡显存和多卡连接方式；
- 负载：输入与输出Token数、上下文长度、并发数；
- 结果：峰值显存、首Token延迟、生成速度、总吞吐量和OOM记录；
- 成本：硬件折旧、电费、维护时间、实际利用率及对应API价格。
现有资料能够确认的是，Qwen3和Qwen3.5具备MoE稀疏激活与显存优化空间；它们还不足以证明某套4090或A100配置一定能运行Qwen3-Max，也无法单独支撑“成本减半”的结论。
看到60%，先问测试基线；看到19倍，先问并发和批处理；看到成本减半，先看折旧与实际Token量。这三笔账对齐后，再决定使用vLLM和量化权重，还是继续调用云端API。