模型发布时，参数量和上下文窗口通常会占据封面。按 Meta 2026 年 7 月发布的技术预览，Llama 5 把另一个指标放到了更显眼的位置：Tokens per Second per Dollar，即每美元每秒能处理多少 Token。[1]
这个变化很实际。企业最后支付的，是每轮对话、每份文档和每条 Agent 任务链的总成本。模型分数再高，首字慢、显存占用大、并发上不去，服务上线后依然难算账。
7 月 10 日上线的 GPT-5.6 系列已经把性能与成本放在同一套叙事里。Mr. FIG 的报道显示，旗舰模型 Sol 在 Terminal-Bench 上得到 91.9%，比 Claude Fable 5 高 8.8 个百分点，成本则为后者的一半。[2] 7 月 18 日，商汤科技发布日日新 U1 Pro，并将其对标 GPT-Image 2。[3] 模型能力仍在往上推，只是成本已经不能继续藏在产品说明的脚注里。
长窗口的账，最后记在显存上
Llama 4 曾用 128K 乃至 1M 上下文吸引注意力。开发者很快遇到另一个问题：上下文越长，KV Cache 越大。
模型生成内容时，需要反复读取历史 Token 对应的 Key 和 Value。单个请求尚可控制，并发一高，显存占用和 HBM 数据搬运就会迅速累积。稿件所引测试显示，当上下文超过 50K tokens，Llama 4 的延迟明显增加；在 A100 上处理一份 100K 长文档时，约 15% 的时间用于生成文字，其余 85% 消耗在显存与 HBM 之间的数据搬运。[4]
这也是“长上下文不等于长记忆”的工程原因。窗口标称值只说明模型能塞进多少内容，无法回答它要用多少显存、多久吐出第一个字，以及一张卡能同时服务多少用户。
Llama 5 预览版给出的处理方式，是动态压缩 KV Cache，并借助稀疏注意力剔除冗余的 Key-Value 对。模型保留信息密度较高的片段，不再等量保存全部历史记录。预览数据称，在处理 200K 上下文时，其显存占用约为 Llama 4 的 40%，首字延迟降低 60%。[1] 这些数字仍需正式版本和第三方测试验证，但优化目标已经很明确：先处理内存流动，再谈更大的窗口。
MoE 省了计算，没自动省下搬运
混合专家架构会在一次推理中激活部分专家，从而减少实际计算量。但大量参数仍要存储、加载和调度，内存带宽并不会因为“稀疏激活”自动宽裕。
Llama 5 预览版进一步调整了专家路由。路由层会预判当前请求需要哪些专家模块，提前加载相关部分，其余模块保持休眠。按预览数据，同等显存下可支持的并发连接数提升了 3 倍以上。[1] 对线上服务而言，这个数字往往比榜单多一两个百分点更接近真实收益。
架构优化也不是全部。在 4090 显卡上，INT4 量化配合投机采样，可带来 2 至 5 倍的吞吐提升。[5] 从模型结构到量化格式、解码方式和推理框架，任何一层掉速，最后都会反映在账单上。单纯增加显卡，只会把低效率放大到更多机器上。
别只算每千 Token 的单价
Token 单价便宜，不代表任务一定便宜。一个模型如果需要更长的提示词、更多轮重试，或者频繁调用工具，最终消耗仍可能高于单价更贵的模型。
Agent 场景尤其如此。一次用户请求可能串起多轮模型调用、工具返回和上下文更新。前一轮产生的内容进入后一轮 KV Cache，任务链越长，成本越容易被放大。
模型选型至少要同时记录几项数据：
- 首字延迟，也就是 TTFT；
- 目标并发下的实际生成速度；
- 峰值显存占用和单卡可承载会话数；
- 完成一次任务所需的输入、输出及重试 Token；
- 任务成功率，以及失败后的回退成本。
把分母从“每千 Token”换成“每个完成的任务”，不同模型之间才有可比性。企业也可以据此做动态路由：短问答交给轻量模型，长文档和复杂代码任务再调用更强的模型，而不是让所有请求挤进同一个昂贵入口。
边缘设备没有多余显存兜底
云端还能增加显卡，手机、网关和本地工作站的内存预算通常是固定的。3B 至 7B 模型进入端侧后，最先暴露的往往就是内存带宽和首 Token 延迟。[6]
预览资料称，Llama 5 的轻量版本通过 KV Cache 优化，可在 16GB 内存设备上承载 1M 上下文，并提供从 FP8 到 INT2 的多档量化版本。[1] 这里需要区分“能够运行”和“适合生产”：实际速度还会受到输出长度、运行框架和并发量影响，低精度量化也要重新检查任务质量。
在 RK3588 一类边缘网关上，模型能否稳定工作，同样取决于内存预算和量化格式。[7] 对工业质检、智能家居等数据需要留在本地的场景，压缩 KV Cache 和减少云端长上下文请求，比继续追求更大的参数表更有用。
Token 效率是一道上线门槛
Token 效率不该成为唯一指标。回答是否准确、服务是否稳定、数据能否妥善处理，依然决定产品能不能用。但当多个模型的能力接近时，显存占用、首字延迟、并发和单次任务成本会直接决定谁能进入生产环境。
Llama 5 预览版最值得关注的地方，也不只是某个压缩比例。它把内存流动和任务成本提前到了架构设计阶段。下次选模型时，可以少问一句“参数有多大”，多问几句：一次任务到底消耗多少 Token？第一字要等多久？一张卡能接多少会话？失败重试会把账单推高多少？
这些问题，比封面上的窗口数字更接近真实业务。
参考资料
[1] Meta AI. (2026-07). Llama 5 Technical Report Preview.
[2] Mr. FIG. (2026-07-13). GPT-5.6「太阳系」全家桶全面上线. https://mrfig.org/4611
[3] AI快讯. (2026-07-18). 商汤科技发布新模型日日新 U1 Pro. https://www.1ai.net/newsflashes
[4] AI 纪元. (2026-06). 架构师发来警告，单靠堆 Token 已经带不动业务线了.
[5] AI 纪元. (2026-05). 拒绝黑盒：开源大模型推理成本优化实战，从量化到投机采样.
[6] AI 纪元. (2026-06). 国产端侧大模型下半场：谁在卷首 Token 延迟.
[7] AI 纪元. (2026-05). 把开源模型搬进边缘网关，低延迟只是第一关.
