先别开跑，参赛型号还没对齐
Introl 在 2025 年底汇总称，开源模型与专有模型在关键基准上的差距，已经从年初的 17.5 个百分点缩小到年末的 0.3 个百分点。参与比较的模型包括 DeepSeek V3.2、Qwen3-235B 和 Llama 4 Scout。
这组数字很亮眼，但它说的是旗舰模型之间的距离，无法证明 7B 量级已经追上 GPT-5，也回答不了手机部署、中文长文本和工具调用谁更好。
更直接的问题是：所谓“Llama 4 7B”究竟是哪一个模型？
当前资料里的 Llama 4 Scout 是 MoE 模型，稿件同时又用“Llama 4 7B”指代社区蒸馏版本。官方模型与社区衍生版本可能采用不同的结构、量化方式和推理配置，放进同一张表比较，很容易把模型家族当成具体产品。Qwen3-7B 也面临同样的问题：具体 checkpoint、上下文长度和量化格式没有确认，测试结果就没有清晰的适用范围。
所以，“7B”只能说明大致的部署规模，不能代替完整型号。真正送进测试环境的，应当是一个可以复现的模型版本，连同量化格式和推理框架一起记录。
公开榜单看不见业务里的那些错
Promptfoo 的 Qwen、Llama 与 GPT 对比指南给出了一条更实用的建议：针对自己的产品建立测试集。该指南涉及 Qwen3 32B、GPT-5 和 Llama 4，但没有提供可以直接推导 7B 型号表现的数据。
这也是通用榜单的边界。客服 Agent 可能不在乎一道推理题多得几分，却很在乎 JSON 有没有漏字段；合同助手需要找准人名、机构名和金额；代码工具则要稳定生成函数参数，并能处理异常。榜单上很小的误差，接入系统后可能就是一次调用失败。
工具调用测试不必设计得很花哨。直接拿生产环境中的 schema，检查单函数、多参数、必填字段和连续调用即可。中文业务还应保留中文工具描述，不要只测英文 schema，再把结果套到中文环境。
长文本也一样。上下文窗口标注的是允许输入的长度，不等于模型一定能找回合同中的关键实体。真实文档测试至少要覆盖跨段引用、重复实体和多轮追问。只做一次“大海捞针”，很难判断模型在连续任务里是否可靠。
7B 能跑起来，不等于能上线
小模型受欢迎，一个现实原因是本地部署门槛相对较低。Jimmy Song 的开源模型选型资料提到，Llama 系列已经得到 GGUF、llama.cpp 和 vLLM 等工具支持，社区工具也较为丰富。对于准备自托管的团队，这类兼容性往往比总榜上的小幅分差更有用。
不过，部署成本不能只看参数量，也不能只看量化文件有多大。至少还要记录模型权重、KV Cache、并发吞吐和持续运行能耗。上下文变长、并发升高后，显存压力可能从权重转向缓存；更换量化格式，也会带来速度、精度和内存占用之间的取舍。
“一张卡能不能跑”因此只是第一道问题。后面还有目标并发下是否稳定、首字延迟能否接受、现有框架是否支持对应版本。放到移动端，还要观察持续对话后的降频、耗电和内存峰值。
如果没有同设备、同框架、同量化条件下的结果，就不能断言 Llama 4 或 Qwen 3 谁更快、谁更省电、谁的发热更低。换一套运行条件，结论可能就失效了。
Llama 和 Qwen，差别先落在工具与语言上
现有材料能够支撑的差异，主要在语言适配和社区工具。
Llama 的长处是本地推理支持成熟，相关模板、框架和使用经验较多。英文业务可以优先检查这些现成工具能否降低部署与维护成本。Qwen 则值得中文团队重点测试。品玩援引海外开发者讨论时提到，Qwen、Yi、InternLM、DeepSeek、BGE 和 CogVLM 等中国团队的项目，已经成为开源模型社区中不可忽视的一部分。
但“英文选 Llama、中文选 Qwen”仍然过于简单。语言只是候选条件，不是最终答案。模型能否上线，还要看许可证、框架支持、版本维护，以及它在真实文档、真实指令和真实工具描述中的表现。
真要比较，就把条件钉死
如果目标是在接近 7B 的规模内寻找本地模型，开测前先确认这些问题：
- 模型来自官方发布，还是社区蒸馏、裁剪或量化版本；
- 许可证能否覆盖实际商用方式；
- llama.cpp、vLLM 或现有服务框架是否完整支持；
- 中文长文本、结构化输出和工具调用能否通过业务样本；
- 在目标硬件与并发条件下，显存、延迟和吞吐是否达标。
Introl 提到的 0.3 个百分点，说明开源旗舰与专有模型在关键基准上的差距已经明显缩小。到了小模型部署阶段，真正影响体验的仍是具体版本和运行条件。
因此，Llama 4 与 Qwen 3 谁更适合，不能由一张总榜决定，更不能依赖没有来源的温度、吞吐或调用准确率数字。先锁定可验证的 checkpoint，再把真实请求整理成测试集。关键任务里错误更少、部署成本又能接受的那个，才是可以上线的选择。
参考资料：
