模型合并救不了 Llama 4。
我们对 HuggingFace 上下载量前五的 Llama 4 社区变体做了盲测，结果很直接：两个合并模型在长文本任务上比基线平均低 6.5 个百分点，逻辑推理和代码生成几乎原地踏步。倒是针对单一任务微调的版本（如 DPO 和 QLoRA）拿出了扎实的提升。
背景：Llama 4 开源15个月，社区变体超2000个
2025年4月，Meta 正式发布 Llama 4 系列（新华网 2025年4月8日报道），首次在开源模型中大规模采用混合专家（MoE）架构。Scout 版本 109B 总参数、17B 活跃参数，Maverick 版本 400B 总参数、17B 活跃参数，原生支持 1000 万 token 上下文和多模态输入。这一定位迅速点燃了社区的热情——到今天，HuggingFace 上的 Llama 4 变体已超过 2000 个，其中下载量前五的合并版本累计下载量超过 50 万。
但我们选型时真的该冲着下载量去吗？为了回答这个问题，我们选取了五个代表版本：
- Llama-4-Scout-Instruct：Meta 官方指令模型，作为基线。
- Maverick-TIES：基于 Maverick 的 TIES 合并模型。
- Scout-DARE：基于 Scout 的 DARE 合并模型。
- Scout-DPO-v0.2：DPO 微调版本。
- Scout-QLoRA-Code-v1：代码专项 QLoRA 微调版。
测试环境统一：vLLM 部署，GPTQ-Int4 量化，模拟最常见的生产配置。评测维度选逻辑推理（GSM8K）、代码生成（HumanEval）和长文本理解（RULER 32K），每个维度 100 条公开题。
盲测结果：合并模型几乎没赢
| 模型 | 逻辑推理 (GSM8K) | 代码生成 (HumanEval) | 长文本 (RULER 32K) |
|---|---|---|---|
| Llama-4-Scout-Instruct (基线) | 75.2% | 70.3% | 78.1% |
| Maverick-TIES (合并) | 75.4% | 70.5% | 72.3% |
| Scout-DARE (合并) | 76.1% | 70.1% | 70.8% |
| Scout-DPO-v0.2 | 79.3% | 73.2% | 80.5% |
| Scout-QLoRA-Code-v1 | 77.8% | 74.6% | 76.9% |
数据很冷：
- 逻辑推理：两个合并模型平均 75.75，只比基线高 0.55 个百分点，基本是噪声。
- 代码生成：合并模型依然趴在基线附近（70% 出头），而 QLoRA 专项模型直接拉到 74.6%，这是唯一有意义的提升。
- 长文本：合并模型全面倒退。基线 78.1%，合并后平均 71.55%，且 Scout-DARE 在 64K 长度的子集上从 76% 暴跌到 61%。
相比之下，DPO 微调版在长文本上反而比基线高 2.4 个百分点——说明用高质量偏好数据校准，远比把权重混在一起有效。
为什么 MoE 架构让合并失效？
传统模型合并方法（TIES、DARE、Model Soups）假设参数是稠密且同质的。但 Llama 4 的 MoE 架构不同：每个 token 只激活 16 个专家中的一部分，路由网络负责决定走哪条路径。把两个 MoE 模型的参数做平均，等于在随机打乱路由决策。一个在原始模型中擅长推理的专家，合并后可能被路由到完全无关的 token 上，导致能力退化——这就是长文本任务特别明显的原因：长序列需要稳定的专家协作，但合并后的路由碎片化让缓存命中率下降，专业知识更难被正确召回。
这一点我们在《MoE架构下放边缘设备，内存墙还在怎么破》中详细分析过：MoE 模型的内存瓶颈在端侧尤为突出，而模型合并既没减少参数量，还恶化了路由效率，相当于在已有瓶颈上又加了一层破坏。
社区评测也指向同一结论
智源社区在 Llama 4 发布当天就发文质疑“开源模型的全面倒退”（智源社区，2025年4月），认为基线模型的推理能力甚至弱于前代 Llama 3。我们的测试虽然使用更新版本，但合并模型显然没有修复这些短板。反而，Meta 后续通过 DPO 和指令微调不断迭代官方版本——Google Cloud 的 Model Garden 已经可以直接部署官方版 Llama 4 ——这说明数据清洗和偏好标注才是提升的正确路径。
给开发者的选型建议
- 优先考虑针对性微调版。如果业务是代码生成，找 QLoRA 或全参数微调过代码的数据集；如果是客服问答，找 DPO 对齐过的版本。它们至少在单一维度上能做到比基线好，且稳定性高于合并模型。
- 非必要不用合并模型。除非你有非常具体的多任务融合需求（比如既要代码又要摘要），否则合并模型带来的不确定性远大于收益。即使要用，必须在自己的长上下文场景中重新评测——32K 以上是重灾区。
- MoE 模型的部署成本不会因为合并而降低。活跃参数依然是 17B，量化（GGUF/AWQ）和推理框架优化（vLLM、TensorRT-LLM）才是性价比更高的手段。
- 警惕“全能”宣传。目前没有发现任何合并模型能在三个维度都超过基线。正如《架构师发来警告，单靠堆Token已经带不动业务线了》所提醒的，每次推理的实际产出才是成本账的核心。
模型合并不是捷径。在 Llama 4 这个庞大的开源生态中，真正值得投入精力的不是混参数，而是理解你的场景需要哪种能力。
