2025年4月5日，Meta发布Llama 4。首批开放的是 Llama 4 Scout 和 Llama 4 Maverick，Llama 4 Behemoth 仍在训练。财联社确认了发布时间和开放状态，iThome则指出，这是 Meta 首次用混合专家（MoE）架构开发 Llama 模型家族。
参数表很大，先把主语对上。
三个型号，别揉成一个结论
- Scout：总参数为1090亿，主打1000万（10M）token上下文。参数来自 iThome，长上下文规格见品玩报道。
- Maverick：总参数为4000亿。据品玩转述的评测结果，它超过 GPT-4o 和 Gemini 2.0；在模型规模小于 DeepSeek V3 的情况下，编码和推理能力与后者匹配。
- Behemoth：预告总参数达到2万亿。53AI称其拥有2880亿活跃参数和16个专家，目前仍在训练。GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro 的 STEM 基准对比，指的也是 Behemoth，不是 Maverick。
53AI还提到，已经开放的 Scout 和 Maverick 得益于从 Behemoth 中提炼而来。这也解释了 Behemoth 的位置：它暂时不是可部署的开源选项，却为另外两款模型提供了能力基础。
4000亿参数，不等于每次都算4000亿
4000亿这个数字很抓眼，但不能直接拿来估算一次推理的计算量。
MoE会设置多组专家模块，处理任务时只激活其中一部分。总参数描述模型容纳能力的规模，活跃参数则更接近一次计算实际调用的部分。Behemoth的数字最直观：总参数2万亿，活跃参数2880亿。
这正是 Llama 4 架构变化的核心。模型可以继续扩大总容量，又不必让每次计算都经过全部参数。
技术细节也要收住。现有公开摘要只明确 Behemoth 有16个专家，没有给出 Scout、Maverick 的完整路由规则，因此不能把全系列统一写成“每层16个专家、每个token选择Top-2”。FP8训练和辅助负载均衡损失同样没有出现在这些来源摘要中。
稀疏激活也不等于部署成本自动下降。模型权重仍需存储和调度，实际速度还会受到硬件与部署方式影响。仅凭总参数和活跃参数，无法得出单次调用成本。
1000万上下文，规格清楚，机制仍缺细节
Scout支持1000万token上下文，这是目前能够确认的产品规格。问题在于，给定来源没有披露足够的注意力结构信息。
关于“混合注意力”，现阶段不能直接写成“全局因果注意力与滑动窗口注意力组合”，也无法确认推理时是否会按输入长度动态调整两者比例。1000万token说明模型可以接收多长的输入，却不能单独证明它采用了哪套注意力实现。
量子位的报道标题提到“一张H100就能跑”，但现有摘要没有交代具体型号、计算精度和上下文长度。由此继续推到“4-bit单卡处理百万token”，证据并不充分。
长窗口也只是上限。模型在接近上限时的检索效果、延迟和硬件占用，仍要放进实际任务测试，不能从10M这个数字直接得出结论。
基准成绩最容易串台
模型名字写错一个，结论就会变样。
据53AI转述，Behemoth在多项STEM基准上超过 GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro。它仍处于训练阶段，因此这些成绩属于预览结果，不能当作已经开放模型的使用体验。
Maverick对应的是另一组比较。品玩报道称，它在相关评测中超过 GPT-4o 和 Gemini 2.0，编码与推理能力匹配 DeepSeek V3。这里应当保留“据报道”和“在相关评测中”的限定，不能扩写成所有任务上的全面领先。
现在能落地的，是 Scout 和 Maverick
Scout和Maverick已经可以从 llama.com 及 Meta 合作伙伴处获取，Behemoth还需等待。
需要处理超长输入，可以先测试 Scout，但要单独验证目标长度下的效果和资源占用。更看重编码与推理，可将 Maverick 放进候选名单，再用自己的任务集比较。Behemoth目前只能参考其架构与基准信息，尚不能作为现成的部署方案。
Llama 4已经给出一个清楚信号：Meta开始用稀疏激活扩大模型容量，同时把 Scout 的上下文推到1000万token。至于混合注意力如何实现、单卡究竟能跑多长、企业部署能省下多少成本，公开材料还没有给出同等扎实的答案。
