2025年4月，Meta把Llama 4推到台前。
财联社报道称，Meta当地时间4月5日推出Llama 4；新华社援引路透社的报道则写到，当地时间4月6日，Meta推出开源人工智能模型Llama 4。两个公开报道里有一个共同点：Llama 4目前包括Scout和Maverick两个版本，并首次采用混合专家架构，也就是MoE。
这件事对国内开发者最直接的影响，不是“又多了一个模型可选”，而是过去围绕Dense模型搭起来的一整套微调习惯，开始不够用了。
MoE不是换个模型名那么简单
Llama系列此前已经在开源模型圈积累了足够多的开发者。腾讯云开发者社区的文章提到，从Llama 1到Llama 3，每一代都会带来开发者热潮；Llama 4的不同之处，在于它作为Meta首款采用MoE架构的Llama模型，把模型结构复杂度又往前推了一步。
以Scout为例，公开资料显示，它有170亿活跃参数、16个专家，总参数量为109B。知乎专栏对Llama 4系列的解析也提到，Llama 4 Scout可通过int4量化适配单个H100 GPU。
这几个数字放在一起看，信息量很大：
- 推理时，不是所有参数都会同时参与计算；
- 模型内部存在专家选择和路由机制；
- 量化仍然重要，但它不再是唯一的显存答案；
- 微调框架不能只会“加载权重、挂LoRA、跑训练”。
对LLaMA-Factory、XTuner这类国内开发者常用的微调框架来说，Llama 4适配真正难的地方，往往不在模型名字能不能识别，而在训练流程里能不能正确处理MoE结构。
第一个卡点：显存估算变得不直观
Dense模型的微调，显存压力大体还能提前估。模型参数、batch size、序列长度、LoRA配置，几项加起来，开发者心里有个谱。
MoE模型麻烦一些。
Llama 4 Scout有16个专家，但每次计算并不等于16个专家一起工作。路由会决定哪些专家被激活。推理阶段，这种设计有助于提高效率；到了微调阶段，框架要处理的不只是普通层的梯度，还包括专家层、门控和路由相关的计算路径。
这就带来一个现实问题：显存不再只是“总参数量越大就一定越爆”。同样的输入长度、同样的batch size，在不同样本、不同任务下，专家激活情况可能不同。框架如果仍按Dense模型的方式做显存规划，开发者就容易遇到两类问题：
- 训练启动没问题，跑到某些样本时突然爆显存；
- 为了保险把batch size压得很低，结果训练吞吐明显下降。
所以，Llama 4之后的微调适配，重点不是把配置文件里的模型名补进去，而是要让框架真正理解MoE层该怎么切、怎么冻结、怎么分配到设备上。
第二个卡点：量化能省显存，但不能替代结构适配
Llama 4 Scout可通过int4量化适配单个H100 GPU，这个信息很容易让人产生误解：既然能量化到单卡，那微调是不是也差不多？
不一定。
量化主要解决权重存储和部分计算开销问题。微调时还会涉及激活值、优化器状态、梯度保存，以及LoRA或其他适配模块本身的开销。MoE模型里，专家层和路由机制又会引入额外复杂度。
对国内框架来说，比较稳妥的路线不是只强调“支持4bit”或“支持int4”，而是把量化和训练策略绑在一起看：
- 哪些层允许低比特加载；
- 哪些专家参与微调；
- 门控或路由部分是否训练；
- 多卡时专家层如何分布；
- 多模态输入是否会改变显存峰值。
这些问题如果没有写进框架配置和文档里，开发者就只能靠反复试错。
第三个卡点：多模态让数据链路更容易出错
新华社报道里提到，Llama 4是Meta迄今为止最先进的模型，也是同类产品中多模态性最强的模型。财联社报道也写到，Llama 4具备多模态处理能力。
多模态能力听起来是卖点，落到微调框架里则意味着更多接口要对齐。
文本微调通常只需要处理tokenizer、prompt模板、label mask这些问题。多模态任务还要处理图像输入、视觉编码、跨模态对齐，以及训练样本格式。框架如果原本主要服务文本指令微调，适配Llama 4时就不能只看语言模型部分。
这也是国内开发者容易踩坑的地方：模型加载成功，不等于多模态微调链路已经打通；能跑一条样本，也不等于批量训练稳定。
国内框架该补的不是一个“支持列表”
很多开发者判断框架是否可用，会先看README里有没有写“支持Llama 4”。但对MoE模型来说，这个标签含金量要拆开看。
更值得关注的是几项具体能力：
能否识别MoE层并单独配置
例如专家层是否可冻结，路由相关模块是否可训练，LoRA能否只挂到指定模块上。显存策略是否透明
框架最好能给出不同量化、序列长度和训练配置下的资源提示，而不是只给一个最小运行示例。多卡训练是否照顾专家分布
MoE模型天然适合做更细粒度的并行，但框架需要把复杂度封装好，否则开发者仍然要自己处理设备映射。多模态数据格式是否稳定
如果只适配文本，Llama 4的价值会被打折；如果多模态样本模板不稳定，训练结果也很难复现。
这几个点，比“第一时间支持新模型”更重要。
对开发者来说，先别急着迁移
Llama 4值得关注。Meta继续坚持Llama开源路线，公开资料也提到，这一路线主要由Meta人工智能科学家杨立昆（Yann LeCun）推动。开源模型能被下载、改造、再训练，本身就会带来大量二次创新。
但具体到国内团队，要不要马上把现有微调流程迁到Llama 4，答案要看场景。
如果业务主要是文本分类、普通问答、简单知识库检索增强，Dense模型和成熟框架可能仍然更省心。微调成本、部署成本、排错成本，都要算进去。
如果任务确实需要复杂指令理解、长文档处理，或者未来要接入图像等多模态输入，Llama 4的MoE结构和多模态能力才更有讨论价值。只是这时要把预期放准：开源不等于低成本，模型先进也不等于微调简单。
Llama 4给国内微调框架出的题，其实很清楚：别只做模型名适配，要把MoE、多模态、量化和训练稳定性一起处理。谁能把这些复杂度压到配置层，谁才真正降低了开发者门槛。
