站内搜索

Llama 4开源：4000亿参数不必每次全算

Meta于2025年4月5日发布Llama 4，Scout和Maverick已开放，Behemoth仍在训练。MoE让总参数与单次激活规模分开讨论，Scout支持1000万token上下文；至于混合注意力的具体实现，现有