Google DeepMind与KAIST公布Mixture-of-Recursions（MoR）后，“Transformer杀手”又成了熟悉的标题。MIT科技评论中文版援引论文信息称，MoR在保持模型性能的同时，可实现推理速度翻倍、减少训练计算量，并降低约50%的KV缓存内存使用。
这些数字正好打在Transformer最疼的地方：上下文越长，计算和内存账单越难看。
可到了2026年，主流模型并没有集体换轨。36氪转述的Sebastian Raschka年度判断仍是Transformer占据主导，业界的注意力则从单纯扩大参数，转向混合架构和效率优化。
原因并不玄妙。实验室比较一条性能曲线，工程团队要算整条链路。
一篇新论文，换不掉整条生产线
Transformer自2017年问世，已经给行业留下了一套成熟的工作方式。雷峰网的梳理曾列出ChatGPT、Bard、Claude、ChatGLM、Baichuan、Kimi等一批以Transformer为技术基础的模型和产品。架构被广泛采用之后，工具、人才和排障经验也随之聚集。
围绕它，训练端有PyTorch的nn.Transformer、Hugging Face、DeepSpeed、FSDP和Megatron-LM；部署端有vLLM、TensorRT-LLM，以及已经跑通的量化、并行和批处理方案。工具名字看起来零散，拼起来却是一条能直接开工的生产线。
默认架构的价值，恰恰是团队可以少做几次高风险选择。
换用Mamba或RWKV时，模型代码只是改动的一部分。算子支持、分布式策略、量化兼容、线上监控和故障排查，都要重新核对。新架构在某项指标上更漂亮，并不等于整套系统更便宜。
GPU吃得顺，比纸面少算更重要
Transformer的主要计算能够落到大规模矩阵乘法上，这条路径已经被GPU和各类加速器反复优化。Tensor Core、低精度计算、成熟的计算内核和通信库，都能直接参与其中。
状态空间模型和递归架构试图减少序列方向上的计算与存储压力，但它们需要不同的计算模式。即使论文中的复杂度更低，落到具体设备上，仍会受到算子实现、内存访问和并行效率影响。
少算，不一定少花钱。
企业最终关心的是每台机器能跑多少请求、延迟是否稳定，以及扩展到多卡后还剩多少效率。FLOPs只是其中一项。只要Transformer更容易喂满现有硬件，它就很难因为一张复杂度对比表被替换。
Transformer的包袱，正被一件件拆掉
KV Cache和注意力计算确实昂贵，但围绕这些问题的优化已经形成工具箱。FlashAttention改写注意力的计算路径，PagedAttention和vLLM改善KV Cache管理，投机解码则减少逐Token生成中的等待。
量子位智库在2025年6月的梳理中，把推理成本和算力瓶颈列为大模型落地的主要问题，同时指出FFN层和Attention机制本身仍在持续改造。搜狐网汇总的下一代架构讨论也提到，模型设计正在从扩大参数规模，转向更高效、更贴近具体任务的计算框架。
旧架构没有停在原地。
这也是新方案必须面对的现实。MoR的约50% KV缓存降幅很有吸引力，但它的对手早已不是2017年的原始Transformer，而是经过多年量化、并行和推理优化之后的整套工具链。
新架构先从窄场景赢
RWKV、Mega、RetNet、Mamba、Hawk和Griffin等路线陆续出现，都在回应相似的问题：长序列越来越贵，推理阶段的计算与内存压力也在上升。
它们的突破口并不完全相同。Mamba、RWKV更关注状态传递和长序列处理，MoR则直接对KV缓存、推理速度和训练计算量给出了结果。在边缘设备、流式输入或长上下文任务中，内存曲线往往比峰值跑分更重要，这些架构自然更值得测试。
这里不必急着选“新王”。如果业务的主要瓶颈就是KV缓存和显存，新架构可能很快算出一笔好账；如果部署高度依赖现有量化工具和推理框架，Transformer通常更省事。
架构选择更像压测，不像投票。
下一站更像混合架构
Raschka对2026年的判断，已经把重点放在混合架构和效率微调上。现实做法很可能是保留Attention擅长的部分，再把状态空间、递归计算等模块放到收益更明显的位置。
这条路线的好处很实际：现有训练和部署框架可以继续使用，新模块则在有限范围内验证。团队不必一次性重写全部系统，也更容易比较、回滚和排查问题。
Transformer仍是默认选项，靠的是可预测、可兼容、可维护。一篇论文可以证明计算量更少，生产环境还会继续追问：能否量化，能否批处理，能否跨设备扩展，出了问题是否容易定位。
所以，2026年还在使用Transformer，并不说明架构研究停滞。更接近现实的情况是，Transformer正在吸收对手提出的问题，把新模块装进已有生产线。真正的替代也可能以另一种方式发生：底座名字还叫Transformer，内部却越来越像混合体。
