Transformer还没退场,工程账比架构更难改
MoR公开结果称可将KV缓存内存降低约50%,Mamba、RWKV也在争夺长序列场景。但从训练工具到推理框架,行业仍围绕Transformer运转。2026年的架构竞争,关键要看端到端成本能否真正下降。
阅读全文关键词:模型架构
MoR公开结果称可将KV缓存内存降低约50%,Mamba、RWKV也在争夺长序列场景。但从训练工具到推理框架,行业仍围绕Transformer运转。2026年的架构竞争,关键要看端到端成本能否真正下降。
阅读全文2026年ICLR与国内顶会接连涌现触觉视觉融合新论文,清华、北大等团队把语言模型当作触觉翻译器。本文以TacThru和丁文伯团队工作为线索,拆解模型架构与实验结果,看机器人"触觉-视觉"协同离人类还有多远。
阅读全文Llama 5 预览把显存占用、首字延迟、并发和单次任务成本摆上台面。影响模型落地的,已经不只是参数与上下文窗口,还有 KV Cache、专家路由和整条推理链路的效率。
阅读全文11月18日 Google 发布 Gemini 3,带来面向 Ultra 用户的 Deep Think 模式。它放弃秒回,靠并行推理和迭代优化提升复杂任务表现,但也带来了算力和延迟的双重代价。
阅读全文