近期几项公开进展放在一起看，多模态预训练确实换了重心，但“方法已经收敛”仍说得太满。
2025年4月17日，上海AI实验室公开书生·万象3.0（InternVL 3.0）升级，重点是原生多模态预训练。港中大与中科院等团队提出的MiCo，则直接面向文本、图像、视频和音频四种模态，并创造了37项最强性能记录。两项工作处理的范围不同，交集很清楚：模态融合正在更早进入基础训练。
GPT-4o、LLaMA、Stable Diffusion和OpenAI o1常被放进同一轮大模型讨论，技术路线却并不相同。对多模态研究来说，关键也不在模型名称有多少，而在图像、音频和视频何时进入训练，又如何与文本共同学习。
书生·万象3.0先改了训练顺序
根据上海AI实验室发布页及相关公开介绍，书生·万象3.0采用原生多模态预训练。传统流程通常先优化大语言模型，再为其增加视觉能力；新方法则让文本和视觉数据从预训练阶段就共同参与。
变化看起来只是训练顺序，实际调整的是能力形成的位置。视觉学习被提前到底座训练阶段，不再全部留给后续的模态对齐。
这并不足以宣布视觉编码器退场，也不能证明后接视觉能力的方案已经失效。现有信息能确认的是，原生融合已经成为一条明确的研究和产品路线。相比笼统地说“外挂方案被取代”，这个判断更接近公开证据。
MiCo把图文问题扩到四种模态
港中大与中科院等团队合作提出的多模态上下文范式MiCo，处理的是更大范围的问题。据MIT科技评论中国报道，团队受人脑从基础感知、认知到通用技能的过程启发，希望在一套大规模预训练框架中连接文本、图像、视频和音频。
这项工作的出发点很具体：学术界已经积累了大量文本—图像预训练方法，但如何继续引入视频和音频，形成四模态预训练，尚无清晰且通用的方案。MiCo正面回应了这处空白，并创造了37项最强性能记录。
37项纪录说明MiCo在已评测任务上具有竞争力，也让“全模态预训练”有了可观察的性能锚点。不过，这些结果还不能直接回答哪种方法更接近AGI。基准成绩、跨任务泛化和通用智能并不是同一个问题，现有材料也没有提供足够证据将三者画上等号。
共识落在训练阶段，不在统一答案
把书生·万象3.0和MiCo放在一起，能看到的共同点其实有限，但很明确：多种模态更早参与训练，研究范围也从图文继续扩大到音频和视频。
CCF TF116对多模态预训练的概括与此一致：联合图、文、音等内容学习通用模型，再用于跨模态分析、检索和转换等下游任务。这里强调的是联合学习及其应用范围，并未指向某个唯一架构。
再往前推，证据就不够了。现有资料没有说明各团队采用了相同的统一回归目标，也没有给出可直接横向比较的数据配比和模态扩展顺序。因此，与其说方法已经收敛，不如说研究者开始集中回答同一个问题：怎样把更多模态纳入底座训练。答案仍然不同。
紫东太初提供了一条更早的时间线
多模态统一并不是突然出现的新议题。2021年世界人工智能大会上，中国科学院自动化研究所发布跨模态通用人工智能平台紫东太初。该平台依托大规模分布式训练框架，构建中文、语音和视觉预训练模型，并通过跨模态语义关联连接不同能力。
紫东太初代表了较早的一种路径：先建立各模态的预训练基础，再寻找跨模态语义关联。书生·万象3.0把文本与视觉进一步放进原生预训练，MiCo则将范围扩至四种模态。把这几项工作串起来看，变化并非突然转向，而是模态融合不断向训练前端移动。
还没到只剩一种做法的时候
眼下最清楚的空白，仍是如何从文本—图像平稳扩展到视频和音频。书生·万象3.0主要展示原生文本—视觉预训练，MiCo尝试四模态统一框架，两者解决的问题并不完全相同。现有摘要也没有提供一套相同的实验条件，无法据此判断哪种架构会成为最终方案。
更可靠的结论是：原生融合已经成为明确路线，“全模态”也开始进入可评测的预训练方案。至于后接视觉是否会退出、训练目标是否会统一、哪条路线更接近AGI，目前都没有答案。
多模态预训练的重心确实变了，远没到只剩一种做法的时候。
