2024年7月4日，WAIC 2024在上海开幕。InfoQ收录的演讲全文显示，上海人工智能实验室主任、首席科学家周伯文在科学前沿主论坛上，将“通专融合”概括为通往AGI的一条战略路径。
这条路径要处理的矛盾很具体：通用模型追求更广的能力覆盖，专业任务要求稳定、准确和可核验。扩大参数规模可以抬高能力上限，却不会自动补齐专业能力；为每项任务分别训练完整模型，复用和部署又会变重。
MoE由此进入讨论。它提供了一种组织模型能力的办法，但它能解决的问题，其实比“通专融合”这个框架窄得多。
先把MoE放回正确的位置
公开资料通常把通专融合分成三层：
- 基础模型层，通过架构创新、高密度监督信号和长期记忆增强推理与专业能力；
- 融合协同层，处理系统1与系统2之间的动态协作；
- 探索进化层，借助物理与虚拟环境中的具身交互继续学习。
按这个划分，MoE主要落在基础模型层，也可以为融合协同层提供能力调度。它无法单独覆盖长期记忆、双系统协作和具身交互等问题。把通专融合直接等同于MoE，会把一条系统路线缩成一种模型结构。
MoE的基本做法，是在模型内部设置多个专家子网络，再由路由器根据输入选择其中一部分参与计算。总参数规模与单次激活规模由此分开，模型可以保留较大的容量，同时避免每次推理都调用全部参数。
需要注意，“专家”只是架构名称，并不天然对应法律、医疗或代码等明确行业。一个专家模块能否形成稳定分工，取决于训练数据、监督信号和路由机制，不能只靠预先命名。
省下多少算力，不能只看激活比例
稀疏激活带来的吸引力很直接：一次请求只调用部分专家，理论上可以减少当次计算量。但计算量减少多少，不能直接换算成最终账单。
在分布式部署中，请求需要被送到对应专家，专家之间还涉及通信、调度和负载分配。省下的是部分计算，数据移动和系统协同并没有消失。如果少数专家长期处于高负载，硬件利用率还可能被新的瓶颈拖低。
因此，没有具体模型、硬件和服务条件，就无法给出统一的降本比例。评估MoE时，至少要把硬件、量化方式、上下文长度、并发和服务边界放在一起看。总参数只能说明模型有多大，激活参数、专家部署位置和通信开销才更接近实际成本。
路由器才是最容易卡住系统的地方
MoE常见的工程难点包括专家坍缩和负载均衡。路由器如果持续把请求送往少数专家，这些专家会成为热点，其余专家则得不到足够训练和调用。模型名义上拥有多个专家，实际工作仍集中在很小一部分模块上。
长尾任务更难处理。训练中出现较少的输入，可能被分配到不合适的专家；即使路由正确，对应专家也未必积累了足够能力。专业结果因此不能只依赖一次路由，还需要监督、记忆、校验与回退机制。
这也是判断MoE是否成熟的一条实用标准：路由过程能不能观察，错误能不能校准，异常情况下能不能恢复。专家数量本身说明不了这些问题。
Intern-S1-Pro提供了一个更完整的参照
公开资料将基于SAGE架构的万亿参数科学多模态大模型Intern-S1-Pro列为通专融合的实践之一。上海人工智能实验室也从基础模型、融合协同和探索进化等层面讨论这条路线。
这个案例更适合用来说明通专融合的边界：它关注的不只是模型架构，还包括高密度监督、长期记忆、能力协作和具身交互。现有可引用材料没有披露Intern-S1-Pro具体采用了怎样的MoE路由设计，也没有提供统一的推理降本比例。因此，它可以作为通专融合的实践参照，却不能直接充当MoE成本或专家隔离效果的证明。
第二跳，重心在能力组织
如果说大模型发展的前一阶段主要解决能力覆盖，接下来要处理的就是能力如何组织、调用和校验。MoE的价值，在于把一部分问题落到了路由表上：一次任务该调用哪些能力，调用多少，出现错误后如何切换。
研究团队或企业评估MoE方案时，可以先问几个具体问题：
- 现有任务是否存在足够稳定的差异，值得形成专家分工？
- 路由结果能否监控、复现和人工校准？
- 通信与调度开销是否已经计入推理成本？
- 专业输出是否配有验证、纠错和回退流程？
这些问题没有答案，增加专家只会增加调度与维护工作。
通专融合给出了目标，MoE提供了一段可操作的架构解法。所谓“第二跳”，不是把模型拆成更多模块，而是让不同能力在可控成本下被正确调用，并对结果负责。
