很多企业的智算中心在 2026 年面临一个尴尬的现状：为了规避单一供应商风险并降低采购成本，集群里既有早期的昇腾 910B，也有最新的 910D，甚至还混入了寒武纪 MLU 系列和海光 DCU。这种“大杂烩”式的算力池在 Kubernetes 纳管层面看起来很完美，但在实际跑大模型训练或高并发推理时，经常出现诡异的性能倒退——明明卡数增加了，吞吐量反而下降了。
这种现象的根源在于，大多数调度系统将异构芯片简单地视为“等价资源”，忽略了通信原语、算子实现和计算能力之间的巨大鸿沟。
警惕“木桶效应”：通信原语的隐形墙
在混合芯片环境下，最常见的坑是试图在跨品牌芯片之间建立统一的通信环。例如，昇腾依赖 HCCL（Huawei Collective Communication Library）实现高效的多卡同步，而寒武纪有自己的通信协议。当你尝试将一个训练任务跨芯片分布时，底层通信必须回退到最基础的 TCP/IP 或通用 MPI 协议。
根据实测，一旦通信路径从原生的 HCCL 回退到通用协议，单步同步的延迟会增加 3-10 倍。这意味着整个集群的同步速度被最慢的那张卡（或最慢的通信链路）锁死。这就是典型的“木桶效应”：你拥有 10 张 910D 的顶尖算力，但只要混入一张通信协议不兼容的旧卡，整体效率就会被拖累至旧卡水平。
对此，我们建议在调度层面彻底放弃“全集群统一调度”的幻想。参考我们在《昇腾、海光、寒武纪要混训，先打通通信、调度和算子》中提到的逻辑，最稳妥的方案是构建**“同构计算岛” (Homogeneous Computing Islands)**。
算子陷阱：为什么 1+1 < 2
即便解决了通信问题，算子实现的差异依然是性能杀手。2026 年主流的 Llama 4 或 Qwen 3.5 模型依赖大量高度优化的 FlashAttention 变体。昇腾 910D 在这些算子上可能有极强的硬件加速，但如果你的任务被调度到了一个算子覆盖率较低的异构节点上，系统可能会触发“算子回退” (Operator Fallback)，将计算任务通过 CPU 模拟实现。
一旦触发回退，单点延迟会瞬间飙升，导致整个同步组在等待该节点完成计算。在监控面板上，你会看到其他卡的 GPU 利用率剧烈波动（锯齿状），而那个“掉队”节点的 CPU 占用率爆表。
避坑实操： 在配置 K8s 调度时，不要只写 accelerator: nvidia 或 accelerator: ascend，必须引入更细粒度的标签（Label）管理。建议的标签维度包括：
chip-vendor: (huawei / cambricon / haiguang)chip-model: (910D / MLU370 / DCU-X)operator-level: (L1-full / L2-partial / L3-basic)
调度配置：从“随机分配”转向“权重感知”
为了平衡异构芯片间的负载，调度系统需要具备“能力感知”能力。如果直接使用默认的 Round-Robin（轮询）调度，会导致计算能力强的卡在等能力弱的卡。
我们尝试了一套基于**权重感知（Weight-aware）**的调度策略。在自定义调度器中，为不同型号的芯片定义“算力权重系数”。例如，设定 910D 为 1.0，910B 为 0.7，MLU 为 0.6。在分配 Batch Size 时，按照权重比例动态切分任务量，而不是平均分配。
以下是一个简化版的 K8s 资源请求配置参考，用于强制任务落在同构岛内，避免跨芯通信：
spec:
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: chip-vendor
operator: In
values:
- huawei
- key: chip-model
operator: In
values:
- 910D
containers:
- name: llm-worker
resources:
limits:
huawei.com/npu: 8
如果必须进行跨芯推理（例如将轻量级前处理放在寒武纪卡，核心生成放在昇腾卡），请务必在中间层引入一个高性能的异步队列（如 Redis 或 gRPC 异步调用），将同步等待转化为异步流水线，从而掩盖异构芯片间的时延差异。
2026 年的采购底线：看认证而非看 PPT
很多企业在扩容时容易被厂商的“兼容性”承诺误导。事实上，真正的兼容性应该建立在可验证的标准之上。2026 年 5 月 26 日，中国信息安全测评中心与国家保密科技测评中心发布的《安全可靠测评结果公告（2026年第2号）》首次将 AI 训练推理芯片纳入安全可靠测评体系。这不仅是安全认证，更是事实上的“准入目录”。
在选择混用芯片时，优先选择在该目录中获评“安全等级 I 级”且算子库开源程度较高的产品。因为只有算子透明，你才能在《迁移昇腾 910C/910D，先查算子、显存和 HCCL》中提到的显存碎片治理和算子补齐工作变得可行。
最后给一个核心结论：在国产算力集群中，追求“极致的资源利用率”往往是性能下降的开始。 给异构芯片之间留出足够的隔离带，接受 10% 的资源冗余，换取 50% 的稳定性提升，这才是目前最理性的工程实践。
