在《iPhone 19 端侧跑 70B 模型》一文中，M5芯片跑70B模型10分钟后降频，速度和准确率双双下跌。当M4 Ultra于2025年5月发布，搭载32核CPU和80核GPU时，很多人期待能本地运行300B参数的模型。但仔细分析后会发现：能装下，但跑不爽。
硬件底牌：统一任务队列是核心变化
据CpuTime的评测，M4 Ultra采用3nm工艺，32核CPU、80核GPU，最高支持192GB统一内存。苹果在PHP中文网报道的架构详解中强调，M4 Ultra首次将CPU和GPU纳入统一的AI任务队列，允许系统根据计算密度动态分配负载。这种调度对混合专家模型(MoE)的路由决策有利——路由部分可由CPU高效处理，矩阵计算交给GPU。
一个300B参数的模型使用4-bit量化后大约需要150GB内存，顶配192GB的Mac Studio刚好能容纳。那么瓶颈在哪？内存带宽和散热。
内存带宽：仍是短板
苹果从未公布M4 Ultra具体内存带宽，但Ultra架构通常带宽是M4的两倍，M4带宽约为120GB/s，M4 Ultra可能达到400-800GB/s（参考M2 Ultra 800GB/s）。相比H100的2TB/s相差甚远。此前《M5芯片跑128B模型》的测试已表明，瓶颈就在内存带宽：128B模型连续推理12分钟后速度腰斩。300B模型对带宽要求更高，即便M4 Ultra带宽翻倍，持续生成仍会受限。
散热：桌面级的优势与天花板
iPhone 19跑70B模型10分钟降频，而M4 Ultra所在的Mac Studio拥有更大的散热空间。虽然没有直接300B模型实测数据，但苹果在2026年5月18日确认将M4 Ultra部署于iCloud数据中心（据RayByte报道），能效比相比M2 Ultra提升40%。这意味着芯片本身在优化环境中效率不错，但桌面封闭机箱能否应对300B模型长时间高负载值得怀疑。基于经验，当功耗超过散热设计时，降频几乎是必然的，只是时间问题。
MoE优化：理论可行但落地有差距
M4 Ultra的统一任务队列理论上能优化MoE模型的路由效率，因为路由属于控制密集型，可以跑到CPU上。但端侧芯片没有针对MoE的All-to-All通信做硬件加速。腾讯云的技术文章指出，苹果云端采用MoE大模型，端侧仅配备3B语言模型，说明苹果并不打算在端侧运行超大MoE。软硬件垂直整合固然有优势（CoreML/Metal），但面对300B规模，仍显吃力。
选型建议：适合短时爆发，不适合全天候
如果你必须本地运行300B模型，M4 Ultra顶配（192GB）是目前桌面端最现实的选项，短时推理首字延迟可能控制在数秒内。但对持续生成或企业级应用，仍需考虑服务器集群（如8×H100）。如果模型规模在70B以内，M4 Ultra则可以流畅运行且散热压力小，配合《手机厂商集体拥抱开源》中提到的小模型趋势，大多数场景更推荐云端协作或端侧小模型（3B/7B）。
一句话总结
M4 Ultra证明了端侧超大模型可行性的边界，但受限于带宽和散热，它更适合“短时推理+数据隐私”的极端场景，而非通用方案。苹果的端侧AI战略依然是小模型领先，大模型留在云端。