M4 Ultra 刚出那阵，不少开发者都在琢磨一件事：192GB 统一内存，单机跑个 70B 模型应该很轻松。如果再通过 Thunderbolt 5 把几台 Mac Studio 串起来，是不是就能绕开云端的 GPU 账单，自己在家里搭一台“廉价超算”？
真有团队这么干了。有人拿 8 台 M4 Ultra 通过 TB5 互联，想搭一个本地推理集群，专门跑 Llama-3-70B。想法不复杂——数据不出门，也不用按月给云厂商交租。但实测结果比想象中骨感得多。
带宽的幻觉：TB5 不是 NVLink
单机环境下，M4 Ultra 的表现其实可圈可点。INT4 量化的 70B 模型占用内存大约 40 到 50GB，首字延迟能做到 0.5 秒以内，吞吐量每秒 30 到 40 token。这个速度甚至能压过一些入门级云端 A10G 实例。
问题出在多机并行上。Thunderbolt 5 标称带宽 120Gbps，听起来很宽，但它本质上是外设总线，设计目标是连显示器和硬盘，不是用来做低延迟的张量并行通信。测试里，节点一多，设备间数据交换的开销迅速膨胀。加到第 4 台时，边际收益已经很小；到第 8 台，端到端延迟反而比单机慢了接近 3 倍。吞吐量不仅没翻倍，还因为通信频繁阻塞变得忽高忽低。
云端集群靠的是 NVLink 或 InfiniBand 这类纳秒级互联，而 Mac 集群这边，开发者得自己模拟通信逻辑，缺少像华为 CANN 那样现成的异构计算协调工具。调试成本高得离谱，还很难稳定复现结果。
另一张账单：电和热
性能折损只是其中一面，运营成本是另一面。单台 M4 Ultra 满载功耗约 350W，8 台就是 2.8kW。算上交换机和存储，持续功率轻松超过 3kW。按 0.8 元一度电来算，24 小时电费大概 60 元，一个月下来接近 4500 元。这还没算硬件折旧。
散热比电费更麻烦。Mac Studio 机身紧凑，8 台堆在一起，热量根本散不出去。苹果设备在高负载下触发热节流不是什么新鲜事，性能掉个 20% 到 30% 很正常。为了不让机器降频，你可能还得额外掏几千块上工业风扇甚至改液冷。原本想省钱，结果处处是追加投入。
什么时候才值得折腾
8 台 M4 Ultra 集群不是毫无用处，只是适用面很窄。
一个方向是极低并发的高精度推理。同时只服务少数用户、对实时性要求不高，但数据绝不能出本地的场景——比如医疗影像分析、金融合规审查——单机或多机并联确实能提供很高的隐私保障。
另一个是开发调试。本地 M4 Ultra 做原型验证非常顺手，改完代码立刻跑，不用排队等云实例调度。这种闭环迭代的节奏，很多时候比单纯拼算力指标更有价值。
还有就是 LoRA 轻量微调。全量微调 70B 模型在 Mac 上不现实，但大内存让它能同时加载多个 LoRA 权重，快速切换测试。这比在云端反复挂载磁盘、处理显存碎片要利索得多。
务实一点
拿 8 台 M4 Ultra 拼集群去对抗云端的大规模训练或高并发推理，目前看性价比极低。本地算力真正的长板是灵活和数据掌控，不是绝对性能。
对大部分团队，混合架构更说得通：敏感数据和原型开发留在本地 M4 Ultra，日常推理搭配优化过的向量库方案；大规模训练和高并发请求，还是交给云端弹性资源。选什么算力，说到底看你更在意“掌控感”还是“规模效应”。
