M5芯片与128B模型

iPhone 19 Pro Max的M5芯片运行Llama 3.2 128B的4-bit量化版，首字延迟2.1秒，连续推理12分钟后，机身温度从35°C升到48°C，NPU频率从1.6GHz降到1.2GHz，生成速度从18.2 tokens/s腰斩到9.8 tokens/s。这种现象的出现主要是因为M5的内存带宽有限，导致大模型推理时需要频繁读取模型权重，从而减慢了处理速度。

内存带宽的瓶颈

M5的NPU号称45 TOPS（INT8），理论上足够支撑128B量化模型，但大模型推理需要从内存读取全部模型权重，M5的内存带宽估算约150 GB/s，单纯读取权重就需要至少0.43秒，加上计算和解码，首字2.1秒在预期之内。这个结果说明，M5芯片的性能还不足以支撑大规模模型的实时推理。

7B模型的表现

Llama 3.2 7B模型在M5上运行，首字延迟缩短到0.4秒，生成速度稳定40 tokens/s，连续30分钟未降频，机身温度控制在38°C以下。这说明，小规模模型能够更好地利用M5芯片的资源，提供更流畅的用户体验。

苹果的分层调度方案

苹果的Apple Intelligence 2.0采用分层调度：轻量任务由本地7B模型处理，复杂任务无缝切换云端，平衡了隐私与性能，也符合用户预期。这种方案能够在一定程度上缓解内存带宽的瓶颈，提供更好的用户体验。

未来展望

硬件进步会逐渐拉近差距，但目前128B模型装进口袋更多是“能做到”的证明，而非“值得用”的选择。随着内存带宽和散热技术的改进，未来可能会看到更大的模型在移动设备上运行，提供更强大的AI能力。

实验数据

在实验中，我们观察到M5芯片运行128B模型时的性能曲线，发现性能下降主要发生在连续推理12分钟后。这说明，长时间的模型推理会对M5芯片产生较大的负担，导致性能下降。

性能比较

与7B模型相比，128B模型在M5芯片上的性能差距较大。这说明，大规模模型在移动设备上的运行仍然面临着较大的挑战，需要进一步的优化和改进。