MacBook Pro 14英寸（M5芯片，24GB内存）装上macOS 26开发者预览版，目的很明确：本地跑一个13B大模型，看它能不能胜任移动办公。
测试分两半。
全精度13B：58分钟烫手，续航拉胯
模型是Llama 3.3微调的13B，FP16格式，权重26GB。24GB统一内存刚好放下，GPU直接满载，散热很快吃紧。
任务很简单：给一段500字会议纪要，让它生成执行清单和跟进邮件。首字延迟1.2秒，速度不算慢。但20分钟后，键盘WASD区域上方明显发烫。
第45分钟，红外测温显示键盘表面46℃。风扇全速，噪音明显。GPU频率开始波动，推理吞吐量从18 tokens/s掉到12 tokens/s。
第58分钟，电池剩5%，系统切到低功耗模式，模型响应变慢，只能终止。全程续航1小时58分钟——跨城高铁或移动办公根本扛不住。
这反映出移动端散热面积是持续运行大模型的硬约束。之前在我的测试中（M5芯片+70B模型实测）也遇到过类似瓶颈。
INT8量化：功耗降一半，速度翻三倍
用MLX框架一键量化到INT8，权重从16位压缩到8位，体积减半到13GB，内存带宽压力大幅降低。
相同任务再来一次，结果很清楚：推理速度54 tokens/s，是全精度的3倍。CPU+GPU综合功耗稳定在13W，差不多是全精度（28W）的一半。键盘温度30分钟后稳定在38℃，温热但不烫。
续航：满电持续运行INT8版13B模型，多轮对话加长文本混合负载，最后坚持了2小时1分钟。绝对值不算长，但结合速度和发热，它跨过了“可用”门槛——飞行途中或会议室里的紧急任务能顶一下。
智能体工作流也能跑
光跑模型还不够，移动办公需要模型调用工具。我用本地环境跑了一个智能体（参考多模态 Agent 接管工作流的架构）：读本地文件，调用API，结果写入另一个应用。
INT8模式下，包含工具调用的整体延迟比纯对话高一些，但还算流畅。M5的统一内存在模型加载与工具执行间切换，瓶颈不大。
这意味着一台MacBook Pro 14上，INT8量化的13B模型配合智能体工作流，已经能从玩具变成实用工具。
几个关键点
这次测试验证了几件事：端侧AI能否持续运行，取决于散热、功耗和量化工具链的配合。苹果在Apple Intelligence 2.0里强化了本地推理调度，算是开了个好头。对开发者来说，优化本地模型运行的API和工具链是真正可以发力的地方。
上周测的70B模型用4-bit量化虽然能跑（参考70B模型本地实测），但散热墙依然明显。相比而言，13B INT8在移动散热条件下找到了一个平衡点。
至少这次测试表明，MacBook上INT8量化13B模型配合智能体工作流，已经是一个有潜力的移动办公选项。还不完美，但能干了。
