32GB 显存跑 70B，先算清 4-bit 的账
70B 模型做 4-bit 后，权重理论值仍约 35GB，单张 32GB 显卡还没给 KV Cache 和框架开销留空间。更现实的办法是用 GGUF 分层卸载、选择更低比特，或改用 32B 模型。
阅读全文
Search
站内搜索
关键词：70B 模型
找到 10 篇相关文章
70B模型迁到昇腾910D：算子、显存和通信实录
一次从 A100 集群到昇腾 910D 的 70B 模型迁移，最耗时间的不是启动报错，而是 CPU 静默回退、HBM 碎片和 HCCL 长尾。按单卡、单机、多机逐级锁定基线，能少走不少弯路。
阅读全文iPhone 19 端侧跑 70B 模型：快、烫，且会算错数
在弱信号电梯里拆封即测iPhone 19 Pro Max的Apple Intelligence 2.0。70B模型首字1.2秒，离线全功能可用。但持续生成10分钟，手机发烫、降频至2.8秒，逻辑题答错两道。轻任务够用，复
阅读全文把卷积层塞进iOS 20：端侧70B模型省电30%的三个野路子
iPhone 17 Pro 本地跑 70B 模型 10 分钟就烫到降频怎么办？本文实测三种非常规优化手段：动态精度切换（保持 95% 精度功耗降 25%）、iOS 20 智能内存交换（省带宽 20%）、以及用 1x1 卷
阅读全文8 台 M4 Ultra 拼一起跑 70B 模型，到底卡在哪
M4 Ultra 单机跑 Llama-3-70B 体验不错，但用 Thunderbolt 5 串联 8 台反而更慢。实测多机延迟比单机高近 3 倍，电费每月逼近 4500 元，散热还得额外砸钱。除非数据绝不能出本地，否则
阅读全文iPhone 19 运行 70B 模型实测：发热与延迟的妥协
实测显示，搭载 M5 芯片的 iPhone 19 在运行 70B 模型时，首字生成需 1.2 秒。但连续高负载 10 分钟后，因温度触及 65℃ 触发 NPU 降频，延迟飙升至 5 秒以上。Apple Intellige
阅读全文iPhone 19 跑 AI 发烫？苹果用端云协同换了个思路
Apple Intelligence 2.0 上线半年，iPhone 19 的 M5 芯片虽能让 70B 模型首字 1.2 秒响应，但持续高负载下 65℃ 的温控红线让纯端侧难以为继。苹果转而采用精细的端云调度：敏感轻任
阅读全文iPhone 17 Pro 跑 70B 模型：0.8秒后是发热降频
iOS 20 推送后，iPhone 17 Pro 凭借 M5 芯片实现本地运行 70B 模型，首字延迟仅 0.8 秒。但持续负载 10 分钟，SoC 温度突破 65℃ 触发降频，响应拖至 5 秒以上。在欧盟 AI 法案严
阅读全文苹果端侧 Agent 2.0：本地跑 70B 模型，隐私审查靠什么过
iOS 20 推送后，Apple Intelligence 2.0 终于能让 Siri 真正干活。核心变化是 M5 芯片 NPU 跑到 100-200 TOPS，70B 参数模型首字延迟压到 1.2 秒，敏感任务在 Se
阅读全文iPhone 17 Pro 跑 70B 模型：快、烫，但够隐私
iOS 20 让 iPhone 17 Pro 在本地运行 70B 参数大模型。实测显示，单轮生成首字仅需 0.8 秒，体验流畅；但多轮对话和长上下文会导致延迟飙升至 2 秒以上，伴随明显发热与降频。隐私方面，纯本地任务确
阅读全文