A100跑大模型：Candle比PyTorch省了23%显存
一张A100 GPU，一个Llama 2 7B模型，1000次推理后得到一组数据：Candle延迟40ms，PyTorch 63ms；吞吐25比15.9 req/s；显存14.2GB比18.5GB。为什么差这么多？我们拆
阅读全文
Search
站内搜索
关键词：性能
找到 125 篇相关文章
M5 iPad Pro本地跑30B模型，文档摘要200毫秒
搭载M5芯片的iPad Pro首次在iPadOS 19上本地运行30B参数大模型，文档摘要延迟仅200毫秒，比云端快1.2-3秒。苹果通过INT4量化将模型压缩至15GB，配合16核神经网络引擎和翻倍的内存带宽实现这一突
阅读全文70B模型本地实测：iPhone 17 Pro的0.8秒与10分钟
在iOS 20开发者预览版中，iPhone 17 Pro通过4-bit量化实现了Llama 3.3 70B模型的本地运行，首字延迟0.8秒。但连续复杂推理10分钟后，手机温度飙至65℃，性能大幅降频。苹果用三层意图分流机
阅读全文iPhone 17 Pro实测：本地Agent跑通了，但散热墙难破
我们在iPhone 17 Pro上实测了Apple Intelligence 2.0。A19 Pro芯片用INT4量化让大模型本地跑，日常指令没问题，但复杂任务偶尔会算错。连续跑跨App任务后，手机很烫，性能就掉下来。现
阅读全文昇腾910C千卡调优实战复盘：损耗从1%压到0.1%
某头部大模型团队将模型从70B扩至175B时，昇腾910C千卡集群的单Epoch训练耗时比预期多1.5天，效率卡在85%。我们复盘其通过CANN工具链调优通信、用MindSpore静态图解决显存碎片，把性能损耗从1%压到
阅读全文告别云端焦虑：2026年本地化RAG部署的存储与隐私合规实战
2026年企业落地本地RAG已不再是“能不能”，而是“怎么少踩坑”。本文对比Milvus、Qdrant、Weaviate三大向量库在离线环境下的真实性能，结合最新数据安全合规要求，给出一份可直接执行的私有化部署清单。
阅读全文iPhone 19 运行 70B 模型实测：发热与延迟的妥协
实测显示，搭载 M5 芯片的 iPhone 19 在运行 70B 模型时，首字生成需 1.2 秒。但连续高负载 10 分钟后，因温度触及 65℃ 触发 NPU 降频，延迟飙升至 5 秒以上。Apple Intellige
阅读全文Rust 重写推理引擎：一场正在发生的语言迁移
2026 年的 AI 重心从参数规模转向单位经济，推理延迟和内存安全成为新的硬约束。PyTorch 插件、昇腾算子、端侧部署这些场景里，Rust 正在悄悄替换 C++ 和 Python，背后是 GIL 瓶颈和 OOM 这
阅读全文昇腾910C交付实测：从“跑不通”到“省成本”的迁移账本
2026年6月，昇腾910C季度交付破10万卡，但开发者面临CUDA迁移阵痛。实测显示，未经适配性能损耗可达30%，招行等案例通过CANN 7.0补丁将损耗压至10%。虽然液冷方案解决稳定性问题，但小团队需权衡隐性迁移成
阅读全文iPhone 19跑70B模型只要1.2秒，但10分钟后它累了
iPhone 19凭借M5芯片实现70B大模型本地1.2秒首字响应，隐私性极佳，但持续运行超10分钟即因过热降频。三星S26 Ultra延迟稍高（1.5秒），却可稳定运行20分钟。两者分别代表了极致单点性能与长稳体验的不
阅读全文iPhone 18实测：3.8秒延迟背后的端侧算力真相
iPhone 18 Pro Max NPU算力突破100 TOPS，但Apple Intelligence 3.0在多步任务上仍比上代慢0.5秒。实测显示，端侧大模型的性能瓶颈不在芯片，而在内存带宽与散热。相比苹果的“隐
阅读全文Siri 跨 App 实测：3.8 秒延迟背后的端侧取舍
iOS 19 带来 Apple Intelligence 3.0，Siri 获得跨应用权限。实测显示，多步操作成功率 61%，平均耗时 3.8 秒，明显慢于云端方案。苹果选择以性能和续航为代价，换取微信记录、银行短信等私
阅读全文