70B模型本地实测：iPhone 17 Pro的0.8秒与10分钟
在iOS 20开发者预览版中，iPhone 17 Pro通过4-bit量化实现了Llama 3.3 70B模型的本地运行，首字延迟0.8秒。但连续复杂推理10分钟后，手机温度飙至65℃，性能大幅降频。苹果用三层意图分流机
阅读全文
Search
站内搜索
关键词：推理
找到 301 篇相关文章
手机跑大模型烫手？华为想用 6G 基站帮 iPhone 分担算力
华为在 MWC 2026 发布 Agentic Core，将 AI 推理和调度直接嵌入 6G 基站。面对 iPhone 17 Pro 等终端跑大模型的散热瓶颈，以及 AI Agent 带来的 EB 级流量，网络正从“传输
阅读全文别只盯着模型大小：用 GraphRAG 和智能体把企业知识库跑通
传统 RAG 靠字面匹配，在处理复杂实体关系时容易“翻车”。通过微软 GraphRAG 2.0.0 和 Dify 等工具，企业可以将知识库从简单的搜索仓库升级为具备推理能力的知识图谱系统，让 AI 真正理解业务逻辑而非单
阅读全文拿了数亿融资的国产AI芯片，为什么先去卷视频压缩
2026年，多家拿下数亿融资的国产AI芯片公司避开了英伟达通用训练的锋芒，转攻视频推理与压缩。随着Sora 3引爆应用层，视频生成与压缩的推理算力成本成为企业生死线。本文从快手系芯片公司切入，拆解国产AI芯片在视频场景下
阅读全文8 台 M4 Ultra 拼一起跑 70B 模型，到底卡在哪
M4 Ultra 单机跑 Llama-3-70B 体验不错，但用 Thunderbolt 5 串联 8 台反而更慢。实测多机延迟比单机高近 3 倍，电费每月逼近 4500 元，散热还得额外砸钱。除非数据绝不能出本地，否则
阅读全文iPhone 19 运行 70B 模型实测：发热与延迟的妥协
实测显示，搭载 M5 芯片的 iPhone 19 在运行 70B 模型时，首字生成需 1.2 秒。但连续高负载 10 分钟后，因温度触及 65℃ 触发 NPU 降频，延迟飙升至 5 秒以上。Apple Intellige
阅读全文Rust 重写推理引擎：一场正在发生的语言迁移
2026 年的 AI 重心从参数规模转向单位经济，推理延迟和内存安全成为新的硬约束。PyTorch 插件、昇腾算子、端侧部署这些场景里，Rust 正在悄悄替换 C++ 和 Python，背后是 GIL 瓶颈和 OOM 这
阅读全文iPhone 17 Pro 跑 70B 模型：0.8秒后是发热降频
iOS 20 推送后，iPhone 17 Pro 凭借 M5 芯片实现本地运行 70B 模型，首字延迟仅 0.8 秒。但持续负载 10 分钟，SoC 温度突破 65℃ 触发降频，响应拖至 5 秒以上。在欧盟 AI 法案严
阅读全文保单失效闹乌龙？Graph RAG 为何正在取代纯向量检索
2026年5月，某保险公司因向量检索无法捕捉条款间逻辑关联，导致客服AI给出相反答复。随着金融、医疗等高容错行业对多跳推理需求增加，Graph RAG凭借知识图谱与向量混合索引，正成为解决幻觉与提升可解释性的新标准。
阅读全文iPhone 17 跑 AI 发烫？三款 2026 旗舰散热实测
2026 年旗舰机运行本地大模型时，散热成为体验分水岭。实测显示，iPhone 17 Pro 在持续推理 15 分钟后帧率骤降，Pixel 10 靠石墨均热板维持较稳输出，Galaxy S27 Ultra 则需开发者模式
阅读全文GPT-5o半年考：那些被撤回的Agent决策与误操作日志
GPT-5o在企业级Agent应用中暴露出的“幻觉越权”问题正在引发运维危机。本文拆解6起真实误操作日志，分析多步推理中的错误累加根因，并结合权限熔断机制设计，探讨如何在不牺牲灵活性的前提下建立容错防线。
阅读全文端侧模型省电了，但App开发者为什么还在抗拒接入NPU？
2026年端侧推理能效比已大幅提升，但开发者仍面临算子适配碎片化、量化精度丢失及内存带宽瓶颈。本文通过架构师访谈，揭示NPU落地背后的工程困境与真实成本。
阅读全文