H20禁令一年后：国产芯片参数亮眼，但迁移才是真门槛
英伟达H20被禁一年，国产芯片迅速补位。华为昇腾单卡推理吞吐2300 Tokens/s超越H100，平头哥真武810E性能对标H20，寒武纪思元590达A100级。但纸面参数不等于落地效果，算子支持与迁移适配才是真正的门
阅读全文
Search
站内搜索
关键词：推理
找到 301 篇相关文章
实测iPhone 19离线AI：苹果智能2.0的隐私红利与性能代价
在iPhone 19工程机上测试离线LLM：场景记忆功能满电下1.2秒完成，低电量时延迟超3秒且丢失细节。本地推理消耗更多电量，但数据不出设备。对比云端私有云，本地模式更适合数据敏感企业，但知识更新受限。
阅读全文512MB硬限卡住开发者，苹果AI的本地化代价
WWDC 2026上，苹果承诺80%推理在本地NPU完成，但512MB内存上限触发静默降级，跨应用Agent受XPC延迟困扰，权限与智能的冲突让用户面临选择。端侧AI的隐私红利背后，开发者正在边界内艰难前行。
阅读全文RAG 3.0实战：用GraphRAG解决企业知识库‘死记硬背’难题
从1000份研报构建图谱，50道题测试：多跳推理准确率提升40个百分点以上。拆解实体识别、关系抽取、Cypher查询完整流程，并分析成本与三个硬约束。
阅读全文告别云端依赖：2026 年私有化部署 LLM 的硬件选型与散热实测
2026年本地LLM性能追平云端，但70B+模型硬件门槛不低。本文对比双RTX 4090、A6000等方案在70B-100B模型上的显存占用与延迟，分享外置水冷改装将温度从85°C降到55°C的实测经验，并提供功耗优化技
阅读全文苹果端侧模型全拉通：iOS 20给开发者留了哪些暗门
iOS 20 全面开放本地模型 API，但内存调用与跨应用沙盒通信暗藏玄机。本文拆解 ANERuntime 的 512MB 内存硬顶、共享模型签名与静默降级陷阱，并提供内存池分片、XPC 后台推理、直写 ANE 汇编三条
阅读全文苹果把AI推理搬上手机，英伟达的钱包还安全吗
WWDC 2026上，苹果宣布iOS 20将80%的AI推理任务默认在本地NPU执行，隐私数据不出设备。通过动态精度切换、智能内存交换和1x1卷积替换三个“野路子”，70B模型推理功耗降低30%，首字响应压至0.9秒。端
阅读全文英伟达Blackwell Ultra发布：数据中心算力焦虑缓解了吗？
英伟达Blackwell Ultra在2026年Computex上发布，FP8算力20 PFLOPS，但交付要等到2027年Q1。这导致云厂商陷入买旧还是等新的两难。在空窗期，华为昇腾910C等国产芯片开始填补算力缺口。
阅读全文Apple Intelligence 半年记：本地 AI 的甜与痛
Apple Intelligence 全面落地半年，实时翻译、视觉智能等功能体验流畅，隐私保护到位。但本地处理复杂任务时，发热问题明显。苹果的混合架构——本地跑隐私、云端扛重活——是目前技术条件下的务实选择。
阅读全文A100跑大模型：Candle比PyTorch省了23%显存
一张A100 GPU，一个Llama 2 7B模型，1000次推理后得到一组数据：Candle延迟40ms，PyTorch 63ms；吞吐25比15.9 req/s；显存14.2GB比18.5GB。为什么差这么多？我们拆
阅读全文Claude Opus 4 盲测：逻辑强项掩盖了多模态的平庸
最新盲测显示，Claude Opus 4 在代码、数学及长文本处理上对 GPT-5o 形成压制，但在图像与视频理解等多模态任务中表现平庸。这反映出 Anthropic 当前在文本逻辑与非文本感知之间的能力倾斜，企业选型需
阅读全文MacBook实测13B模型：全精度烫手，INT8才是移动办公正解
MacBook Pro 14 M5芯片实测13B模型：全精度运行58分钟，键盘温度46℃，续航不足2小时。INT8量化后速度54 tokens/s，功耗13W，续航2小时1分，能流畅跑本地智能体工作流。量化是关键。
阅读全文