前沿研究
一句话找照片，手机相册为何适合端侧多模态模型
相册里的搜索、编辑和分享原本分属不同工具。端侧多模态模型把图像理解与自然语言检索放进同一条本地流程，减少照片上传，也方便弱网或离线使用。体验上限仍由模型压缩、内存、调度和散热决定。
阅读全文
Search
站内搜索
关键词：本地推理
找到 11 篇相关文章
前沿研究
前沿研究
Arm高管眼中的AGI：低功耗芯片如何重塑端侧AI代理
2026年，AI代理从云端走向端侧，功耗成为关键瓶颈。Arm高管频频发声，强调能效是下一阶段竞争焦点。从Arm AGI CPU的发布到20项技术预测，本文梳理Arm的低功耗设计哲学如何影响手机与PC芯片的本地推理性能，并
阅读全文端侧AI手机首发实测：骁龙8 Gen5运行14B模型的日常卡顿吗
搭载骁龙8 Gen5的旗舰机已上市，我们断网实测了一周14B参数模型的本地推理。响应7.8秒、续航缩水三成、发热可控但持久战会降频。本文给出速度、功耗和隐私的真实数字，并对比云端API，明确判断普通用户当前是否值得为端侧
阅读全文
前沿研究
苹果端侧AI，NPU不是唯一答案
Apple Intelligence把AI拉回iPhone本地，但真正决定体验的，不只是一颗NPU。算力、内存、散热、云端协同和隐私边界，会一起决定它能做多远。
阅读全文2026端侧AI转向：Arm预测与苹果AFM3背后的能效战
2026年，Arm发布20项技术预测，宣告计算重心从云端向端侧转移，3D堆叠取代晶体管微缩成为创新核心。与此同时，苹果WWDC2026推出AFM3系列与M5芯片，凭借稀疏架构实现200亿参数本地推理。深圳电商因云端API
阅读全文苹果M5芯片发布：iPhone 17将如何重塑端侧AI体验
M5芯片让GPU AI性能实现4倍跃升，为端侧运行70B大模型奠定硬件基础。iPhone 17 Pro将首发该体验，标准版无缘。本地推理不仅带来零边际成本的隐私安全，更是对抗云端API失控风险的终极防线。
阅读全文实测iPhone 19离线AI：苹果智能2.0的隐私红利与性能代价
在iPhone 19工程机上测试离线LLM：场景记忆功能满电下1.2秒完成，低电量时延迟超3秒且丢失细节。本地推理消耗更多电量，但数据不出设备。对比云端私有云，本地模式更适合数据敏感企业，但知识更新受限。
阅读全文告别云端依赖：2026 年私有化部署 LLM 的硬件选型与散热实测
2026年本地LLM性能追平云端，但70B+模型硬件门槛不低。本文对比双RTX 4090、A6000等方案在70B-100B模型上的显存占用与延迟，分享外置水冷改装将温度从85°C降到55°C的实测经验，并提供功耗优化技
阅读全文Apple Intelligence 半年记：本地 AI 的甜与痛
Apple Intelligence 全面落地半年，实时翻译、视觉智能等功能体验流畅，隐私保护到位。但本地处理复杂任务时，发热问题明显。苹果的混合架构——本地跑隐私、云端扛重活——是目前技术条件下的务实选择。
阅读全文实测国产AI芯片跑13B大模型：续航崩了，比玩游戏还烫
2026年6月，我们测试了三款搭载最新国产AI芯片的旗舰手机，在本地运行13B参数大模型。测试发现，持续对话功耗突破5W，续航仅约两小时，发热明显。软件优化和应用场景的缺失，让本地大模型目前更像技术演示，离实用还有距离。
阅读全文8GB显卡跑3B模型：2026年本地部署的硬件与软件配置清单
这是一份基于2026年开源工具链的实操配置。它告诉你如何在RTX 3060 12GB或同级显卡上，用llama.cpp和Q4_K_M量化稳定运行VibeThinker-3B等模型，并完成从微调到部署的全流程。
阅读全文