70亿参数模型进手机,端侧AI开始考验权限和续航
第五代骁龙8至尊版已支持手机端离线运行70亿参数模型,小米、谷歌和中兴则把竞争推向更大的模型与系统级智能体。参数之外,权限边界、续航和端云切换更影响日常体验。
阅读全文关键词:本地LLM
第五代骁龙8至尊版已支持手机端离线运行70亿参数模型,小米、谷歌和中兴则把竞争推向更大的模型与系统级智能体。参数之外,权限边界、续航和端云切换更影响日常体验。
阅读全文iPhone 19 Pro Max的M5芯片运行128B模型,首字延迟2.1秒,连续推理12分钟后速度腰斩,瓶颈在内存带宽,苹果的分层调度方案可能是最优解
阅读全文2026年本地LLM性能追平云端,但70B+模型硬件门槛不低。本文对比双RTX 4090、A6000等方案在70B-100B模型上的显存占用与延迟,分享外置水冷改装将温度从85°C降到55°C的实测经验,并提供功耗优化技
阅读全文