AI 实操指南
拒绝被云厂商绑架：两台旧 Mac 本地跑通 14B 大模型实操指南
利用两台闲置Mac Studio（M2/M3 Max），通过llama.cpp RPC分布式推理运行14B开源模型，实测吞吐与云GPU成本对比，附完整部署步骤。
阅读全文
Search
站内搜索
关键词：本地大模型
找到 16 篇相关文章
AI 实操指南
百亿参数模型进手机，先改变这几种日常交互
安谋科技在2024年提出，100亿参数级大模型已成为现有终端设备的最佳匹配规格。模型进手机后，用户先感受到的是弱网下仍可处理部分任务、敏感数据少上传和响应更直接；内存、功耗与模型更新，则决定它仍需云端配合。
阅读全文
前沿研究
Arm v10 架构在端侧AI的实测：手机运行 10B 模型还发烫吗
2026年7月实测表明，手机运行10B参数模型已从「不能跑」跨到「可以跑」，但发烫问题并未消失。得益于NPU调度、稀疏激活与指令集优化，持续推理功耗降至4.8W，温度约45℃；但Agent场景连续调用仍会堆积热量。文章引
阅读全文
前沿研究
端侧AI不只看跑分，还要过相册和输入法这关
荣耀用低bit量化缩小模型、提高推理速度，Nexa AI则试图降低跨芯片部署成本。端侧AI能否真正进入手机日常，还要看相册搜索、输入法和离线翻译是否够快、够稳，也不能太耗电。
阅读全文
技术应用
端侧AI手机实战：骁龙8 Gen 5与鸿蒙NEXT的本地模型体验
2026年旗舰机NPU算力破百，但本地跑通7B-14B模型仍遇功耗与适配瓶颈。实测骁龙8 Gen 5与鸿蒙NEXT，对比云端API，拆解离线场景下的隐私与体验差异，给出购机与开发建议。
阅读全文
前沿研究
端侧AI手机实测：NPU算力暴涨，但APP适配为何卡脖子
2026年旗舰机NPU算力突破100TOPS，但本地运行7B-14B模型仍卡顿、耗电。实测荣耀、小米、OPPO三款新机，解析芯片厂、手机厂商与APP开发者的三方博弈，并给出选购建议。端侧AI的爆发，最终不是算力军备竞赛能
阅读全文
前沿研究
端侧大模型霸屏：iPhone 17与安卓旗舰的本地AI体验大PK
6月9日WWDC 2026上，苹果将端侧最强AI门槛拉升至12GB，标准版iPhone 17被挡在门外。同期安卓阵营千亿参数模型出货破2000万，小米MiMo-V2 Pro仅用2秒生成文案。无网实测下，13B模型在旗舰机
阅读全文关掉Wi-Fi跑70B模型：手机端侧算力的真实账本
DeepSeek蒸馏模型在香橙派和玄铁C920上的快速适配，展示了端侧算力优化的方向。LPDDR5X/6的普及让手机运行量化大模型成为可能，但42℃的温度墙和能耗比限制了其实用性。端侧AI更多是隐私保护和高频轻量任务的补
阅读全文端侧AI手机2.0：NPU算力翻倍后，哪些App真正跑起来了？
2026年，端侧AI进入实效期。本文实测iPhone 19、小米16、华为Mate 70，对比本地笔记摘要、实时翻译与私密相册分类体验。揭示NPU算力提升后，隐私计算与离线可用性带来的真实差异，以及端侧应用开发的能效陷阱
阅读全文
前沿研究
实测A19 Pro：跑70B大模型，iPhone终于不烫了
iPhone 19 Pro Max搭载A19 Pro芯片，实测连续运行70B本地大模型15分钟背部温度稳定61℃，全程无降频。VC均热板和二级缓存翻倍是散热质变的关键。标准版仍有限制，重度AI用户建议Pro Max。
阅读全文苹果国行AI落地，端云混合架构实测体验如何
2026年夏天，国行版Apple Intelligence终于上线。我们用iPhone 17 Pro做了实测，看看苹果和阿里云合作的本地大模型加云端代理方案，在隐私、速度和发热上表现到底怎么样。
阅读全文M5 iPad Pro本地跑30B模型，文档摘要200毫秒
搭载M5芯片的iPad Pro首次在iPadOS 19上本地运行30B参数大模型，文档摘要延迟仅200毫秒，比云端快1.2-3秒。苹果通过INT4量化将模型压缩至15GB，配合16核神经网络引擎和翻倍的内存带宽实现这一突
阅读全文