20B模型塞进2026款AI PC，先算内存再看NPU
Core Ultra 7 258V轻薄本有64GB统一内存和48 TOPS NPU，加载20B模型仍然OOM。权重只是第一笔占用，KV cache、算子回退和持续散热更容易拖慢推理。实测可行的做法，是混合INT4、压缩K
阅读全文
Search
站内搜索
关键词：NPU
找到 101 篇相关文章
产业动态
Arm的2026判断：手机端侧AI不能只靠压缩模型
Arm把2026年芯片创新的注意力从单纯缩小晶体管，移到3D堆叠与Chiplet。苹果AFM 3则用稀疏架构控制每次推理的计算量。手机要减少云端依赖，靠的不是单独堆NPU，而是让模型、框架、芯片和具体功能对得上。
阅读全文昇腾910C适配实录：PyTorch迁移中的显存优化与算子兼容
聚焦昇腾910C在PyTorch迁移中的显存碎片化解法、自定义算子编写规范与MindSpore双轨代码差异，提供一线开发者可直接复用的CANN调优参数与调试路径。
阅读全文百亿参数模型进手机，先改变这几种日常交互
安谋科技在2024年提出，100亿参数级大模型已成为现有终端设备的最佳匹配规格。模型进手机后，用户先感受到的是弱网下仍可处理部分任务、敏感数据少上传和响应更直接；内存、功耗与模型更新，则决定它仍需云端配合。
阅读全文把开源模型搬进边缘网关，低延迟只是第一关
RK3588 一类边缘网关能否承接 3B—7B 模型，关键在内存预算、量化格式、NPU 算子和回退路径。适合本地部署的，是数据敏感、网络不稳、请求稳定且任务边界清楚的工业场景；复杂请求仍可交给云端。
阅读全文
开发者生态
昇腾 910C 迁移实录：从代码报错到性能调优的避坑指南
基于昇腾 910C 真实迁移项目，记录从 PyTorch 模型迁移到华为 NPU 环境的全过程，涵盖算子兼容性处理、内存优化、通信调优及常见报错排查，提供可复现代码片段，结合出货量数据与实战经验，为开发者提供一份避坑清单
阅读全文
前沿研究
端侧AI手机降温危机：散热模组升级能否留住大模型体验？
7月15日7款手机端侧大模型备案通过，AI手机加速落地，但发热抱怨同步爆发。本文直指散热堆料已近物理极限，胜负手转向芯片调度策略，结合最新评测数据与硬件工程师观点，拆解'跑得快不如跑得稳'的逻辑，并预测主动散热、模型硬件
阅读全文2026下半年端侧大模型评测：谁在真省电，谁在背刺续航
2026年旗舰手机端侧AI体验的差距已从跑分转向能效。本文对比苹果A19、骁龙8 Gen 4与天玑9400在运行3B-7B量化模型时的功耗、发热与延迟，通过架构与实测案例揭示谁的NPU真正兼顾续航，并附一套可复现的功耗测
阅读全文7B到14B模型上手机，先过内存和功耗两道关
7B模型做INT4量化后，权重理论下限约3.5GB；14B约7GB，运行时还要给KV Cache、系统和后台应用留空间。手机NPU调度的重点，是控制上下文、算子回退和持续发热。
阅读全文
AI 工具箱
Rust 接管端侧调度，先看清 TensorRT-LLM 的边界
端侧 LLM 会为几毫秒反复抠性能，但瓶颈未必来自 Python。真正该查的是调用次数、同步、内存搬运和硬件后端。Rust 适合收紧关键路径；TensorRT-LLM 只能用于其支持的平台，不能被泛化成手机 NPU 的统
阅读全文PyTorch 迁到昇腾 910C/910D，先改哪几处
把 PyTorch 项目从 CUDA 搬到昇腾，先处理设备、HCCL 和混合精度，再用 CANN 8 Profiling 查看算子、通信、内存与下发延迟。代码能启动只是入口，自定义算子和版本对齐更容易拖慢进度。
阅读全文
技术应用
端侧32B模型上车：手机散热与功耗的隐形天花板在哪？
骁龙8 Gen 5手机实测显示，INT4量化32B模型运行十分钟后，生成速度从8 token/s跌至3 token/s。本文对比RTX Spark的45—80W主动散热与手机的被动极限，剖析内存墙与NPU架构的真实瓶颈，
阅读全文