MoE架构下放边缘设备，内存墙还在怎么破
MoE架构通过稀疏激活降低了计算量，但其庞大的参数体量在端侧设备上触发了严重的内存带宽瓶颈。本文分析MoE在手机端的“存储墙”困境，并提供KV Cache量化与专家路由控制的实操方案，帮助开发者在有限显存下跑通模型推理。
阅读全文
Search
站内搜索
关键词：量化
找到 118 篇相关文章
前沿研究
手机端跑通世界模型，2026年AI眼镜终于能预测物理碰撞了
分析端侧世界模型如何将AI眼镜从简单的“视觉识别”升级为“物理预判”。结合谷歌、三星、高通等最新硬件动态，探讨轻量化世界模型在毫秒级实时推理中解决物理碰撞预测的技术路径与功耗约束。
阅读全文3B模型能省多少云端成本，先把这笔账算对
2026年，推理需求增长和算力租赁涨价把企业重新推向端侧。3B级模型适合处理纠错、分类和请求路由，把复杂任务留给云端。它能省多少，取决于本地完成率、云端重试、设备功耗和维护成本，不能只凭参数量估出固定降幅。
阅读全文
前沿研究
3B模型跑强化学习：为什么端侧慢思考比无脑堆参数更省电
分析2026年夏季端侧AI面临的算力与散热双重挑战，探讨如何利用GRPO算法与轻量级MCTS，让3B小模型通过“慢思考”机制在本地离线实现复杂逻辑推理，并深度量化其能效比。成本账表明：慢思考的3B模型相比于大参数直接输出
阅读全文
技术应用
端侧 AI 手机散热实测：高温降频对推理速度的真实影响评估
在 35℃ 恒温箱环境下，iPhone 16 Pro Max、Galaxy S25 Ultra 和小米 15 Pro 持续推理 20 分钟后，Token 生成速度分别跌至初始值的 58%、50% 和 72%。本文量化分析
阅读全文2026下半年端侧大模型评测：谁在真省电，谁在背刺续航
2026年旗舰手机端侧AI体验的差距已从跑分转向能效。本文对比苹果A19、骁龙8 Gen 4与天玑9400在运行3B-7B量化模型时的功耗、发热与延迟，通过架构与实测案例揭示谁的NPU真正兼顾续航，并附一套可复现的功耗测
阅读全文7B到14B模型上手机，先过内存和功耗两道关
7B模型做INT4量化后，权重理论下限约3.5GB；14B约7GB，运行时还要给KV Cache、系统和后台应用留空间。手机NPU调度的重点，是控制上下文、算子回退和持续发热。
阅读全文昇腾910D显存溢出怎么救？实测三种轻量化量化方案的精度损失
针对国产算力集群部署中的显存瓶颈，本文实测了FP8、INT4及混合精度三种轻量化量化方案在昇腾910D上的显存节省效果与实际精度损失，并提供了一套可复用的调优Checklist，助力大模型无损落地。
阅读全文用 Llama 4 微调企业客服模型：从数据准备到部署避坑
针对 Llama 4 的 MoE 架构，本文详细拆解如何利用 LLaMA Factory 和 Unsloth 通过 LoRA 实现企业级客服模型的微调。涵盖从 SFT 数据清洗、Rank 参数调优到 GGUF 量化部署的
阅读全文昇腾910C迁移实录：从跑通到优化的真实成本账单
避开宏大叙事，本文通过一个70B参数模型从H100迁移至昇腾910C的真实案例，量化拆解代码适配、算子重写与HCCL调优的人力与时间成本，为技术负责人提供国产算力迁移的ROI决策参考。
阅读全文
产业动态
算力泡沫破裂后，2026年夏季 AI 创业公司转向“轻量化”生存模式
2026年Q2，AI融资逻辑发生根本逆转，资本从参数军备赛转向效率与落地。本文通过模型蒸馏、端侧部署和算子调优等轻量化技术案例，揭示算力成本高企下创业公司如何构建商业闭环，包括银行反欺诈、端侧推理、国产芯片等实战。
阅读全文
技术应用
端侧32B模型上车：手机散热与功耗的隐形天花板在哪？
骁龙8 Gen 5手机实测显示，INT4量化32B模型运行十分钟后，生成速度从8 token/s跌至3 token/s。本文对比RTX Spark的45—80W主动散热与手机的被动极限，剖析内存墙与NPU架构的真实瓶颈，
阅读全文