昇腾910D显存溢出怎么救？实测三种轻量化量化方案的精度损失
针对国产算力集群部署中的显存瓶颈，本文实测了FP8、INT4及混合精度三种轻量化量化方案在昇腾910D上的显存节省效果与实际精度损失，并提供了一套可复用的调优Checklist，助力大模型无损落地。
阅读全文
Search
站内搜索
关键词：大模型部署
找到 8 篇相关文章
Android端侧大模型落地：先管住内存、NPU和温度
把大模型装进Android App，跑通只是起点。真正影响体验的是模型加载、内存复用、NPU回退和持续发热。围绕这些工程问题，梳理一套更稳妥的端侧部署思路。
阅读全文
前沿研究
骁龙、天玑与苹果端侧量化怎么选
端侧大模型部署不能只看INT4压得更小。芯片的NPU支持、算子回退、内存带宽、发热和系统调度，都会改变真实体验。骁龙、天玑、苹果A系列各有取舍，工程上要先确定场景，再选INT4或INT8。
阅读全文Vision Pro跑大模型：四个让体验崩盘的交互难题
我们实测在Vision Pro上部署7B多模态大模型，发现比发热更麻烦的是交互。手势延迟让反馈总慢半拍，3D界面信息堆叠打架，语音和视线各说各话，输出速度跟不上用户翻页手速。这些问题不解决，用户可能30秒就想摘设备。
阅读全文算力‘民主化’进行时：解析2026年三大新兴开源推理框架的性能对决与选型指南
随着大模型从实验室走向规模化生产，推理框架的选择成为决定服务性能与成本的关键。本文基于2026年最新实测数据与版本迭代，深度对比vLLM、TGI、TensorRT-LLM等主流开源推理框架的架构、性能、适用场景，并提供面
阅读全文端侧大模型‘军备竞赛’：高通骁龙8 Gen 4与联发科天玑9400的AI算力与能效实测对比
本文前瞻分析2026年下半年即将发布的移动旗舰平台——高通骁龙8 Gen 4与联发科天玑9400在端侧大模型部署上的关键能力。聚焦其AI算力（TOPS）、能效比、内存带宽及软件生态，基于最新行业数据与预测，为开发者与硬件
阅读全文大模型推理效率‘极致优化’：2026年量化、稀疏化、投机采样等技术的最新实践与效果对比
本文系统梳理2026年大模型推理优化技术栈的最新实践，深入对比量化、稀疏化、投机采样等前沿方法在vLLM、TensorRT-LLM等框架下的实际效果。基于NVIDIA H200、GB200等最新硬件，提供详细的性能评测数
阅读全文AI原生手机与PC 2026年中复盘：苹果、高通、联发科端侧大模型部署的最新进展与用户体验报告
本文基于2026年上半年最新产业动态，深度复盘苹果、高通、联发科在AI原生手机与PC上部署端侧大模型的最新进展。报告聚焦于功耗优化、新交互方式（AI Agent）及用户体验，并结合行业趋势进行横向对比分析。
阅读全文