把3B模型塞进树莓派5：延迟、内存和功耗，我们实测了一遍
一个1.5B的蒸馏模型，在骁龙8 Gen 3手机上推理128个token需要150毫秒，在树莓派5上处理256个token则要1.2秒。我们用VibeThinker-3B等模型，在安卓手机和树莓派上对比了ONNX Run
阅读全文
Search
站内搜索
关键词：模型部署
找到 30 篇相关文章
算力‘民主化’进行时：解析2026年三大新兴开源推理框架的性能对决与选型指南
随着大模型从实验室走向规模化生产，推理框架的选择成为决定服务性能与成本的关键。本文基于2026年最新实测数据与版本迭代，深度对比vLLM、TGI、TensorRT-LLM等主流开源推理框架的架构、性能、适用场景，并提供面
阅读全文端侧大模型‘军备竞赛’：高通骁龙8 Gen 4与联发科天玑9400的AI算力与能效实测对比
本文前瞻分析2026年下半年即将发布的移动旗舰平台——高通骁龙8 Gen 4与联发科天玑9400在端侧大模型部署上的关键能力。聚焦其AI算力（TOPS）、能效比、内存带宽及软件生态，基于最新行业数据与预测，为开发者与硬件
阅读全文大模型推理效率‘极致优化’：2026年量化、稀疏化、投机采样等技术的最新实践与效果对比
本文系统梳理2026年大模型推理优化技术栈的最新实践，深入对比量化、稀疏化、投机采样等前沿方法在vLLM、TensorRT-LLM等框架下的实际效果。基于NVIDIA H200、GB200等最新硬件，提供详细的性能评测数
阅读全文AI原生手机与PC 2026年中复盘：苹果、高通、联发科端侧大模型部署的最新进展与用户体验报告
本文基于2026年上半年最新产业动态，深度复盘苹果、高通、联发科在AI原生手机与PC上部署端侧大模型的最新进展。报告聚焦于功耗优化、新交互方式（AI Agent）及用户体验，并结合行业趋势进行横向对比分析。
阅读全文开发者必备：2026年AI开发与部署工具链全景评测（夏季版）
本文基于2026年6月最新行业动态与工具发布，系统评测从编码、微调到评估、部署的完整AI开发工具链。深入对比主流AI编程平台、开发框架、评估工具及部署方案，结合实战案例与选型指南，帮助开发者构建高效、安全、面向未来的开发
阅读全文