开发者生态
Kubernetes上的AI：当模型推理遇上Service Mesh
2026年，66%的生成式AI推理负载已部署在Kubernetes上，但传统的负载均衡无法应对大模型对显存和Token的非线性需求。本文以Llama-3.1-8B的A/B测试为例，解析如何利用Istio构建专用Servi
阅读全文
Search
站内搜索
关键词：AI推理
找到 11 篇相关文章
开发者生态
前沿研究
14B模型上手机，先看功耗这道坎
骁龙8 Gen 5让14B端侧AI推理成为可能，但热节流让算力大打折扣。实测数据显示，INT4量化、NPU-CPU混合调度与内存预分配，比单纯堆砌NPU算力更能实现可持续运行，这才是2026年端侧AI落地的关键。
阅读全文
前沿研究
AI推理加速新路径：投机解码从论文走到生产
2026年6月底，DeepSeek开源DSpark框架，NVIDIA披露EAGLE-3方案，投机解码正式从学术概念跨入生产深水区。本文拆解vLLM与TensorRT-LLM的工程实现细节，对比显存优化、国产算力适配与硬件
阅读全文
前沿研究
深圳点亮14000P集群后，昇腾910C的软件护城河筑得怎样
2026年上半年，深圳14000P智算集群点亮，1000颗昇腾910C跑通万亿参数模型。硬件堆叠过关后，算子适配、异构混部等软件缝隙成为工程师的新痛点。从CANN生态到Agentic AI推理优化，国产算力正经历从跑得到
阅读全文Arm架构拿下40% PC出货量后，端侧AI推理的算力账怎么算
Arm架构在PC和平板市场的份额突破40%，标志着AI算力从云端向边缘的重心转移。本文结合2025-2026年最新数据，拆解NPU在端侧大模型推理中的成本与延迟优势，探讨物理AI与边缘计算的落地现实。
阅读全文
前沿研究
英伟达押注Blackwell Ultra：AI推理算力需求远未见顶
2025年GTC上，英伟达发布Blackwell Ultra，专攻AI推理。通过显存扩容与专用加速，性能最高提升50倍，计划下半年供货。黄仁勋同时预告下一代架构Vera Rubin，算力军备竞赛仍在加速。
阅读全文
前沿研究
RISC-V出货破百亿：端侧AI推理为何选中它？
2024年全球RISC-V芯片出货超百亿颗，30%用于AI加速。凭借模块化设计和低功耗优势，阿里玄铁C950等芯片正将千亿参数大模型推理拉入端侧，打破ARM在嵌入式领域的垄断格局。
阅读全文RISC-V AI芯片产量将破162亿颗，开发者迁移实测指南
2025年武汉大会发布国产RISC-V服务器芯片。全球产量预计超162亿颗，AI推理占比攀升。平头哥、嘉楠科技等公司方案已商用，成本优势明显。本文提供从ARM迁移到RISC-V的实战步骤和常见坑点。
阅读全文苹果把AI推理搬上手机，英伟达的钱包还安全吗
WWDC 2026上，苹果宣布iOS 20将80%的AI推理任务默认在本地NPU执行，隐私数据不出设备。通过动态精度切换、智能内存交换和1x1卷积替换三个“野路子”，70B模型推理功耗降低30%，首字响应压至0.9秒。端
阅读全文A100跑大模型：Candle比PyTorch省了23%显存
一张A100 GPU，一个Llama 2 7B模型，1000次推理后得到一组数据：Candle延迟40ms，PyTorch 63ms；吞吐25比15.9 req/s；显存14.2GB比18.5GB。为什么差这么多？我们拆
阅读全文从‘云边端’到‘端边云’：2026年大模型推理架构的范式转变与成本优化
本文深入分析2026年AI推理架构从‘云端中心’向‘端侧优先、云端兜底’范式转变的核心驱动因素，包括端侧芯片算力爆发、隐私合规压力及成本优化需求。文章结合最新行业案例、供应链动态与技术路径，探讨这一范式转变如何重塑企业A
阅读全文