前沿研究
昇腾910C训练频繁OOM，问题可能出在显存碎片
一次1024卡昇腾910C训练中，单卡峰值占用82GB，却在第437步集体OOM。排查发现，14GB空闲显存被切成最大仅3GB的连续块。通过定期紧凑和内存池预分配，项目将单步时间从4.7秒降至3.8秒，MFU由31%升至
阅读全文
Search
站内搜索
关键词：优化
找到 212 篇相关文章
前沿研究
Android端侧大模型落地：先管住内存、NPU和温度
把大模型装进Android App，跑通只是起点。真正影响体验的是模型加载、内存复用、NPU回退和持续发热。围绕这些工程问题，梳理一套更稳妥的端侧部署思路。
阅读全文从发票到对账，AI Agent开始接手财务杂活
传统RPA擅长执行固定规则，却容易在票据版式、系统字段和流程发生变化时失灵。AI Agent把识别、判断、工具调用和异常处理接进同一条工作流，但能否真正落地，仍取决于数据质量、权限控制和人工复核。
阅读全文
AI 实操指南
Rust 重写推理调度器，性能账别只看吞吐
一次推理调度器迁移里，Rust 让 p99 延迟和内存稳定性变好，却在 FFI 边界损失了吞吐。C++ 老手关心的不是语言输赢，而是组件边界该怎么切。
阅读全文
前沿研究
Arm端侧AI押注能效，先从10亿参数跑起
Arm最新计算平台已支持终端运行超10亿参数AI模型。Cortex-A320与Ethos-U85的组合，重点不在炫算力，而在内存、带宽和功耗约束下，让端侧大模型更接近可用。
阅读全文
开发者生态
Rust 写推理引擎，先别急着替 Python
vLLM、sglang 仍是推理服务主流。Rust 更现实的入口，是接管 tokenizer、批处理调度、后处理和网关这些延迟敏感环节，而不是一上来重写整个推理引擎。
阅读全文Agent 上线前，先把推理账算清楚
Agent 进了微信、桌面和企业流程后，Token 调用量开始变成真账单。小团队别先按峰值买卡，应该先看对话链路、并发曲线、GPU 利用率和冷启动成本。
阅读全文
AI 实操指南
AI 工具箱
Agent 账单失控后，我们先查框架配置
一个客服 Agent 上线后月度 API 账单冲到 2 万元。排查 Trace 发现，真正烧钱的不是模型本身，而是死循环重试、上下文膨胀和多 Agent 协作的无效转发。本文拆解五大 Token 消耗黑洞，并给出框架层面
阅读全文骁龙8 Gen5实测翻车：14B模型跑顺了，但摄像头被烤到47℃
三款骁龙8 Gen5量产旗舰机实测数据出炉：NPU调度优化成功将14B模型整机功耗压至5.8W，但热成像显示SoC热点从传统中框位置横向串扰至摄像头模组，最高温度飙至47.2℃，影响握持体验并威胁CMOS成像质量。端侧大
阅读全文端侧NPU调度优化：让14B模型在骁龙8 Gen5上流畅运行的秘诀
骁龙8 Gen5让14B模型端侧运行成为现实，但内存溢出与持续降频仍是痛点。本文结合2026年6月落地的混合精度量化与稀疏激活技术，深入解析编译器指令集优化、动态批处理及内存池化策略，提供从算子级加载到功耗控制的代码级优
阅读全文