前沿研究
vLLM还是TensorRT-LLM：别脱离负载谈性能
vLLM更适合请求波动大、模型切换频繁的服务；TensorRT-LLM更适合NVIDIA硬件上模型稳定、愿意承担编译维护成本的场景。压测必须固定模型、精度、上下文、并发和硬件，单独的吞吐数字无法直接换算成成本。
阅读全文
Search
站内搜索
关键词：优化
找到 212 篇相关文章
前沿研究
开发者生态
昇腾 910C 迁移实录：从代码报错到性能调优的避坑指南
基于昇腾 910C 真实迁移项目，记录从 PyTorch 模型迁移到华为 NPU 环境的全过程，涵盖算子兼容性处理、内存优化、通信调优及常见报错排查，提供可复现代码片段，结合出货量数据与实战经验，为开发者提供一份避坑清单
阅读全文把财务审计流搬上画布，最难的还是写清规则
可视化 Agent 编排能把 ERP 取数、规则校验、异常提醒和日志留痕串成一条流，但“零代码”不等于零治理。本文用 LangFlow、Flowise、Dify 等工具说明节点怎么拆、权限怎么留，以及哪些决定必须交给人。
阅读全文显存占满，GPU却没跑满：2026年算力账单该从哪里查起
显存占用高，不等于 GPU 持续计算。利用率长期停在约 40% 时，应按任务时间线排查显存碎片、数据供给、All-Reduce 等待、算子回退和调度空档，再用任务级成本判断是否扩容。
阅读全文AI Agent 越跑越贵？把成本闸门装在调用前
Agent 一旦在报错、重规划和重试之间打转，输入与输出 Token 会持续累积。更稳妥的做法，是把 API 路由、任务级预算和死循环识别放进同一条调用链，并在触线后自动停机、交给人工处理。
阅读全文7B到14B模型上手机，先过内存和功耗两道关
7B模型做INT4量化后，权重理论下限约3.5GB；14B约7GB，运行时还要给KV Cache、系统和后台应用留空间。手机NPU调度的重点，是控制上下文、算子回退和持续发热。
阅读全文昇腾910D显存溢出怎么救？实测三种轻量化量化方案的精度损失
针对国产算力集群部署中的显存瓶颈，本文实测了FP8、INT4及混合精度三种轻量化量化方案在昇腾910D上的显存节省效果与实际精度损失，并提供了一套可复用的调优Checklist，助力大模型无损落地。
阅读全文3B模型也能有“思考过程”？拆解2026年端侧推理的慢思考机制
分析 VibeThinker 等 3B 规模端侧模型如何通过 GRPO 强化学习实现类似 o1 的慢思考（CoT）能力，探讨在内存与功耗约束下，端侧模型如何通过牺牲推理时间换取逻辑能力的跃迁，并为开发者提供端侧推理优化的
阅读全文
AI 实操指南
在国产算力集群部署 Llama 4：解决多机多卡通信瓶颈的实操方案
针对 Llama 4 等开源大模型，本文给出在昇腾 910C/910D 等国产算力集群上的部署全流程，重点拆解跨节点 HCCL 通信延迟、显存碎片化与并行策略选择三大瓶颈，并附可复用的优化参数配置与排查清单。
阅读全文
AI 工具箱
Rust 接管端侧调度，先看清 TensorRT-LLM 的边界
端侧 LLM 会为几毫秒反复抠性能，但瓶颈未必来自 Python。真正该查的是调用次数、同步、内存搬运和硬件后端。Rust 适合收紧关键路径；TensorRT-LLM 只能用于其支持的平台，不能被泛化成手机 NPU 的统
阅读全文AI Agent 账单失控，先管住重试、Token 和续费
AI Agent 的账单常被失败重试、重复上下文和闲置订阅推高。控制成本要从独立计量、状态机熔断、限流和续费台账做起，再考虑用 FinOps Agent 自动处理异常。
阅读全文昇腾910C迁移实录：从跑通到优化的真实成本账单
避开宏大叙事，本文通过一个70B参数模型从H100迁移至昇腾910C的真实案例，量化拆解代码适配、算子重写与HCCL调优的人力与时间成本，为技术负责人提供国产算力迁移的ROI决策参考。
阅读全文