前沿研究
昇腾910C混部，先看显存和尾延迟
训练和推理共用昇腾910C集群，利用率变高只是表面。真正容易出问题的是连续显存、通信抖动、P99延迟和调度边界。上线前，压测要按生产负载跑，而不是只看单任务性能。
阅读全文
Search
站内搜索
关键词：推理
找到 301 篇相关文章
前沿研究
AI 工具箱
前沿研究
AI推理加速新路径：投机解码从论文走到生产
2026年6月底，DeepSeek开源DSpark框架，NVIDIA披露EAGLE-3方案，投机解码正式从学术概念跨入生产深水区。本文拆解vLLM与TensorRT-LLM的工程实现细节，对比显存优化、国产算力适配与硬件
阅读全文
前沿研究
昇腾910C集群实战：从算力调度到应用适配的避坑指南
基于昇腾910C千卡集群训练1.6万亿参数DeepSeek-V4-Pro的实战经验，拆解显存碎片、CANN算子开发、CUDA迁移、故障恢复与推理适配中的具体陷阱，提供数据驱动的避坑方案。
阅读全文
前沿研究
华为云盘古5.0上线，垂直行业大模型进入深水区
2024年发布的盘古5.0，以E/P/U全系列架构重构行业AI落地路径。从气象秒级预测到工业百亿级推理，华为云试图用“小模型大作用”解决算力与ROI的悖论。两年后的2026年，在昇腾算力和端侧硬件的双重约束下，垂直大模型
阅读全文
前沿研究
Gemini 2.5 Pro把推理能力推到前台
谷歌DeepMind在2025年3月25日推出Gemini 2.5 Pro实验版。它被定位为“思考模型”，重点放在复杂推理、代码生成和多模态输入处理上，已出现在Google Cloud相关文档中。
阅读全文
开发者生态
向量检索卡住后，GraphRAG怎么接上
纯向量 RAG 适合找相似文本，但遇到多跳推理、全局总结和复杂关系时容易断链。GraphRAG 的价值在于把实体和关系显式建成图谱，再和向量召回配合使用。
阅读全文8000P集群运营半年：能效比优化与成本回收实录
深圳河套学院8000P昇腾集群运行半年后，PUE从1.22降至1.15，硬件故障率控制在2.1%以下，混部利用率达87%。但液冷漏液、推理抖动等隐性成本拉长了回收周期。结合电费、散热与折旧，给出3.5至5年的回收测算，为
阅读全文
前沿研究
MoE架构再进化：Gate网络动态负载均衡实测
2026年MoE模型竞争转向Gate网络设计。本文对比DeepSeek V4、Qwen 3、Mixtral 9x22B三种路由策略，通过消融实验量化动态负载均衡对训练收敛和推理延迟的影响，并给出可复现的PyTorch代码
阅读全文
开发者生态
技术应用
企业知识库该不该上 GraphRAG
GraphRAG 并非万能解药。对于多数企业，混合检索才是起步最优解。只有当业务涉及复杂实体关系和多跳推理时，才考虑引入知识图谱。选型需基于数据形态与维护成本，而非技术热点。
阅读全文
开发者生态
Rust 版 LangChain，别只盯着快
rig、LangChain-Rust 等项目把 LangChain 式开发带到 Rust，但它们不是 Python 的整套替代品。Rust 更适合先落在向量检索、并发调度、服务层等高频链路。
阅读全文