搜索: 推理加速

2026-07-22 10:37:52 0 阅读

公开材料确认，昇腾910C集群已完成1.6万亿参数DeepSeek-V4-Pro全参数后训练；但没有给出CANN 8.0.RC2升级前后的推理对照。43%吞吐提升和29%显存下降，仍需补齐模型分片、精度、并行方式与测试日

2026-07-21 10:45:07 0 阅读

针对 10B 参数量级模型，在 RTX 6000 48GB 显存环境下，对比 FP8、INT4 及混合精度量化的显存占用与推理延迟，提供一套基于 TensorRT-LLM 的具体部署方案与性能实测数据。

2026-07-19 14:22:37 0 阅读

vLLM更适合请求波动大、模型切换频繁的服务；TensorRT-LLM更适合NVIDIA硬件上模型稳定、愿意承担编译维护成本的场景。压测必须固定模型、精度、上下文、并发和硬件，单独的吞吐数字无法直接换算成成本。

2026-07-17 06:06:21 0 阅读

Arm v10工程样片测试中，SME2让Llama-3-3B 4-bit版Prefill速度较v9提升3.2倍，首字延迟由约1.2秒降至400毫秒以内；Decoding加速约1.4倍，10B模型持续运行仍受发热和功耗约束

2026-07-16 01:16:40 0 阅读

vLLM 的性能优势，核心来自 PagedAttention 对 KV Cache 的分页管理。它借鉴虚拟内存，把逻辑连续的数据映射到非连续内存块，再配合块级调度和缓存共享，减少显存浪费。长上下文能快多少，仍取决于模型、

2026-07-07 05:07:43 0 阅读

训练和推理共用昇腾910C集群，利用率变高只是表面。真正容易出问题的是连续显存、通信抖动、P99延迟和调度边界。上线前，压测要按生产负载跑，而不是只看单任务性能。

2026-07-06 07:03:04 0 阅读

2026年6月底，DeepSeek开源DSpark框架，NVIDIA披露EAGLE-3方案，投机解码正式从学术概念跨入生产深水区。本文拆解vLLM与TensorRT-LLM的工程实现细节，对比显存优化、国产算力适配与硬件

2026-07-02 08:35:24 0 阅读

把Llama 3.3从英伟达H20迁移到昇腾910D，远不是改个设备名那么简单。在昆山园区的实测中，128K上下文带来的显存碎片和多卡通信延迟成了拦路虎。通过MindIE预分配KV Cache、Ascend C算子融合及

2026-06-27 04:29:26 0 阅读

一家深圳视频创业公司决定不再买二手 A100，单用户推理成本因此降了六成。2026 年 6 月，我们实测了两款国产主流推理加速卡，用 Llama-3.1 和国内自研 7B 模型跑了一遍，记录下吞吐量、显存占用、算子适配和

站内搜索