前沿研究
vLLM还是TensorRT-LLM：别脱离负载谈性能
vLLM更适合请求波动大、模型切换频繁的服务；TensorRT-LLM更适合NVIDIA硬件上模型稳定、愿意承担编译维护成本的场景。压测必须固定模型、精度、上下文、并发和硬件，单独的吞吐数字无法直接换算成成本。
阅读全文
Search
站内搜索
关键词：vLLM
找到 8 篇相关文章
前沿研究
AI 工具箱
vLLM 为什么快，先看它怎么管理 KV Cache
vLLM 的性能优势，核心来自 PagedAttention 对 KV Cache 的分页管理。它借鉴虚拟内存，把逻辑连续的数据映射到非连续内存块，再配合块级调度和缓存共享，减少显存浪费。长上下文能快多少，仍取决于模型、
阅读全文
前沿研究
Qwen3-Max显存占用降60%，本地部署成本真能减半吗
Qwen3.5发布资料给出Qwen3-Max显存占用降低60%、最大吞吐量提升至19倍，但这两组数字不能直接证明单张4090可跑，也不能推出成本减半。部署前要分清模型规模、量化权重、KV Cache和并发口径，再用vLL
阅读全文
开发者生态
Rust 写推理引擎，先别急着替 Python
vLLM、sglang 仍是推理服务主流。Rust 更现实的入口，是接管 tokenizer、批处理调度、后处理和网关这些延迟敏感环节，而不是一上来重写整个推理引擎。
阅读全文
前沿研究
AI推理加速新路径：投机解码从论文走到生产
2026年6月底，DeepSeek开源DSpark框架，NVIDIA披露EAGLE-3方案，投机解码正式从学术概念跨入生产深水区。本文拆解vLLM与TensorRT-LLM的工程实现细节，对比显存优化、国产算力适配与硬件
阅读全文
开发者生态
DeepSeek-R3部署实测：4090双卡与昇腾910D怎么选
FlashMLA GitHub Star破7.2K，中小团队私有化部署进入实战期。实测RTX 4090双卡跑70B模型，拆解昇腾910D的HCCL优化与PPIO的PD分离架构，看清本地部署的真实算力账。
阅读全文算力‘民主化’进行时：解析2026年三大新兴开源推理框架的性能对决与选型指南
随着大模型从实验室走向规模化生产，推理框架的选择成为决定服务性能与成本的关键。本文基于2026年最新实测数据与版本迭代，深度对比vLLM、TGI、TensorRT-LLM等主流开源推理框架的架构、性能、适用场景，并提供面
阅读全文大模型推理效率‘极致优化’：2026年量化、稀疏化、投机采样等技术的最新实践与效果对比
本文系统梳理2026年大模型推理优化技术栈的最新实践，深入对比量化、稀疏化、投机采样等前沿方法在vLLM、TensorRT-LLM等框架下的实际效果。基于NVIDIA H200、GB200等最新硬件，提供详细的性能评测数
阅读全文