站内搜索

vLLM 为什么快，先看它怎么管理 KV Cache

vLLM 的性能优势，核心来自 PagedAttention 对 KV Cache 的分页管理。它借鉴虚拟内存，把逻辑连续的数据映射到非连续内存块，再配合块级调度和缓存共享，减少显存浪费。长上下文能快多少，仍取决于模型、