20B模型塞进2026款AI PC，先算内存再看NPU
Core Ultra 7 258V轻薄本有64GB统一内存和48 TOPS NPU，加载20B模型仍然OOM。权重只是第一笔占用，KV cache、算子回退和持续散热更容易拖慢推理。实测可行的做法，是混合INT4、压缩K
阅读全文
Search
站内搜索
关键词：KV Cache
找到 18 篇相关文章
32GB 显存跑 70B，先算清 4-bit 的账
70B 模型做 4-bit 后，权重理论值仍约 35GB，单张 32GB 显卡还没给 KV Cache 和框架开销留空间。更现实的办法是用 GGUF 分层卸载、选择更低比特，或改用 32B 模型。
阅读全文2026下半年LLM推理成本监控：除了KV Cache还能优化哪里？
2026年推理成本已占AI总支出的80%。在KV Cache压缩成为基建后，真正的降本空间转移到了FP8量化的生产级稳定性、基于语义路由的混合模型调度以及精细化的Token计费模型上。本文拆解如何在保证精度前提下，通过工
阅读全文
技术应用
GPT-5级模型进内网，先算清三笔显存账
企业评估GPT-5级MoE模型私有化时，GPU报价只是起点。专家路由、KV Cache和FP8适配会直接影响吞吐与账单。先确认权重和授权，再用真实业务流量测试H100、昇腾910D等现有硬件，比照搬云端参数更可靠。
阅读全文Llama 5 预览背后，模型厂商开始认真算 Token 账
Llama 5 预览把显存占用、首字延迟、并发和单次任务成本摆上台面。影响模型落地的，已经不只是参数与上下文窗口，还有 KV Cache、专家路由和整条推理链路的效率。
阅读全文国产端侧大模型下半场：谁在卷首 token 延迟
2026年端侧AI已从跑分转向体感优化。本文通过拆解3B-7B模型的首token延迟（TTFT），分析内存带宽瓶颈与KV Cache压缩技术，探讨硬件厂商如何通过架构升级解决AI手机卡顿，揭示端侧推理的真实性能分水岭。
阅读全文MoE架构下放边缘设备，内存墙还在怎么破
MoE架构通过稀疏激活降低了计算量，但其庞大的参数体量在端侧设备上触发了严重的内存带宽瓶颈。本文分析MoE在手机端的“存储墙”困境，并提供KV Cache量化与专家路由控制的实操方案，帮助开发者在有限显存下跑通模型推理。
阅读全文
前沿研究
vLLM还是TensorRT-LLM：别脱离负载谈性能
vLLM更适合请求波动大、模型切换频繁的服务；TensorRT-LLM更适合NVIDIA硬件上模型稳定、愿意承担编译维护成本的场景。压测必须固定模型、精度、上下文、并发和硬件，单独的吞吐数字无法直接换算成成本。
阅读全文7B到14B模型上手机，先过内存和功耗两道关
7B模型做INT4量化后，权重理论下限约3.5GB；14B约7GB，运行时还要给KV Cache、系统和后台应用留空间。手机NPU调度的重点，是控制上下文、算子回退和持续发热。
阅读全文手机多模态推理压到200毫秒，先拆内存墙
拍照提问时，2秒等待足以打断操作，200毫秒才接近即时反馈。3B级模型要缩短首字延迟，得同时减少权重、视觉Token与KV Cache搬运，并让量化方案真正匹配Arm指令和手机NPU。
阅读全文
AI 实操指南
RISC-V开发板跑通7B模型：4.4 token/s怎么来的
玄铁 C950-AI 上的 Llama-3.2 7B 经 Q4_K_M 量化后约 3.8GB，MNN 实测生成速度 4.4 token/s、平均功耗 10.5W。长文本会被 KV Cache 拖慢，持续运行还会遇到 85
阅读全文
AI 工具箱
vLLM 为什么快，先看它怎么管理 KV Cache
vLLM 的性能优势，核心来自 PagedAttention 对 KV Cache 的分页管理。它借鉴虚拟内存，把逻辑连续的数据映射到非连续内存块，再配合块级调度和缓存共享，减少显存浪费。长上下文能快多少，仍取决于模型、
阅读全文