搜索: KV Cache

2026-07-14 16:18:23 0 阅读

Qwen3.5发布资料给出Qwen3-Max显存占用降低60%、最大吞吐量提升至19倍，但这两组数字不能直接证明单张4090可跑，也不能推出成本减半。部署前要分清模型规模、量化权重、KV Cache和并发口径，再用vLL

2026-07-13 08:15:56 0 阅读

70B模型用FP16存权重约140GB，压到INT4仍约35GB，还没算KV Cache和其他车载任务。Thor为跨域计算留出更大余量，8775更看重座舱部署。真正影响选型的，是持续散热、算子覆盖、量化和故障隔离。

2026-07-02 08:35:24 0 阅读

把Llama 3.3从英伟达H20迁移到昇腾910D，远不是改个设备名那么简单。在昆山园区的实测中，128K上下文带来的显存碎片和多卡通信延迟成了拦路虎。通过MindIE预分配KV Cache、Ascend C算子融合及

2026-07-01 17:34:21 0 阅读

GPT-5.2 Pro和Gemini 3.1 Pro的API报价让不少团队头疼，但单纯比价已经不够了。Gartner预测2030年推理成本将降90%，开发者需要盯紧TPOT和KV Cache，并在FP8与INT4量化中找

2026-06-27 04:51:20 0 阅读

实测显示，搭载 M5 芯片的 iPhone 19 在运行 70B 模型时，首字生成需 1.2 秒。但连续高负载 10 分钟后，因温度触及 65℃ 触发 NPU 降频，延迟飙升至 5 秒以上。Apple Intellige

2026-06-25 23:05:42 1 阅读

我们用搭载骁龙8 Gen 4和A18 Pro的旗舰机，实测了本地运行7B-13B参数模型时的内存占用、发热和电池影响。iOS 18的“智能压缩”和Android 15的“动态优先级调度”各有侧重，但8GB内存机型运行13

站内搜索