32GB 显存跑 70B，先算清 4-bit 的账
70B 模型做 4-bit 后，权重理论值仍约 35GB，单张 32GB 显卡还没给 KV Cache 和框架开销留空间。更现实的办法是用 GGUF 分层卸载、选择更低比特，或改用 32B 模型。
阅读全文
Search
站内搜索
关键词：显存优化
找到 13 篇相关文章
昇腾910C适配实录：PyTorch迁移中的显存优化与算子兼容
聚焦昇腾910C在PyTorch迁移中的显存碎片化解法、自定义算子编写规范与MindSpore双轨代码差异，提供一线开发者可直接复用的CANN调优参数与调试路径。
阅读全文
AI 实操指南
10B模型如何在单卡RTX 6000上实现毫秒级响应：量化实战
针对 10B 参数量级模型，在 RTX 6000 48GB 显存环境下，对比 FP8、INT4 及混合精度量化的显存占用与推理延迟，提供一套基于 TensorRT-LLM 的具体部署方案与性能实测数据。
阅读全文
技术应用
CUDA迁到昇腾910C/910D，代码跑通只是开始
从 CUDA 切到昇腾后，框架安装只是起点。算子覆盖、AICore 报错、HCCL 通信和 HBM 占用会持续消耗工程时间。更稳妥的迁移顺序，是锁定基线，再按单卡、单机多卡、多机逐层验收。
阅读全文昇腾910C爆显存，三步查清算子对齐
PyTorch 模型迁到 CANN 后一跑就 OOM，先把加卡放到最后。固定输入复现峰值，用 Profiler 对齐自定义算子前后的 shape、dtype、format 与 Data Copy，再根据证据处理算子融合和
阅读全文昇腾910D显存溢出怎么救？实测三种轻量化量化方案的精度损失
针对国产算力集群部署中的显存瓶颈，本文实测了FP8、INT4及混合精度三种轻量化量化方案在昇腾910D上的显存节省效果与实际精度损失，并提供了一套可复用的调优Checklist，助力大模型无损落地。
阅读全文
AI 实操指南
在国产算力集群部署 Llama 4：解决多机多卡通信瓶颈的实操方案
针对 Llama 4 等开源大模型，本文给出在昇腾 910C/910D 等国产算力集群上的部署全流程，重点拆解跨节点 HCCL 通信延迟、显存碎片化与并行策略选择三大瓶颈，并附可复用的优化参数配置与排查清单。
阅读全文
前沿研究
昇腾910C扩到万卡前，先查通信和显存
千卡训练跑通，不等于万卡可以照搬。公开参数显示，昇腾910C配备96GB HBM、1.8TB/s显存带宽和400GB/s HCCS；规模继续放大后，HCCL通信、并行切分和显存分配都要先做现场压测。
阅读全文
前沿研究
Qwen3-Max显存占用降60%，本地部署成本真能减半吗
Qwen3.5发布资料给出Qwen3-Max显存占用降低60%、最大吞吐量提升至19倍，但这两组数字不能直接证明单张4090可跑，也不能推出成本减半。部署前要分清模型规模、量化权重、KV Cache和并发口径，再用vLL
阅读全文
开发者生态
昇腾910C千卡集群排雷：分布式通信瓶颈与显存优化实录
基于8000P园区实战，拆解昇腾910C在万卡规模下的高频报错。从HCCS通信死锁到显存碎片化，提供可复用的调试脚本与CANN参数调优方案，直击国产算力大模型训练的工程深水区。
阅读全文
前沿研究
昇腾910C训练频繁OOM，问题可能出在显存碎片
一次1024卡昇腾910C训练中，单卡峰值占用82GB，却在第437步集体OOM。排查发现，14GB空闲显存被切成最大仅3GB的连续块。通过定期紧凑和内存池预分配，项目将单步时间从4.7秒降至3.8秒，MFU由31%升至
阅读全文
前沿研究
AI推理加速新路径：投机解码从论文走到生产
2026年6月底，DeepSeek开源DSpark框架，NVIDIA披露EAGLE-3方案，投机解码正式从学术概念跨入生产深水区。本文拆解vLLM与TensorRT-LLM的工程实现细节，对比显存优化、国产算力适配与硬件
阅读全文