32GB 显存跑 70B，先算清 4-bit 的账
70B 模型做 4-bit 后，权重理论值仍约 35GB，单张 32GB 显卡还没给 KV Cache 和框架开销留空间。更现实的办法是用 GGUF 分层卸载、选择更低比特，或改用 32B 模型。
阅读全文
Search
站内搜索
关键词：本地部署
找到 26 篇相关文章
把开源模型搬进边缘网关，低延迟只是第一关
RK3588 一类边缘网关能否承接 3B—7B 模型，关键在内存预算、量化格式、NPU 算子和回退路径。适合本地部署的，是数据敏感、网络不稳、请求稳定且任务边界清楚的工业场景；复杂请求仍可交给云端。
阅读全文
前沿研究
Qwen3-Max显存占用降60%，本地部署成本真能减半吗
Qwen3.5发布资料给出Qwen3-Max显存占用降低60%、最大吞吐量提升至19倍，但这两组数字不能直接证明单张4090可跑，也不能推出成本减半。部署前要分清模型规模、量化权重、KV Cache和并发口径，再用vLL
阅读全文
AI 工具箱
本地部署Sora 3开源平替，从下载到生成一支广告片的全流程耗时实录
Sora 3停服后，本地开源视频模型成了电商广告的救命稻草。本文实测Open-Sora 2.0在RTX 4090与A100下的全流程表现：记录环境配置、模型下载的耗时陷阱、显存爆掉的报错细节，以及从调试到生成15秒广告的
阅读全文
AI 工具箱
18.7秒后，M4 Max吐出第一个字
一台 16 英寸 M4 Max、64GB 统一内存的 MacBook Pro，本地跑 DeepSeek-R2 IQ4_XS 量化版：能跑，但不像云端那样轻松。首 token 延迟 18.7 秒，稳定生成 6.8 tok/
阅读全文
AI 工具箱
AI 实操指南
ComfyUI跑数字人：Sonic和InfiniteTalk怎么选
在ComfyUI本地部署数字人，Sonic适合腾讯浙大技术栈的短视频快速生成，而基于Wan2.2的InfiniteTalk则主打长时精准口型。本文通过显存占用、工作流复杂度及画质细节对比，为不同配置的创作者提供选型依据。
阅读全文
开发者生态
DeepSeek-R3部署实测：4090双卡与昇腾910D怎么选
FlashMLA GitHub Star破7.2K，中小团队私有化部署进入实战期。实测RTX 4090双卡跑70B模型，拆解昇腾910D的HCCL优化与PPIO的PD分离架构，看清本地部署的真实算力账。
阅读全文端侧大模型隐私合规指南：如何在iPhone与Android上安全运行
2026年，端侧大模型从噱头变为标配，但数据泄露风险并未随“本地化”消失。本文结合TTAF 310-2025标准与工信部新规，实测苹果Private Cloud Compute与安卓各大厂的沙箱机制，揭秘如何在彻底断网下
阅读全文Sora关停之后：视频创作者用可灵与ComfyUI拼出本地工作流
2026年3月Sora突然关停，云端生成视频的成本和限流让创作者头疼。把云端生成和本地精修拆开，用可灵出素材、ComfyUI做插帧和超分，成了控制成本的新出路。
阅读全文
技术应用
Sora停服后，本地跑Stable Video成了新出路
2026年3月24日Sora关停，云端API成本让创作者头疼。与其依赖按月计费的云服务，不如转向本地部署Stable Video。结合开源社区的DiT架构方案，拿回算力自主权。
阅读全文
技术应用
Sora 3停服后，用可灵3.5做视频怎么省钱？
Sora 3关停后，快手可灵3.5承接了大量溢出流量，但按秒计费的算力账单让“一键出片”的时代终结。本文通过拆解Sora背后的经济账，提供一套可灵3.5的省钱工作流：放弃长镜头执念，用Midjourney生成关键帧锚定主
阅读全文