搜索: llama.cpp

2026-07-21 15:37:32 0 阅读

利用两台闲置Mac Studio（M2/M3 Max），通过llama.cpp RPC分布式推理运行14B开源模型，实测吞吐与云GPU成本对比，附完整部署步骤。

2026-07-12 15:19:32 0 阅读

Agent部署常因PyTorch等依赖包导致镜像超2GB，冷启动慢。本文提供一套结合W4A16量化与依赖精简的实操方案，展示如何通过W4A16量化降低显存占用，并将容器体积压缩至500MB以内，显著提升响应速度。

2026-07-09 02:10:58 0 阅读

一台 16 英寸 M4 Max、64GB 统一内存的 MacBook Pro，本地跑 DeepSeek-R2 IQ4_XS 量化版：能跑，但不像云端那样轻松。首 token 延迟 18.7 秒，稳定生成 6.8 tok/

2026-07-08 04:45:51 0 阅读

同跑 Qwen2.5-7B-Instruct INT4，骁龙 X Elite 上 ExecuTorch 首 token 更快，天玑 9400 上 MNN 吞吐反超，llama.cpp 胜在内存稳定。框架选择要跟芯片、任务

2026-06-24 10:31:32 0 阅读

这是一份基于2026年开源工具链的实操配置。它告诉你如何在RTX 3060 12GB或同级显卡上，用llama.cpp和Q4_K_M量化稳定运行VibeThinker-3B等模型，并完成从微调到部署的全流程。

站内搜索