AI 工具箱
Arm 端侧跑 7B，三款框架实测怎么选
同跑 Qwen2.5-7B-Instruct INT4，骁龙 X Elite 上 ExecuTorch 首 token 更快，天玑 9400 上 MNN 吞吐反超，llama.cpp 胜在内存稳定。框架选择要跟芯片、任务
阅读全文
Search
站内搜索
关键词：开源
找到 145 篇相关文章
AI 工具箱
三天搭个图片编辑Agent，先避开这些坑
用 MetaGPT v0.8、Qwen-VL-Max、Pillow、Rembg 和 Real-ESRGAN 组一个图片编辑助手，重点不在模型多强，而在工具注册、视觉判断、验证成本和几个容易卡住的配置点。
阅读全文
前沿研究
Hugging Face热闹背后，小模型更好算账
Hugging Face 2026春季报告显示，平台用户已突破1100万，公开模型超过200万个。企业关注开源模型，越来越少停留在“模型越大越好”，更多是在部署成本、数据出域和业务场景之间算账。
阅读全文
前沿研究
2026年，API和私有部署怎么选
Llama 4、Qwen-Max授权调整后，“开源等于免费”这句话更站不住了。开发团队选闭源API还是私有部署，关键不在阵营，而在数据能否出域、调用量多大、有没有工程团队接得住。
阅读全文
前沿研究
AI推理加速新路径：投机解码从论文走到生产
2026年6月底，DeepSeek开源DSpark框架，NVIDIA披露EAGLE-3方案，投机解码正式从学术概念跨入生产深水区。本文拆解vLLM与TensorRT-LLM的工程实现细节，对比显存优化、国产算力适配与硬件
阅读全文
开发者生态
Llama 4来了，微调框架先卡在哪
Llama 4把开源模型带进MoE架构，Scout和Maverick两个版本也把微调工具链的老问题放大了：显存、路由、量化和多模态兼容，都不能再按Dense模型的习惯处理。
阅读全文
开发者生态
Qwen、GLM、Kimi同台，开发者看哪边
阿里云百炼已把 Qwen3.5、GLM-5、MiniMax M2.5、Kimi K2.5 接入 Coding Plan。与其追社区榜单，不如看清这几类模型各自适合的开发场景。
阅读全文
AI 工具箱
用Llama 6微调行业知识库，显存占用比你想象的少
去年开源社区发布的LoRA-Mini框架，在RTX 5090上把Llama 6 8B微调显存压到8.3GB。但更贴近现实的是，在RTX 4090上同样可以8分钟跑完一个行业知识库微调流程。本文以法律文书问答为例，从数据预
阅读全文大模型微调进入秒级时代：LoRA-Mini在消费级显卡上的实测表现
2026年7月5日开源框架LoRA-Mini在RTX 5090上微调Llama 6 8B，显存占用降至8.3GB，训练时间缩至8.5分钟，相比传统LoRA提升5.5倍。实测对比显示效果损失极小，为个人开发者提供了高性价比
阅读全文Llama 5资料不足，先看DeepSeek V4怎么测
DeepSeek V4已有4月24日发布、开源、百万词元上下文和榜单52分等公开信息；Llama 5目前缺少可核验资料。开发者不宜硬做参数对比，更适合从中文场景、工程迁移、榜单参考和内部评测入手。
阅读全文
开发者生态
开源社区新动向：Llama 6与Qwen 3的混合精度训练技巧分享
2026年7月，随着Llama 6和Qwen 3等开源模型的不断迭代，混合精度训练成为提高训练效率的关键。了解FP8/BF16混合精度在消费级显卡上的应用，能够让开发者在有限算力条件下，实现更高效的模型微调。
阅读全文
前沿研究