AI 实操指南
RISC-V开发板跑通7B模型：4.4 token/s怎么来的
玄铁 C950-AI 上的 Llama-3.2 7B 经 Q4_K_M 量化后约 3.8GB，MNN 实测生成速度 4.4 token/s、平均功耗 10.5W。长文本会被 KV Cache 拖慢，持续运行还会遇到 85
阅读全文
Search
站内搜索
关键词：模型优化
找到 4 篇相关文章
AI 实操指南
实战评测：2026年主流开源大模型微调工具链对比与选型指南
本文针对2026年开发者社区对高效微调的持续关注，基于最新工具版本与行业数据，深度评测LLaMA Factory、Hugging Face Transformers、DeepSpeed、ColossalAI等主流开源微调
阅读全文SFT+GRPO之后：2026下半年高效微调与模型优化新范式展望
随着SFT与GRPO成为模型优化的主流范式，2026年下半年的高效微调技术正朝着更自动化、数据高效与硬件感知的方向演进。本文结合最新行业洞察与技术动态，深入剖析后SFT时代的技术路径、关键挑战及新兴的优化范式，为开发者与
阅读全文VibeThinker之后：2026年‘小模型革命’的SFT与GRPO技术全景
随着VibeThinker等3B参数模型在特定任务上超越顶级大模型，2026年的“小模型革命”已进入深水区。本文将深入剖析SFT与GRPO两种核心后训练技术的原理、演进与协同，结合微软Phi-4等前沿案例，探讨小模型在边
阅读全文