AI 实操指南
RISC-V开发板跑通7B模型：4.4 token/s怎么来的
玄铁 C950-AI 上的 Llama-3.2 7B 经 Q4_K_M 量化后约 3.8GB，MNN 实测生成速度 4.4 token/s、平均功耗 10.5W。长文本会被 KV Cache 拖慢，持续运行还会遇到 85
阅读全文
Search
站内搜索
关键词：玄铁 C950
找到 2 篇相关文章
AI 实操指南
开发者生态
玄铁C950跑通千亿大模型，RISC-V要抢x86和ARM的饭碗
3月24日，阿里达摩院发布玄铁C950，主频达3.2GHz，SPECint2006突破70，刷新RISC-V性能纪录。该芯片原生支持Qwen3、DeepSeek V3等千亿参数大模型，瞄准AI Agent场景，全志、瑞芯
阅读全文