把开源模型搬进边缘网关，低延迟只是第一关
RK3588 一类边缘网关能否承接 3B—7B 模型，关键在内存预算、量化格式、NPU 算子和回退路径。适合本地部署的，是数据敏感、网络不稳、请求稳定且任务边界清楚的工业场景；复杂请求仍可交给云端。
阅读全文
Search
站内搜索
关键词：RK3588
找到 2 篇相关文章
900元开发板跑7B模型：端侧AI部署实测与优化指南
基于一块900元的RK3588S开发板，我们对Qwen2.5-7B和Llama 3 8B模型进行了全流程部署测试。通过量化选型、算子优化等手段，最终在8GB内存的设备上实现了18.5 tokens/s的对话生成速度，验证
阅读全文