前沿研究
骁龙、天玑与苹果端侧量化怎么选
端侧大模型部署不能只看INT4压得更小。芯片的NPU支持、算子回退、内存带宽、发热和系统调度，都会改变真实体验。骁龙、天玑、苹果A系列各有取舍，工程上要先确定场景，再选INT4或INT8。
阅读全文
Search
站内搜索
关键词：ONNX
找到 3 篇相关文章
前沿研究
Keras 3.2 实测：一套代码跑三大框架，但部署和自定义层是坑
在RTX 4090上实测Keras 3.2，用同一个CNN模型在TensorFlow、JAX和PyTorch后端训练，准确率和速度接近。但迁移学习时，PyTorch后端下自定义层的权重加载和梯度计算出现断链，训练速度也比
阅读全文把3B模型塞进树莓派5：延迟、内存和功耗，我们实测了一遍
一个1.5B的蒸馏模型，在骁龙8 Gen 3手机上推理128个token需要150毫秒，在树莓派5上处理256个token则要1.2秒。我们用VibeThinker-3B等模型，在安卓手机和树莓派上对比了ONNX Run
阅读全文