站内搜索

关键词：ONNX Runtime

找到 1 篇相关文章

2026-06-24 11:34:34 1 阅读

一个1.5B的蒸馏模型，在骁龙8 Gen 3手机上推理128个token需要150毫秒，在树莓派5上处理256个token则要1.2秒。我们用VibeThinker-3B等模型，在安卓手机和树莓派上对比了ONNX Run