树莓派 5 跑语音助手，490ms 延迟怎么来的
树莓派 5 上用 Whisper-Tiny.en、4-bit phi-3-mini、Silero-VAD 和流式 TTS，四段处理耗时合计 490ms。但 VAD 另有 300ms 静音窗口。要复现这组结果，模型之外还得
阅读全文
Search
站内搜索
关键词：树莓派5
找到 2 篇相关文章
把3B模型塞进树莓派5：延迟、内存和功耗，我们实测了一遍
一个1.5B的蒸馏模型，在骁龙8 Gen 3手机上推理128个token需要150毫秒，在树莓派5上处理256个token则要1.2秒。我们用VibeThinker-3B等模型，在安卓手机和树莓派上对比了ONNX Run
阅读全文