A100跑大模型:Candle比PyTorch省了23%显存
一张A100 GPU,一个Llama 2 7B模型,1000次推理后得到一组数据:Candle延迟40ms,PyTorch 63ms;吞吐25比15.9 req/s;显存14.2GB比18.5GB。为什么差这么多?我们拆
阅读全文关键词:WebAssembly
一张A100 GPU,一个Llama 2 7B模型,1000次推理后得到一组数据:Candle延迟40ms,PyTorch 63ms;吞吐25比15.9 req/s;显存14.2GB比18.5GB。为什么差这么多?我们拆
阅读全文