昇腾910D算子别急着手调,先让编译器跑一轮
在昇腾910D部署中,自定义算子变慢时,先用CANN 8 profiling查清耗时、通信、内存和下发问题,再判断是否融合与自动搜索。以RMSNorm和Gated-SiLU为例,说明Auto-Kernel与手写Trito
阅读全文关键词:AI编译器
在昇腾910D部署中,自定义算子变慢时,先用CANN 8 profiling查清耗时、通信、内存和下发问题,再判断是否融合与自动搜索。以RMSNorm和Gated-SiLU为例,说明Auto-Kernel与手写Trito
阅读全文