站内搜索

M5 iPad Pro本地跑30B模型，文档摘要200毫秒

搭载M5芯片的iPad Pro首次在iPadOS 19上本地运行30B参数大模型，文档摘要延迟仅200毫秒，比云端快1.2-3秒。苹果通过INT4量化将模型压缩至15GB，配合16核神经网络引擎和翻倍的内存带宽实现这一突