AI 纪元 追踪人工智能最新进展,深度解读前沿技术

7B还是14B?端侧大模型选型先看功耗与散热

7B更容易在手机上落地,14B也不等于体验一定更好。面对骁龙8 Elite和天玑9400,选型要同时看内存占用、首字延迟、持续生成速度、整机功耗和降频情况。现有素材没有统一实测数据,因此不虚构芯片胜负,只给出可复现的比较方法。

0 次阅读 约 2024 字 4 分钟 AI 生成
Smartphone on a textured stone slab under a spotlight, partially over an infrared grid, with a small flame and a tactile heat gauge indicating thermal trade-off
Smartphone on a textured stone slab under a spotlight, partially over an infrared grid, with a small flame and a tactile heat gauge indicating thermal trade-off

7月15日,据搜狐网转述的备案信息,苹果“Apple智能”、华为小艺、vivo蓝心、小米澎湃、努比亚豆包等7款手机端侧生成式AI服务完成备案。对开发团队来说,问题随之变得很具体:模型放多大,在哪个平台上跑,手机热起来之后还能不能保持响应。

先把边界说清。现有素材没有提供骁龙8 Elite与天玑9400在同一模型、同一量化方式、同一提示词和可比设备状态下的功耗、温度、首字延迟或生成速度。缺少这些原始记录,不能写出一份可信的“实测排名”。比起硬凑一个胜负,更有价值的是把7B与14B的选择条件讲明白。

先看能不能常驻,不要先看峰值跑分

端侧部署最先碰到的往往不是峰值算力,而是内存是否够用。模型权重只是其中一块,KV缓存、推理框架、输入输出缓冲和系统后台都要占空间。7B能成功加载,不等于多轮运行稳定;14B勉强放得下,也不等于启动、响应和续航可以接受。

量化会进一步改变结果。同一个7B模型,换一种量化方案后,模型体积、算子兼容性和输出质量都可能变化。14B即便参数更多,如果量化过重,或者部分算子无法走NPU、转而由CPU或GPU执行,参数优势也未必能直接变成体验优势。

并购家收录的《从模型视角看端侧AI》资料提到,在10B以下模型中,7B占据主流,3B及以下小模型仍在探索。这更像是一条工程现实:端侧首先要解决的是模型能否部署、能否稳定运行,而不是单纯追求更大的参数规模。

功耗要看一条曲线,不是一个瞬时值

手机上的一次推理,可以拆成模型加载、提示词处理和持续生成等阶段。首字出来得快,后续速度未必稳定;冷机状态跑得快,机身升温后也可能进入更保守的调度。只报一次峰值速度或截取某个温度点,读者看不到温控介入后的真实体验。

比较骁龙8 Elite和天玑9400时,还要承认一件事:两颗芯片通常位于不同品牌、不同机身和不同散热设计中。整机电源策略、内存配置、系统版本和后台任务都会影响结果。把两部手机的差异全部归因于SoC,是端侧测试最容易出现的偏差。

一份能够复现的记录,至少应把这些项目放在一起:

记录项 要回答的问题
首字延迟 用户发出指令后,设备何时开始输出
持续生成速度 热机前后是否稳定,连续运行时有无明显波动
内存占用 模型加载后,是否还给系统和其他功能留有空间
整机功耗 数据来自系统读数还是外部测量,前后口径是否一致
温度与调度 温度上升后是否降频,性能变化出现在哪个阶段
任务质量 7B与14B在同一测试集上的差异,是否值得额外资源

所谓“芯片功耗”,最终仍是整机问题。NPU、GPU、CPU和内存都可能参与推理,屏幕、网络及系统后台也会进入功耗统计。测试只写芯片名称,不写设备和测量方法,数字很难用于选型。

7B和14B,先按任务分

参数规模不是质量保单。模型家族、训练与后训练方式、量化方案、上下文设置和提示词都会影响输出。拿不同家族的7B与14B直接对比,最后看到的质量差异未必来自参数规模。更稳妥的办法,是尽量选择同一模型家族,固定推理框架和输出设置,再比较核心任务的结果。

如果7B已经达到项目设定的质量门槛,它通常是更容易继续优化的起点:内存余量更宽,持续运行的压力也更小。只有当固定测试集证明7B确实不够,而14B带来的改进又能在设备上稳定保留,升级才有意义。

反过来,一台手机在冷机时把14B跑起来,却在连续推理后明显降速,这不算完成部署,只能算完成演示。端侧体验看的是模型能否持续工作,而不是某一次启动有没有成功。

骁龙与天玑,比较前先锁定软件链

骁龙8 Elite和天玑9400的端侧表现,不只取决于芯片本身,还会受到推理框架和算子支持的影响。同一模型在一个平台走NPU,在另一个平台因兼容问题回退到GPU或CPU,最后比出的就不是单纯的芯片能力。

测试报告应注明模型版本、量化方式、推理框架、上下文设置、采样参数和实际使用的计算单元。设备状态也要透明:冷启动与热机后的连续运行应分开记录,后台是否清理、是否联网、屏幕与性能模式如何设置,都不能省略。没有这些说明,“骁龙更快”或“天玑更省电”都只是孤立结论。

实际落地时,可以先在7B上把任务质量和推理链路跑通,再判断14B是否带来足够的质量收益。模型与框架确定后,再比较骁龙8 Elite和天玑9400在哪个平台上算子覆盖更完整、热机后波动更小、整机功耗更可控。最后选的是一条稳定的软硬件链路,不是一张峰值跑分。

端侧AI已经走到产品备案和功能落地阶段,7月15日的7款手机端侧生成式AI服务就是一个具体信号。但7B还是14B、骁龙还是天玑,不能靠参数名替代测试。现有素材不足以支持真实的功耗、温度和速度结论,因此不应虚构“实测数据”。等原始记录齐全后,最值得看的也不是单次峰值,而是模型在真实温控和系统负载下能否持续工作。

资料来源

相关阅读