AI 纪元 追踪人工智能最新进展,深度解读前沿技术

7B模型上车,CT-X1和骁龙8295不能只看算力

CT-X1用3nm制程、400 TOPS算力和130亿参数模型支持能力抬高了硬件上限,但公开资料尚无统一条件下的7B模型对测。与骁龙8295相比,真正影响上车体验的还有内存、散热、任务调度和量产适配。

0 次阅读 约 1778 字 4 分钟 AI 生成
Abstract representation of computing power and heat management in automotive technology
Abstract representation of computing power and heat management in automotive technology

大模型已经被搬进车载座舱,但骁龙8295和联发科CT-X1之间,目前还没有一场条件统一、结果完整的7B模型公开对测。

要比较两款芯片,至少要使用相同的模型版本、量化精度、内存容量、上下文长度和散热方案。首字要等多久、连续生成是否稳定、导航和多屏同时运行时会不会降速,也都需要实车或量产级平台验证。

现有资料能回答的是两款芯片各自把能力做到了哪里,还不能直接回答谁的7B模型体验更好。

CT-X1的纸面优势很明确

2024年北京车展期间,联发科发布天玑汽车座舱平台CT-X1,同场亮相的还有CT-Y1和CT-Y0。CT-X1采用3nm制程,易车援引的信息显示,其AI算力达到400 TOPS;车东西报道称,该平台支持130亿参数AI大语言模型。

按公开参数看,7B模型处在CT-X1的支持范围内。但芯片能够装下模型,与模型能否在车内流畅工作,不是同一件事。

座舱芯片并不会只运行一个聊天窗口。导航、语音识别、多屏显示和车辆控制都要占用资源,大模型还需要持续读取参数、写入上下文缓存。峰值算力之外,内存带宽、任务调度、功耗和散热都会改变实际速度。

车东西还提到,CT-X1相比同级竞品性能强30%以上,AI算力高出4至5倍。这组数据说明了它的产品定位,却不能直接换算成7B模型的首字延迟或每秒生成速度。没有同条件测试,就不能据此认定CT-X1的车内对话体验已经全面超过骁龙8295。

车机跑分不是大模型成绩单

联发科目前已有公开跑分的产品主要是CT-Y1。车东西称,这款次旗舰座舱芯片的安兔兔车机版实测成绩超过107万分,进入骁龙8295所在的旗舰性能区间。

另一条数据来自OFweek。其援引安兔兔官微信息称,代号为“MT8673”的联发科车规级芯片,在12GB+128GB存储组合下跑出1149043分,超过当时榜单中的骁龙8295。

这里需要划清边界:现有素材没有明确证明MT8673就是CT-X1,因此不能把1149043分算到CT-X1名下。

更重要的是,安兔兔测试的是平台综合性能。7B模型关注的是另一组问题:模型能否完整装入内存,第一段回复需要等多久,持续生成是否掉速,以及长时间运行后会不会因温度升高而降频。跑分领先可以说明硬件底子较强,却不能代替这些测试。

骁龙8295难替代的,不只是一颗芯片

骁龙8295已经进入高端智能座舱市场。易车将其称为仍在高端车型中定义算力标杆的平台;腾讯云开发者社区的相关分析则提到,高通依靠消费芯片领域的积累,在座舱芯片市场取得了明显优势。

这种优势不完全写在参数表里。

车企和一级供应商选择平台时,还要看操作系统适配、语音链路、应用兼容、故障恢复和量产验证。加入端侧大模型后,原有车机任务要和模型争夺算力与内存,功耗、发热和响应稳定性也要重新平衡。

CT-X1给出了更高的AI算力上限,骁龙8295则有已经进入项目的软件和适配基础。前者需要证明参数能够稳定落到量产车上,后者面对的问题,是如何应对新平台在端侧模型能力上的追赶。

真要比7B模型,应该这样测

一场有参考价值的对测,不能只让两块平台分别跑一次模型。模型版本、量化方案、内存配置、上下文长度和散热条件必须固定,还要加入座舱里的真实负载。

例如,在导航和多屏同时运行时连续对话;断网后执行本地问答;长时间运行后观察生成速度和降频情况。首字延迟、持续生成速度、内存占用和温度变化,都比单独一个TOPS数字更接近用户感受到的差别。

目前的公开素材没有给出这些结果,因此无法可靠判断骁龙8295和CT-X1在首字延迟、温度或多轮对话稳定性上的具体差距。

能够确认的是,CT-X1用3nm制程、400 TOPS AI算力和最高支持130亿参数模型的能力,把座舱端侧AI的硬件上限继续推高;骁龙8295的筹码,则是已经形成的市场基础和量产经验。

需求端也在扩大。易车援引高工智能汽车研究院数据称,2024年中国市场智能座舱前装搭载率达到73.4%,并预计2025年突破80%。当智能座舱进入更多车型,芯片厂商要证明的就不只是“模型能跑”,而是它能否与导航、语音和多屏系统一起长期稳定运行。

所以,CT-X1与骁龙8295的7B模型差距,现在还不能用一张参数表定论。CT-X1先赢在纸面上限,骁龙8295守住的是成熟度。真正的胜负,要看统一条件下的量产级测试。

相关阅读