AI 纪元 追踪人工智能最新进展,深度解读前沿技术

70B大模型上车,高通8775和Thor先算内存账

70B模型用FP16存权重约140GB,压到INT4仍约35GB,还没算KV Cache和其他车载任务。Thor为跨域计算留出更大余量,8775更看重座舱部署。真正影响选型的,是持续散热、算子覆盖、量化和故障隔离。

0 次阅读 约 2138 字 4 分钟 AI 生成

把70B参数模型放进量产车,先要算存储。

仅计算权重,FP16精度约需140GB,压到INT4也有35GB左右。实际部署还要留出量化参数、运行时、KV Cache和视觉编码器的空间。与此同时,车机还在运行导航、语音、多屏渲染;如果采用跨域架构,感知任务也会参与资源竞争。

所以,芯片能启动模型和车辆能长期稳定运行,是两回事。高通SA8775P与英伟达DRIVE Thor的差别,也不能只看TOPS。

Thor的2000 TOPS,不能全算给大模型

英伟达在2022年GTC大会上发布DRIVE Thor。公开资料显示,其标称算力为2000 TOPS,是Atlan的2倍,也是Orin X(254 TOPS)的约8倍,产品规划上直接取代Atlan,成为Orin的后续平台。相关证券研究报告

这个数字说明Thor留出了很大的计算余量,但它无法直接换算成大模型的生成速度。TOPS会受到计算精度、稀疏方式和工作负载影响;70B模型的实际表现,还取决于内存带宽、注意力计算、KV Cache以及编译器对算子的支持。

Thor的产品思路,是把座舱与智驾任务放到更集中的计算平台上。对于已经采用CUDA、TensorRT开发链的团队,这条路线有利于复用已有工具和工程经验。代价也很清楚:大模型推理会与感知、规划和图形渲染争抢功耗、内存与散热空间。2000 TOPS是整个平台的上限,不能默认全部留给座舱AI。

华盛通对Thor量产进程的梳理提到,Thor发布后,行业长期争论自动驾驶是否需要如此高的算力;到2024年北京车展后,部分Tier 1开始收到主机厂的相关需求。来源 这说明市场关注点正从发布参数转向量产工程,但不能据此推导出70B模型已经可以在车内无条件满负载运行。

8775要守住座舱的工程边界

SA8775P的价值,不在于追平Thor的峰值算力。它更接近传统座舱域控的思路:由CPU、GPU和Hexagon NPU共同承担语音、视觉、渲染及AI任务,并尽量复用现有座舱软件与硬件架构。

把70B模型放到这类平台上,通常需要INT4权重量化、KV Cache压缩、上下文控制和针对性算子优化。任何一个关键算子无法在NPU上执行,转回CPU或GPU后,延迟和功耗都可能出现明显变化。因此,测试报告除了给出生成速度,还应说明哪些算子发生了回退、当时并行运行了哪些车载任务。

高通侧常用QAIRT、AIMET等工具完成模型转换和量化;英伟达侧则以CUDA、TensorRT为主。两条开发链都不能简单概括为“即插即用”。具体模型是否好部署,要看其注意力结构、非标准算子以及量化后的精度变化。

如果车型继续采用独立智驾域,8775主要负责座舱AI,软件和故障边界会更清楚,也更容易沿用已有平台。问题在于,70B模型会迅速吃掉内存和并发余量。模型跑起来以后,导航、渲染和多模态输入是否还能稳定工作,才是量产验收需要回答的问题。

量化后的35GB,还只是起点

INT4把70B模型的理论权重体积压到约35GB,却没有解决全部内存压力。长上下文会持续扩大KV Cache,多模态任务还要加入视觉编码器及图像缓存。只比较模型文件大小,很容易高估车端可用空间。

PTQ和QAT也不是两家芯片厂商各自固定的路线。项目采用哪种量化方式,应由模型精度、交付周期和目标硬件共同决定。选型测试至少要统一模型版本、上下文长度、采样设置、并发负载和散热条件。

以Qwen2.5-72B为例,如果只公布短上下文、单轮对话下的tokens/s,却不说明量化方案和其他任务负载,这个数字对量产选型帮助有限。车内用户真正感受到的,是连续对话时的首字延迟、输出稳定性,以及导航和渲染同时运行后是否降频。

中央计算先把故障隔离做扎实

Thor承担的任务越多,软件隔离的重要性越高。大模型进程发生内存溢出、驱动重置或异常占用资源时,影响范围必须被限制在座舱服务内,不能波及安全相关任务。

这要求项目在模型部署之外,继续处理资源配额、看门狗、进程恢复和降级策略。对于跨域中央计算平台,这些工作与模型速度同样重要。单独运行一次70B模型可以证明芯片具备能力,却不能证明整车架构已经达到量产条件。

选芯片前,先问清五件事

  • 70B模型是否需要完整常驻,预留其他车载任务后还有多少可用内存?
  • 目标上下文有多长,KV Cache最坏情况下会占用多少空间?
  • 座舱、渲染与智驾任务是否共享同一平台,峰值负载会不会重叠?
  • 高温环境下能维持多长时间的稳定输出,降频后体验是否还能接受?
  • 目标模型的算子覆盖、量化精度和故障隔离是否已经验证?

如果车型已经确定采用跨域中央计算,并愿意承担更复杂的散热、供电和软件隔离工作,Thor的算力余量更有价值。2000 TOPS在这里代表架构空间,而非可以直接兑现的大模型速度。

如果AI任务主要留在座舱,智驾仍由独立域控承担,项目又希望尽量复用现有平台,SA8775P会更贴近实际工程边界。此时需要严格控制模型体积、上下文和并发任务,不能把“成功启动70B”当成量产完成。

两款芯片真正要比的,是整车条件下可持续使用的算力。参数表只能告诉团队从哪里开始,内存、散热、算子和隔离方案才决定项目能走多远。

相关阅读