V-JEPA 2最吸睛的数据,是最高10亿参数版本在部分基准测试中,推理速度被报道为NVIDIA Cosmos的30倍。数据来自Yahoo Finance转载报道,其中“部分基准”这个限定不能省:测试任务、输出形式和运行条件不同,30倍不等于所有世界模型任务都快30倍。
真正值得看的,是Yann LeCun团队把算力省在了哪里。
扩散式生成模型通常要把未来画面逐步还原出来。纹理、光照、背景摆动,都会进入预测目标。JEPA换了一道题:它把当前画面和未来画面编码成表征,只预测未来的表征,不负责重新画出每个像素。
对机器人来说,杯子有没有落在桌面上,通常比杯沿反光如何变化更重要。JEPA想保留前一种信息,少为后一种信息付计算成本。
能量模型管的不是生成,而是相容性
JEPA里的“能量”不是耗电量,也不是说模型最终只输出一个数字。
可以把当前状态记作 x,未来观测记作 y。编码器先把两者映射到潜空间,预测器根据 x 的表征给出未来表征,再计算预测结果与 y 的表征有多大差距:
E(x, y) = distance(predicted_embedding, target_embedding)
差距小,能量低,说明这组状态相容;差距大,能量高,说明预测与实际观测不匹配。所谓押注能量模型,更准确的说法是:JEPA把训练目标从“还原唯一的未来画面”,改成“判断什么样的未来与当前状态相容”。
这很适合处理现实世界的不确定性。风吹过路面,树叶下一秒落在哪里可能有许多答案;但车辆不能穿过墙体、悬空物体会下落,这类约束要稳定得多。逐像素生成必须处理两类信息,JEPA则试图把注意力放在后者。
这里有两个常见误读。
第一,JEPA并非只输出标量能量。预测器仍要生成目标表征,标量通常来自预测表征与目标表征之间的距离或损失。
第二,能量模型本身不会自动消除表征坍塌。如果编码器把所有输入都压到同一个点,能量照样可能很低。因此,防坍塌还需要训练和架构层面的约束。JEPA也不等同于必须依赖正负样本对比,是否使用负样本取决于具体方案,不能把它写成这套架构的定义特征。
JEPA的两套分类,不能混成一张版本表
qingkeai对JEPA家族做过一套Level 0到Level 3的梳理:
- Level 0:基础JEPA。单模态,在潜空间预测,不重建像素或Token。
- Level 1:多模态JEPA。覆盖图像、视频、语言、音频和3D等输入。
- Level 2:世界模型JEPA。加入时序、物理、动作与因果关系,开始预测未来状态。
- Level 3:层次化JEPA。面向多层抽象和长期规划。
这是一种便于理解的二次分类,不是Meta的正式产品版本号。
另一套命名按研究方向展开:I-JEPA以图像为起点,V-JEPA面向视频和世界模型,H-JEPA指向层次化预测与规划。V-JEPA 2属于视频这条线,它受到关注,不只是因为参数达到10亿,还因为动作被纳入了预测问题。
只看视频,模型回答的是“接下来可能发生什么”;加入动作条件后,问题变成“执行这个动作后,世界会怎样变化”。从观察走向动作后果预测,才是视频表征模型靠近世界模型的关键一步。
30倍速度,不能证明扩散模型已经过时
2025年NVIDIA GTC大会上,Yann LeCun与NVIDIA首席科学家Bill Dally对谈时,再次强调在抽象表征空间内预测世界状态。V-JEPA 2的速度数据与这条路线一致:不渲染画面,自然有机会减少推理开销。
但扩散模型和JEPA并没有回答完全相同的问题。
| 任务关心什么 | 更匹配的路线 | 原因与限制 |
|---|---|---|
| 生成供人查看的视频或图像 | 扩散或其他像素生成模型 | 输出直观,但需要处理纹理、光照等细节 |
| 比较候选动作、判断物理结果 | JEPA式潜空间预测 | 可以跳过画面渲染,但潜空间是否保留关键信息需要单独验证 |
| 输出精确的空间边界或占据结果 | 专用3D或占据模型 | 评价目标是几何精度,不能从JEPA的速度基准直接推导优劣 |
3D占据预测也不该被简单并入“扩散阵营”。它服务的是明确的空间输出,与视频生成、潜空间预测都有不同的评价标准。把世界模型划成两个泾渭分明的阵营,听起来利落,却会掩盖任务差异。
如果结果要直接给人看,像素质量不可绕过。如果模型只需为机器人筛选动作、预测状态变化,那么重新生成杯子纹理、墙面反光和背景摆动,很可能只是额外负担。
工程上更该检查这三件事
比争论JEPA和扩散谁会胜出,更实际的是先核对任务。
- 潜空间保留了什么。 不重建像素不代表可以丢掉所有细节。物体位置、接触关系、遮挡和动作后果如果没有进入表征,推理再快也无法支撑规划。
- 多步预测会不会积累误差。 单步判断相容,不等于连续执行多个动作后仍然可靠。动作条件模型需要单独检查长序列中的状态漂移。
- 速度数据是否在比较同一件事。 V-JEPA 2在部分基准上较NVIDIA Cosmos快30倍,这个数字值得关注,但还要看双方是否承担相同的输入、输出和评测任务。
LeCun押注的并不是一个更神奇的损失函数,而是一种算力分配方式:当任务只关心物理结果,就不要强迫模型描绘所有不可预测、也无关决策的视觉细节。
JEPA的优势边界也很清楚。潜空间相容性足够完成任务时,它有机会更快;一旦下游需要精确纹理、几何边界或可供人检查的画面,被省略的信息仍要由其他模型补上。V-JEPA 2没有宣告像素生成路线失败,它只是证明,世界模型未必每次都要先把未来画出来。