AI 纪元 追踪人工智能最新进展,深度解读前沿技术

VibeThinker-3B的看点不只在30亿参数

30亿参数的 VibeThinker-3B,在数学、竞赛编程等可验证推理任务上进入多款前沿模型的性能区间。公开路线包含 SFT、多领域强化学习、离线自我蒸馏和最终 RL 指令微调;GRPO、训练卡时与复现成本仍缺少材料支撑。

0 次阅读 约 2034 字 4 分钟 AI 生成
A small wooden die with Arabic numeral '3' sitting on a giant gaveled chessboard, surrounded by much larger silver dice.
A small wooden die with Arabic numeral '3' sitting on a giant gaveled chessboard, surrounded by much larger silver dice.

30亿参数,是 VibeThinker-3B 最抓眼球的标签。

2026年6月25日,新浪财经报道称,这个密集推理模型在数学解题、竞赛编程等高难度可验证任务上,进入 Gemini 3 Pro、GPT-5 high、Claude Opus 4.5、GLM-5、Kimi K2.5 等前沿模型的性能区间。报道还将豆包、MiniMax、GLM、Kimi列为国内参照。

海外社区很快抓住了参数反差。LinkedIn 上的讨论称,它匹配了参数量大200到300倍的模型;X 上的转述用了1/500这一说法;Reddit则有人把它视为对盲目扩大参数的一次提醒。

热闹归热闹,这几种参数比较并不是同一套口径。

先把“跑赢”缩回正确范围

目前材料能支撑的结论,是 VibeThinker-3B 在数学、竞赛编程等特定任务上,进入多款前沿模型的性能区间。这不等于通用能力全面领先,也无法证明所有参照模型都属于统一的“千亿级”规模。

可引用摘要没有给出完整榜单、测试设置和分项成绩,因此还不能判断领先发生在哪些题集,幅度又有多大。更稳妥的说法是:一个30亿参数模型,在一批边界清楚、结果可以验证的推理任务上,已经逼近一线模型。

这已经足够亮眼,不必再把结论扩大成小模型全面战胜大模型。

四段训练顺序,比参数倍数更有用

X 上的公开转述将训练流程概括为:

SFT 监督微调 → 多领域 RL 强化学习 → 离线自我蒸馏 → 最终 RL 指令微调

这条顺序有意思。SFT先给模型一个可工作的起点,多领域强化学习继续调整推理策略,离线自我蒸馏再把模型自身产出的样本整理成训练材料,最后用 RL 指令微调收尾。

它呈现的是一套反复利用模型已有能力的训练思路。蒸馏没有放在最前面,而是接在多领域强化学习之后。模型先通过反馈获得新的推理行为,再把这些行为转回离线训练环节。

不过,目前披露的信息还只是流程框架。基座模型如何选择,SFT数据怎样构造,强化学习的奖励如何设置,四个阶段分别贡献了多少,现有摘要都没有回答。仅凭流程图,还不能把最终成绩归功于某一个环节。

离线自我蒸馏为何最受注意

X 上的转述明确把“离线自我蒸馏”称为关键一步。

按通常含义,自我蒸馏会将模型自身产出的结果离线整理,再用于后续训练。放在强化学习之后,它可以让前一阶段获得的推理行为变成可重复使用的数据,而不只停留在策略更新里。

问题也在这里:样本如何筛选、使用哪个版本作为教师、是否混入外部数据,这些细节都没有出现在可引用摘要中。离线自我蒸馏值得追踪,但目前还不能断言它单独解释了 VibeThinker-3B 的成绩。

开源中国的报道还提到,微博团队提出了“参数压缩覆盖假设”,认为推理等特定能力可以被高度压缩,而大模型通常需要更大的参数规模覆盖广泛知识。

这里的限定词是“特定能力”。现有结果支持的是数学、编程等可验证推理任务,尚不足以外推到所有通用能力。

GRPO先留个问号,算力账也别急着算

现有可引用摘要只确认了“多领域 RL”,没有说明具体采用 GRPO 还是其他强化学习方法,也没有披露奖励设计。把这一阶段直接写成 GRPO,会比来源多走一步。

训练成本同样缺少依据。公开摘要没有给出 SFT 数据量、训练步数、GPU型号、卡时或云服务价格。3B说明的是模型参数规模,无法直接回答后训练花了多少算力,更不能据此判断个人开发者或中小团队能否按相同条件复现。

小模型可能降低部署门槛,但训练是否便宜,要看数据生成、强化学习采样和蒸馏过程。缺少这些信息,成本账就算不准。

对中小团队,先看任务能不能判对错

VibeThinker-3B 的相关材料反复强调“可验证推理”。新浪财经提到的适配场景包括数学教育与培训、编程教学辅助。两类任务有一个直观的共同点:结果相对容易检查。

当题目有明确答案,或程序结果能够被验证,强化学习才容易获得清晰反馈。对小模型团队来说,更现实的借鉴顺序是先收窄任务、建立可靠的评估方式,再决定如何组合 SFT、强化学习和自我蒸馏。

当前更适合借鉴的是问题设置,而非照搬训练配方。模型底座、数据构造、奖励规则和蒸馏样本筛选都会影响结果,这些部分仍需要更完整的技术材料。

VibeThinker-3B把一个老问题重新摆上桌:模型能力是否必须随着参数一起扩张?现有结果给出的答案很窄,也很有价值——至少在数学、竞赛编程等可验证推理任务上,30亿参数已经能进入前沿模型的性能区间。

至于 GRPO、训练成本、通用能力和可复制性,证据还没到可以拍板的程度。

资料来源

相关阅读