AI 纪元 追踪人工智能最新进展,深度解读前沿技术

3B小模型进垂直业务:先测漏检,再谈平替

Nanbeige4-3B让3B级SLM进入企业候选清单,但现有材料还不足以证明它们普遍追平千亿、万亿参数模型。合同审查和医疗分诊能否上线,得看严重漏检、知识更新、真实硬件表现与人工兜底,而不是只看榜单。

0 次阅读 约 2179 字 4 分钟 AI 生成

3B模型很容易被包装成一个反转故事:参数少得多,成本看上去更低,于是下一句就是“万亿模型平替”。这一步跨得太快。能把一个规则清楚的任务做好,和拥有同等级别的通用能力,不是同一场考试。

对企业来说,3B级模型已经值得进入候选清单,但不是免试录取。放到合同审查、医疗分诊等场景里,决定模型能否上线的,是严重风险会不会漏、知识多久更新一次、目标设备能否稳定运行,以及出错后由谁接手。

榜单很热闹,合同审查仍得另考

腾讯云转引的2026年3月资料称,中国大模型周调用量达到4.69万亿Token,美国为4.21万亿;全球调用量TOP10中,中国模型占6席。MiniMax M2.5的激活参数为48B,总参数达到1.2万亿,并进入高调用量模型行列。

这些数字至少说明,大模型仍在被大量调用。但调用量、通用问答和垂直任务,是三张不同的成绩单。一个模型被调用得多,不能直接证明3B模型能否识别合同里的关键责任,也不能回答它在医疗分诊中会漏掉多少高风险病例。

另一组数字更贴近企业部署。ACTGSYS的SLM指南把小语言模型的典型参数范围划在1B到14B,并将笔记本、手机和边缘设备列为可运行终端。企业看中这类模型,主要是因为本地部署、数据不出域和定制空间,而不是因为参数越少就越聪明。

Nanbeige4-3B值得测,结论别抢跑

Boss直聘南北阁大模型实验室发布的Nanbeige4-3B只有30亿参数。公开介绍没有把重点只放在模型大小上,而是强调数据筛选体系和训练方法。

这条信息值得重视。它说明特定任务的表现不只由参数量决定,数据怎么挑、错误样本怎么处理,同样会改变结果。但它还不能证明Nanbeige4-3B已经追平千亿或万亿参数模型。

真要比较,至少应锁定同一测试集、同一套提示词,保留重复运行记录,并公开分析错误样本。VibeThinker也应接受同样的检查。现有可引用材料没有给出它的模型卡、测试集和复现实验,因此不能替它补上一个看起来漂亮的准确率,更不能直接写成“与万亿模型打平”。

SFT和GRPO教得会流程,补不齐所有知识

在垂直任务里,SFT可以把输出格式、判断步骤和标注样本教给模型。GRPO则比较同一问题下的多组输出,根据相对得分调整策略,反复强化那些可以验证的推理步骤。规则清楚、反馈明确的任务,确实更容易从这类训练中获益。

合同审查就是一个典型例子。任务可以拆成主体提取、违约责任定位、管辖权冲突检查,模型只需沿着固定步骤完成判断。问题一旦扩展到历史法规沿革或跨法域解释,3B模型的知识容量就会受到考验。

医疗场景也一样。A → 排除B → 检查C药物 → 评估D副作用是一条可以训练的流程,但罕见病知识和最新用药信息不能只靠流程记忆。检索库、规则系统和专业人员复核仍然要在场。

流程可以练熟,知识却不会自动保持最新。

法律和医疗,最怕平均分遮住漏检

高风险任务只报平均准确率,意义有限。合同审查至少要把条款抽取、风险识别和依据引用分开测试,并单独统计严重条款的漏检情况。普通格式错误和关键责任遗漏,不该被记成同一种错误。

医疗分诊还要追问三个问题:高风险病例能否及时转交人工,建议是否附带依据,知识更新是否可以追踪。小模型可以承担首轮整理和固定流程检查,但不应直接替代律师或医生作出最终判断。

越想让3B模型承担高风险工作,外部知识库、规则系统和人工复核越不能省。

模型文件装得下,不代表设备跑得稳

1B到14B的SLM可以进入手机、笔记本和边缘设备,但“能运行”只是第一关。即使采用4-bit量化,实际资源占用仍会受到上下文长度、KV Cache和运行时框架影响。

首字延迟、持续吞吐、峰值内存、发热和降频,都要放到真实终端上测。只看模型文件大小或榜单成绩,无法判断设备能否长期稳定工作。

私有化也不会让成本消失。关于Fine-Tuning SLM的分析提到,高质量数据仍需整理和标注,训练也离不开GPU或云端算力。部署SLM,更像是把部分API支出转移到数据准备、微调、评测和后续维护。

国信证券2026年4月17日的专题报告把Agent驱动MaaS收入增长列为核心议题。云端通用模型和本地SLM未必互相取代:低频、需求波动大的任务,私有化不一定划算;高频、规则稳定、数据敏感的任务,更有机会摊薄前期投入。

选3B还是云端模型,先算三本账

要算的账 先问什么 可以怎么选
任务账 输入输出是否稳定,能否准备足够的标注和错误样本 边界清楚时,可从3B至7B模型开始测试
风险账 一次漏检会造成什么后果,是否允许人工复核 高风险任务必须加入检索、规则和人工兜底
硬件账 目标设备能否长期运行,延迟和温度是否可接受 必须在真实终端测试,不能只看榜单

跨领域问答、长链路规划,以及缺少微调数据的零样本任务,通用大模型通常仍是更稳妥的候选。生产系统也不必二选一:本地SLM处理高频、固定的工作,遇到低置信度或跨领域请求,再交给云端模型。

2026年更稳妥的判断是:3B级模型已经能参加部分垂直项目的选型,但还没有证据证明它普遍追平千亿、万亿参数模型。Nanbeige4-3B和VibeThinker能不能接手具体业务,要看同一测试集、同一硬件和公开错误样本。参数量仍是成本与容量的线索,真正决定上线与否的,还是任务结果。

相关阅读