“五分钟换型，四张图片搞定新缺陷。”
2026年6月3日，EET China发布的零样本多模态工业缺陷课程，用这句话概括视觉语言模型（VLM）的工业卖点。课程页面强调，模型无需围绕每个特定任务重新训练，可以借助自然语言描述处理开放词汇中的新缺陷。
它瞄准的是换型后的样本准备问题：新产品或新缺陷出现时，先用语言描述建立识别入口，减轻重新制作完整标注集的压力。广东工业大学许亮的研究方向介绍也把密集标注带来的困难列为出发点，探索自然语言无监督信息与图像有监督标注的结合，以及少样本、零样本缺陷检测。
课程页面中的“五分钟”和“四张图片”，属于具体方案给出的使用口径，不能直接外推到所有工厂。换一套相机、一种材质或一类缺陷，结果仍要重新验证。
CLIP变体，先别急着排座次
CLIP（Contrastive Language-Image Pre-training）通过图文对齐，为零样本分类提供了基础。SigLIP把主要改动放在图文匹配损失上，采用Sigmoid损失；FLIP则引入掩码式图像训练思路。三者调整了不同的训练环节，但模型结构有变化，并不等于工业缺陷检测的准确率一定提高。
现有公开材料没有给出CLIP、SigLIP和FLIP在同一工业数据集、同一图像分辨率、同一提示词下的横向结果。缺少这组对照，就很难判断差异来自模型、输入方式还是测试条件。将SigLIP直接列为精度优胜者，或把FLIP直接等同于微小缺陷检测更强，证据都不够。
工业场景还有一层定位要求。整图判断“是否存在裂纹”，和在画面中框出裂纹位置、给出分割轮廓，是不同任务。CLIP类模型可以承担图文语义匹配，具体位置通常还要交给目标检测或分割模型。
YOLO先找位置，VLM再读语境
2025年10月21日，一套基础设施缺陷检测与管理框架给出了更具体的组合：YOLO系列负责检测和分割，VLM接收检测结果，完成场景感知分析，并把图像判断延伸到维护决策。
腾讯云开发者社区的同主题介绍进一步列出了处理流程：输入来自街道CCTV视频流，YOLO先识别多类缺陷，再把结果交给VLM汇总。拆开看，这条链路的分工很清楚：
- YOLO负责找到疑似缺陷及其位置；
- VLM结合相关图像区域和提示词进行语义复核；
- 系统把结果整理成缺陷描述或维护信息。
基础设施案例不能代替工厂产线验证，但它说明了VLM在现阶段更适合放在语义复核和信息汇总环节。已有YOLO系统也不必全部推翻，可以先在后端增加VLM模块，单独评估它带来的收益和开销。
选型时，先看任务，再看模型名
选择CLIP、SigLIP或FLIP之前，至少要把三个问题测清楚。
第一，输出是否需要精确位置。只做整图分类时，图文匹配模型可以直接参与判断；需要检测框或分割轮廓时，YOLO等定位模块仍应保留。
第二，新缺陷出现得有多频繁。类别变化快、标注样本少，零样本或少样本VLM更值得测试；缺陷类别稳定且已有标注数据，也可以把微调方案放进同一轮对比。
第三，模型能否跟上现场节拍。测试应固定图像、提示词、分辨率和硬件，同时记录漏检、误报、响应时间及重复运行的稳定性。只比较一项离线准确率，很难支撑部署决定。
在没有统一工业横评的情况下，CLIP可以作为基线，SigLIP和FLIP作为不同训练路线的候选。最终排序应由同一批现场数据给出，而不是根据模型名称提前确定。
TAO能接住微调，接不住未经验证的结论
NVIDIA介绍的TAO工具套件基于TensorFlow和PyTorch，提供低代码训练流程。开发者可以调用预训练模型，再通过迁移学习针对具体场景微调。
对已有标注样本的团队，这是一条从通用模型转向定制模型的路径。若项目坚持严格零样本，仍需直接测试预训练模型与提示词的组合；若结果达不到现场要求，再转入少样本或微调。TAO能够降低训练门槛，但不能证明某个CLIP变体天然适合某条产线。
先做一条能验收的链路
VLM进入工业缺陷检测，价值主要落在两个位置：新缺陷出现时，用自然语言补充类别入口；检测完成后，把局部异常整理成可读的缺陷说明和维护信息。现有资料中，YOLO与VLM的混合链路比直接替换全部视觉模块更具体，也更容易拆开验收。
至于CLIP、SigLIP和FLIP谁能把零样本准确率提高多少，当前资料给不出可靠数字。已有YOLO基础的团队可以先接入VLM做语义复核，再根据现场结果决定保持零样本、转向少样本，或使用TAO等工具微调。模型名单可以缩短调研时间，无法代替产线数据。
