在半导体晶圆厂的光刻后道检测环节,一个 10 纳米量级的随机颗粒或一次微小的桥接(Bridge)缺陷,就足以让整片 Wafer 报废。过去一年,我们深入一家国内头部晶圆厂,尝试用 AI 视觉模型替代传统的基于规则(Rule-based)的检测算法。目标很明确:将漏检率(Escape Rate)从 0.5% 压低到 0.1% 以下,同时不能让误检率(Overkill Rate)激增导致生产线停摆。
标注的陷阱:当“专家经验”无法量化
项目启动的第一周,我们遇到了工业视觉最典型的“冷启动”问题:样本极度不均衡。在 100,000 张正常的晶圆扫描图中,真正的缺陷样本可能不到 100 张。这意味着模型在训练之初就面临严重的类别失衡。
更棘手的是标注标准。我们请来了三位拥有 10 年经验的工艺工程师进行标注,结果发现,同一处模糊的阴影,工程师 A 认为是“良品”,工程师 B 认为是“潜在缺陷”,而工程师 C 则认为这是“设备噪点”。这种认知偏差直接导致模型在验证集上出现剧烈抖动。
为了解决这个问题,我们放弃了简单的 Bounding Box 标注,引入了半监督学习方案。首先利用自监督预训练(Self-supervised Pre-training)在海量无标签良品图上学习特征分布,然后通过一个极小规模的、经过三方共识确认的“金标准数据集”进行微调。同时,我们引入了合成数据(Synthetic Data)技术,通过在良品图中模拟注入真实的缺陷形态(如随机的金属桥接、光刻胶残留),将缺陷样本量人为扩充了 20 倍。这种做法验证了我们在《“人工智能+”开始算账:2026年前七个月落地观察》中提到的观点:制造业的 AI 落地,核心不在于模型参数的大小,而在于能否构建一个高质量的领域数据闭环。
从 SOTA 到边缘端:一场关于推理成本的妥协
在实验室环境下,使用一个大型的视觉 Transformer 模型可以轻松达到 99.9% 的准确率。但在实际生产线,检测设备要求单片 Wafer 的处理时间不能超过 90 秒,且数据由于机密性要求,严禁上传云端,必须在边缘侧的推理卡上运行。
当我们尝试将模型部署到现场的边缘计算模组(基于昇腾 310P 的定制化硬件)时,发现推理延迟高达 400ms/图,完全无法满足实时检测需求。这让我们意识到,工业视觉的竞争本质上是工程账的竞争。正如我们在《Transformer还没退场,工程账比架构更难改》中所讨论的,即使架构在进化,但端到端的推理成本和延迟才是决定能否上线的硬指标。
我们采取了三步走策略进行轻量化:
- 知识蒸馏(Knowledge Distillation):用那个巨大的 Transformer 模型作为 Teacher,引导一个轻量级的卷积神经网络(CNN)学生模型学习特征。
- 量化压缩:将 FP32 精度压缩至 INT8。在量化过程中,为了防止精度坍塌,我们采用了量化感知训练(QAT),重点保护缺陷边缘的激活值。
- 算子优化:针对国产芯片的算子库进行重新适配,将冗余的 Padding 操作剔除,并将推理链路中的内存拷贝次数从 5 次降低到 2 次。这部分实操经验与我们之前在《客服 Agent 迁往昇腾 910D,先拆开推理链路》中拆解的逻辑一致:不要直接复制权重,要先理清推理运行时(Runtime)的瓶颈。
闭环迭代:让 AI 学习“认错”
模型部署后的第一个月,漏检率降到了 0.3%,但误检率上升了 2%。在晶圆厂看来,误检意味着需要人工二次核对,这极大增加了成本。工程师们开始质疑:“AI 还是不如我的眼睛准”。
为了打破这个僵局,我们建立了一套“负样本反馈机制”。每当人工核对发现 AI 误报时,该图片会被自动打上“误报”标签,并进入一个高优先级的微调队列。我们不再追求一次性训练出完美模型,而是让模型在生产线运行过程中,通过每天 100-200 个真实误报案例进行在线学习(Online Learning)。
这种模式将 AI 的角色从一个“一次性交付的软件”变成了“一个需要培养的实习生”。在这种高频迭代下,模型逐渐学会区分真实的缺陷与设备产生的随机噪点。到 2026 年 6 月,该系统的漏检率终于稳定在 0.08% 左右,误检率也回落到了 1.2% 以内,真正实现了量产级别的闭环。
落地启示
这次实战给了我们三个深刻的启示:
第一,不要迷信端到端的大模型。在半导体这种极高精度要求的场景,物理常识和工艺逻辑比单纯的概率预测更重要。这与《别急着做自动驾驶:物流重卡在封闭矿区用AI排班省下15%油钱》的逻辑异曲同工——放弃追求全能,在封闭场景内通过物理约束实现极致优化。
第二,标注成本是最大的隐形成本。如果不能让领域专家(工艺工程师)高效、无痛地参与到标注中,AI 项目大概率会死在数据清洗阶段。
第三,边缘侧的性能压榨决定了 ROI。在工业现场,100ms 的延迟提升可能意味着数百万美元的产能损失。在 2026 年的今天,AI 工程师必须具备从模型架构层下沉到硬件指令集层的能力。