六月了,杭州这家公司已经连续三周加班。不是赶产品,是补合规材料。
欧盟AI法案的高风险系统条款今年8月就要全面执行,留给中小企业的时间不多。这家做智能招聘筛选的公司,150人规模,产品要卖给欧洲客户。他们的法务说:按法案第10条,训练数据的收集、处理和标注全流程必须可审计。
听起来简单,做起来全是坑。
数据收集:从“能用就行”到“每一条都能说清来源”
改造前,他们的数据团队从LinkedIn、招聘网站和公开简历库抓数据,标注后直接喂模型。合规团队问:这些数据的法律基础是什么?数据主体同意了吗?抓取时的robots.txt遵守了吗?
没人能回答。
改造后,他们做了三件事:
- 建立数据来源登记表,每批数据必须记录采集时间、URL、法律依据(同意/合法利益/公开数据)
- 引入开源工具DataProfiler,自动生成数据血缘报告
- 把数据采集脚本全部迁移到内部Git仓库,每次抓取任务必须有合规审批记录
成本?两个工程师花了一周,法务确认流程又花了一周。他们说,这笔账比被欧盟罚款2000万欧元或全球营业额4%便宜多了。
标注人员:外包团队也要有“资质档案”
法案第10条第2款明确要求,标注人员必须“具备必要能力、培训和监督”。这家公司的标注外包给了一家郑州的BPO公司,之前只管交数据和验收结果。
现在,他们要求外包方提供:
- 每位标注员的培训记录(至少8小时数据保护和偏见意识培训)
- 标注指南版本号,必须与主仓库同步
- 每月随机抽检5%的标注结果,误差率超过3%则触发重新标注
他们还在内部搞了一个“标注员认证”系统,用本地部署的小模型自动生成标注质量报告。那套系统跑在一张二手RTX 3060上,月成本不到200块电费。
偏见检测:不是测一次,是每批数据都测
法案附件I明确禁止基于种族、性别、年龄等的歧视性结果。这家公司的招聘模型之前只在上线前做一次公平性测试,用的是AIF360工具包。
现在,流程改成了:
- 每批训练数据入库前,运行偏见检测脚本(基于Fairlearn和自定义规则)
- 输出报告必须包含性别、年龄、教育背景三个维度的统计差异
- 差异超过预设阈值(他们定的是5%),数据必须重新采样或标注
他们的技术负责人说:以前觉得偏见检测是“锦上添花”,现在是“不过就死”。这让我想起之前拆解过的AI偏见落地案例——招聘算法给女性打低分,最后被告上法庭。
审计日志:从“出了事再查”到“全程留痕”
法案第12条要求高风险AI系统必须具备自动日志记录功能。这家公司之前用Elasticsearch记操作日志,但标注和训练环节的日志是分开的,且不带版本关联。
改造后,他们搭了一套基于本地化AI Agent流水线的审计系统:
- 标注工具每次操作自动记录:谁、何时、改了什么、原始值和修改值
- 训练任务必须绑定数据版本和标注版本,形成“数据快照”
- 所有日志存到只追加的存储(Append-Only Storage),防篡改
他们还参考了西门子和Monzo的合规认证案例里的“三层解释栈”思路,给审计日志加了因果追溯功能——出问题时能快速定位是数据问题、标注问题还是模型问题。
供应商管理:你的数据标注供应商也是“高风险”
很多人忽略这一点:如果你的数据标注供应商不符合法案要求,你的AI系统也不能上市。这家公司之前签的标注外包合同,只有SLA和价格,没有数据保护条款。
现在,他们加了:
- 供应商必须提供GDPR合规证明或通过ISO 27701认证
- 合同里明确数据所有权归属、删除义务和审计权
- 每季度对供应商做一次远程审计,检查标注环境安全性和人员培训记录
他们的COO算了一笔账:五项改造,直接成本约15万元(主要是工具采购和法务咨询),间接成本是三个工程师两个月的时间。但如果不改,产品根本进不了欧盟市场。
给你的内部检查清单
这家公司的合规团队把改造经验总结成了一个10项检查清单:
- 数据来源是否每条都有法律依据记录?
- 标注员是否有培训记录和资质档案?
- 每批数据入库前是否运行偏见检测?
- 标注和训练日志是否自动关联、防篡改?
- 数据和标注版本是否绑定,能随时回溯?
- 供应商合同是否包含数据保护和审计条款?
- 偏见检测阈值是否根据业务场景设定?
- 审计日志是否支持因果追溯?
- 是否有定期演练(模拟监管问询)?
- 法务和技术团队是否每周同步合规进展?
他们说,合规不是法律部门的事——是产品能不能卖的事。