2026年1月1日,修改后的《中华人民共和国网络安全法》施行。北京德和衡律师事务所的全球立法和监管速报提到,此次修改重点完善危害网络运行安全、网络产品和服务安全、网络信息安全行为的法律责任,同时加大处罚力度、扩大域外适用情形,并加强与《数据安全法》《个人信息保护法》的衔接。
放到大模型项目里,问题会变得很具体:员工向模型提交了什么数据,服务商如何处理会话,输出经谁放行,Agent能调用哪些系统,发生异常后能否还原过程。产品评审、网关策略、权限配置和日志设计,都要回答这些问题。
欧盟《人工智能法案》(Regulation (EU) 2024/1689)已于2024年8月1日生效,相关义务按时间表分阶段适用。AI Security Guide的法规章节还列出了NIST AI RMF、ISO/IEC 42001等参考体系。因此,把2026年笼统写成“全面执法阶段”并不准确。面向欧盟业务的团队,应按应用用途、企业角色和具体适用时间核对要求。
先画清数据怎么走
合规排查可以从AI应用台账和数据流图开始。每个场景至少要写清数据来源与类别、使用哪家模型、采用外部API还是私有化部署、会话是否留存、数据是否可能用于训练、输出会被谁看到,以及谁对这个场景负责。
例如,员工把含身份证号的Excel上传到外部Chat界面,即使回答中没有复述证件号码,数据上传、服务商留存和后续使用仍然需要审查。模型有没有“说出来”,不能作为判断风险的唯一标准。
调用第三方模型前,还要核对服务条款和管理后台配置,包括会话保留、训练使用、删除机制及数据处理地域。涉及数据出境时,应根据实际处理链路单独判断,不能仅凭供应商名称或部署标签下结论。
脱敏最怕只处理了表面
正则表达式适合识别手机号、证件号等固定格式,但只做关键词替换很容易漏掉上下文。姓名换成“张某”、手机号遮掉几位之后,订单号、详细地址、职位或病历描述仍可能指向具体个人。个人身份信息(PII)处理需要同时检查字段和语境。
更稳妥的处理流程包括:
- 输入模型前删除与任务无关的字段,再做实体识别、掩码或假名化处理;
- 业务确实需要重新关联身份时,将映射关系保留在受控环境中,不交给模型;
- 训练语料、RAG知识库和在线会话日志分别设置用途、权限和保留期;
- 模型生成后再次检查敏感数据回显、企业秘密和不应公开的内部信息;
- 无法自动判断的内容进入人工复核,不直接发送给客户或下游系统。
金融、医疗等场景是否需要物理隔离,应结合数据敏感度、部署方式和适用规则判断。把物理隔离写成所有场景的统一要求,既缺少依据,也可能掩盖权限失控、日志泄露等更直接的问题。
输出审核要盯住模型做了什么
Prompt Engineering和系统提示词可以约束模型,但面对诱导性提问、角色扮演或提示词注入时,单靠模型自带的拒答机制并不稳妥。独立审核层应放在API网关或Agent编排层,覆盖输出内容、敏感数据、业务规则和工具权限。
敏感词只是其中一项。采购Agent如果建议“跳过审批”,文本本身未必命中违规词库;一旦它还能调用采购系统,风险就落在工具执行上。当Agent通过MCP连接企业微信或其他内部工具时,网关需要校验当前身份、调用工具、请求参数和可访问的数据范围。越权请求可以直接拒绝、降级为只读,或转交人工确认。
审核应围绕可观察的输入、输出、工具调用和执行结果展开,不必把读取模型内部推理过程当作前提。真正需要拦截的是未经授权的动作,以及可能产生现实影响的内容。
红队测试要跟着版本走
2026年4月,国家互联网应急中心(CNCERT)发布人工智能大模型安全众测活动公告,面向社会征集测试产品,并邀请白帽子参与。公告确认了活动安排和参与方式,没有披露商用模型的失守比例,企业不能据此推导行业数据。
内部红队测试应覆盖提示词注入、角色扮演绕过、敏感数据套取、越权工具调用、业务规则规避和拒答稳定性。模型版本、系统提示词、RAG知识库或工具权限发生变化后,相关用例需要重新执行。
每个问题都应留下复现提示、受影响版本、处置负责人、修复记录和复测结果。只在首次上线前做一次扫描,很难发现后续配置变化带来的风险。
日志不能变成第二个泄露点
原始对话全量、长期保存,会让审计日志变成新的敏感数据集。高风险场景需要保留必要记录,但字段和保存时间仍要遵循最小化原则。
实用的审计记录通常包括调用时间、应用名称、经过假名化的用户标识、模型及版本、提示词模板版本、策略命中结果、工具调用与参数、人工干预情况和最终动作。原始输入含有个人信息或商业秘密时,应先做脱敏,并配置访问控制、完整性保护、保留期限和删除机制。
批量生成并发布内容的团队,还可以评估C2PA 2.0等来源标记方案。它是否适用取决于渠道规则和业务需要,不能直接视为所有内容平台的统一门槛,也不能替代输入数据、输出内容和发布权限审核。
把要求写进发布门槛
中国信通院的《人工智能安全治理蓝皮书》将产业实践框架作为重要内容。NIST AI RMF、ISO/IEC 42001等体系也可以帮助企业整理风险、责任和控制措施,但它们不能替代具体法域下的法律判断。
大模型上线评审单里,应能找到这些内容:
- 业务负责人、数据负责人和安全负责人已经明确;
- 数据来源、处理目的、流向及第三方配置已有记录;
- 输出审核、业务规则和工具权限已经部署在模型之外;
- 红队问题已经修复、复测,未解决风险有人签字确认;
- 异常处置、版本回滚、日志调取和数据删除都有负责人。
监管检查或安全事件发生后,企业最终要拿出数据流图、供应商配置、测试记录、拦截日志、人工复核和整改闭环。谁在使用模型、提交了哪些数据、输出能触发什么动作、异常如何回放,这些问题有证据可查,大模型才适合进入真实业务系统。