先看一个假设场景:AI把肺部结节标为高度可疑,医生采纳建议,后续病理结果却显示良性。追责时,先查的不能只有模型准确率。输入影像是否完整?模型版本是否匹配?产品有没有超出适用范围?医生是否复核?医院能否调出当时的操作记录?
良性结果本身也不能倒推出此前的判断必然存在过错。要厘清责任,得还原数据进入系统、模型输出提示、医生作出判断的全过程。
金融业务也一样。一笔正常交易被系统判为异常并拦截,银行需要解释风险分数如何生成、哪条规则触发了处置、有没有人工复核、客户如何申诉。模型输出只是其中一环。
试点阶段可以重点看准确率和响应速度。一旦进入临床诊疗、交易处置或支付审核,机构就必须把责任链写进日常流程。
医保审核之前,先把诊疗过程留住
2026年7月3日,全球数字经济大会“医疗人工智能的融合创新与价值提升”论坛在北京举行。中国电信北京分公司副总经理孙健在演讲中将诊疗数据称为尚未充分挖掘的“高价值富矿”,并指出,数据质量关系到模型表现、医生能否使用以及能否形成临床价值。
数据一旦进入诊疗流程,问题就不再局限于模型效果。
中国食品药品网2026年4月24日刊载的分析提到,AI医疗器械的功能来自算法模型,模型质量又依赖训练数据的规模、质量和多样性。产品从研发、注册、上市流通到上市后的学习迭代,都与数据使用相连。
上述公开材料强调了数据和临床应用,但没有提供AI诊断报告已作为独立项目普遍进入医保结算的依据。把技术试点直接写成医保落地,跨度过大。更现实的问题是:若AI辅助服务进入收费或医保审核,机构能否证明以下几件事?
- 产品和模型有明确的适用范围,没有被挪到未经验证的部位或病种;
- 每次调用都能对应到具体模型版本、输入数据和输出结果;
- 医生对AI建议进行了确认、修改或拒绝,并留下操作记录;
- 收费项目与实际提供的服务相符,出现异常后可以重新核验。
这些记录不是为了给系统多堆几个字段。发生纠纷时,审核人员需要据此判断:问题出在数据、模型、部署,还是临床复核。
签字医生是关键节点,但责任不会到此为止
医院可以按四个环节设计留痕机制:
| 环节 | 需要回答的问题 | 应保留的记录 |
|---|---|---|
| 数据进入 | 影像是否完整,患者与影像是否匹配,谁有调用权限 | 数据来源、权限、预处理及异常记录 |
| 模型运行 | 使用哪个版本,是否在适用范围内,系统有无报错 | 版本、调用时间、输入输出及运行日志 |
| 临床复核 | 医生采纳、修改还是拒绝了建议 | 操作记录、最终报告及签字时间 |
| 更新维护 | 模型或接口是否发生变化,更新前是否验证 | 审批、测试、上线及回退记录 |
回到肺结节场景。如果模型按说明运行,医生也完成了独立复核,结果不一致仍需结合当时的临床信息判断。若模型版本错误、更新未经验证或输出异常,厂商和部署管理环节就要接受检查。若影像错配、数据缺失,医院的数据和接口管理同样在责任范围内。
分层担责的作用,是避免所有问题都落在最后点击确认的人身上,也防止厂商用“辅助工具”四个字退出调查。
取证也不必先上区块链。数据库审计日志、版本管理、权限记录和备份,只要连续、完整、能够核验,就比一个漂亮的技术名词更有用。隐私计算、联邦学习可以减少原始数据流动,但仍要先明确数据权限和使用目的。
金融风控,先按处置后果划线
《AI渗透金融场景风控、投研、评级逻辑加速重构》提到,AI已被用于舆情监测、财务异常识别和关联风险传导分析。到了交易反欺诈环节,模型输出还可能直接触发客户侧动作,责任划分更敏感。
一家金融机构可以先按处置后果划线:
- 只做内部风险标记,由系统自动进入待核查队列;
- 要求客户追加验证,需要说明触发规则和交易恢复路径;
- 涉及拒绝、冻结、限额等影响较大的动作,应设置更严格的授权、复核和申诉机制。
动作越难逆转,对客户影响越大,模型拥有的自动处置权限就应越受限制。
风险阈值也不是一个可以照抄的行业常数。单个机构的阈值不能被包装成通用标准。每次调整都应有审批记录、验证依据和影响评估,并能说明误判后如何恢复交易、解除限制或修正客户记录。
对客户而言,执行拦截或限制的是金融机构,解释不能停在“算法判定”。机构内部则要继续拆分:模型是否存在缺陷,业务规则是否设置不当,工作人员是否正确执行。风控人员采纳或推翻模型建议,最好都留下理由;系统自动处置后,也要有快速复核入口。
最小必要要落到每次数据调用
医疗影像、病历、账户流水和交易信息都涉及高度敏感的数据。数据保护不能只靠一张“已脱敏”的标签。
训练前,要明确用途和数据范围;推理时,要按岗位分配权限,限制系统返回的内容;数据导出、下载、留存和删除,也应有相应记录。所谓“数据可用不可见”,至少要能回答:谁在什么时间、出于什么目的调用了哪些数据,系统返回了什么。
数据沙箱、可信执行环境和联邦学习可以减少原始数据直接流动,降低暴露面。它们无法替代授权、权限控制和删除机制。未经允许收集的数据,即使放进加密环境,也不会自动变得合规。
医保要审核的,先是一项说得清的服务
AI做了什么,医生做了什么,病历如何记录,费用对应哪一段工作,这些问题都要明确。AI辅助诊断能否独立收费、能否进入医保结算,仍取决于具体政策和收费项目。目前不能据上述案例断言,AI诊断报告已经普遍作为独立项目结算。
亚太地区已经出现支持负责任AI部署的公共投入。毕马威2025年3月发布的报告提到,澳大利亚政府投入2,700万美元,即4,120万澳元,支持负责任的AI部署项目;新加坡投入10亿美元支持《国家人工智能战略2.0》。这些资金可以支持基础设施和部署工作,却不能代替医疗机构、金融机构自己的责任规则。
机构现在能做的,是先固定四个问题:谁提供数据,运行哪个模型版本,谁完成复核,谁执行处置。
医疗端,医生签字是临床决策的重要证据,医院和厂商仍需对数据、部署和更新环节负责。金融端,自动化权限应随着处置影响收紧,并配套人工复核、申诉和纠错。等到每一步都能从日志中还原,试点才有基础继续讨论收费、医保审核和规模化使用。
资料来源
- 全球数字经济大会举行 中国电信分享医疗人工智能创新实践,科技日报,2026年7月3日
- 合规与创新:AI医疗器械数据应用的法律边界,中国食品药品网,2026年4月24日
- AI渗透金融场景风控、投研、评级逻辑加速重构
- 挖掘亚太地区人工智能在医疗科技领域的价值,毕马威,2025年3月