模型错误导致的患者安全伤害
错误或遗漏的预测会直接影响诊断与治疗——这是所有失效模式中风险最高的一种。
分行业解读 ISO/IEC 42001
AI 支持诊断、分诊、影像、临床决策及患者管理——在这些场景中,错误是一起患者安全事件,而非一张缺陷工单。ISO/IEC 42001 为医疗服务提供者和医疗 AI 开发者提供可审计的治理体系,能与 MDR/IVDR、患者安全及健康数据义务并行不悖。
为何属于高风险
作为医疗器械或体外诊断安全组件的 AI,属于 EU AI Act 的产品路径(Annex I),与 MDR/IVDR 合规性挂钩——这些义务自 2028年8月2日起适用。用于急诊医疗分诊或调度的 AI 属于 Annex III 下的高风险。在 AI Act 之上还叠加了 MDR/IVDR 技术文档与临床评价、药品监管机构及 FDA 对医疗器械软件的要求、患者安全义务,以及 GDPR 对特殊类别健康数据的规则。ISO 42001 是对器械路径的补充——而非取代——通过治理其周围的 AI 管理体系发挥作用。
风险所在
在医疗健康领域,AI 治理出错的代价以患者伤害来衡量:
错误或遗漏的预测会直接影响诊断与治疗——这是所有失效模式中风险最高的一种。
对某些群体代表性不足的数据集会产生对他们表现更差的模型,加剧健康不平等。
来源、同意依据或质量不明的临床训练数据会同时损害安全性与合法性。
自动化偏见——临床医生在无实质性复核的情况下听从 AI——会削弱法律所要求的人工监督。
随着人群、器械和诊疗实践的变化,模型性能会退化;若无监测便无人察觉。
无法解释的决策难以信任、依据行事或加以辩护。
ISO/IEC 42001 如何应对
工具包将每一项风险映射到具体的 Annex A 控制措施和一份现成文档:
| Annex A control | Toolkit document | Why it matters |
|---|---|---|
| A.5——影响评估 | AI 影响评估(RISK-TPL-01) | 在部署前评估对患者与临床医生的影响——可直接输入 MDR 临床与风险文档。 |
| A.6——生命周期与验证 | V&V 计划与报告 + 模型卡 + 技术文档包(VV-PLN-01 / VV-REC-01 / LIFE-TPL-05 / LIFE-TPL-04) | 与器械技术文件相一致的严格验证与文档记录。 |
| A.7——数据质量、溯源与偏见 | 数据质量评估 + 溯源日志 + 偏见与公平性记录(DATA-TPL-03 / DATA-TPL-02 / DATA-TPL-05) | 证明临床数据具有代表性、来源可靠、合法合规,并跨群体监测公平性。 |
| A.9.3——人工监督 | 人工监督计划(USE-PLN-01) | 让临床医生实质性地参与其中,防范自动化偏见。 |
| A.6.2 / 第 9 条款——监测 | 监测计划与 KPI 登记册(MON-PLN-01) | 上市后性能监测与漂移检测——AI Act 与器械监管机构均予期待。 |
| A.8.4——事件响应 | AI 事件响应程序(INC-PRO-01) | 针对安全相关 AI 事件的明确严重程度分级与升级流程,并保全证据。 |
如何实现
登记每个临床与行政 AI 系统,连同责任人及与任何器械合规文件的关联。
开展影响、偏见与数据质量评估;验证并记录每个模型。
嵌入临床医生监督、透明度以及安全级别的事件处理流程。
监测上市后性能与漂移,并使 AIMS 与 MDR/IVDR 证据保持一致。
问答
不会。医疗器械 AI 仍需走其监管路径。ISO 42001 治理器械周围的 AI 管理体系——影响与偏见评估、数据治理、监督、监测及事件响应——其证据是对这些路径所要求技术文档的补充。
作为 MDR/IVDR 下器械安全组件的 AI 遵循产品路径,义务自 2028年8月2日起适用;急诊分诊 AI 属于 Annex III,义务自 2027年12月2日起适用。实质性要求并无变化——过渡期是用来建立体系的。
适用。作为部署者,您需对人工监督、监测以及在预期用途范围内使用 AI 负责。ISO 42001 为医疗服务提供者提供部署方一侧的控制措施,以便可辩护地做到这一点。