医学人工智能产品的验证与确认

医学人工智能产品以算法为核心，其性能高度依赖训练数据与使用场景，因此不能简单套用传统器械的检验思路。验证回答的是算法是否被正确构建，确认回答的是算法在真实临床环境中是否安全有效。两条证据链相互独立又彼此支撑，任何一环缺失，都可能让审评对产品的稳健性产生质疑。

验证与确认的内涵区别

验证针对开发过程，检验算法实现是否符合设计输入与规格要求，通常在内部数据集或留出集上完成。确认针对预期用途，检验产品在目标人群、目标机构与真实工作流中能否达到宣称的临床性能。两者关注对象不同，证据形式也不同。常见误区是以内部测试的高准确率替代临床确认，忽略数据分布差异带来的性能下降。申报资料中应分别呈现验证与确认的结论，并说明二者之间的衔接逻辑与支持关系。

• 验证：面向设计输入，证明实现正确；
• 确认：面向预期用途，证明临床有效；
• 证据分离：两个环节的结论不得互相替代；
• 衔接说明：交代验证结果如何支撑确认设计。

数据集构建与标注质量控制

训练与测试数据集是人工智能产品证据的基础。数据集需说明来源机构、采集设备、纳入排除条件、样本量与人群构成，并评估其对预期使用人群的代表性。标注环节应制定标注规范，明确标注人员资质、培训方式与一致性评价方法。对存在分歧的样本，需记录裁决过程与最终结论。测试集必须与训练集在患者层面隔离，防止数据泄漏导致的性能虚高。偏倚分析结论应写入申报资料，作为适用范围的支撑。

1. 数据来源与采集设备的可追溯记录；
2. 人群构成与目标人群代表性分析；
3. 标注规范、人员资质与一致性评价；
4. 训练集与测试集的患者层面隔离策略。

算法性能评价指标体系

人工智能产品的性能指标应与临床任务匹配。分类任务常用灵敏度、特异度、受试者工作特征曲线下面积等指标；检测与分割任务常用交并比、戴斯系数等定位精度指标；定量测量任务则关注偏差与重复性。评价时需给出置信区间，并说明阈值设定的依据。对多中心数据，应分中心呈现结果，观察性能是否稳定。只看单一总体指标而忽略亚组表现，是审评中常见的薄弱点。

• 分类任务：灵敏度、特异度、曲线下面积；
• 检测分割：交并比、戴斯系数等定位指标；
• 定量测量：偏差、重复性与一致性；
• 分中心与亚组分析，评估性能稳定性。

人机协同与临床确认

多数人工智能产品在临床中以辅助角色出现，医生参考算法输出后作出最终判断。因此确认研究不仅要评价算法单独性能，还要评价人机协同下的整体表现。研究设计可采用随机对照、序贯对照或多阅片者多病例设计，比较使用与不使用算法时的诊断准确性、阅片时间与决策改变率。研究还应记录算法输出的呈现方式与医生依从度，避免脱离真实工作流的理想化测试。

1. 采用多阅片者多病例或随机对照设计；
2. 评价诊断准确性、阅片效率与决策影响；
3. 记录算法输出呈现形式与临床依从度；
4. 在真实工作流中开展，避免理想化设置。

持续学习与版本更新的确认

具备持续学习能力的产品，其算法会随数据积累而演进，这给验证与确认带来额外挑战。企业需明确更新的触发条件、更新范围与影响评估方法，并对每次重大更新重新开展确认。若算法变更可能影响安全有效，应作为新的版本申报。锁定算法并冻结数据集的做法，有利于在注册周期内保持证据一致。对仅涉及界面或性能优化的轻微更新，也需留存影响分析与回归验证记录。

• 明确算法更新的触发条件与范围；
• 重大更新重新开展确认并考虑申报；
• 注册周期内锁定算法与数据集版本；
• 轻微更新的影响分析与回归验证记录。

医学人工智能产品的证据建设应围绕预期用途展开，用高质量数据集支撑验证，用贴近真实工作流的临床研究支撑确认。唯有把数据、算法与临床场景三者统一起来，产品的安全有效性才具备可被审评接受的说服力。

官方来源：国家药监局·创新器械获批专栏