中國(guó)食品藥品檢定研究院醫(yī)療器械檢定所，北京 102629

引言

近年來(lái)，人工智能（Artificial Intelligence，AI）醫(yī)療器械發(fā)展迅速，上市產(chǎn)品數(shù)量不斷增加，核心算法的迭代更新頻率加快。AI產(chǎn)品的質(zhì)量管理框架需要?jiǎng)?chuàng)新，以便在滿足產(chǎn)品的安全有效的前提下促進(jìn)產(chǎn)品的迭代更新。質(zhì)量管理過(guò)于嚴(yán)苛，會(huì)影響產(chǎn)品的競(jìng)爭(zhēng)力，限制行業(yè)發(fā)展；質(zhì)量管理過(guò)于松散，又會(huì)降低產(chǎn)品質(zhì)量，帶來(lái)臨床風(fēng)險(xiǎn)。因此，如何開展AI產(chǎn)品質(zhì)量管理是監(jiān)管與標(biāo)準(zhǔn)化的重要研究對(duì)象，對(duì)行業(yè)發(fā)展有重要意義。

目前，AI醫(yī)療器械的質(zhì)量管理尚未形成統(tǒng)一標(biāo)準(zhǔn)，各國(guó)的研究進(jìn)展不同。我國(guó)藥品監(jiān)管部門在通用醫(yī)療器械、醫(yī)療器械軟件質(zhì)量管理方面已開展大量工作[1-2]，在AI醫(yī)療器械軟件的注冊(cè)審評(píng)方面也發(fā)布了相關(guān)技術(shù)文件[3-4]。美國(guó)食品藥品監(jiān)督管理局（Food and Drug Administration，F(xiàn)DA）在今年發(fā)布了AI/機(jī)器學(xué)習(xí)醫(yī)療器械軟件行動(dòng)計(jì)劃[5]，繼續(xù)研究產(chǎn)品快速變更的監(jiān)管路徑[6]，構(gòu)建良好機(jī)器學(xué)習(xí)框架[7]。歐盟從倫理角度出發(fā)，以“可解釋”“可信賴”為關(guān)鍵詞，構(gòu)建AI產(chǎn)品的監(jiān)管框架[8]。

由于AI產(chǎn)業(yè)剛剛起步，產(chǎn)品上市后召回事件、企業(yè)飛行檢查通報(bào)等監(jiān)管數(shù)據(jù)比較缺乏，AI企業(yè)在質(zhì)量管理方面的問(wèn)題缺乏系統(tǒng)的梳理。產(chǎn)業(yè)在實(shí)踐環(huán)節(jié)還存在一些問(wèn)題和困惑需要解決。本文對(duì)AI醫(yī)療器械質(zhì)量管理面臨的特殊問(wèn)題進(jìn)行了梳理，結(jié)合相關(guān)的行業(yè)與監(jiān)管情況，對(duì)AI醫(yī)療器械專用的標(biāo)準(zhǔn)規(guī)范研究提出了建議，旨在幫助行業(yè)提升質(zhì)量管理能力。

1 AI特殊問(wèn)題分析

與傳統(tǒng)醫(yī)療器械相比，當(dāng)前AI醫(yī)療器械存在以下特點(diǎn)：① 內(nèi)核采用以深度學(xué)習(xí)為代表的新一代AI算法，缺乏可解釋性，工作過(guò)程比較抽象，難以直觀理解；② 產(chǎn)品研發(fā)過(guò)程比較開放，前沿學(xué)術(shù)成果的轉(zhuǎn)化速度快，調(diào)用的算法框架、工具包等技術(shù)資源也處于快速變化中，例如業(yè)內(nèi)常見的pytorch深度學(xué)習(xí)框架從2016年問(wèn)世以來(lái)，版本更新了50多次[9]；③ 產(chǎn)品的驗(yàn)證和確認(rèn)在方法、指標(biāo)、測(cè)試集等方面差異較大，不同企業(yè)之間缺乏可比性。例如，近年來(lái)美國(guó)已上市的部分計(jì)算機(jī)輔助診斷/檢測(cè)類產(chǎn)品的算法測(cè)試集規(guī)模從幾十到幾千不等，性能指標(biāo)、受試者響應(yīng)曲線的定義和構(gòu)造方式也有差別[10]；④ 常見形態(tài)為醫(yī)療器械獨(dú)立軟件，開始向嵌入式組件、AI芯片擴(kuò)展。軟件的部署與配置方式靈活多變，包括本地服務(wù)器、云平臺(tái)、移動(dòng)計(jì)算平臺(tái)、芯片即系統(tǒng)（System on a Chip）、軟件即服務(wù)（SaaS）等。在當(dāng)前AI醫(yī)療器械特點(diǎn)背景下，現(xiàn)行的醫(yī)療器械軟件監(jiān)管與法規(guī)，對(duì)AI醫(yī)療器械的質(zhì)量管理具有宏觀的指導(dǎo)意義[11-12]，例如強(qiáng)調(diào)全生命周期管理、軟件生存周期的理念等。但在具體實(shí)施中，部分細(xì)節(jié)尚未明確，有待研究。本文依據(jù)醫(yī)療器械監(jiān)管、AI技術(shù)資源發(fā)展的歷史，從更大的維度發(fā)掘線索，建議關(guān)注以下特殊問(wèn)題。

1.1 可追溯性

本文對(duì)美國(guó)2016至2020年醫(yī)療器械的召回事件[13]進(jìn)行了簡(jiǎn)要分析，匯總了由于軟件、算法、數(shù)據(jù)問(wèn)題直接導(dǎo)致的召回事件分布如圖1所示。根據(jù)5年的總數(shù)量，出現(xiàn)質(zhì)量問(wèn)題的頻率從高到低排名為軟件＞數(shù)據(jù)＞算法。

AI產(chǎn)品與軟件、算法、數(shù)據(jù)都有密切聯(lián)系，結(jié)合其中的具體案例考慮，在以下方面宜加強(qiáng)可追溯性。

（1）數(shù)據(jù)的可追溯性。在圖1所示的醫(yī)療器械召回事件中，與數(shù)據(jù)有關(guān)的常見現(xiàn)象包括數(shù)據(jù)丟失、數(shù)據(jù)錯(cuò)誤、信息記錄混亂等，說(shuō)明相關(guān)產(chǎn)品在數(shù)據(jù)完整性、數(shù)據(jù)管理等方面存在缺陷，質(zhì)量管理需要加強(qiáng)數(shù)據(jù)的可追溯性。

圖1 美國(guó)醫(yī)療器械召回事件統(tǒng)計(jì)

數(shù)據(jù)集是AI醫(yī)療器械全生命周期使用的重要資源，對(duì)產(chǎn)品質(zhì)量有重要影響。目前，AI醫(yī)療器械行業(yè)不斷提升對(duì)數(shù)據(jù)集的認(rèn)識(shí)和標(biāo)準(zhǔn)建設(shè)[14-16]，包含了對(duì)數(shù)據(jù)集本身的版本控制、標(biāo)志標(biāo)識(shí)的要求，以及數(shù)據(jù)集開發(fā)管理過(guò)程的可追溯性要求。在實(shí)際的生產(chǎn)研發(fā)活動(dòng)中，需要根據(jù)數(shù)據(jù)集的作用和角色，明確數(shù)據(jù)采集、標(biāo)注、存儲(chǔ)、使用等各個(gè)環(huán)節(jié)的具體過(guò)程記錄，對(duì)人員、設(shè)施、工具、操作規(guī)程等要素進(jìn)行覆蓋，對(duì)醫(yī)療器械產(chǎn)品本身的數(shù)據(jù)處理、數(shù)據(jù)管理能力進(jìn)行溯源。

（2）算法和軟件的可追溯性。在圖1所示的醫(yī)療器械召回事件中，部分現(xiàn)象包括軟件及組件的過(guò)期/擅自更新/不兼容、算法異常、計(jì)算錯(cuò)誤等，從軟件系統(tǒng)到GPU都有所涉及。上述缺陷說(shuō)明算法、軟件的質(zhì)量管理需要加強(qiáng)。

根據(jù)醫(yī)療器械軟件注冊(cè)相關(guān)指導(dǎo)文件[11]，軟件生存周期均應(yīng)開展可追溯性分析。對(duì)AI醫(yī)療器械而言，算法的來(lái)源和功能較為豐富，包括企業(yè)本身、開源平臺(tái)、外部供應(yīng)商等渠道，以及聯(lián)邦學(xué)習(xí)、遷移學(xué)習(xí)等其他方式。在研發(fā)與測(cè)試階段，算法架構(gòu)、參數(shù)配置和對(duì)應(yīng)的源代碼、軟件組件是動(dòng)態(tài)變化和完善的，可追溯的難度較大。雖然軟件產(chǎn)品整體有版本控制的要求[17]，源代碼、軟件組件、核心算法的版本控制仍需加強(qiáng)。

1.2 風(fēng)險(xiǎn)與缺陷管理

AI產(chǎn)品的風(fēng)險(xiǎn)與缺陷，由多種因素決定，包括自身設(shè)計(jì)、外部組件、硬件等。根據(jù)公開數(shù)據(jù)[18]，AI研發(fā)相關(guān)的技術(shù)資源多次出現(xiàn)安全漏洞如圖2所示。其中，Notebook、TensorFlow、MongoDB、GPU、Python分別是開發(fā)工具、深度學(xué)習(xí)框架、數(shù)據(jù)庫(kù)、核心硬件和編程語(yǔ)言的代表。在此情況下，AI產(chǎn)品的制造商在設(shè)計(jì)開發(fā)、設(shè)計(jì)變更、供應(yīng)商資質(zhì)審核等方面應(yīng)廣泛提高警惕。

圖2 近3年公布的安全缺陷一覽表

此外，在臨床部署后，產(chǎn)品的性能會(huì)隨著輸入數(shù)據(jù)的波動(dòng)而變化。這種波動(dòng)來(lái)自真實(shí)世界的數(shù)據(jù)采集設(shè)備、人員操作、外界干擾、受試人群等各個(gè)方面，具有隨機(jī)性和發(fā)散特性。質(zhì)量管理體系需要對(duì)產(chǎn)品的真實(shí)世界表現(xiàn)進(jìn)行監(jiān)測(cè)，需要應(yīng)對(duì)和處理不良事件，明確何種情形下對(duì)產(chǎn)品進(jìn)行召回[19]。

1.3 更新控制

由于AI行業(yè)鼓勵(lì)算法的迭代更新，為保障AI醫(yī)療器械算法更新后的安全有效，從管理的角度意味著需要加強(qiáng)更新控制，尤其是對(duì)算法性能開展驗(yàn)證和確認(rèn)[20-21]。

在測(cè)試環(huán)節(jié)，應(yīng)加強(qiáng)回歸測(cè)試的管理。回歸測(cè)試是使用相同的測(cè)試用例或測(cè)試集對(duì)迭代前后的算法進(jìn)行測(cè)試。如果算法迭代頻繁，應(yīng)保障測(cè)試集動(dòng)態(tài)管理的資源需求。另一方面，當(dāng)測(cè)試集發(fā)生更新時(shí)，當(dāng)前最新版本的算法應(yīng)立即開展測(cè)試，作為性能的基線，用于和后續(xù)版本的算法進(jìn)行比對(duì)。同時(shí)，為了充分驗(yàn)證算法更新后的泛化能力，除了開展回歸測(cè)試外，宜動(dòng)態(tài)引入新的測(cè)試數(shù)據(jù)，擴(kuò)展算法驗(yàn)證與確認(rèn)的維度。例如對(duì)現(xiàn)有測(cè)試集添加噪聲和干擾，合成“對(duì)抗測(cè)試集”，用于比較新舊算法的抗擾能力。

2 來(lái)自實(shí)踐的啟示

在AI醫(yī)療器械的性能驗(yàn)證環(huán)節(jié)，實(shí)踐中發(fā)現(xiàn)一些常見問(wèn)題，容易影響驗(yàn)證工作的進(jìn)程如圖3所示。這些問(wèn)題涵蓋了檢品的安裝、部署、運(yùn)行、設(shè)計(jì)等方面，從側(cè)面反映了AI產(chǎn)品質(zhì)量管理的薄弱之處，建議從以下方面予以加強(qiáng)。

圖3 產(chǎn)品檢測(cè)實(shí)踐中發(fā)現(xiàn)的問(wèn)題

（1）樣品管理。測(cè)試前，樣品的代碼編譯、發(fā)布、程序部署等環(huán)節(jié)需要做好驗(yàn)證記錄，確保將正確的版本投入測(cè)試，將算法版本與測(cè)試結(jié)果之間形成關(guān)聯(lián)；測(cè)試中，樣品宜形成和顯示過(guò)程記錄，如當(dāng)前測(cè)試進(jìn)度、當(dāng)前測(cè)試樣本編號(hào)、剩余測(cè)試時(shí)間等，提高測(cè)試過(guò)程的可追溯性；測(cè)試后，應(yīng)檢查內(nèi)存、存儲(chǔ)空間使用情況，檢查算法輸出結(jié)果的格式、順序是否符合預(yù)期，形成記錄。

（2）數(shù)據(jù)管理。參照行業(yè)標(biāo)準(zhǔn)《人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià) 第2部分：數(shù)據(jù)集通用要求（報(bào)批稿）》[14]，數(shù)據(jù)采集、標(biāo)注、存儲(chǔ)、流通、停用等環(huán)節(jié)均應(yīng)建立記錄；數(shù)據(jù)標(biāo)注的最終結(jié)論或形成的參考標(biāo)準(zhǔn)應(yīng)能追溯至原始標(biāo)注結(jié)論、仲裁與審核結(jié)果。數(shù)據(jù)采集、標(biāo)注人員的資質(zhì)要求、選拔、培訓(xùn)、活動(dòng)記錄應(yīng)當(dāng)齊全。

（3）評(píng)價(jià)指標(biāo)管理。在產(chǎn)品的測(cè)試環(huán)節(jié)，隨著測(cè)試集的抽樣與組合，評(píng)價(jià)指標(biāo)可能是動(dòng)態(tài)變化的，但需要與產(chǎn)品的設(shè)計(jì)輸入、需求分析、風(fēng)險(xiǎn)分析之間保持協(xié)同。評(píng)價(jià)指標(biāo)的確定和改變需要進(jìn)行評(píng)審并建立記錄。對(duì)于魯棒性等評(píng)價(jià)指標(biāo)，在風(fēng)險(xiǎn)分析環(huán)節(jié)應(yīng)明確描述其對(duì)應(yīng)的真實(shí)世界風(fēng)險(xiǎn)。

3 討論與總結(jié)

本文根據(jù)國(guó)外醫(yī)療器械上市后監(jiān)管數(shù)據(jù)和行業(yè)安全數(shù)據(jù)，對(duì)AI醫(yī)療器械質(zhì)量管理的特殊性進(jìn)行了分析，并結(jié)合在產(chǎn)品驗(yàn)證實(shí)踐中發(fā)現(xiàn)的問(wèn)題，對(duì)產(chǎn)品質(zhì)量管理提出建議，主要強(qiáng)調(diào)可追溯性、數(shù)據(jù)管理、質(zhì)量控制等角度：① 可追溯性方面：需要專業(yè)的技術(shù)規(guī)范保證AI醫(yī)療器械使用的數(shù)據(jù)集、源代碼、軟件組件的可追溯性，例如唯一標(biāo)識(shí)編碼等，考慮各種技術(shù)要素的生成時(shí)間、修改時(shí)間、使用地點(diǎn)、執(zhí)行機(jī)構(gòu)、版本等信息，密切跟蹤軟硬件、組件的版本更新、安全更新等，做好驗(yàn)證、確認(rèn)和變更記錄控制。同時(shí)，為了加強(qiáng)算法的可追溯性，宜細(xì)化明確算法研發(fā)記錄的要求，例如參與研發(fā)/測(cè)試的人員記錄、訓(xùn)練記錄與過(guò)程參數(shù)、訓(xùn)練集/調(diào)優(yōu)集的分配記錄等；② 數(shù)據(jù)管理方面：訓(xùn)練/調(diào)優(yōu)、封閉測(cè)試、臨床試驗(yàn)、真實(shí)世界監(jiān)測(cè)等各種用途的數(shù)據(jù)集均應(yīng)建立專用的管理體系與過(guò)程記錄，明確管理職責(zé)和人員資質(zhì)，并提供相應(yīng)的存儲(chǔ)與安全設(shè)施，保證數(shù)據(jù)集的版本控制和可重復(fù)使用，能與算法的快速迭代相適應(yīng)。產(chǎn)品、研發(fā)工具的數(shù)據(jù)管理、數(shù)據(jù)處理能力，同樣應(yīng)納入考量范圍；③ 在產(chǎn)品質(zhì)控方面，應(yīng)加強(qiáng)質(zhì)量評(píng)價(jià)方法標(biāo)準(zhǔn)的研究，把真實(shí)世界風(fēng)險(xiǎn)評(píng)估的關(guān)口前移，增強(qiáng)上市前的驗(yàn)證與確認(rèn)，模擬產(chǎn)品上市后面臨的風(fēng)險(xiǎn)；在產(chǎn)品臨床部署后，提高日常質(zhì)控的完備性，設(shè)立產(chǎn)品性能監(jiān)測(cè)指標(biāo)、接口和工具，為用戶反饋和產(chǎn)品變更提供可靠的、持續(xù)的客觀數(shù)據(jù)。

AI醫(yī)療器械屬于新興事物，監(jiān)管的歷史較短，公開數(shù)據(jù)較少，制約著質(zhì)量管理研究。本文參考了近5年來(lái)國(guó)外醫(yī)療器械召回事件中與軟件、算法、數(shù)據(jù)相關(guān)的案例，豐富了信息收集的渠道，為后續(xù)研究提供了有益的素材。同時(shí)，本文對(duì)AI產(chǎn)品研發(fā)資源自身的更新、安全漏洞等情況進(jìn)行了量化分析，側(cè)重AI自身特色，為質(zhì)量管理研究提供了新的線索。

綜上所述，AI醫(yī)療器械的質(zhì)量管理還有很大的進(jìn)步空間，需要加強(qiáng)算法、數(shù)據(jù)的可追溯性，提高數(shù)據(jù)管理能力，提升對(duì)產(chǎn)品的全生命周期質(zhì)控能力，需要相關(guān)基礎(chǔ)標(biāo)準(zhǔn)、方法標(biāo)準(zhǔn)的協(xié)同與支撐。