劉毅 ，王浩，李澍，任海萍，樊瑜波

1. 北京航空航天大學(xué) a. 生物與醫(yī)學(xué)工程學(xué)院； b. 生物醫(yī)學(xué)工程高精尖創(chuàng)新中心，生物力學(xué)與力學(xué)生物學(xué)教育部重點(diǎn)實(shí)驗(yàn)室，生物與醫(yī)學(xué)工程學(xué)院；c. 醫(yī)學(xué)科學(xué)與工程學(xué)院，北京 100191；2. 北京北鈴專用汽車有限公司，北京 101500；3. 中國食品藥品檢定研究院 醫(yī)療器械檢定所，北京 102629；4. 國藥集團(tuán)醫(yī)療器械研究院，北京 100028

引言

人工智能醫(yī)療器械（Artificial Intelligence Medical Device，AIMD）作為一個新興的產(chǎn)業(yè)，近幾年在圖像識別[1]、決策支持[2]、自然語音識別[3]和語言轉(zhuǎn)換[4]等研究領(lǐng)域取得了突破性進(jìn)展。2018年，利用醫(yī)學(xué)影像人工智能（Artificial Intelligence，AI）實(shí)現(xiàn)視網(wǎng)膜病變篩查的研究成果在Cell雜志發(fā)表[5]，同年美國食品藥品監(jiān)督管理局（FDA）批準(zhǔn)了“IDx-DR”產(chǎn)品的上市申請，該產(chǎn)品為首個獲批的糖網(wǎng)篩查AIMD產(chǎn)品，其可對成人糖尿病患者進(jìn)行糖尿病視網(wǎng)膜病變篩查。隨后，F(xiàn)DA先后批準(zhǔn)多個AIMD軟件及科技項(xiàng)目，例如Imagen公司的“OsteoDetect軟件”，Aidoc醫(yī)療人工智能公司的“工作流程優(yōu)化組合產(chǎn)品”及Subtle Medical深透醫(yī)療的“SubtlePET”等。

隨著我國政策紅利與科研創(chuàng)新加速的雙重驅(qū)動[6]，我國也陸續(xù)有一些AIMD產(chǎn)品獲批上市，截至2020年12月底，已經(jīng)獲批上市的AIMD產(chǎn)品有9個，包括“冠脈血流儲備分?jǐn)?shù)計(jì)算軟件”“心電分析軟件”“顱內(nèi)腫瘤磁共振影像輔助診斷軟件”等，AIMD各個方向具有代表性的生產(chǎn)研發(fā)企業(yè)有40余家。但是，筆者通過深度走訪相關(guān)的生產(chǎn)企業(yè)，發(fā)現(xiàn)大部分生產(chǎn)研發(fā)企業(yè)更注重產(chǎn)品的適用性、輔助診/治療效果等方面的研發(fā)精力，而在AIMD產(chǎn)品的生產(chǎn)研發(fā)過程中，其質(zhì)量管理體系尚不夠完備，且缺乏AIMD企業(yè)質(zhì)量管理體系構(gòu)建的參考標(biāo)準(zhǔn)。然而，產(chǎn)品的質(zhì)量管理體系對產(chǎn)品的上市審批流程的加速以及產(chǎn)品上市后的質(zhì)量控制均具有舉足輕重的作用[7]。

YY/T 0287-2017《醫(yī)療器械質(zhì)量管理體系用于法規(guī)的要求》作為醫(yī)療器械質(zhì)量管理體系的通用要求[8]，有其作為醫(yī)療器械必須要遵循的普適性。但是AIMD產(chǎn)品，除了有其作為醫(yī)療器械的普適性，還有其作為AIMD產(chǎn)品/軟件的特殊性。2019年7月，國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心在全球率先發(fā)布《深度學(xué)習(xí)輔助決策軟件審評要點(diǎn)》[9]，同時主持完成《醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范獨(dú)立軟件附錄》[10]（以下簡稱軟件附錄）。如何將YY/T 0287-2017[8]的要點(diǎn)與軟件附錄甚至《Xavier GMLP報(bào)告》[11]有機(jī)地結(jié)合起來，構(gòu)建一套AIMD生產(chǎn)企業(yè)普遍適用的質(zhì)量管理體系，目前尚無報(bào)道。本研究旨在YY/T 0287-2017的基礎(chǔ)上，通過專家咨詢法，篩選出與AIMD質(zhì)量管理體系相關(guān)的關(guān)鍵指標(biāo)，從而為進(jìn)一步構(gòu)建企業(yè)內(nèi)部的AIMD質(zhì)量管理體系提供參考依據(jù)。

1 對象與方法

1.1 調(diào)查對象

遵循權(quán)威性和代表性原則，本研究選擇醫(yī)學(xué)AI領(lǐng)域的首席專家、AI評審員、檢驗(yàn)所及研究院專家、行業(yè)協(xié)會專家以及相關(guān)企業(yè)科研高管等共計(jì)15位AI領(lǐng)域研發(fā)評審權(quán)威專家，作為本研究的咨詢專家。

同時，結(jié)合專家咨詢法的專家權(quán)威程度計(jì)算公式：專家權(quán)威程度Cr=（專家判斷系數(shù)Ca+專家熟悉系數(shù)Cs）/2，科學(xué)判斷咨詢專家的權(quán)威程度。注：Cr值在0～1之間，值越大，說明專家的權(quán)威程度越高，Cr≥0.70則表明是一項(xiàng)比較好的專家咨詢[12]。專家權(quán)威程度采用自評方式，專家對AIMD產(chǎn)品質(zhì)量管理體系的判斷系數(shù)量化值，見表1[13]；專家對AIMD產(chǎn)品質(zhì)量管理體系的熟悉程度量化值：非常熟悉1.0，比較熟悉0.8，一般熟悉0.6，不太熟悉0.4，很不熟悉0.2[14]。

表1 指標(biāo)體系判斷依據(jù)及影響程度

1.2 調(diào)查方法

采取兩輪專家咨詢的方式，首輪通過對YY/T 0287-2017《醫(yī)療器械質(zhì)量管理體系用于法規(guī)的要求》[8]，根據(jù)AIMD產(chǎn)品的特殊性，結(jié)合軟件附錄、《Xavier GMLP報(bào)告》[11]和專家頭腦風(fēng)暴后，篩選出與AIMD產(chǎn)品相關(guān)的指標(biāo)；二輪專家咨詢根據(jù)首輪咨詢篩選出的相關(guān)指標(biāo)，制定《人工智能醫(yī)療器械生產(chǎn)研發(fā)質(zhì)量管理體系關(guān)鍵指標(biāo)專家咨詢表》（圖1），對其采用Likert 5點(diǎn)法進(jìn)行權(quán)重打分，根據(jù)評分的平均分值、標(biāo)準(zhǔn)差、變異系數(shù)（Coefficient of Variation，CV值）以及滿分率等篩選出AIMD質(zhì)量管理體系構(gòu)建的關(guān)鍵指標(biāo)。

《人工智能醫(yī)療器械生產(chǎn)研發(fā)質(zhì)量管理體系關(guān)鍵指標(biāo)專家咨詢表》中候選指標(biāo)是參考文件YY/T 0287-2017《醫(yī)療器械質(zhì)量管理體系用于法規(guī)的要求》[8]，對AIMD產(chǎn)品質(zhì)量管理體系構(gòu)建過程中的質(zhì)量管理體系、管理職責(zé)、資源管理、產(chǎn)品實(shí)現(xiàn)、測量、分析和改進(jìn)等5個一級指標(biāo)進(jìn)行相關(guān)性評估。各一級指標(biāo)的二級指標(biāo)如下：① 質(zhì)量管理體系：總要求和文件要求；② 管理職責(zé)：管理者承諾、以顧客為關(guān)注焦點(diǎn)、質(zhì)量方針、策劃、職責(zé)、權(quán)限與溝通、管理評審；③ 資源管理：資源提供、人力資源、基礎(chǔ)設(shè)施、工作環(huán)境和污染控制；④ 產(chǎn)品實(shí)現(xiàn)：產(chǎn)品的實(shí)現(xiàn)與策劃、與顧客有關(guān)的過程、設(shè)計(jì)和開發(fā)、采購、生產(chǎn)和服務(wù)提供、監(jiān)視和檢測設(shè)備的質(zhì)控；⑤ 測量、分析和改進(jìn)：監(jiān)視和測量、不合格品控制、數(shù)據(jù)分析、改進(jìn)。

1.3 數(shù)據(jù)分析方法

共發(fā)放15份調(diào)研問卷，回收15份問卷，回收率為100%。將所有數(shù)據(jù)整理錄入格式化后，應(yīng)用IBM SPSS 21.0進(jìn)行統(tǒng)計(jì)學(xué)分析，計(jì)算各指標(biāo)的權(quán)重均值、標(biāo)準(zhǔn)差、CV值和滿分率。

2 結(jié)果

2.1 專家權(quán)威度

受邀參與咨詢的專家基本情況，見表2。從表2中可以看出：100%的專家具有副高級及以上職稱，63.33%具有碩士及以上學(xué)位，86.67%為科室主任及以上職務(wù)。結(jié)合專家咨詢法的專家權(quán)威度計(jì)算公式，本研究邀請的專家Ca=0.89、Cs=0.93，由此計(jì)算可得專家權(quán)威程度Cr值為0.91（＞0.7），證明此次調(diào)研是比較好的專家咨詢，專家組的權(quán)威度高。

表2 咨詢專家基本情況

2.2 指標(biāo)篩選

首輪專家咨詢，通過對YY/T 0287-2017《醫(yī)療器械質(zhì)量管理體系用于法規(guī)的要求》5個一級指標(biāo)，22個二級指標(biāo)、60個三級指標(biāo)進(jìn)行專家咨詢和頭腦風(fēng)暴之后，一致認(rèn)為10個二級指標(biāo)、24個三級指標(biāo)與AIMD產(chǎn)品的特殊性無關(guān)，刪除篩選之后，共得到5個一級指標(biāo)、12個二級指標(biāo)，36個三級指標(biāo)。后續(xù)對篩選出來的36個三級指標(biāo)進(jìn)行二輪專家咨詢權(quán)重打分。問卷內(nèi)容如圖1所示。

圖1 人工智能醫(yī)療器械生產(chǎn)質(zhì)量管理體系關(guān)鍵指標(biāo)專家咨詢表

2.3 指標(biāo)權(quán)重咨詢結(jié)果分析

將回收的15份問卷的結(jié)果進(jìn)行格式統(tǒng)一處理后，導(dǎo)入到SPSS 21.0，計(jì)算各指標(biāo)的均值、標(biāo)準(zhǔn)差、CV值和滿分率，結(jié)果見表3。對各分析結(jié)果進(jìn)行繪圖展示，見圖2。

圖2 針對各項(xiàng)指標(biāo)二次專家咨詢結(jié)果匯總

表3 專家咨詢結(jié)果

可以看出，36個指標(biāo)的平均分值介于3.40～4.93之間，標(biāo)準(zhǔn)差均小于1.00，CV值均小于25%。其中“設(shè)計(jì)和開發(fā)”部分的指標(biāo)評分CV值均小于20%，滿分率均≥66.67%。對于各項(xiàng)指標(biāo)對于AIMD質(zhì)量管理體系構(gòu)建的相關(guān)程度，專家的意見整體比較統(tǒng)一。

按照平均分、標(biāo)準(zhǔn)差、CV值和滿分率四項(xiàng)指標(biāo)的綜合排名，可以發(fā)現(xiàn)：“設(shè)計(jì)和開發(fā)驗(yàn)證”“設(shè)計(jì)和開發(fā)確認(rèn)”和“設(shè)計(jì)和開發(fā)更改的控制”三個指標(biāo)的得分均值分別為4.93、4.87和4.87，標(biāo)準(zhǔn)差分別為0.26、0.35和0.35，CV值分別為5.23%、7.23%和7.23%，滿分率分別為93.33%、86.67%和86.67%。排名前三的這三個指標(biāo)，專家們的意見表現(xiàn)出了高度的一致性。

3 討論與結(jié)論

2020年是我國AIMD平穩(wěn)發(fā)展的又一年，技術(shù)創(chuàng)新與落地轉(zhuǎn)化步伐持續(xù)加速，醫(yī)療器械審評部門也已逐步建立起AIMD技術(shù)臨床準(zhǔn)入評審規(guī)范和標(biāo)準(zhǔn)，一些創(chuàng)新技術(shù)陸續(xù)經(jīng)過評審進(jìn)入臨床。然而，由于AIMD在我國落地的時間還不長，產(chǎn)品應(yīng)用評估和質(zhì)量控制體系總體處于起步與探索階段，AIMD產(chǎn)品的質(zhì)量管理體系尚不夠完備[15]。相關(guān)政府部門也高度重視AIMD產(chǎn)量的質(zhì)量管理，2019年10月，國家藥監(jiān)局正式批復(fù)成立人工智能醫(yī)療器械標(biāo)準(zhǔn)化技術(shù)歸口單位，由中國食品藥品檢定研究院作為秘書處承擔(dān)單位?！度斯ぶ悄茚t(yī)療器械質(zhì)量要求與評價 第1部分：術(shù)語》和《人工智能醫(yī)療器械質(zhì)量要求與評價 第2部分：數(shù)據(jù)集通用要求》兩個醫(yī)療器械行業(yè)標(biāo)準(zhǔn)在中檢院的組織下，已進(jìn)入報(bào)批階段[16]。標(biāo)準(zhǔn)體系的健康發(fā)展，需要夯實(shí)的產(chǎn)品質(zhì)量作保證，生產(chǎn)研發(fā)企業(yè)的質(zhì)量管理體系的建立，是確保產(chǎn)品順利通過上市審批并對產(chǎn)品上市后的質(zhì)量強(qiáng)有力保障的基礎(chǔ)[7]。

本研究通過專家咨詢法，首次基于YY/T 0287-2017《醫(yī)療器械質(zhì)量管理體系用于法規(guī)的要求》中的各項(xiàng)指標(biāo)，篩選出與AIMD質(zhì)量管理體系相關(guān)的指標(biāo)，并進(jìn)行權(quán)重評分。從分析結(jié)果可以看出，兩輪專家咨詢之后，一共篩選得到5個一級指標(biāo)、12個二級指標(biāo)，36個三級指標(biāo)，所有指標(biāo)的平均分值介于3.40～4.93之間，標(biāo)準(zhǔn)差均小于1.00，CV值均小于25%。這36個三級指標(biāo)亦是架構(gòu)AIMD生產(chǎn)研發(fā)過程中的質(zhì)量管理體系需要重點(diǎn)考慮的一些指標(biāo)，尤其“設(shè)計(jì)和開發(fā)驗(yàn)證”“設(shè)計(jì)和開發(fā)確認(rèn)”和“設(shè)計(jì)和開發(fā)更改的控制”三個指標(biāo)專家意見表現(xiàn)出了高度的一致性，亦反映出這三個指標(biāo)是AI專家認(rèn)為最關(guān)鍵的三個指標(biāo)，需要AIMD企業(yè)重點(diǎn)關(guān)注。

AIMD通過對現(xiàn)有的大數(shù)據(jù)，通過圖像識別、深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)算法等計(jì)算機(jī)技術(shù)，從而實(shí)現(xiàn)參與疾病的篩查和預(yù)測[17]。AIMD產(chǎn)品的研發(fā)和生產(chǎn)，離不開使用者和生產(chǎn)者的深度溝通和配合：生產(chǎn)企業(yè)需要根據(jù)產(chǎn)品使用場景或者臨床需求定義產(chǎn)品的性能，針對臨床需求提出解決方案，從而進(jìn)行產(chǎn)品的設(shè)計(jì)和策劃；產(chǎn)品研發(fā)過程中需要在臨床實(shí)際使用場景中收集訓(xùn)練數(shù)據(jù)，并在臨床醫(yī)生的配合、指導(dǎo)或者幫助下完成數(shù)據(jù)的標(biāo)注；產(chǎn)品在完成研發(fā)之后，需要進(jìn)行實(shí)地進(jìn)行性能驗(yàn)證從而檢驗(yàn)臨床效果，通過反復(fù)的驗(yàn)證以發(fā)現(xiàn)產(chǎn)品潛在風(fēng)險，并及時與研發(fā)企業(yè)的技術(shù)團(tuán)隊(duì)溝通反饋，從而促進(jìn)產(chǎn)品更好地改進(jìn)；產(chǎn)品上市后，仍然需要生產(chǎn)研發(fā)人員與臨床使用者密切聯(lián)系，共同發(fā)現(xiàn)使用過程中可能出現(xiàn)的各種問題，并及時做好質(zhì)量控制工作，做好上市后的質(zhì)量管理工作。因此，在AIMD產(chǎn)品的設(shè)計(jì)和實(shí)現(xiàn)階段，是否針對目標(biāo)應(yīng)用場景進(jìn)行定制化調(diào)參，臨床部署后是否使用新的數(shù)據(jù)再訓(xùn)練從而驗(yàn)證產(chǎn)品的性能，AIMD產(chǎn)品的性能驗(yàn)證如何實(shí)施，怎樣進(jìn)行AIMD產(chǎn)品的質(zhì)量控制等等，這些對于AIMD產(chǎn)品的使用效能無疑是至關(guān)重要的，這就要求生產(chǎn)研發(fā)企業(yè)在進(jìn)行產(chǎn)品策劃、設(shè)計(jì)和研發(fā)的過程中，充分做好產(chǎn)品的質(zhì)量管理相關(guān)工作。

限于篇幅的關(guān)系，本研究只是闡述了對關(guān)鍵指標(biāo)的篩選，也僅僅只是邁出了構(gòu)建AIMD質(zhì)量管理體系的第一步。后續(xù)計(jì)劃進(jìn)一步調(diào)研目前主流AIMD企業(yè)質(zhì)量管理體系的現(xiàn)狀，再根據(jù)生產(chǎn)企業(yè)在實(shí)際研發(fā)過程中的情況，細(xì)化并升級已篩選的關(guān)鍵指標(biāo)，為AIMD生產(chǎn)研發(fā)企業(yè)構(gòu)建普遍適用的質(zhì)量管理體系提供參考依據(jù)。