李潤(rùn)生

(北京中醫(yī)藥大學(xué) 法律系，北京 100029)

一、背景介紹及問(wèn)題的提出

人工智能(Artificial Intelligence，簡(jiǎn)稱AI)在醫(yī)療領(lǐng)域有廣闊的應(yīng)用前景(1)另一領(lǐng)域?yàn)榻煌I(lǐng)域。參見(jiàn)普華永道《全球人工智能報(bào)告：探索人工智能革命》，(2017-05-01)[2020-11-10]，http://www.199it.com/archives/641779.html.。AI在輔助診斷、輔助治療等方面已被證明具有重大價(jià)值和顯著優(yōu)勢(shì)，例如，谷歌公司開發(fā)和訓(xùn)練了一種醫(yī)療AI，它比病理學(xué)家更擅長(zhǎng)發(fā)現(xiàn)難以檢測(cè)的轉(zhuǎn)移性乳腺癌。據(jù)統(tǒng)計(jì)，人類病理學(xué)家對(duì)這種癌癥的診斷準(zhǔn)確率只有38%，而AI的準(zhǔn)確率則高達(dá)99%(2)Martin Stumpe, Applying Deep Learning to Metastatic Breast Cancer Detection, (2018-10-12)[2020-11-10]，https://ai.googleblog.com/2018/10/applying-deep-learning-to-metastatic.html.。再如，IBM公司開發(fā)的沃森(Watson)系統(tǒng)給出的診斷建議與醫(yī)院腫瘤委員會(huì)的診斷建議在96%的受試者中保持一致，而篩查時(shí)間則縮短了78%,而且，Watson系統(tǒng)還可通過(guò)深入分析患者個(gè)人數(shù)據(jù)、藥物臨床試驗(yàn)數(shù)據(jù)等，輔助醫(yī)生制定個(gè)性化的治療方案(3)Alice G. Gosfield, “Artificial Intelligence and the Practice of Medicine”,Health Law Handbook, 2019, 7, pp.1-15.。醫(yī)療AI還有很多其他的應(yīng)用實(shí)例，并仍在快速拓展。我國(guó)也在醫(yī)療AI領(lǐng)域積極探索，并已逐步從產(chǎn)品驗(yàn)證階段過(guò)渡至市場(chǎng)驗(yàn)證階段(4)陳鵬：《中國(guó)醫(yī)療人工智能現(xiàn)狀分析：從產(chǎn)品驗(yàn)證進(jìn)入市場(chǎng)驗(yàn)證》，《互聯(lián)網(wǎng)經(jīng)濟(jì)》2020年第1期。。應(yīng)當(dāng)說(shuō)，醫(yī)療AI對(duì)于緩解我國(guó)醫(yī)療資源總體供給不足、分配失衡等頑疾具有重要意義。國(guó)家高度重視醫(yī)療AI的發(fā)展，國(guó)務(wù)院發(fā)布的《新一代人工智能發(fā)展規(guī)劃》明確將“智能醫(yī)療”作為重點(diǎn)發(fā)展領(lǐng)域，《關(guān)于促進(jìn)“互聯(lián)網(wǎng)+醫(yī)療健康”發(fā)展的意見(jiàn)》也將推進(jìn)AI技術(shù)在醫(yī)療領(lǐng)域的應(yīng)用作為重點(diǎn)任務(wù)。

不過(guò)，目前醫(yī)療AI走向廣泛應(yīng)用的最大阻礙和擔(dān)憂在于其“黑箱”(Black-box)屬性。所謂“黑箱”屬性，是指其輸入和輸出均是可見(jiàn)和可理解的，但從輸入到輸出的過(guò)程則缺乏透明度，亦即，AI的計(jì)算過(guò)程是無(wú)法解釋和理解的(5)W. Nicholson Price II, “Regulating Black-box Medicine”,Michigan Law Review, 2017, Vol.116, pp.421-474.。這并非設(shè)計(jì)師的故意刁難，而是AI的固有屬性，很多時(shí)候，AI的設(shè)計(jì)者也無(wú)法解釋AI的決策。緣何如此？AI是一種高算力和高數(shù)據(jù)量的計(jì)算方式，計(jì)算過(guò)程極其復(fù)雜，計(jì)算量極其龐大，加之實(shí)踐中的大型算法通常是多種算法的疊加組合，這已超出人類智力可理解的范圍(6)蘇宇：《算法規(guī)制的譜系》，《中國(guó)法學(xué)》2020年第3期。。更重要的是，目前醫(yī)療AI領(lǐng)域的主要算法類型為新興的機(jī)器學(xué)習(xí)(Machine Learning，ML)，即根據(jù)給定的數(shù)據(jù)自動(dòng)改進(jìn)、不斷優(yōu)化的演算法(7)Alice G. Gosfield, “Artificial Intelligence and the Practice of Medicine”, Health Law Handbook, 2019, 7, pp.1-15.。和傳統(tǒng)算法相比，機(jī)器學(xué)習(xí)基于數(shù)據(jù)而非規(guī)則，它并非按照預(yù)先設(shè)定的規(guī)則重復(fù)演算，而是根據(jù)既往的運(yùn)算經(jīng)驗(yàn)不斷調(diào)整規(guī)則，也就是說(shuō)，算法本身是在不斷學(xué)習(xí)和調(diào)整的?！按艘粫r(shí)，彼一時(shí)”。這讓人類理解變得更加困難。即使最初的算法(即源代碼)是透明和可知的，隨著數(shù)據(jù)的累積和訓(xùn)練的增加，人類亦無(wú)從知曉后續(xù)的計(jì)算邏輯。例如，AlphaGo是一種典型的機(jī)器學(xué)習(xí)算法，但它的開發(fā)者也無(wú)法解釋其與人類圍棋冠軍對(duì)弈時(shí)的落子和布局。此外，作為機(jī)器學(xué)習(xí)的特殊形態(tài)，深度學(xué)習(xí)(Deep Learning，DL)代表著AI的發(fā)展方向，也是醫(yī)療AI領(lǐng)域最重要的應(yīng)用形式，我國(guó)藥品監(jiān)督管理局就專門發(fā)布了《深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審批要點(diǎn)》(以下簡(jiǎn)稱《審批要點(diǎn)》)。深度學(xué)習(xí)是一種類腦的計(jì)算方式，它模仿人腦神經(jīng)網(wǎng)絡(luò)的多層計(jì)算結(jié)構(gòu)，在編程中設(shè)計(jì)了多個(gè)隱藏層(layer)，以多層自編碼的形式進(jìn)行演算和訓(xùn)練。與一般機(jī)器學(xué)習(xí)相比，深度學(xué)習(xí)可以實(shí)現(xiàn)自我學(xué)習(xí)、自動(dòng)提取特征而無(wú)須人類的輔助。例如，DeepMind公司后續(xù)開發(fā)的AlphaGo Zero就是一種深度學(xué)習(xí)算法，它無(wú)須像AlphaGo一樣由人類輸入大量的棋譜數(shù)據(jù)而進(jìn)行訓(xùn)練，它由一塊空白棋盤和游戲規(guī)則開始，通過(guò)和自己對(duì)弈數(shù)百萬(wàn)局，便可達(dá)到遠(yuǎn)高于AlphaGo的圍棋水平(8)David Silver, Julian Schrittwieser, Karen Simonyan, et al, “Mastering the Game of Go Without Human Knowledge”,Nature, 2017, Vol.550, pp.354-359.。解釋深度學(xué)習(xí)型醫(yī)療AI幾乎是不可能完成的任務(wù)。人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的關(guān)系參見(jiàn)圖1。退一步說(shuō)，即使醫(yī)療AI可以進(jìn)行計(jì)算機(jī)和數(shù)學(xué)層面的解釋，它也很難轉(zhuǎn)換成有意義的醫(yī)學(xué)層面的解釋，因?yàn)獒t(yī)療AI始終是一種統(tǒng)計(jì)學(xué)上的相關(guān)性分析而非醫(yī)學(xué)上的因果性分析(9)Sarah Kamensky, “Artificial Intelligence and Technology in Health Care: Overview and Possible Legal Implications”,DePaul Journal of Health Care Law, 2020, 21, pp.1-13.。

圖1 AI、ML和DL關(guān)系圖

無(wú)論對(duì)于患者還是醫(yī)生，“黑箱”屬性都構(gòu)成了現(xiàn)實(shí)的阻礙。據(jù)調(diào)研，國(guó)內(nèi)患者對(duì)于無(wú)法解釋的AI介入診斷和治療環(huán)節(jié)普遍持排斥心理，他們通常只能接受AI處理掛號(hào)、繳費(fèi)、導(dǎo)診等院內(nèi)管理性事務(wù)(10)劉伶俐、賀一墨、劉祥德：《患者對(duì)人工智能醫(yī)療的認(rèn)知及信任度調(diào)查》，《中國(guó)醫(yī)學(xué)倫理學(xué)》2019年第8期。。國(guó)外也是類似的情形。而且，醫(yī)生似乎比患者更加排斥醫(yī)療AI，基于固有的強(qiáng)調(diào)科學(xué)和邏輯的思維方式，醫(yī)生不太愿意相信和依賴他們無(wú)法解釋的事物(11)Robin C. Feldman, Ehrik Aldana, Kara Stein, “Artificial Intelligence in the Health Care Space: How We Can Trust What We Cannot Know”,Stanford Law and Policy Review, 2019, 30, pp.399-419.。當(dāng)然，科學(xué)家們正在努力嘗試破解“黑箱”難題，并已取得一定成果，例如，谷歌公司最近就宣稱他們初步破解了一款診斷眼科疾病的醫(yī)療AI的運(yùn)作機(jī)理(12)Jeffrey De Fauw, “Clinically Applicable Deep Learning for Diagnosis and Referral in Retinal Disease”,Nature Medicine, 2018,24, pp.1342-1350.。不過(guò)，這將是一項(xiàng)長(zhǎng)期而艱巨的任務(wù)，不應(yīng)在短期內(nèi)抱有過(guò)多幻想。計(jì)算機(jī)科學(xué)家們普遍認(rèn)為，機(jī)器學(xué)習(xí)的性能和可解釋性之間存在固有的張力，性能最好的算法透明度最低，而可提供清晰解釋方法的算法則往往不太準(zhǔn)確(13)Andreas Holzinger, Chris Biemann, Constantinos S. Pattichis,et al, “What Do We Need to Build Explainable AI Systems for the Medical Domain?”, arXiv, submitted on 28 Dec 2017, pp.1-28.。這似乎成為一個(gè)邏輯悖論?？梢灶A(yù)見(jiàn)，隨著人類對(duì)AI技術(shù)性能的執(zhí)著追求，未來(lái)的解釋工作將更加困難。那么，在從技術(shù)上徹底攻克“黑箱”難題之前，我們是否就應(yīng)止步不前呢？答案是否定的。醫(yī)療新技術(shù)的應(yīng)用是人類面臨的永恒話題，我們需要在安全和創(chuàng)新之間尋求平衡，我們可以且應(yīng)當(dāng)通過(guò)法律制度的革新積極應(yīng)對(duì)。那么，具體如何應(yīng)對(duì)呢？如何協(xié)調(diào)安全和創(chuàng)新之間的關(guān)系呢？筆者將給出自己的回答。

二、科學(xué)理解是否為實(shí)現(xiàn)醫(yī)療AI監(jiān)管目標(biāo)不可替代之方法

首先，我們需要明確醫(yī)療AI的監(jiān)管目標(biāo)。為避免歧義，本文所稱監(jiān)管目標(biāo)是指藥品和醫(yī)療器械(藥品和醫(yī)療器械的監(jiān)管體制較為相似，為敘述方便，本文在合用時(shí)簡(jiǎn)稱“藥械”)獲得上市許可、投入臨床應(yīng)用所應(yīng)滿足的條件和標(biāo)準(zhǔn)。

(一)醫(yī)療AI之監(jiān)管目標(biāo)

應(yīng)當(dāng)說(shuō)，醫(yī)療AI在相當(dāng)長(zhǎng)的時(shí)期內(nèi)都將屬于醫(yī)療器械的范疇，主要功能定位是輔助診斷和輔助治療，國(guó)家衛(wèi)生和計(jì)劃生育委員會(huì)2017年發(fā)布的《人工智能輔助診斷技術(shù)管理規(guī)范》和《人工智能輔助治療技術(shù)管理規(guī)范》即確認(rèn)了上述定位。因此，醫(yī)療AI應(yīng)置于醫(yī)療器械的框架進(jìn)行監(jiān)管，具體職責(zé)由藥械監(jiān)管部門承擔(dān)，如我國(guó)的藥品監(jiān)督管理局(以下簡(jiǎn)稱藥監(jiān)局)、美國(guó)的食品和藥品監(jiān)督管理局(Food and Drug Administration，以下簡(jiǎn)稱FDA)。

一般認(rèn)為，各國(guó)關(guān)于藥械監(jiān)管的目標(biāo)基本一致，都是要保證藥械的“安全和有效”(14)[美]弗雷德里克·M.阿爾伯特、[挪威]格雷厄姆·杜克斯：《全球醫(yī)藥政策：藥品的可持續(xù)發(fā)展》，翟宏麗、張立新譯，北京：中國(guó)政法大學(xué)出版社，2016年，第6-9頁(yè)。。例如，我國(guó)《藥品管理法》第24條明確將證明藥品的安全性和有效性作為藥品注冊(cè)的條件(15)《藥品管理法》第24條：“申請(qǐng)藥品注冊(cè)，應(yīng)當(dāng)提供真實(shí)、充分、可靠的數(shù)據(jù)、資料和樣品，證明藥品的安全性、有效性和質(zhì)量可控性。”；《醫(yī)療器械監(jiān)督管理?xiàng)l例》第13條也規(guī)定，醫(yī)療器械的注冊(cè)條件為“安全、有效”(16)《醫(yī)療器械監(jiān)督管理?xiàng)l例》第13條：“受理注冊(cè)申請(qǐng)的食品藥品監(jiān)督管理部門應(yīng)當(dāng)自收到審評(píng)意見(jiàn)之日起20個(gè)工作日內(nèi)作出決定。對(duì)符合安全、有效要求的，準(zhǔn)予注冊(cè)并發(fā)給醫(yī)療器械注冊(cè)證；對(duì)不符合要求的，不予注冊(cè)并書面說(shuō)明理由?！?。美國(guó)《聯(lián)邦食品、藥品和化妝品法案》第505節(jié)也將“安全(Safety)、有效(Efficacy)”作為藥械監(jiān)管的基本目標(biāo)(17)參見(jiàn)《聯(lián)邦食品、藥品和化妝品法案》第505節(jié)。。“安全”是對(duì)藥械最基本的要求，雖然藥械的使用不可避免地會(huì)帶來(lái)副作用，但至少應(yīng)確保這些副作用是在患者可獲得的治療益處可容忍的范圍內(nèi)，我們不應(yīng)該為治療普通頭痛而將患者置于危險(xiǎn)的境地(18)[美]弗雷德里克·M.阿爾伯特、[挪威]格雷厄姆·杜克斯：《全球醫(yī)藥政策：藥品的可持續(xù)發(fā)展》，翟宏麗、張立新 譯，北京：中國(guó)政法大學(xué)出版社，2016年，第6頁(yè)。?！坝行А?，從某種意義上說(shuō)，是“安全”目標(biāo)的自然延展，藥械是用于診療疾病的，無(wú)效藥械不但無(wú)法達(dá)到預(yù)期效果，還將誘發(fā)誤診或貽誤治療時(shí)機(jī)，終將危害患者。總之，醫(yī)療AI的監(jiān)管目標(biāo)就是要確保其安全、有效，確保有益于患者的生命健康。

(二)實(shí)現(xiàn)醫(yī)療AI監(jiān)管目標(biāo)之多種方法

如何確保醫(yī)療AI的安全和有效？根據(jù)學(xué)者的總結(jié)，科學(xué)理解和臨床試驗(yàn)是兩種主要的方法(19)W. Nicholson Price II, “Artificial Intelligence in Health Care: Applications and Legal Implications”, SciTech Lawyer, 2017, Vol.14, pp.10-17.。

所謂科學(xué)理解(Scientific Understanding)，是指通過(guò)揭示科學(xué)原理、解釋科學(xué)過(guò)程從而保證藥械的安全和有效。就醫(yī)療AI而言，科學(xué)理解就是要破解技術(shù)“黑箱”，確保AI的決策過(guò)程可被有效理解。各國(guó)一般都要求或鼓勵(lì)藥械申請(qǐng)人在注冊(cè)的各個(gè)環(huán)節(jié)提交相應(yīng)的科學(xué)研究證據(jù)，解釋科學(xué)過(guò)程。我國(guó)《醫(yī)療器械監(jiān)督管理?xiàng)l例》第9條(20)《醫(yī)療器械監(jiān)督管理?xiàng)l例》第9條：“第一類醫(yī)療器械產(chǎn)品備案和申請(qǐng)第二類、第三類醫(yī)療器械產(chǎn)品注冊(cè)，應(yīng)當(dāng)提交下列資料： (一)產(chǎn)品風(fēng)險(xiǎn)分析資料； (二)產(chǎn)品技術(shù)要求； (三)產(chǎn)品檢驗(yàn)報(bào)告； (四)臨床評(píng)價(jià)資料； (五)產(chǎn)品說(shuō)明書及標(biāo)簽樣稿； (六)與產(chǎn)品研制、生產(chǎn)有關(guān)的質(zhì)量管理體系文件； (七)證明產(chǎn)品安全、有效所需的其他資料。”、《醫(yī)療器械注冊(cè)管理辦法》第17條(21)《醫(yī)療器械注冊(cè)管理辦法》第17條：“申請(qǐng)注冊(cè)檢驗(yàn)，申請(qǐng)人應(yīng)當(dāng)向檢驗(yàn)機(jī)構(gòu)提供注冊(cè)檢驗(yàn)所需要的有關(guān)技術(shù)資料、注冊(cè)檢驗(yàn)用樣品及產(chǎn)品技術(shù)要求?！本兔鞔_要求申請(qǐng)人提交各類用于科學(xué)理解的研究資料。其他國(guó)家也都有類似的規(guī)定。應(yīng)當(dāng)說(shuō)，科學(xué)理解已融入藥械監(jiān)管的各個(gè)環(huán)節(jié)，包括上市前審批和上市后研究，通過(guò)科學(xué)原理的揭示，可以更加可靠的驗(yàn)證藥械的安全性和有效性。

臨床試驗(yàn)(Clinical Trials)是另一種重要的方法。事實(shí)上，臨床試驗(yàn)就是圍繞安全性和有效性這一驗(yàn)證目標(biāo)來(lái)設(shè)計(jì)的。各國(guó)一般將臨床試驗(yàn)劃分為三個(gè)階段：第一階段為驗(yàn)證藥械安全性的基本試驗(yàn)，第二階段為驗(yàn)證藥械有效性的有限試驗(yàn)，第三階段則是在擴(kuò)大受試人群后的驗(yàn)證藥械安全性和有效性的延展試驗(yàn)(22)[美]弗雷德里克·M.阿爾伯特、[挪威]格雷厄姆·杜克斯：《全球醫(yī)藥政策：藥品的可持續(xù)發(fā)展》，翟宏麗、張立新譯，北京：中國(guó)政法大學(xué)出版社，2016年，第6頁(yè)。。臨床試驗(yàn)的目標(biāo)不在于解釋藥械的運(yùn)行機(jī)理，而是更加純粹地驗(yàn)證產(chǎn)品的安全性和有效性，這體現(xiàn)了藥械審評(píng)中的實(shí)用主義理念。盡管存在各種各樣的局限，臨床試驗(yàn)?zāi)壳叭匀皇歉鲊?guó)最為倚重的監(jiān)管方法?；诖?，各國(guó)一般都制定了專門的規(guī)范性文件，如我國(guó)的《醫(yī)療器械臨床試驗(yàn)質(zhì)量管理規(guī)范》、美國(guó)的《藥物臨床試驗(yàn)管理規(guī)范》(Good Clinical Practice，GCP)等等。

除上述兩種方法外，還有不少其他方法有助于實(shí)現(xiàn)藥械監(jiān)管目標(biāo)，例如，真實(shí)世界證據(jù)(Real World Evidence，以下簡(jiǎn)稱RWE)就是近年來(lái)愈發(fā)受到重視的方法。關(guān)于RWE，目前還沒(méi)有公認(rèn)的定義，美國(guó)國(guó)會(huì)2016年通過(guò)的《21世紀(jì)治療法案》(the 21st Century Cures Act)首次將RWE納入法定監(jiān)管框架，并將其界定為“從隨機(jī)臨床試驗(yàn)以外的其他途徑獲得的藥物使用或其潛在風(fēng)險(xiǎn)效益的數(shù)據(jù)”(23)參見(jiàn)《21世紀(jì)治療法案》第3022條(b)款。。我國(guó)藥監(jiān)局2020年11月發(fā)布的《真實(shí)世界數(shù)據(jù)用于醫(yī)療器械臨床評(píng)價(jià)技術(shù)指導(dǎo)原則(試行)》(以下簡(jiǎn)稱《真實(shí)世界指導(dǎo)原則》)將RWE界定為“傳統(tǒng)臨床試驗(yàn)以外的，從多種來(lái)源收集的各種與患者健康狀況和/或常規(guī)診療及保健有關(guān)的數(shù)據(jù)”。RWE強(qiáng)調(diào)通過(guò)臨床試驗(yàn)以外的方式、從真實(shí)而非受控的世界獲取藥械安全性和有效性的證據(jù)，亦即通過(guò)搜集和分析多種來(lái)源的數(shù)據(jù)(包括醫(yī)院病歷數(shù)據(jù)、區(qū)域健康醫(yī)療數(shù)據(jù)、醫(yī)療保險(xiǎn)數(shù)據(jù)、健康檔案、公共監(jiān)測(cè)數(shù)據(jù)、患者自報(bào)數(shù)據(jù)、社交媒體數(shù)據(jù)等)來(lái)進(jìn)行風(fēng)險(xiǎn)評(píng)估?？梢?jiàn)，與臨床試驗(yàn)相比，RWE并非在人為設(shè)定的實(shí)驗(yàn)狀態(tài)下獲取證據(jù)，而是以一種更加自然、真實(shí)的方式進(jìn)行驗(yàn)證。目前，《21世紀(jì)治療法案》主要將RWE定位為藥械評(píng)審的補(bǔ)充性方式，“用于支持已批準(zhǔn)藥品的新適應(yīng)癥的審批，以及支持或滿足上市后研究的要求”(24)參見(jiàn)《21世紀(jì)治療法案》第3022條(a)款。。不過(guò)，在大數(shù)據(jù)和人工智能時(shí)代，RWE將愈發(fā)重要，《21世紀(jì)治療法案》第3022條(f)款也意識(shí)到了這點(diǎn)，“授權(quán)部門長(zhǎng)官在其他目的下使用真實(shí)世界證據(jù)，只要能充分說(shuō)明這些未述及用途的依據(jù)”。我國(guó)《真實(shí)世界指導(dǎo)原則》第5條也主要將RWE定位為補(bǔ)充性的評(píng)價(jià)方式，典型應(yīng)用場(chǎng)景包括“用于支持產(chǎn)品注冊(cè)，作為已有證據(jù)的補(bǔ)充；支持適用范圍、適應(yīng)癥、禁忌癥的修改；支持附帶條件批準(zhǔn)產(chǎn)品的上市后研究；上市后監(jiān)測(cè)”等。

(三)科學(xué)理解并非實(shí)現(xiàn)醫(yī)療AI監(jiān)管目標(biāo)不可替代之方法

在實(shí)現(xiàn)藥械監(jiān)管目標(biāo)的多種方法中，科學(xué)理解是否是不可替代的呢？應(yīng)當(dāng)說(shuō)，監(jiān)管目標(biāo)的達(dá)成是多種手段綜合運(yùn)用的結(jié)果，沒(méi)有哪種方法是完全不可替代的，這業(yè)已被實(shí)踐所證明。例如，臨床試驗(yàn)方法在部分醫(yī)療器械的審評(píng)中就已被替代。我國(guó)《醫(yī)療器械監(jiān)督管理?xiàng)l例》依據(jù)風(fēng)險(xiǎn)等級(jí)將醫(yī)療器械分成三類，其中，第一類醫(yī)療器械實(shí)行備案管理，無(wú)需進(jìn)行臨床試驗(yàn)，“第一類醫(yī)療器械產(chǎn)品備案，不需要進(jìn)行臨床試驗(yàn)。申請(qǐng)第二類、第三類醫(yī)療器械產(chǎn)品注冊(cè)，應(yīng)當(dāng)進(jìn)行臨床試驗(yàn)”(25)參見(jiàn)《醫(yī)療器械監(jiān)督管理?xiàng)l例》第17條第1款。。美國(guó)《聯(lián)邦食品、藥品和化妝品法案》也將醫(yī)療器械分成三類，其中，第一類和第二類醫(yī)療器械的上市均無(wú)需進(jìn)行臨床試驗(yàn)。而且，即使是第二類或第三類醫(yī)療器械，根據(jù)《醫(yī)療器械監(jiān)督管理?xiàng)l例》第17條第2款之規(guī)定，當(dāng)其“工作機(jī)理明確、設(shè)計(jì)定型，生產(chǎn)工藝成熟，已上市的同品種醫(yī)療器械臨床應(yīng)用多年且無(wú)嚴(yán)重不良事件記錄，不改變常規(guī)用途，或者通過(guò)非臨床評(píng)價(jià)能夠證明該醫(yī)療器械安全、有效”時(shí)，亦可免于臨床試驗(yàn)。顯然，此時(shí)主要是通過(guò)科學(xué)原理闡釋、RWE等其他方法來(lái)驗(yàn)證醫(yī)療器械的安全性和有效性。同樣，實(shí)踐中也存在不少雖無(wú)法科學(xué)解釋但準(zhǔn)予投入臨床應(yīng)用的藥械實(shí)例。例如，我們所熟知的消炎鎮(zhèn)痛藥阿司匹林，它的作用機(jī)理至今仍無(wú)法解釋，但它的安全性和有效性已通過(guò)臨床試驗(yàn)和長(zhǎng)期實(shí)踐得到充分驗(yàn)證(26)Glenn Cohen, “Informed Consent and Medical Artificial Intelligence: What to Tell the Patient?”, Georgetown Law Journal, 2020, Vol.108, pp.1425-1467.。其他如小兒退燒藥泰諾(乙酰氨基酚)、肌肉松弛劑美沙隆、糖尿病藥物二甲雙胍、止咳藥桂芬內(nèi)斯等也都是類似的情形(27)Robin C. Feldman, Ehrik Aldana, Kara Stein, “Artificial Intelligence in the Health Care Space: How We Can Trust What We Cannot Know”, Stanford Law and Policy Review, 2019, Vol.30, pp.399-419.。再如，作為中華民族瑰寶的中醫(yī)藥為維護(hù)國(guó)人健康做出了重要貢獻(xiàn)，在新冠肺炎疫情防控中也發(fā)揮了重大作用，但它的解釋論基礎(chǔ)是陰陽(yáng)五行等傳統(tǒng)哲學(xué)理論(28)鄭洪新主編：《中醫(yī)基礎(chǔ)理論》，北京：中國(guó)中醫(yī)藥出版社，2016年，第21-38頁(yè)。，平心而論，這并非現(xiàn)代科學(xué)意義上的解釋。

總之，科學(xué)理解并非藥械監(jiān)管之目標(biāo)，而只是達(dá)成目標(biāo)的方法之一，科學(xué)理解也并非達(dá)成藥械監(jiān)管目標(biāo)不可替代之方法。我們完全有可能在無(wú)法科學(xué)理解、無(wú)法攻克“黑箱”難題的情況下，通過(guò)法律制度的合理設(shè)計(jì)，實(shí)現(xiàn)醫(yī)療AI的監(jiān)管目標(biāo)。當(dāng)然，這并不意味著科學(xué)理解不重要。必須承認(rèn)，從技術(shù)上破解“黑箱”難題仍有重要意義，這將有助于更加可靠地驗(yàn)證AI的安全性和有效性、有助于確保人類對(duì)AI的監(jiān)督和控制、有助于為算法完善提供科學(xué)依據(jù)等等。不過(guò)，這是一項(xiàng)長(zhǎng)期的任務(wù)，在實(shí)現(xiàn)突破之前，我們應(yīng)當(dāng)迂回前行。

三、實(shí)現(xiàn)醫(yī)療AI監(jiān)管目標(biāo)的規(guī)制思路和措施探析

在科學(xué)理解缺位的情況下，我們應(yīng)如何實(shí)現(xiàn)醫(yī)療AI的監(jiān)管目標(biāo)呢？筆者認(rèn)為，我們應(yīng)轉(zhuǎn)變規(guī)制思路，并在此基礎(chǔ)上探索適當(dāng)?shù)谋O(jiān)管措施。

(一)規(guī)制思路的轉(zhuǎn)變

首先，在科學(xué)理解尚難實(shí)現(xiàn)的情況下，我們應(yīng)重點(diǎn)運(yùn)用臨床試驗(yàn)、RWE等方法來(lái)管控醫(yī)療AI的風(fēng)險(xiǎn)。這可進(jìn)一步細(xì)化為以下兩個(gè)層面：第一，從對(duì)算法解釋的規(guī)制轉(zhuǎn)向?qū)λ惴ㄍ该骱涂勺匪莸囊?guī)制；第二，從對(duì)算法本身的規(guī)制轉(zhuǎn)向?qū)λ惴ㄖ獾沫h(huán)節(jié)和要素的規(guī)制。關(guān)于第一點(diǎn)，雖然算法透明不等于算法可知，算法可追溯不代表算法可解釋，但算法透明和可追溯從另外的面向抑制著醫(yī)療AI的風(fēng)險(xiǎn)，而且，它更容易實(shí)現(xiàn)。后文將予詳述。關(guān)于第二點(diǎn)，影響醫(yī)療AI安全性和有效性的因素有很多，除算法本身外，還包括訓(xùn)練數(shù)據(jù)、訓(xùn)練人員、開發(fā)企業(yè)和臨床使用等環(huán)節(jié)和要素，也就是說(shuō)，除對(duì)算法本身的規(guī)制外，我們還可通過(guò)對(duì)訓(xùn)練數(shù)據(jù)、訓(xùn)練人員、開發(fā)企業(yè)等的規(guī)制來(lái)管控風(fēng)險(xiǎn)。據(jù)筆者查閱，大量文獻(xiàn)將研究重點(diǎn)置于算法規(guī)制(29)解正山：《算法決策規(guī)制——以算法“解釋權(quán)”為中心》，《現(xiàn)代法學(xué)》2020年第1期；蘇宇：《算法規(guī)制的譜系》，《中國(guó)法學(xué)》2020年3期；江溯：《自動(dòng)化決策、刑事司法與算法規(guī)制——由盧米斯案引發(fā)的思考》，《東方法學(xué)》2020年第3期；張凌寒：《算法規(guī)制的迭代與革新》，《法學(xué)論壇》2019年第2期；王聰：《“共同善”維度下的算法規(guī)制》，《法學(xué)》2019年第12期等。，這當(dāng)然是有益的探索，但當(dāng)前條件下過(guò)度強(qiáng)調(diào)算法規(guī)制，一則執(zhí)行層面面臨困難，二則可能誘發(fā)過(guò)度規(guī)制而抑制創(chuàng)新。例如，歐盟《一般數(shù)據(jù)保護(hù)條例》(General Data Protection Regulation，以下簡(jiǎn)稱GDPR)第13、22條賦予數(shù)據(jù)主體以算法解釋權(quán)，即當(dāng)自動(dòng)化決策“對(duì)數(shù)據(jù)主體產(chǎn)生法律影響或?qū)ζ湓斐深愃浦卮笥绊憽?30)See GDPR Article 22.時(shí)，數(shù)據(jù)主體有權(quán)請(qǐng)求獲得該自動(dòng)化決策的“邏輯程序和有意義的信息，以及此類處理對(duì)數(shù)據(jù)主體的意義和預(yù)期影響”(31)See GDPR Article 13.，然而，這導(dǎo)致大部分醫(yī)療AI無(wú)法在歐盟范圍內(nèi)應(yīng)用(32)Andreas Holzinger, Chris Biemann, Constantinos S. Pattichis et al, “What Do We Need to Build Explainable AI Systems for the Medical Domain?”, arXiv, submitted on 28 Dec 2017, pp.1-28.，這顯然不利于技術(shù)創(chuàng)新。

其次，我們應(yīng)契合醫(yī)療AI“非鎖定”之特性，樹立全生命周期的監(jiān)管理念，尤其應(yīng)重視醫(yī)療AI的上市后監(jiān)管。如前所述，醫(yī)療AI目前主要運(yùn)用的是機(jī)器學(xué)習(xí)技術(shù)，它最大的特征在于“自適應(yīng)”和“非鎖定”，即始終處于演化變動(dòng)之中，這和傳統(tǒng)“鎖定性”的醫(yī)療器械有很大不同。由此，除上市前審評(píng)外，上市后監(jiān)管的重要性凸顯。應(yīng)當(dāng)說(shuō)，傳統(tǒng)藥械監(jiān)管框架主要是針對(duì)“鎖定性”藥械的，監(jiān)管的重點(diǎn)也集中于藥械上市前。雖然各國(guó)也都規(guī)定有不良反應(yīng)監(jiān)測(cè)和報(bào)告、藥械變更、上市許可持有人(Marketing Authorization Holder，以下簡(jiǎn)稱MAH)(33)上市許可持有人制度，是指擁有藥品或醫(yī)療器械技術(shù)的研發(fā)機(jī)構(gòu)、研發(fā)人員、生產(chǎn)企業(yè)等主體，通過(guò)提出上市許可申請(qǐng)進(jìn)而獲得上市許可批件，并對(duì)藥品或醫(yī)療器械質(zhì)量在其整個(gè)生命周期內(nèi)承擔(dān)主要責(zé)任的制度。上市許可持有人既可自行生產(chǎn)藥械，也可委托其他有資質(zhì)的企業(yè)代工生產(chǎn)藥械，由此，上市許可和生產(chǎn)許可實(shí)現(xiàn)“解綁”。我國(guó)的藥械管理也已經(jīng)引入上市許可持有人制度。參見(jiàn)王晨光：《藥品上市許可持有人制度——我國(guó)藥品注冊(cè)制度改革的突破口》，《中國(guó)食品藥品監(jiān)管》2016年第7期。等上市后監(jiān)管制度，但是，監(jiān)管的重點(diǎn)仍在上市前階段，無(wú)法完全適應(yīng)AI的風(fēng)險(xiǎn)特性。例如，不良反應(yīng)監(jiān)測(cè)和報(bào)告制度主要針對(duì)的是上市前已存在但尚未發(fā)現(xiàn)的問(wèn)題或風(fēng)險(xiǎn)；MAH制度所規(guī)定的上市后定期報(bào)告的頻次明顯過(guò)低(年度報(bào)告)，難以適應(yīng)醫(yī)療AI的更新頻率，等等?？傊覀儜?yīng)轉(zhuǎn)變思路，逐步建立真正意義上的全生命周期的監(jiān)管體系。不少國(guó)家已意識(shí)到這一點(diǎn)，美國(guó)FDA已正式提出面向AI的全生命周期(Total Product Life Cycle，TPLC)的監(jiān)管理念，我國(guó)《審批要點(diǎn)》也已將“基于風(fēng)險(xiǎn)的全生命周期管理”作為重要的設(shè)計(jì)理念。

(二)規(guī)制措施的建構(gòu)

那么，具體哪些措施有助于落實(shí)上述理念呢？應(yīng)當(dāng)說(shuō)，這是一個(gè)不斷發(fā)展的體系。本文無(wú)意也無(wú)力羅列所有的措施，僅探討部分典型措施以勾勒醫(yī)療AI的規(guī)制圖景。

1.訓(xùn)練數(shù)據(jù)和訓(xùn)練人員的品質(zhì)管理

關(guān)于訓(xùn)練數(shù)據(jù)，其之于醫(yī)療AI的重要性不言而喻。醫(yī)療AI主要為數(shù)據(jù)所驅(qū)動(dòng)，數(shù)據(jù)的品質(zhì)直接決定醫(yī)療AI的品質(zhì)?！癆I系統(tǒng)只與人類提供給它們的數(shù)據(jù)一樣好”(34)Sandra L. J. Johnson, “AI, Machine Learning, and Ethics in Health Care”, Journal of Legal Medicine, 2020, Vol.39, pp.427-441.。我們首先應(yīng)當(dāng)確保數(shù)據(jù)的真實(shí)性，失真的數(shù)據(jù)必然無(wú)法訓(xùn)練出性能優(yōu)異的AI，由此，數(shù)據(jù)采集時(shí)必須確保數(shù)據(jù)的真實(shí)、準(zhǔn)確。其次，容易被忽略的是，數(shù)據(jù)的代表性和多元性也非常重要，因?yàn)獒t(yī)療AI必須具有泛化能力和遷移能力，應(yīng)當(dāng)對(duì)于不同種族、不同地域、不同性別、不同級(jí)別醫(yī)療機(jī)構(gòu)中的患者具有同等適用性，缺乏代表性的數(shù)據(jù)將削弱這種能力。數(shù)據(jù)畸偏所引發(fā)的醫(yī)療AI缺陷在美國(guó)已多次發(fā)生。例如，一種用于基因突變檢測(cè)的軟件，更容易將黑人患者標(biāo)定為高風(fēng)險(xiǎn)群體，因?yàn)樽畛醯挠?xùn)練數(shù)據(jù)中黑人群體的代表性不足；再如，一款用于黑色素瘤診斷的AI，難以適用于深色人種，因?yàn)槠つw病變數(shù)據(jù)庫(kù)中鮮有深色人種的醫(yī)學(xué)圖像。而且，美國(guó)醫(yī)療AI的訓(xùn)練數(shù)據(jù)多來(lái)源于高級(jí)別的醫(yī)療機(jī)構(gòu)如區(qū)域醫(yī)學(xué)中心，這導(dǎo)致其在低級(jí)別醫(yī)療機(jī)構(gòu)如社區(qū)診所中使用時(shí)經(jīng)常出現(xiàn)偏差(35)W. Nicholson Price II, “Medical AI and Contextual Bias”, Harvard Journal of Law & Technology, 2019, Vol.33, pp.65-116.。可見(jiàn)，醫(yī)療AI的歧視和偏差往往并非算法本身所致，而是源于訓(xùn)練數(shù)據(jù)的瑕疵。

此外，訓(xùn)練數(shù)據(jù)的采集、存儲(chǔ)、清洗和預(yù)處理等工作都是由人類完成的，操作人員的品質(zhì)將直接影響訓(xùn)練數(shù)據(jù)的品質(zhì)。目前來(lái)看，大量的醫(yī)療AI仍然需要人類對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)注，數(shù)據(jù)標(biāo)注由此成為一項(xiàng)重要的工作。即使數(shù)據(jù)本身真實(shí)且有代表性，但若數(shù)據(jù)標(biāo)注環(huán)節(jié)出現(xiàn)問(wèn)題，一切都將變得沒(méi)有意義?？梢?jiàn)，人類仍廣泛參與到醫(yī)療AI設(shè)計(jì)開發(fā)的諸多環(huán)節(jié)，應(yīng)當(dāng)對(duì)其專業(yè)技能、合規(guī)意識(shí)、道德品質(zhì)等進(jìn)行必要審查，管控風(fēng)險(xiǎn)。

應(yīng)當(dāng)說(shuō)，對(duì)訓(xùn)練數(shù)據(jù)和訓(xùn)練人員進(jìn)行品質(zhì)管理是一項(xiàng)卓有成效的監(jiān)管措施，而且也相對(duì)簡(jiǎn)便易行。不少國(guó)家已將其納入監(jiān)管框架。例如，我國(guó)《審批要點(diǎn)》就明確要求對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行質(zhì)量控制，應(yīng)保證數(shù)據(jù)來(lái)源的多樣性，盡可能從不同地域、不同層級(jí)的多個(gè)醫(yī)療機(jī)構(gòu)中采集數(shù)據(jù)?！秾徟c(diǎn)》還進(jìn)一步將數(shù)據(jù)集細(xì)分為訓(xùn)練集(用于算法訓(xùn)練)、調(diào)優(yōu)集(用于算法超參數(shù)調(diào)優(yōu))和測(cè)試集(用于算法性能評(píng)估)等，并規(guī)定了不同的采集要求(36)例如，《審批要點(diǎn)》規(guī)定：“訓(xùn)練集應(yīng)當(dāng)保證樣本分布具有均衡性，測(cè)試集、調(diào)優(yōu)集應(yīng)當(dāng)保證樣本分布符合臨床實(shí)際情況，訓(xùn)練集、調(diào)優(yōu)集、測(cè)試集的樣本應(yīng)當(dāng)兩兩無(wú)交集?！薄！秾徟c(diǎn)》也對(duì)訓(xùn)練人員的準(zhǔn)入資質(zhì)、選拔、培訓(xùn)、考核等提出了要求。美國(guó)也有類似的規(guī)定(37)參見(jiàn)《21世紀(jì)治療法案》第3060條。。

2.開發(fā)企業(yè)的認(rèn)證管理

對(duì)開發(fā)企業(yè)進(jìn)行認(rèn)證管理是另一項(xiàng)有代表性的措施。它將監(jiān)管重心由產(chǎn)品轉(zhuǎn)向企業(yè)，通過(guò)對(duì)開發(fā)企業(yè)綜合能力的認(rèn)證管理，間接防控醫(yī)療AI之風(fēng)險(xiǎn)。開發(fā)企業(yè)最了解也最有能力管控醫(yī)療AI的風(fēng)險(xiǎn)，這類措施也因此更加實(shí)用。美國(guó)已進(jìn)行了卓有成效的探索。FDA專門發(fā)布了AI開發(fā)企業(yè)的預(yù)認(rèn)證項(xiàng)目(Pre-Cert for Software Pilot Program，以下簡(jiǎn)稱Pre-Cert項(xiàng)目)，從軟件設(shè)計(jì)、開發(fā)驗(yàn)證流程、內(nèi)部組織架構(gòu)、前瞻性文化等方面對(duì)企業(yè)進(jìn)行綜合認(rèn)證。申請(qǐng)企業(yè)具體需從組織領(lǐng)導(dǎo)力、設(shè)計(jì)開發(fā)能力、風(fēng)險(xiǎn)管理等12個(gè)領(lǐng)域、49個(gè)細(xì)分元素展開詳述并提供證明材料(38)蔡小舒、呂暉、于廣軍：《美國(guó)FDA醫(yī)療人工智能軟件審核指南研究》，《中國(guó)數(shù)字醫(yī)學(xué)》2019年第11期。。正如學(xué)者所言，其核心理念在于將原先以器材產(chǎn)品為中心的監(jiān)管模式轉(zhuǎn)向以產(chǎn)品制造商為中心的監(jiān)管模式(39)洪長(zhǎng)春：《人工智慧醫(yī)療器材監(jiān)管措施之初探》，《科技政策觀點(diǎn)》2019年第6期。。根據(jù)Pre-Cert項(xiàng)目的規(guī)定，被認(rèn)證企業(yè)將在后續(xù)審評(píng)中獲得各種便利，后文將予詳述。當(dāng)然，其他國(guó)家也可根據(jù)需要將企業(yè)認(rèn)證設(shè)定為準(zhǔn)入性措施，即企業(yè)未經(jīng)認(rèn)證不得開發(fā)醫(yī)療AI產(chǎn)品?？傊瑢?duì)開發(fā)企業(yè)進(jìn)行認(rèn)證管理是巧妙且有效的制度設(shè)計(jì)，遺憾的是，我國(guó)尚未見(jiàn)有類似措施。

3.臨床試驗(yàn)和RWE的綜合運(yùn)用

在科學(xué)理解尚難實(shí)現(xiàn)的情況下，我們可綜合運(yùn)用臨床試驗(yàn)和RWE來(lái)管控醫(yī)療AI之風(fēng)險(xiǎn)。臨床試驗(yàn)仍然是藥械監(jiān)管最為倚重的方法，這對(duì)于醫(yī)療AI尤其是高風(fēng)險(xiǎn)AI仍然適用。三階段的制度設(shè)計(jì)已被證明可以在相當(dāng)程度上驗(yàn)證藥械的安全性和有效性。實(shí)踐中，仍有不少醫(yī)療AI在上市前被要求進(jìn)行嚴(yán)格的臨床試驗(yàn)。此外，RWE在醫(yī)療AI監(jiān)管中的重要性愈發(fā)凸顯。RWE取材于豐富多樣的現(xiàn)實(shí)生活，沒(méi)有刻意挑選受試者和進(jìn)行人為干預(yù)，因而更能反映具有廣泛異質(zhì)性的患者群體的真實(shí)情況(40)吳家睿：《邁向精確醫(yī)療的重要舉措：真實(shí)世界證據(jù)》，《醫(yī)學(xué)與哲學(xué)》2017年第5期。。相比于傳統(tǒng)臨床試驗(yàn)，RWE對(duì)納入患者的限定更少，樣本量更大，更可能獲得長(zhǎng)期的臨床結(jié)局，研究結(jié)果的外推性也可能更好。醫(yī)療AI本身是數(shù)據(jù)驅(qū)動(dòng)的，“從數(shù)據(jù)中來(lái)”，醫(yī)療AI的驗(yàn)證也必須回歸數(shù)據(jù)，“到數(shù)據(jù)中去”，而RWE恰如其分的拓寬了驗(yàn)證數(shù)據(jù)的來(lái)源。當(dāng)然，RWE也有其局限性，數(shù)據(jù)來(lái)源眾多本身即意味著數(shù)據(jù)質(zhì)量管控的難度增大，RWE通常存在較多的偏倚和混雜，研究結(jié)論也可能存在挑戰(zhàn)。因此，臨床試驗(yàn)和RWE的綜合運(yùn)用將實(shí)現(xiàn)更好的監(jiān)管效果，前者為受控狀態(tài)下的研究，后者為自然狀態(tài)下的研究，前者聚焦于上市前審查，后者則偏重于上市后研究，二者結(jié)合充分體現(xiàn)了“全生命周期”的監(jiān)管理念。當(dāng)然，我們也必須適當(dāng)調(diào)整臨床試驗(yàn)和RWE之間的關(guān)系，實(shí)現(xiàn)監(jiān)管安全和技術(shù)創(chuàng)新之平衡。美國(guó)在《21世紀(jì)治療法案》中已正式確認(rèn)和引入了RWE機(jī)制(41)D. Kyle Sampson, Lisa M. Dwyer, Elaine H. Tseng et al, “FDA Proposes Regulatory Framework For Artificial Intelligence/Machine Learning Software as a Medical Device”, Intellectual Property & Technology Law Journal, 2019, Vol.31, pp.12-16.，我國(guó)《審批要點(diǎn)》也已提及RWE，規(guī)定了AI評(píng)審中回顧性研究方法的運(yùn)用(42)參見(jiàn)《審批要點(diǎn)》第四條第(二)項(xiàng)。。另外，我國(guó)《真實(shí)世界指導(dǎo)原則》也對(duì)RWE在醫(yī)療器械評(píng)審中的應(yīng)用進(jìn)行了初步規(guī)范，不過(guò)，它僅為“技術(shù)指導(dǎo)文件，不作為法規(guī)強(qiáng)制執(zhí)行，應(yīng)在遵循相關(guān)法規(guī)的前提下使用”(43)參見(jiàn)《真實(shí)世界指導(dǎo)原則》序言。。

4.軟件更新的分類審查及報(bào)告頻次的適當(dāng)調(diào)整

如前所述，醫(yī)療AI具有“非鎖定”的特征。那么，應(yīng)如何界定和評(píng)估AI的更新呢？應(yīng)如何對(duì)更新進(jìn)行分類以有效管控風(fēng)險(xiǎn)呢？筆者認(rèn)為，我們應(yīng)厘清AI更新量變和質(zhì)變的界限，將更新區(qū)分為一般更新和重大更新，并對(duì)重大更新進(jìn)行重點(diǎn)審查。關(guān)于重大更新，基本判斷依據(jù)在于更新本身是否對(duì)醫(yī)療AI的安全性或有效性產(chǎn)生顯著影響，我們應(yīng)不斷總結(jié)實(shí)踐經(jīng)驗(yàn)，逐步實(shí)現(xiàn)重大更新的類型化。與之相應(yīng)，MAH定期報(bào)告的內(nèi)容和頻率也應(yīng)作適當(dāng)調(diào)整。根據(jù)我國(guó)《藥品管理法》等的規(guī)定，MAH對(duì)藥械的安全性和有效性負(fù)有全流程責(zé)任，應(yīng)每年向監(jiān)管機(jī)關(guān)進(jìn)行匯報(bào)，匯報(bào)內(nèi)容包括藥械生產(chǎn)、銷售、上市后研究、風(fēng)險(xiǎn)管理等情況。就醫(yī)療AI而言，我們應(yīng)將更新作為重要事項(xiàng)納入?yún)R報(bào)內(nèi)容，并增加匯報(bào)頻率，以契合AI頻繁更新的特性，可考慮將年度報(bào)告調(diào)整為月度報(bào)告。我國(guó)《審批要點(diǎn)》對(duì)AI的更新有較為細(xì)致的分類，這是有益的探索，但對(duì)定期報(bào)告制度尚未進(jìn)行相應(yīng)調(diào)整。

5.算法的透明和可追溯

當(dāng)算法解釋愈發(fā)困難時(shí)，我們應(yīng)適當(dāng)轉(zhuǎn)向算法的透明和可追溯。一般認(rèn)為，算法透明是指算法開發(fā)者應(yīng)披露包括源代碼、輸入數(shù)據(jù)和輸出結(jié)果等在內(nèi)的算法要素(44)沈偉偉：《算法透明原則的迷思——算法規(guī)制理論的批判》，《環(huán)球法律評(píng)論》2019年第6期。。國(guó)內(nèi)大部分學(xué)者都認(rèn)為應(yīng)當(dāng)以法律形式保證某種程度的算法透明(45)江溯：《自動(dòng)化決策、刑事司法與算法規(guī)制——由盧米斯案引發(fā)的思考》，《東方法學(xué)》2020年第3期。，各類國(guó)際文件也都規(guī)定了算法透明原則(46)張麗卿：《AI倫理準(zhǔn)則及其對(duì)臺(tái)灣法制的影響》，《月旦法學(xué)雜志》2020年第6期。，如歐盟發(fā)布的《可信賴人工智能道德準(zhǔn)則》(Ethics Guidelines for Trustworthy AI)、二十國(guó)集團(tuán)(G20)提出的《G20AI原則》(Principles for Responsible Stewardship of Trustworthy AI)等。雖然算法透明不等于算法可知，但它將形成強(qiáng)大的威懾力，并鼓勵(lì)更多元的主體(如醫(yī)療機(jī)構(gòu)、保險(xiǎn)公司、社保機(jī)構(gòu)等)參與監(jiān)督，這將大大彌補(bǔ)監(jiān)管機(jī)關(guān)監(jiān)管力量的不足。有學(xué)者甚至明確建議，將向相關(guān)主體披露算法源代碼設(shè)定為開發(fā)企業(yè)的法定義務(wù)，以改進(jìn)醫(yī)療AI的上市后監(jiān)管體系(47)W. Nicholson Price II, “Regulating Black-box Medicine”, Michigan Law Review, 2017, Vol.116, pp.421-474.。更重要的是，算法透明將為逐步攻克“黑箱”難題創(chuàng)造條件。當(dāng)然，算法透明也應(yīng)當(dāng)與國(guó)家安全、社會(huì)安全、商業(yè)秘密等利益進(jìn)行有序協(xié)調(diào)，限制披露的對(duì)象和內(nèi)容，構(gòu)建“場(chǎng)景化的算法透明”(48)江溯：《自動(dòng)化決策、刑事司法與算法規(guī)制——由盧米斯案引發(fā)的思考》，《東方法學(xué)》2020年第3期。。關(guān)于算法可追溯，一般認(rèn)為是指醫(yī)療AI的決策過(guò)程應(yīng)當(dāng)被完整記錄，以留待未來(lái)核查(49)張麗卿：《AI倫理準(zhǔn)則及其對(duì)臺(tái)灣法制的影響》，《月旦法學(xué)雜志》2020年第6期。。從某種意義上說(shuō)，“算法可追溯”是“算法透明”的延展，后者強(qiáng)調(diào)靜態(tài)的編碼透明，前者強(qiáng)調(diào)的則是動(dòng)態(tài)的算法運(yùn)行透明。二者所帶來(lái)的影響基本相仿，實(shí)踐中通常并用。總之，算法透明和可追溯并非要求算法可解釋，但它為算法解釋提供了可能、指明了道路，并形成有效威懾。人類暫時(shí)可以不必解釋AI，但我們應(yīng)創(chuàng)造條件、保證人類在未來(lái)可以解釋AI。當(dāng)然，算法透明和可追溯的實(shí)踐還面臨較大爭(zhēng)議，尤其涉及與商業(yè)秘密、公平競(jìng)爭(zhēng)等利益的協(xié)調(diào)，尚存疑慮，我國(guó)《審批要點(diǎn)》也暫未對(duì)此進(jìn)行規(guī)定。

四、醫(yī)療AI監(jiān)管中安全和創(chuàng)新之平衡

在探討了醫(yī)療AI風(fēng)險(xiǎn)管控的思路和措施后，我們應(yīng)注意監(jiān)管中安全和創(chuàng)新之平衡，既要防止監(jiān)管不足，危害公眾健康，也要避免監(jiān)管過(guò)度，抑制技術(shù)創(chuàng)新。

(一)平衡之必要性及基本思路

醫(yī)療AI具有持續(xù)進(jìn)化、快速迭代之特性。醫(yī)療AI在應(yīng)用中積累數(shù)據(jù)、調(diào)整算法，也只有在臨床應(yīng)用中才能快速完善和成熟。應(yīng)當(dāng)說(shuō)，傳統(tǒng)監(jiān)管框架很難適應(yīng)醫(yī)療AI的此種特性，尤其臨床試驗(yàn)，動(dòng)輒幾年甚至十幾年的試驗(yàn)周期，已非迅速演進(jìn)之醫(yī)療AI所能承受。正如學(xué)者所言，醫(yī)療AI因軟件技術(shù)發(fā)展迅速，生命周期相對(duì)短暫，不像生命周期較長(zhǎng)的普通藥械可以忍受漫長(zhǎng)的臨床試驗(yàn)和查驗(yàn)登記時(shí)間，因此，上市前的許可程序是否迅速有效之于產(chǎn)品創(chuàng)新至關(guān)重要(50)陳志雄：《人工智慧醫(yī)療決策系統(tǒng)之法理議題》，《月旦醫(yī)事法匯編》2019年。。而且，如前所述，作為上市前監(jiān)管措施的臨床試驗(yàn)對(duì)管控醫(yī)療AI風(fēng)險(xiǎn)存有明顯的局限，冗長(zhǎng)的試驗(yàn)程序無(wú)法換來(lái)長(zhǎng)期的安全。由此，我們必須在監(jiān)管中平衡好安全和創(chuàng)新之關(guān)系。

那么，如何平衡呢？筆者認(rèn)為，根據(jù)醫(yī)療AI之特性，合理的思路應(yīng)當(dāng)是適度“溫和”上市前的監(jiān)管措施，在風(fēng)險(xiǎn)評(píng)估、管控之基礎(chǔ)上，豁免或加速審批和臨床試驗(yàn)程序，并將監(jiān)管資源適度向上市后階段傾斜，更加重視RWE等方法的運(yùn)用。由此，我們應(yīng)對(duì)規(guī)制措施進(jìn)行更加靈活的設(shè)計(jì)，為醫(yī)療AI的發(fā)展創(chuàng)造必要空間。

(二)平衡之具體措施

部分國(guó)家如美國(guó)已對(duì)平衡機(jī)制進(jìn)行了有益探索，并取得了一定經(jīng)驗(yàn)，值得我們研究借鑒。這種探索仍在繼續(xù)，有待觀察。下面僅介紹和分析美國(guó)所采取的幾種典型措施。

1.Pre-cert項(xiàng)目下的豁免審批或精簡(jiǎn)審批

如前所述，獲得Pre-cert項(xiàng)目認(rèn)證的企業(yè)將在醫(yī)療AI評(píng)審中獲得某種便利，這種便利主要包括豁免審批和精簡(jiǎn)審批?；砻鈱徟?，是指醫(yī)療AI備案后即可上市，無(wú)需批準(zhǔn)，無(wú)需進(jìn)行臨床試驗(yàn)。精簡(jiǎn)審批，是指以精簡(jiǎn)和快速的方式進(jìn)行審批，具體表現(xiàn)為申請(qǐng)材料大為簡(jiǎn)化，申請(qǐng)周期大為縮減，其核心模塊為迭代式審查，強(qiáng)調(diào)交互式的早期參與，即在審核期間，企業(yè)可隨時(shí)遞交新的補(bǔ)充材料和數(shù)據(jù)，及時(shí)修改審核文件(51)蔡小舒、呂暉、于廣軍：《美國(guó)FDA醫(yī)療人工智能軟件審核指南研究》，《中國(guó)數(shù)字醫(yī)學(xué)》2019年第11期。。豁免和精簡(jiǎn)審批大大降低了企業(yè)負(fù)擔(dān)，加速了醫(yī)療AI的上市進(jìn)程。當(dāng)然，豁免和精簡(jiǎn)審批必須與企業(yè)認(rèn)證等級(jí)、產(chǎn)品風(fēng)險(xiǎn)等級(jí)相適應(yīng)。具體來(lái)說(shuō)，F(xiàn)DA將認(rèn)證企業(yè)分為兩個(gè)等級(jí)，即等級(jí)一和等級(jí)二，將產(chǎn)品分為三種風(fēng)險(xiǎn)類型，即低風(fēng)險(xiǎn)、中風(fēng)險(xiǎn)和高風(fēng)險(xiǎn)。其中，等級(jí)一企業(yè)在申請(qǐng)低風(fēng)險(xiǎn)產(chǎn)品上市時(shí)可豁免審批，而在申請(qǐng)中、高風(fēng)險(xiǎn)產(chǎn)品上市時(shí)則應(yīng)進(jìn)行精簡(jiǎn)審批；等級(jí)二企業(yè)在申請(qǐng)中、低風(fēng)險(xiǎn)產(chǎn)品上市時(shí)均可豁免審批，但在申請(qǐng)高風(fēng)險(xiǎn)產(chǎn)品上市時(shí)則應(yīng)進(jìn)行精簡(jiǎn)審批。詳見(jiàn)表1。值得注意的是，為有效防控隨之而來(lái)的風(fēng)險(xiǎn)，Pre-cert項(xiàng)目專門設(shè)計(jì)了一個(gè)考察模塊，考察企業(yè)的真實(shí)世界研究能力，企業(yè)應(yīng)舉證證明其具備持續(xù)的上市后RWE監(jiān)控能力，這精準(zhǔn)降低了醫(yī)療AI快速上市后的應(yīng)用風(fēng)險(xiǎn)?？梢?jiàn)，安全和創(chuàng)新之平衡貫穿于Pre-cert項(xiàng)目之始終，較好兼顧了技術(shù)創(chuàng)新和監(jiān)管安全。

表1 Pre-cert項(xiàng)目下的豁免或精簡(jiǎn)審批

2.重新分類機(jī)制下的豁免審批

我們首先需要簡(jiǎn)單梳理一下美國(guó)的醫(yī)療器械分類制度。FDA將醫(yī)療器械分為三類，第一、二類醫(yī)療器械備案后即可上市，無(wú)需審批和臨床試驗(yàn)，而第三類醫(yī)療器械則必須進(jìn)行嚴(yán)格的上市前審批程序(Premarket Approval，PMA)，包括臨床試驗(yàn)。對(duì)于創(chuàng)新型、尚未歸類的醫(yī)療器械，F(xiàn)DA將其默認(rèn)為第三類醫(yī)療器械。為豁免審批，開發(fā)企業(yè)可申請(qǐng)重新分類，但應(yīng)舉證證明申請(qǐng)產(chǎn)品與已獲批產(chǎn)品具有實(shí)質(zhì)等同性(Substantial Equivalence，SE)。這是一項(xiàng)重要的平衡措施，但是，醫(yī)療AI的發(fā)展時(shí)間尚短且彼此差異巨大，這就意味著，醫(yī)療AI通常很難找到可比醫(yī)療器械，無(wú)法進(jìn)行實(shí)質(zhì)等同性證明。為此，《21世紀(jì)治療法案》對(duì)重新分類制度進(jìn)行了專門修改，規(guī)定開發(fā)企業(yè)即使無(wú)法證明醫(yī)療AI與已上市醫(yī)療器械具有實(shí)質(zhì)等同性，但若能證明通過(guò)一般控制(General Control，GC)或特殊控制(Special Control，SC)足以保證AI的安全性和有效性，仍可豁免審批(52)陳志雄：《人工智慧醫(yī)療決策系統(tǒng)之法理議題》，《月旦醫(yī)事法匯編》2019年。。這為醫(yī)療AI申請(qǐng)重新分類打開了方便之門。事實(shí)上，相當(dāng)一部分醫(yī)療AI是通過(guò)重新分類、豁免審批和臨床試驗(yàn)而快速上市的。例如，IDx-DR就是通過(guò)重新分類而上市的，它是美國(guó)第一款上市應(yīng)用的醫(yī)療AI產(chǎn)品，通過(guò)掃描視網(wǎng)膜圖像進(jìn)行糖尿病的輔助診斷，醫(yī)學(xué)影像智能分析軟件Quantitative Insights也是類似的情形，它主要用于結(jié)節(jié)和癌癥的輔助診斷，等等(53)陳志雄：《人工智慧醫(yī)療決策系統(tǒng)之法理議題》，《月旦醫(yī)事法匯編》2019年。。當(dāng)然，如果開發(fā)企業(yè)既無(wú)法進(jìn)行實(shí)質(zhì)等同性證明，也無(wú)法進(jìn)行一般控制或特殊控制的充分性證明，則仍然需要經(jīng)歷冗長(zhǎng)的PMA程序。重新分類機(jī)制流程圖如圖2所示?？傊?，重新分類機(jī)制精準(zhǔn)的為美國(guó)醫(yī)療AI產(chǎn)品的上市提供了便捷通道，大大加速了醫(yī)療AI在美國(guó)的技術(shù)創(chuàng)新和臨床應(yīng)用，同時(shí)也在一定程度上兼顧了產(chǎn)品安全。

圖2 重新分類機(jī)制流程圖

3.“突破性醫(yī)療器械計(jì)劃”下的審評(píng)便利化機(jī)制

根據(jù)《21世紀(jì)治療法案》第3051條的授權(quán)，F(xiàn)DA于2017年10月發(fā)布了“突破性醫(yī)療器械計(jì)劃”(Breakthrough Devices Program)。根據(jù)該計(jì)劃，某醫(yī)療器械若被認(rèn)定為“突破性醫(yī)療器械”，則可獲得某種審評(píng)便利化安排，包括豁免審批、加速審批、提供審查協(xié)助或指導(dǎo)等。那么，如何認(rèn)定突破性醫(yī)療器械呢？根據(jù)FDA的官方解釋，突破性醫(yī)療器械的認(rèn)定條件主要包括：(1)能夠診斷或治療危及生命或不可逆轉(zhuǎn)的使人衰弱的疾?。?2)具有突破性技術(shù)；(3)尚無(wú)已核準(zhǔn)的替代品，或雖有已核準(zhǔn)的替代品但較之有明顯優(yōu)勢(shì)，或批準(zhǔn)使用符合病人的最佳利益(54)FDA, “Breakthrough Devices Program”,(2021-05-01)[2021-10-13]，https://www.fda.gov/medical-devices/how-study-and-market-your-device/breakthrough-devices-program.。應(yīng)當(dāng)說(shuō)，這個(gè)標(biāo)準(zhǔn)本身具有一定的模糊性，需要FDA在審評(píng)實(shí)踐中具體把握。事實(shí)上，F(xiàn)DA的裁量權(quán)不止于此，對(duì)于已被認(rèn)定為突破性醫(yī)療器械的產(chǎn)品，F(xiàn)DA有權(quán)決定給予何種甚至是否給予審評(píng)便利。例如，若FDA認(rèn)為某突破性醫(yī)療器械風(fēng)險(xiǎn)較小且可控，可徑自豁免審批，或加速審批；若FDA認(rèn)為某突破性醫(yī)療器械風(fēng)險(xiǎn)較大，不宜給予豁免審批或加速審批，也可僅給予某種審評(píng)上的指導(dǎo)或協(xié)助。一言以蔽之，“突破性醫(yī)療器械計(jì)劃”的基本理念就在于賦予FDA更大的裁量權(quán)、更靈活的應(yīng)對(duì)措施，由其在個(gè)案中平衡安全和創(chuàng)新、個(gè)人利益和公共利益之間的關(guān)系。這顯然為醫(yī)療AI的便捷上市提供了又一重要渠道，因?yàn)獒t(yī)療AI所經(jīng)常面臨的問(wèn)題就在于無(wú)可比醫(yī)療器械，或雖有可比醫(yī)療器械卻難以證明具備顯著優(yōu)勢(shì)，可以說(shuō)，“突破性醫(yī)療器械計(jì)劃”主要就是針對(duì)醫(yī)療AI這類創(chuàng)新型的數(shù)字醫(yī)療產(chǎn)品而設(shè)計(jì)的，它的實(shí)施也確實(shí)為醫(yī)療AI的發(fā)展和創(chuàng)新預(yù)留了必要空間。

五、結(jié)語(yǔ)

醫(yī)療AI仍在快速發(fā)展并已滲透到醫(yī)療的各個(gè)環(huán)節(jié)，深刻改變著醫(yī)療的圖景。人們對(duì)醫(yī)療AI最大的擔(dān)憂在于“黑箱”難題。平心而論，我們短期內(nèi)尚難以從技術(shù)上徹底破解“黑箱”難題，但我們不應(yīng)止步不前，而應(yīng)通過(guò)法律制度的合理設(shè)計(jì)管控風(fēng)險(xiǎn)、推進(jìn)應(yīng)用。須知，科學(xué)理解只是確保醫(yī)療AI安全性和有效性的方法之一，并非不可替代。我們應(yīng)轉(zhuǎn)變規(guī)制思路，盡量通過(guò)科學(xué)理解之外的方法評(píng)估醫(yī)療AI的風(fēng)險(xiǎn)，應(yīng)從對(duì)算法解釋的要求轉(zhuǎn)向?qū)λ惴ㄍ该骱涂勺匪莸囊?，?yīng)從對(duì)算法本身的規(guī)制轉(zhuǎn)向?qū)τ绊戓t(yī)療AI風(fēng)險(xiǎn)的其他環(huán)節(jié)和要素的規(guī)制。此外，我們應(yīng)契合醫(yī)療AI“非鎖定”之特性，樹立“全生命周期”的監(jiān)管理念，以有效管控AI的臨床應(yīng)用風(fēng)險(xiǎn)。很多措施有助于落實(shí)前述規(guī)制理念，如對(duì)訓(xùn)練數(shù)據(jù)和操作人員進(jìn)行品質(zhì)管理、對(duì)開發(fā)企業(yè)進(jìn)行認(rèn)證管理等等。在風(fēng)險(xiǎn)防控的基礎(chǔ)上，我們必須平衡好安全和創(chuàng)新之間的關(guān)系，既防規(guī)制不足，導(dǎo)致危害患者，亦防規(guī)制過(guò)度，導(dǎo)致抑制創(chuàng)新。我們應(yīng)適度“溫和”上市前的監(jiān)管措施，在特定情形下豁免或加速審批程序，并將監(jiān)管重心適度后移，靈活運(yùn)用RWE等監(jiān)管方法。美國(guó)為此所進(jìn)行的各種探索如Pre-cert項(xiàng)目等值得我們參鑒。

我國(guó)也正在積極探索適合醫(yī)療AI的監(jiān)管框架，并已發(fā)布專門的法律文件《審批要點(diǎn)》。《審批要點(diǎn)》展現(xiàn)了很多積極的進(jìn)展，明確提出了“全生命周期”的監(jiān)管理念，并根據(jù)醫(yī)療AI的風(fēng)險(xiǎn)特性引入了不少針對(duì)性的監(jiān)管措施，如對(duì)訓(xùn)練數(shù)據(jù)和人員進(jìn)行品質(zhì)管理、分類界定和審查AI之更新等等。不過(guò)，我們也應(yīng)看到，《審批要點(diǎn)》仍有很多不足，主要體現(xiàn)為：首先，規(guī)制理念的轉(zhuǎn)變并不徹底，仍然過(guò)多糾結(jié)于算法解釋問(wèn)題，多次強(qiáng)調(diào)“算法可解釋”的重要性，對(duì)算法本身(如“算法設(shè)計(jì)”)的規(guī)制傾注了過(guò)多精力，這不但成本高昂，而且很可能缺乏實(shí)效。其次，在風(fēng)險(xiǎn)管控方面，仍有不少重要措施缺位，影響監(jiān)管效果，例如，未對(duì)開發(fā)企業(yè)進(jìn)行必要的管理和認(rèn)證、未對(duì)算法透明和可追溯提出明確的要求等。最后，也是最重要的問(wèn)題在于規(guī)制過(guò)度，抑制創(chuàng)新。我國(guó)幾乎沒(méi)有類似于美國(guó)的針對(duì)醫(yī)療AI的審評(píng)便利化安排，按照我國(guó)現(xiàn)行法之規(guī)定，醫(yī)療AI都應(yīng)經(jīng)過(guò)嚴(yán)格冗長(zhǎng)的審批和臨床試驗(yàn)程序，這將抑制醫(yī)療AI的發(fā)展。根據(jù)2018版《醫(yī)療器械分類目錄》的規(guī)定，醫(yī)療AI或者被歸類為第二類醫(yī)療器械，或者被歸類為第三類醫(yī)療器械(55)我國(guó)2018版的《醫(yī)療器械分類目錄》根據(jù)風(fēng)險(xiǎn)程度對(duì)醫(yī)療AI進(jìn)行了區(qū)分：“僅具有輔助診斷功能，不直接給出診斷結(jié)論”的醫(yī)療AI，按第二類醫(yī)療器械管理；“對(duì)病變部位進(jìn)行自動(dòng)識(shí)別并提供明確的診斷提示”的醫(yī)療AI，按第三類醫(yī)療器械管理。，但無(wú)論是劃歸第二類還是第三類，根據(jù)《醫(yī)療器械監(jiān)督管理?xiàng)l例》之規(guī)定，均應(yīng)進(jìn)行上市前審批和臨床試驗(yàn)程序。雖然《醫(yī)療器械監(jiān)督管理?xiàng)l例》第17條第2款也規(guī)定了免于臨床試驗(yàn)的特定情形，但應(yīng)當(dāng)說(shuō)，該條款主要是針對(duì)具有成熟穩(wěn)定的可比產(chǎn)品的仿制型醫(yī)療器械的，在面對(duì)醫(yī)療AI這類創(chuàng)新型醫(yī)療器械時(shí)，幾無(wú)援引的可能。另外，《審批要點(diǎn)》中雖已提及“回顧性研究可用作臨床預(yù)實(shí)驗(yàn)或替代臨床試驗(yàn)”，但在其他更高位階之法律文件(56)《醫(yī)療器械監(jiān)督管理?xiàng)l例》由國(guó)務(wù)院制定，屬于行政法規(guī)，其效力位階高于國(guó)家衛(wèi)生健康委員會(huì)制定的《審批要點(diǎn)》。未作修改之背景下，這根本無(wú)法執(zhí)行。就此而言，我國(guó)未來(lái)應(yīng)進(jìn)一步轉(zhuǎn)變監(jiān)管理念，適度淡化對(duì)算法解釋的要求，將監(jiān)管重點(diǎn)轉(zhuǎn)向其他相關(guān)環(huán)節(jié)和領(lǐng)域，進(jìn)一步探索其他有效的監(jiān)管措施，更重要的是，我國(guó)應(yīng)平衡好安全和創(chuàng)新之關(guān)系，扭轉(zhuǎn)過(guò)度監(jiān)管之傾向，引入更多的豁免審批、加速審批等審評(píng)便利化機(jī)制。