【作 者】胡凱，楊輝，鄭超，王雯，馬琳榕

1 浙江省醫(yī)療器械審評(píng)中心（浙江省醫(yī)療器械不良事件監(jiān)測(cè)中心），杭州市，310009

2 浙江省藥品檢查中心，杭州市，310000

0 引言

具有人工智能/機(jī)器學(xué)習(xí)（artificial intelligence/machine learning，AI/ML）技術(shù)特點(diǎn)的醫(yī)療器械產(chǎn)品已經(jīng)在多個(gè)國(guó)家獲得上市。如2018年，美國(guó)上市了8款A(yù)I/ML類的軟件器械產(chǎn)品[1]。近年來(lái)，國(guó)內(nèi)企業(yè)在藥監(jiān)部門政策支持下也有該類產(chǎn)品上市，如“冠脈血流儲(chǔ)備分?jǐn)?shù)計(jì)算軟件產(chǎn)品”“肺炎CT影像輔助分診與評(píng)估軟件”“糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件”“兒童手部X線影像骨齡輔助評(píng)估軟件”等。

根據(jù)AI/ML技術(shù)發(fā)展特點(diǎn)，該類產(chǎn)品通過(guò)實(shí)時(shí)數(shù)據(jù)改進(jìn)性能是一個(gè)發(fā)展的方向，即含自適應(yīng)算法的器械產(chǎn)品，但是自適應(yīng)算法可能改變產(chǎn)品的技術(shù)指標(biāo)和結(jié)果。目前，國(guó)外未對(duì)具有自適應(yīng)算法特點(diǎn)的產(chǎn)品細(xì)化監(jiān)管要求。我國(guó)現(xiàn)行的評(píng)價(jià)方式中，明確了算法驅(qū)動(dòng)型和數(shù)據(jù)驅(qū)動(dòng)型兩種軟件更新[2]。其中算法驅(qū)動(dòng)型更新，以及導(dǎo)致算法性能評(píng)估結(jié)果發(fā)生顯著性改變的數(shù)據(jù)驅(qū)動(dòng)型更新，屬于重大軟件更新，需進(jìn)行許可事項(xiàng)變更，根據(jù)最新發(fā)布的《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》，建議產(chǎn)品關(guān)閉自適應(yīng)學(xué)習(xí)。這對(duì)于自適應(yīng)算法來(lái)說(shuō)，會(huì)導(dǎo)致頻繁的許可事項(xiàng)變更，既不經(jīng)濟(jì)也不現(xiàn)實(shí)。美國(guó)相關(guān)機(jī)構(gòu)試圖解決這一問(wèn)題，發(fā)布一系列試點(diǎn)政策。下面將介紹自適應(yīng)算法產(chǎn)品的特點(diǎn)和美國(guó)的系列政策，并進(jìn)行初步探討。

1 含自適應(yīng)算法器械產(chǎn)品的特點(diǎn)與監(jiān)管難點(diǎn)

含自適應(yīng)算法器械產(chǎn)品的算法比傳統(tǒng)產(chǎn)品的復(fù)雜度更高。有學(xué)者將自適應(yīng)定義為“處理和分析過(guò)程中，根據(jù)處理數(shù)據(jù)的數(shù)據(jù)特征自動(dòng)調(diào)整處理方法、處理順序、處理參數(shù)、邊界條件或約束條件，使其與所處理數(shù)據(jù)的統(tǒng)計(jì)分布特征、結(jié)構(gòu)特征相適應(yīng)，以取得最佳的處理效果”[3]。具有自適應(yīng)算法的AI/ML軟件可能改變其性能和模式，給監(jiān)管帶來(lái)挑戰(zhàn)。

面對(duì)挑戰(zhàn)，一種觀點(diǎn)是只允許鎖定的算法上市，安全性極好但缺點(diǎn)也明顯。例如，訓(xùn)練數(shù)據(jù)缺少某亞組人群，算法面對(duì)該亞組人群患者時(shí)將產(chǎn)生不適宜的結(jié)果。如文獻(xiàn)[4]展示了傳統(tǒng)算法的乳房X線圖像分析乳腺癌風(fēng)險(xiǎn)產(chǎn)品，缺點(diǎn)是可能無(wú)法識(shí)別潛在亞組。自適應(yīng)算法可識(shí)別出潛在亞組，甚至可以針對(duì)不同的亞組自動(dòng)調(diào)整算法模型，但是如果按照各國(guó)傳統(tǒng)上市前審查途徑，則該更新的效率會(huì)受到時(shí)間的影響。

另一種觀點(diǎn)是允許器械產(chǎn)品使用自適應(yīng)算法，并在無(wú)審查的情況下更新算法。自適應(yīng)算法更新過(guò)程包括“參數(shù)驅(qū)動(dòng)型”和“算法驅(qū)動(dòng)型”（例如，用多項(xiàng)式替換線性模型）。“參數(shù)驅(qū)動(dòng)型”更新面臨一個(gè)問(wèn)題，其質(zhì)量嚴(yán)重依賴相關(guān)基礎(chǔ)數(shù)據(jù)的質(zhì)量。案例顯示[5]，用戶的錯(cuò)誤或有意的對(duì)抗性攻擊，激發(fā)系統(tǒng)產(chǎn)生了低質(zhì)量的醫(yī)學(xué)數(shù)據(jù)。

2 美國(guó)的政策演化與試點(diǎn)政策影響

根據(jù)美國(guó)21 CFR 807.81相關(guān)規(guī)定，510(k)產(chǎn)品在兩種變化情形下需提交申請(qǐng)：對(duì)器械的更改或修改可能會(huì)嚴(yán)重影響安全性或有效性；器械預(yù)期用途的重大更改或修改。而針對(duì)軟件修改的措施，F(xiàn)DA在軟件變更指南[6]中列舉了提交軟件更改的一些常見(jiàn)情形，如：平臺(tái)、架構(gòu)、核心算法、需求細(xì)化、外觀更改、重建與重構(gòu)。

自美國(guó)頒布《21世紀(jì)治愈法案》以來(lái)，F(xiàn)DA加強(qiáng)了數(shù)字醫(yī)學(xué)產(chǎn)品的科學(xué)管理，部分調(diào)整了醫(yī)療器械范圍，特別細(xì)分了“軟件功能”的差異。法案明確了“用于醫(yī)療機(jī)構(gòu)的行政管理”“用于維持和促進(jìn)健康生活”“用于患者的電子記錄”“用于數(shù)據(jù)的傳輸、存儲(chǔ)、格式轉(zhuǎn)換、重現(xiàn)”這四類預(yù)期用途為非醫(yī)療器械功能[7]。

此外，為適應(yīng)獨(dú)立軟件醫(yī)療器械的日益發(fā)展，F(xiàn)DA探索了獨(dú)立軟件的監(jiān)管模式——發(fā)布“軟件預(yù)認(rèn)證程序”試運(yùn)行[8]。預(yù)認(rèn)證程序用于高風(fēng)險(xiǎn)獨(dú)立軟件醫(yī)療器械的上市前審查而豁免低風(fēng)險(xiǎn)產(chǎn)品。程序接軌了目前IMDRF對(duì)獨(dú)立軟件醫(yī)療器械的共識(shí)[9]，如基于“信息對(duì)醫(yī)療決策的意義”“對(duì)健康的影響程度”兩個(gè)要素的“四級(jí)風(fēng)險(xiǎn)”分類。同時(shí)，將510(k)、PMA、De Novo三大上市前審查程序的共同要素統(tǒng)一并簡(jiǎn)化程序。

預(yù)認(rèn)證程序的運(yùn)行得到利益相關(guān)方的積極響應(yīng)。其簡(jiǎn)化了中風(fēng)險(xiǎn)和低風(fēng)險(xiǎn)產(chǎn)品的上市前審核并注重上市后評(píng)價(jià)，但高風(fēng)險(xiǎn)產(chǎn)品，如涉及關(guān)鍵的診斷與治療軟件產(chǎn)品的變更審核，如何定義變化的大小等問(wèn)題懸而未決。

FDA在2019年4月的討論文件中提出的試點(diǎn)，基于AI/ML的獨(dú)立軟件醫(yī)療器械可以在獲得授權(quán)后在一定程度上進(jìn)行自我更新[10]?；贏I/ML的獨(dú)立軟件醫(yī)療器械的上市前審查時(shí)，制造商可以選擇提交“預(yù)定的變更控制計(jì)劃”（SaMD pre-specifications，SPS），其中包含對(duì)預(yù)期變更的描述和“算法變更協(xié)議”（algorithm change protocol，ACP），包括用于實(shí)現(xiàn)變更的相關(guān)方法[11]。

SPS，即制造商對(duì)“性能”或“輸入”的預(yù)期修改，或與產(chǎn)品的“預(yù)期用途”相關(guān)的計(jì)劃更改。

ACP，即制造商已實(shí)現(xiàn)的，和為適當(dāng)?shù)乜刂芐PS文檔中描述的預(yù)期變更類型的風(fēng)險(xiǎn)所采用的特定方法。ACP表述了產(chǎn)品更新應(yīng)符合的程序和需求的數(shù)據(jù)，使得更新后的產(chǎn)品滿足SPS要求且保證安全有效。其要素包括：數(shù)據(jù)管理、再訓(xùn)練計(jì)劃、性能評(píng)估、升級(jí)流程。

根據(jù)試點(diǎn)政策的SPS和ACP要求，對(duì)于AI/ML軟件器械進(jìn)行包括數(shù)據(jù)管理在內(nèi)的“預(yù)先的描述”，其要求與“自適應(yīng)”本身的不可預(yù)先描述性相沖突。未知亞群對(duì)產(chǎn)品性能造成的影響，使得ACP文件“再訓(xùn)練”一項(xiàng)中“發(fā)起再評(píng)價(jià)的標(biāo)準(zhǔn)”是否符合臨床實(shí)踐也是不確定的。如應(yīng)當(dāng)發(fā)起再評(píng)價(jià)但系統(tǒng)性能卻無(wú)變化或相反的“假陰陽(yáng)性”情形，存在風(fēng)險(xiǎn)。

通過(guò)查閱文獻(xiàn)，試點(diǎn)政策可能面臨的難題如下：

（1）數(shù)據(jù)分布的變化。數(shù)據(jù)流中的數(shù)據(jù)分布隨時(shí)間發(fā)生不可預(yù)測(cè)的變化，使原有的分類器分類不準(zhǔn)確或決策系統(tǒng)無(wú)法正確決策[12]。大量樣本改變權(quán)重和差異特別明顯的個(gè)體樣本均會(huì)改變“分類邊界”。案例展示了這種[13]，系統(tǒng)用于識(shí)別出皮膚病的良惡性，但訓(xùn)練數(shù)據(jù)集未考慮膚色要素，將導(dǎo)致對(duì)輸入輸出的真實(shí)函數(shù)關(guān)系估計(jì)的偏離。結(jié)果，相同的圖像在不同時(shí)間可能會(huì)導(dǎo)致兩種不同的概率診斷。試點(diǎn)政策同樣會(huì)面臨此難題。ACP文檔要求制造商描述“再訓(xùn)練計(jì)劃”，包括計(jì)劃、算法的架構(gòu)與參數(shù)、數(shù)據(jù)的預(yù)處理、開展性能評(píng)估的細(xì)則。站在制造商角度，因?yàn)樽赃m應(yīng)算法的處理過(guò)程是動(dòng)態(tài)且復(fù)雜的，測(cè)試用數(shù)據(jù)的典型性、再評(píng)價(jià)的觸發(fā)條件的可描述性，無(wú)參照和依據(jù)。

（2）未識(shí)別的隱藏?cái)?shù)據(jù)維度。在某項(xiàng)潛在未知數(shù)據(jù)分布維度上，當(dāng)自適應(yīng)獲得的新數(shù)據(jù)與ACP描述的數(shù)據(jù)不同時(shí)，結(jié)果產(chǎn)生協(xié)變量平移[14]，也是一種遷移學(xué)習(xí)的情況。例如由于資源限制，訓(xùn)練數(shù)據(jù)可能采集自該隱藏維度特征單一的區(qū)域。而上市后的產(chǎn)品被部署在該區(qū)域外時(shí)，制造商可能無(wú)法事前預(yù)見(jiàn)新數(shù)據(jù)的特征值和已有數(shù)據(jù)特征值在隱藏維度下的區(qū)別，所以在第一次上市前審查時(shí)提出通過(guò)SPS和ACP文檔規(guī)定數(shù)據(jù)的描述特性存在不完整的情形。

（3）臨床視角的不穩(wěn)定性。不同患者間醫(yī)學(xué)上輕微的差異不應(yīng)導(dǎo)致診斷或治療的實(shí)質(zhì)性差異。穩(wěn)定的算法在面對(duì)輸入之間的細(xì)微變化時(shí)，應(yīng)給出在輸出空間中類似的預(yù)測(cè)[15]。DWORK等[15]在文獻(xiàn)討論了這種基于個(gè)體的公平性，醫(yī)學(xué)上相似的患者如果得到不同診斷，則該產(chǎn)品是不穩(wěn)定的。從患者安全的角度來(lái)看，不希望某產(chǎn)品經(jīng)常將醫(yī)學(xué)上相似的病變進(jìn)行非常不同即“不夠平滑”的分類。對(duì)于AI/ML產(chǎn)品，很多常用的分類系統(tǒng)是高度非線性的。這使得它們特別容易受到這種不穩(wěn)定的影響[16]。這對(duì)SPS和ACP描述文檔來(lái)說(shuō)，如何制定“性能評(píng)估”的合理閾值還需要結(jié)合醫(yī)學(xué)臨床實(shí)踐，防止過(guò)多觸發(fā)性能評(píng)價(jià)造成的資源浪費(fèi)。

3 美國(guó)試點(diǎn)政策的啟示

上文從美國(guó)試點(diǎn)政策在面對(duì)含自適應(yīng)算法的器械產(chǎn)品時(shí)，從SPS和ACP文檔審查要素出發(fā)，討論了實(shí)踐困難的情形。在此基礎(chǔ)上，提出相關(guān)策略供業(yè)界討論。

3.1 基于風(fēng)險(xiǎn)可控的評(píng)價(jià)原則

基于“收益-風(fēng)險(xiǎn)”是醫(yī)療器械上市前評(píng)價(jià)的核心思想之一。對(duì)含自適應(yīng)算法產(chǎn)品的評(píng)價(jià)，需考慮在使用場(chǎng)景下產(chǎn)品使用“鎖定算法”和自適應(yīng)算法哪個(gè)具有更有效的風(fēng)險(xiǎn)控制。

首先，應(yīng)當(dāng)考慮應(yīng)用場(chǎng)景是否適合使用自適應(yīng)算法。因素包括：輸入數(shù)據(jù)的豐富程度、算法的成熟程度和穩(wěn)定程度?？紤]這些因素，主要是為了控制“未知”風(fēng)險(xiǎn)的數(shù)量，盡可能降低后續(xù)風(fēng)險(xiǎn)措施的成本。其次，應(yīng)當(dāng)考慮自適應(yīng)算法的風(fēng)險(xiǎn)，是否小于帶來(lái)的收益。例如，對(duì)輸入和輸出之間真實(shí)函數(shù)的估計(jì)偏離，而可能對(duì)患者帶來(lái)收益和造成傷害的評(píng)價(jià)。再次，考慮采用自適應(yīng)算法所帶來(lái)的收益是否顯著高于傳統(tǒng)的“鎖定算法”。如果“鎖定算法”已能夠?yàn)榛颊邘?lái)良好的收益，改用自適應(yīng)算法增加的邊際收益不顯著，那么采用自適應(yīng)算法也是不適合的。

3.2 基于“連續(xù)”模式的監(jiān)管策略

將自適應(yīng)算法的重點(diǎn)放在開發(fā)流程上，建立良好機(jī)器學(xué)習(xí)管理實(shí)踐的規(guī)則（good machine learning practices），利用電子系統(tǒng)等現(xiàn)代化信息手段，同時(shí)建立具有深層專業(yè)背景的監(jiān)管專家?guī)欤浴斑B續(xù)”監(jiān)控、識(shí)別和管理由于AI/ML特性而導(dǎo)致的相關(guān)風(fēng)險(xiǎn)。

監(jiān)管機(jī)構(gòu)可能需要對(duì)所有以往數(shù)據(jù)的隨機(jī)子集進(jìn)行定期的系統(tǒng)測(cè)試。也可通過(guò)擾動(dòng)已有的患者數(shù)據(jù)來(lái)生成“新數(shù)據(jù)”，甚至利用技術(shù)手段生成對(duì)抗樣本，用于檢查AI/ML模型的魯棒性。充分考慮患者類型的多樣性。監(jiān)管機(jī)構(gòu)還可以使用對(duì)抗性方法在AI/ML軟件的整個(gè)生命周期中進(jìn)行算法壓力測(cè)試。

此外，可利用電子系統(tǒng)和數(shù)據(jù)分析技術(shù)，例如變更點(diǎn)檢測(cè)或異常檢測(cè)，以連續(xù)監(jiān)視AI/ML算法。例如，F(xiàn)DA用國(guó)家醫(yī)療產(chǎn)品監(jiān)視系統(tǒng)Sentinel[17]來(lái)連續(xù)監(jiān)視批準(zhǔn)的基于AI/ML醫(yī)療器械產(chǎn)品的行為。

3.3 利益相關(guān)機(jī)構(gòu)的多方參與機(jī)制

建立多方參與機(jī)制是為避免涉及自適應(yīng)算法帶來(lái)的醫(yī)學(xué)倫理復(fù)雜情形而導(dǎo)致的誤判漏判。目前在國(guó)外，學(xué)界特別關(guān)注高級(jí)人工智能算法所帶來(lái)的公平性、透明度和責(zé)任歸屬問(wèn)題[18-20]，因?yàn)檫@些問(wèn)題會(huì)導(dǎo)致潛在的倫理困境。

醫(yī)療產(chǎn)品多方參與機(jī)制在美國(guó)是有例可循的。依據(jù)FDASIA法案第618節(jié)要求FDA與國(guó)家健康信息技術(shù)協(xié)調(diào)員辦公室（ONC）和聯(lián)邦通訊委員會(huì)（FCC）協(xié)商，發(fā)布健康類信息技術(shù)產(chǎn)品的監(jiān)管框架以避免重復(fù)監(jiān)管[21]。

在產(chǎn)品上市后的監(jiān)管部門的主導(dǎo)下，從產(chǎn)品的安全有效性出發(fā)，通過(guò)建立某種利益相關(guān)機(jī)構(gòu)的多方參與機(jī)制，幫助制造商杜絕某些涉及技術(shù)敏感、倫理困境、國(guó)家安全的違規(guī)行為，同時(shí)降低因多程序監(jiān)管而帶來(lái)的時(shí)間問(wèn)題。

4 展望

通過(guò)對(duì)美國(guó)現(xiàn)有政策的研究，并結(jié)合自適應(yīng)算法技術(shù)特點(diǎn)的部分文獻(xiàn)檢索，提出了美國(guó)現(xiàn)行試點(diǎn)政策框架所面臨的挑戰(zhàn)。但是，研究?jī)H建立在現(xiàn)有認(rèn)識(shí)的基礎(chǔ)上，必然會(huì)有很多限制因素。含自適應(yīng)算法的器械產(chǎn)品乃至廣泛意義上人工智能產(chǎn)品對(duì)各個(gè)領(lǐng)域帶來(lái)的“黑箱”問(wèn)題，是所有人面臨的挑戰(zhàn)，關(guān)系到全人類的利益。

我國(guó)藥品監(jiān)管相關(guān)部門為此進(jìn)行了大量的探索，付出了巨大的努力。如國(guó)家局醫(yī)療器械技術(shù)審評(píng)中心建立的“人工智能醫(yī)療器械創(chuàng)新合作平臺(tái)”，通過(guò)建立各個(gè)工作組開展了相關(guān)工作，為業(yè)內(nèi)制造商提供了交流溝通的渠道。

我們呼吁產(chǎn)業(yè)中的制造商和臨床機(jī)構(gòu)在探索科技前沿的同時(shí)，能夠同時(shí)為相關(guān)機(jī)構(gòu)提供建設(shè)性、普惠性的行業(yè)觀點(diǎn)，從患者福祉和人民需求的角度出發(fā)，形成一個(gè)良性的產(chǎn)業(yè)環(huán)境。相信隨著自適應(yīng)算法產(chǎn)品技術(shù)的不斷進(jìn)步，在各方的共同努力下，最終形成科學(xué)的監(jiān)管規(guī)則。