祝丹娜，吉 萍

（深圳北京大學(xué)香港科技大學(xué)醫(yī)學(xué)中心臨床研究所，廣東 深圳 518036）

1 社會實(shí)驗(yàn)在醫(yī)學(xué)人工智能領(lǐng)域的應(yīng)用

2016 年，有學(xué)者［1］指出：人工智能技術(shù)應(yīng)用帶來的真實(shí)社會影響的測量和分析，仍然是人工智能研究的“盲區(qū)”。為了更好地評估人工智能對社會可能帶來的影響，處理好人工智能與人、人工智能與社會的關(guān)系，并引導(dǎo)人工智能健康、可持續(xù)發(fā)展，國內(nèi)學(xué)者發(fā)起了《開展人工智能社會實(shí)驗(yàn)、探索智能社會治理中國道路》的倡議。人工智能社會實(shí)驗(yàn)是在真實(shí)應(yīng)用場景中，采用科學(xué)的方法，建立實(shí)驗(yàn)組（受人工智能影響的個(gè)人和組織）和對照組（未受人工智能影響的個(gè)人和組織），并客觀記錄指標(biāo)，來評估人工智能技術(shù)對個(gè)人、群體和組織的綜合影響，最終形成技術(shù)規(guī)范、技術(shù)標(biāo)準(zhǔn)、政策建議等，反饋給技術(shù)研發(fā)者和政府相關(guān)部門，成為決策的重要參考依據(jù)［2］。2019 年，科技部強(qiáng)調(diào)進(jìn)一步加強(qiáng)人工智能技術(shù)應(yīng)用帶來的相關(guān)法律、倫理等社會問題的研判和政策制定，并明確“人工智能社會實(shí)驗(yàn)是探索智能時(shí)代政府治理的新方法、新手段。”［3］科技部、中央網(wǎng)絡(luò)安全和信息化委員會等部門陸續(xù)提出“組織開展人工智能社會治理實(shí)驗(yàn)，持續(xù)積累數(shù)據(jù)和實(shí)踐經(jīng)驗(yàn)，為智能時(shí)代的政府治理提供支撐”。目前，全國多個(gè)國家智能社會治理實(shí)驗(yàn)基地和國家新一代人工智能創(chuàng)新發(fā)展試驗(yàn)區(qū)正在積極開展社會實(shí)驗(yàn)［4］。

在醫(yī)療衛(wèi)生領(lǐng)域，人工智能的深度應(yīng)用是未來發(fā)展趨勢，也是推進(jìn)“健康中國”戰(zhàn)略的重大創(chuàng)新實(shí)踐。人工智能技術(shù)在醫(yī)學(xué)領(lǐng)域的研發(fā)及臨床應(yīng)用過程中往往涉及很多環(huán)節(jié)，可能引發(fā)的倫理風(fēng)險(xiǎn)與影響并不單一［5-7］。世界衛(wèi)生組織發(fā)布報(bào)告指出“與所有新技術(shù)一樣，人工智能在改善全世界數(shù)百萬人的健康方面具有巨大潛力，但與所有技術(shù)一樣，它也可能被濫用并造成傷害［8］”。醫(yī)學(xué)人工智能社會實(shí)驗(yàn)具有應(yīng)用場景廣泛、研究類型和方法復(fù)雜、評價(jià)指標(biāo)多維、學(xué)科交叉、主體多元的特點(diǎn)，具體包括：①技術(shù)產(chǎn)品類型多樣且應(yīng)用場景廣泛；②研究類型和方法復(fù)雜，常常是定量研究與定性研究相結(jié)合的形式。③評價(jià)指標(biāo)多樣化，從技術(shù)應(yīng)用的性能、效能、使用、規(guī)范和影響等不同維度，觀察對社會積極的和消極的雙重影響；④醫(yī)學(xué)人工智能社會實(shí)驗(yàn)往往是多學(xué)科、跨機(jī)構(gòu)的合作，涉及醫(yī)療衛(wèi)生機(jī)構(gòu)、高校、科研院所、企業(yè)、社區(qū)等各類主體。因此，開展醫(yī)學(xué)人工智能社會實(shí)驗(yàn)對各種資源需求量高、實(shí)施難度大、實(shí)驗(yàn)本身給個(gè)人、機(jī)構(gòu)、社會帶來不同類別和程度的倫理風(fēng)險(xiǎn)［9-10］。

2 開展醫(yī)學(xué)人工智能社會實(shí)驗(yàn)的倫理審查挑戰(zhàn)

為確保深圳市醫(yī)學(xué)人工智能社會治理實(shí)驗(yàn)工作符合倫理規(guī)范，2021 年6 月深圳市衛(wèi)健委組織開展了深圳市醫(yī)學(xué)人工智能社會治理實(shí)驗(yàn)研究項(xiàng)目倫理自評工作，筆者團(tuán)隊(duì)設(shè)計(jì)了《深圳市醫(yī)學(xué)人工智能社會治理實(shí)驗(yàn)研究項(xiàng)目倫理自評調(diào)查表》，通過調(diào)研及現(xiàn)場訪談發(fā)現(xiàn)，雖然醫(yī)學(xué)研究領(lǐng)域有較為完善的倫理規(guī)范與監(jiān)督體系，但實(shí)際開展醫(yī)學(xué)人工智能社會實(shí)驗(yàn)的政府主管部門、研究團(tuán)隊(duì)、研發(fā)機(jī)構(gòu)等，在倫理審查中仍面臨諸多挑戰(zhàn)。

2.1 醫(yī)學(xué)人工智能社會實(shí)驗(yàn)倫理審查能力不足

社會實(shí)驗(yàn)是融合在真實(shí)應(yīng)用場景中開展的，研究和實(shí)踐同時(shí)進(jìn)行，這類多學(xué)科多機(jī)構(gòu)參與的項(xiàng)目剛開始起步，項(xiàng)目數(shù)少，相關(guān)方經(jīng)驗(yàn)少、倫理意識不強(qiáng)，存在倫理監(jiān)管與審查路徑不清晰、各方責(zé)任不清的問題。然而，醫(yī)學(xué)人工智能技術(shù)以社會實(shí)驗(yàn)的新形式進(jìn)入各類場景，具有技術(shù)與實(shí)驗(yàn)系統(tǒng)的雙重風(fēng)險(xiǎn)，產(chǎn)生的影響具有隱蔽性和擴(kuò)大性，可能長期持續(xù)并且無法有效調(diào)控。實(shí)驗(yàn)過程中健康醫(yī)療數(shù)據(jù)的采集、存儲、使用與集成貫穿社會實(shí)驗(yàn)全過程，也存在諸如數(shù)據(jù)歸屬、隱私保護(hù)、數(shù)據(jù)安全、受試者權(quán)益等風(fēng)險(xiǎn)問題。對于過程中出現(xiàn)新的、非預(yù)期的倫理問題，存在動態(tài)管理與評估不足的問題。

2.2 醫(yī)學(xué)人工智能技術(shù)產(chǎn)品準(zhǔn)入機(jī)制不完善

依據(jù)醫(yī)學(xué)人工智能產(chǎn)品是否具有醫(yī)療目的和用途，即該產(chǎn)品是否主要用于疾病診斷或治療，將醫(yī)學(xué)人工智能產(chǎn)品分為醫(yī)療器械類人工智能產(chǎn)品和非醫(yī)療器械類人工智能產(chǎn)品。醫(yī)學(xué)人工智能技術(shù)產(chǎn)品研發(fā)與應(yīng)用多處于早期階段，尚不成熟。醫(yī)療活動涉及人身安全和健康，應(yīng)用不成熟的或未獲得注冊審批的醫(yī)學(xué)人工智能產(chǎn)品可能會帶來一定風(fēng)險(xiǎn)，甚至傷害。社會實(shí)驗(yàn)多由政府或研究機(jī)構(gòu)組織推動開展，缺乏醫(yī)學(xué)人工智能技術(shù)產(chǎn)品準(zhǔn)入的機(jī)制與評估標(biāo)準(zhǔn)，研究立項(xiàng)階段未必能充分評估用于社會實(shí)驗(yàn)的技術(shù)產(chǎn)品的成熟度及使用的合理性，導(dǎo)致技術(shù)準(zhǔn)入風(fēng)險(xiǎn)評估不充分，甚至流于形式。

2.3 醫(yī)學(xué)人工智能社會實(shí)驗(yàn)方案科學(xué)性不充分

研究的科學(xué)價(jià)值和科學(xué)有效性至關(guān)重要。但是，由于社會實(shí)驗(yàn)是以一個(gè)新的研究范式進(jìn)入醫(yī)療領(lǐng)域，且醫(yī)學(xué)人工智能社會實(shí)驗(yàn)開展項(xiàng)目少，研究團(tuán)隊(duì)與倫理審查委員會在判斷是否屬于社會實(shí)驗(yàn)以及方案科學(xué)有效性時(shí)能力均不足。有學(xué)者［11］對已發(fā)表的人工智能臨床試驗(yàn)證據(jù)進(jìn)行質(zhì)量評價(jià)顯示，僅有30.7% 的研究證據(jù)達(dá)標(biāo)，提示醫(yī)療健康領(lǐng)域人工智能研究設(shè)計(jì)質(zhì)量有待提高。當(dāng)前醫(yī)學(xué)人工智能相關(guān)的應(yīng)用設(shè)備與系統(tǒng)的研究、評價(jià)與審批制度尚不完善，目前已報(bào)道結(jié)果的醫(yī)學(xué)人工智能臨床試驗(yàn)中大于50% 的項(xiàng)目無法達(dá)到國際上英國國家健康與臨床優(yōu)化研究院（National Institute for Health and Clinical Excellence，NICE）框架中有效性評估的最低證據(jù)標(biāo)準(zhǔn)。

3 應(yīng)對醫(yī)學(xué)人工智能社會實(shí)驗(yàn)倫理審查挑戰(zhàn)的策略

3.1 明確相關(guān)各方職責(zé)

醫(yī)學(xué)人工智能社會實(shí)驗(yàn)相關(guān)主體多、要明確各方職責(zé)：①政府主管部門要健全醫(yī)學(xué)人工智能社會實(shí)驗(yàn)倫理治理體系，在頂層設(shè)計(jì)、組織方面推動社會實(shí)驗(yàn)工作中，推進(jìn)規(guī)范的制定與實(shí)施，為從事醫(yī)學(xué)人工智能社會實(shí)驗(yàn)相關(guān)活動的各類主體提供倫理指引，加強(qiáng)實(shí)驗(yàn)監(jiān)管；②研究發(fā)起方作為責(zé)任主體，應(yīng)確保技術(shù)應(yīng)用及研究場景選擇的合理性，并進(jìn)行研究對象權(quán)益、數(shù)據(jù)保護(hù)、利益沖突等倫理風(fēng)險(xiǎn)的評估與監(jiān)測預(yù)警，及時(shí)作出合乎倫理的決策，遵循國家相關(guān)法律法規(guī)開展實(shí)驗(yàn)；③開展醫(yī)學(xué)人工智能社會實(shí)驗(yàn)的醫(yī)療衛(wèi)生機(jī)構(gòu)、高等院校、科研機(jī)構(gòu)與企業(yè)等是倫理審查的責(zé)任主體，應(yīng)對研究項(xiàng)目進(jìn)行倫理風(fēng)險(xiǎn)自評，從風(fēng)險(xiǎn)傷害防范、隱私權(quán)、保密權(quán)、知情同意權(quán)、利益沖突等方面考察該研究可能涉及的倫理問題，加強(qiáng)源頭治理和全程治理。倫理委員會進(jìn)行倫理審查時(shí)，應(yīng)加強(qiáng)對實(shí)驗(yàn)過程、實(shí)驗(yàn)對象選擇、實(shí)驗(yàn)數(shù)據(jù)收集等各個(gè)環(huán)節(jié)的倫理審查，需要重點(diǎn)關(guān)注研究風(fēng)險(xiǎn)-受益比、研究對象權(quán)益保護(hù)、審查形式以及倫理審查委員會組成等內(nèi)容，以加強(qiáng)倫理審查的充分性和綜合性［8］。倫理委員除了涵蓋國家相關(guān)法律法規(guī)要求的相關(guān)背景外，還應(yīng)該納入包括如生物信息學(xué)、數(shù)學(xué)、計(jì)算機(jī)、人工智能、社會科學(xué)等相關(guān)學(xué)科。倫理委員應(yīng)經(jīng)過倫理審查的基本專業(yè)培訓(xùn)，參加醫(yī)學(xué)人工智能及社會實(shí)驗(yàn)等相關(guān)主題繼續(xù)培訓(xùn)教育，不斷更新知識，提高倫理審查能力和水平。另外，在審查形式上，從倫理審查所需的資源、成本、效率等角度考慮，機(jī)構(gòu)可以采用委托倫理審查和協(xié)作審查的方式完成倫理審查。未設(shè)立倫理審查委員會或者倫理審查委員會無法勝任審查需要的，機(jī)構(gòu)可以書面形式委托有能力的機(jī)構(gòu)倫理審查委員會開展倫理審查。雙方依據(jù)委托審查協(xié)議履行相應(yīng)職責(zé)，明確溝通交流機(jī)制，保持良好的溝通、協(xié)作。根據(jù)實(shí)際需要，可探索在不同區(qū)域或不同場景、專業(yè)領(lǐng)域組建區(qū)域性、專業(yè)性的社會實(shí)驗(yàn)倫理審查委員會，集中受理此類項(xiàng)目，減少倫理審查不規(guī)范并防范利益沖突風(fēng)險(xiǎn)，保證審查獨(dú)立性和專業(yè)性。同時(shí)，提高跨機(jī)構(gòu)、跨區(qū)域的審查效率［12-13］。按照同一研究方案，在多個(gè)機(jī)構(gòu)開展的醫(yī)學(xué)人工智能社會實(shí)驗(yàn)，可以建立倫理審查協(xié)作與互認(rèn)機(jī)制；④研究團(tuán)隊(duì)?wèi)?yīng)確保相關(guān)資質(zhì)、經(jīng)驗(yàn)、技術(shù)能力等能夠勝任，應(yīng)確保實(shí)驗(yàn)的科學(xué)有效性，科學(xué)規(guī)劃人工智能社會實(shí)驗(yàn)場景，合理應(yīng)用場景數(shù)據(jù)，研究評估測量、方法、數(shù)據(jù)等設(shè)計(jì)科學(xué)，搭建規(guī)范的實(shí)驗(yàn)數(shù)據(jù)平臺；另外，保護(hù)研究對象權(quán)益是研究者的責(zé)任和義務(wù)。履行這些責(zé)任，研究者必須接受倫理培訓(xùn)并熟知相關(guān)倫理原則，提高研究者的倫理意識，確保研究合法、合規(guī)開展。

3.2 構(gòu)建實(shí)驗(yàn)全生命周期倫理監(jiān)管體系

加強(qiáng)實(shí)驗(yàn)項(xiàng)目遴選、設(shè)計(jì)與實(shí)施全生命周期倫理審查與管理。①在實(shí)驗(yàn)項(xiàng)目遴選階段，要加強(qiáng)醫(yī)學(xué)人工智能社會實(shí)驗(yàn)的技術(shù)產(chǎn)品準(zhǔn)入機(jī)制與相關(guān)標(biāo)準(zhǔn)的建立。研究前需評估實(shí)驗(yàn)技術(shù)操作或設(shè)備有合理的應(yīng)用依據(jù)和前期研究基礎(chǔ)，符合相關(guān)法律法規(guī)及行業(yè)技術(shù)規(guī)范等，并通過人工智能相關(guān)技術(shù)標(biāo)準(zhǔn)、產(chǎn)品質(zhì)檢、產(chǎn)品市場應(yīng)用許可等；在有較好的人工智能技術(shù)應(yīng)用實(shí)踐基礎(chǔ)、相關(guān)技術(shù)成熟度較高、技術(shù)水平具備規(guī)模應(yīng)用的條件下開展。對于還未有規(guī)范或者標(biāo)準(zhǔn)可以依據(jù)的技術(shù)和產(chǎn)品，應(yīng)開展技術(shù)風(fēng)險(xiǎn)前瞻性評估；醫(yī)學(xué)人工智能技術(shù)是否安全可靠，必須基于醫(yī)學(xué)人工智能技術(shù)臨床前的理論及科技研究安全性、有效性數(shù)據(jù)支撐，包括對預(yù)期的應(yīng)用場景、方法的安全性和有效性、應(yīng)用條件和相應(yīng)臨床專業(yè)承接團(tuán)隊(duì)的資質(zhì)等進(jìn)行評估。需要政府主管部門、醫(yī)療衛(wèi)生機(jī)構(gòu)和人工智能企業(yè)加強(qiáng)交流與合作，充分評估產(chǎn)品的成熟度、安全性和預(yù)期風(fēng)險(xiǎn)等級。同時(shí)，需要政府相關(guān)部門推動醫(yī)學(xué)人工智能技術(shù)準(zhǔn)入標(biāo)準(zhǔn)的建設(shè)，包括數(shù)據(jù)、算法、產(chǎn)品和服務(wù)、從業(yè)人員、企業(yè)準(zhǔn)入管理等方面的標(biāo)準(zhǔn)化。②設(shè)計(jì)與實(shí)施階段各環(huán)節(jié)都符合相關(guān)法律法規(guī)和倫理規(guī)范，需要建立和完善倫理審查機(jī)制。在整個(gè)生命周期，醫(yī)學(xué)人工智能產(chǎn)品還需要不斷地進(jìn)行技術(shù)升級，需要不斷地進(jìn)行測試、驗(yàn)證和改進(jìn)，以適應(yīng)新需求，確保產(chǎn)品的質(zhì)量和可靠性。因此，應(yīng)從倫理管理的角度，加強(qiáng)實(shí)驗(yàn)設(shè)計(jì)、實(shí)施和報(bào)告的全周期管理，確保符合相關(guān)倫理規(guī)范。要將倫理理念融入醫(yī)學(xué)人工智能社會實(shí)驗(yàn)全生命周期，為從事醫(yī)學(xué)人工智能社會實(shí)驗(yàn)相關(guān)活動的各類主體提供倫理指引。

4 小結(jié)

綜上所述，隨著場景廣、跨學(xué)科、多樣化的醫(yī)學(xué)人工智能社會實(shí)驗(yàn)越來越多地開展，規(guī)范醫(yī)學(xué)人工智能社會實(shí)驗(yàn)倫理審查質(zhì)量控制，提升倫理審查效率，成為當(dāng)前推動醫(yī)學(xué)人工智能社會實(shí)驗(yàn)規(guī)范開展的迫切要求。政府部門、研發(fā)機(jī)構(gòu)、技術(shù)開發(fā)者、管理者及倫理審查委員會等相關(guān)各方應(yīng)積極探索基于醫(yī)學(xué)人工智能社會實(shí)驗(yàn)的特點(diǎn)與規(guī)律的倫理審查規(guī)范與管理制度，構(gòu)建醫(yī)學(xué)人工智能全生命周期倫理監(jiān)管體系，加強(qiáng)實(shí)驗(yàn)項(xiàng)目遴選、設(shè)計(jì)與立項(xiàng)、實(shí)施與結(jié)題全周期倫理審查與管理，提升研究倫理管理能力及倫理風(fēng)險(xiǎn)防控意識，保護(hù)研究對象權(quán)益并產(chǎn)生可信證據(jù)。