王士泉，李言生，蘇明亮*，李 偉

（1.東華軟件股份公司，北京 100191；2.火箭軍特色醫(yī)學(xué)中心核與輻射損傷實(shí)驗(yàn)室，北京 100088）

0 引言

隨著大數(shù)據(jù)、深度學(xué)習(xí)等技術(shù)在醫(yī)療健康領(lǐng)域應(yīng)用的深入，基于人工智能技術(shù)的疾病篩查、診斷、輔助決策類(lèi)產(chǎn)品進(jìn)入了高速發(fā)展期和初步應(yīng)用期。然而，國(guó)內(nèi)外尚缺乏對(duì)相關(guān)產(chǎn)品有效性的評(píng)估體系，缺少對(duì)醫(yī)療人工智能產(chǎn)品效果評(píng)估的流程性指引，在一定程度限制了此類(lèi)技術(shù)的研發(fā)、應(yīng)用和推廣。因此，建立一套科學(xué)的、符合醫(yī)療評(píng)價(jià)標(biāo)準(zhǔn)的人工智能類(lèi)醫(yī)療產(chǎn)品應(yīng)用效果的評(píng)估框架與流程將有利于更加客觀、合理地評(píng)價(jià)醫(yī)療人工智能產(chǎn)品應(yīng)用的實(shí)際性能，在給研發(fā)機(jī)構(gòu)指出明確提升方向的同時(shí)，能夠規(guī)范化我國(guó)醫(yī)療人工智能產(chǎn)品應(yīng)用市場(chǎng)，促進(jìn)醫(yī)療人工智能產(chǎn)業(yè)良性、有序發(fā)展[1]。

1 現(xiàn)狀分析

人工智能從最初的神經(jīng)網(wǎng)絡(luò)和模糊邏輯，到現(xiàn)在的深度學(xué)習(xí)、圖像搜索，已經(jīng)進(jìn)入第三次發(fā)展浪潮。人工智能就是研究使用計(jì)算機(jī)來(lái)模擬人的某些思維過(guò)程和智能行為（如學(xué)習(xí)、推理、思考、規(guī)劃、感情等）的科學(xué)，涉及了計(jì)算機(jī)學(xué)、數(shù)學(xué)、心理學(xué)、語(yǔ)言學(xué)、行為學(xué)等學(xué)科[2]。

醫(yī)學(xué)人工智能是人工智能的一個(gè)應(yīng)用領(lǐng)域。醫(yī)療行為本身既涉及醫(yī)學(xué)專(zhuān)業(yè)知識(shí)，又涉及心理、情感倫理等多學(xué)科知識(shí)，因此人工智能技術(shù)與醫(yī)學(xué)相結(jié)合將產(chǎn)生一些重要的變化。人工智能類(lèi)醫(yī)療產(chǎn)品從形態(tài)上具備3個(gè)特征：首先是軟件產(chǎn)品屬性；其次是具備“自學(xué)習(xí)”能力；最后是安全性要求極高。產(chǎn)品的好與壞，最終效果均體現(xiàn)在患者身上[3]。

醫(yī)療是一個(gè)比較特殊的行業(yè)，它與人民群眾的身體健康切身相關(guān)。人工智能技術(shù)及其產(chǎn)品盡管在某些方面能夠大大幫助醫(yī)生或健康服務(wù)機(jī)構(gòu)提升服務(wù)效率，但由于人工智能技術(shù)本身的特點(diǎn)和局限性，在實(shí)際應(yīng)用中有嚴(yán)格的限制，需要一些專(zhuān)業(yè)知識(shí)才能辨識(shí)。而現(xiàn)實(shí)中絕大多數(shù)醫(yī)療機(jī)構(gòu)管理者、醫(yī)生及患者缺乏相關(guān)專(zhuān)業(yè)能力，這導(dǎo)致了他們要么盲目相信宣傳，大膽“吃螃蟹”；要么不敢實(shí)際應(yīng)用，對(duì)其安全性、有效性存在顧慮。這些在一定程度上阻礙了醫(yī)療人工智能產(chǎn)品的快速推廣與應(yīng)用。

在上述背景下，本文提出對(duì)醫(yī)療人工智能產(chǎn)品應(yīng)用效果的評(píng)估框架與流程，旨在加強(qiáng)醫(yī)務(wù)人員和患者對(duì)人工智能技術(shù)的了解，促進(jìn)人工智能技術(shù)在醫(yī)療行業(yè)快速應(yīng)用落地[4]。

2 醫(yī)療人工智能產(chǎn)品應(yīng)用效果的評(píng)估框架與流程

醫(yī)療人工智能產(chǎn)品評(píng)估總體框架主要包括評(píng)估方法與評(píng)估路徑2個(gè)部分。其中評(píng)估方法包括靜態(tài)評(píng)估（定量評(píng)估）與動(dòng)態(tài)評(píng)估（定性評(píng)估）兩部分，分別從產(chǎn)品功能、可靠性、知識(shí)能力、學(xué)習(xí)能力等多個(gè)維度進(jìn)行綜合評(píng)估；評(píng)估路徑則從數(shù)據(jù)資源標(biāo)準(zhǔn)化情況、AI產(chǎn)品實(shí)施情況、基礎(chǔ)設(shè)施建設(shè)以及AI產(chǎn)品應(yīng)用效果4個(gè)維度進(jìn)行綜合評(píng)價(jià)，如圖1所示。其中數(shù)據(jù)資源標(biāo)準(zhǔn)化情況包括數(shù)據(jù)集標(biāo)準(zhǔn)化與輸出文檔標(biāo)準(zhǔn)化；AI產(chǎn)品實(shí)施情況包括技術(shù)架構(gòu)、功能服務(wù)和運(yùn)行性能；基礎(chǔ)設(shè)施建設(shè)情況包括網(wǎng)絡(luò)及網(wǎng)絡(luò)安全、信息安全與基礎(chǔ)硬件；AI產(chǎn)品應(yīng)用效果包括應(yīng)用建設(shè)及利用、聯(lián)通業(yè)務(wù)范圍等[5]。

圖1 醫(yī)療人工智能產(chǎn)品應(yīng)用效果的評(píng)估框架

醫(yī)療人工智能產(chǎn)品評(píng)估核心環(huán)節(jié)包括確定評(píng)估目標(biāo)、選擇評(píng)估指標(biāo)、選擇測(cè)試數(shù)據(jù)集、靜態(tài)評(píng)估、動(dòng)態(tài)評(píng)估、評(píng)估結(jié)論等。醫(yī)療人工智能產(chǎn)品應(yīng)用效果的評(píng)估流程如圖2所示。其中，確定評(píng)估目標(biāo)包括待評(píng)估產(chǎn)品使用場(chǎng)景描述、產(chǎn)品運(yùn)行條件（硬件、存儲(chǔ)、網(wǎng)絡(luò)要求等）、運(yùn)行模式（云環(huán)境或單機(jī)環(huán)境）、正常運(yùn)行場(chǎng)景、可預(yù)見(jiàn)的異常場(chǎng)景等；評(píng)估指標(biāo)包括準(zhǔn)確率、識(shí)別率、假陽(yáng)性率、特異性、敏感性、響應(yīng)時(shí)間等；選擇測(cè)試數(shù)據(jù)集則是從由專(zhuān)家標(biāo)注好的、不同分類(lèi)應(yīng)用的標(biāo)準(zhǔn)數(shù)據(jù)集中進(jìn)行抽取[6]。

圖2 醫(yī)療人工智能產(chǎn)品應(yīng)用效果的評(píng)估流程圖

3 醫(yī)療人工智能產(chǎn)品應(yīng)用效果的評(píng)估操作流程

根據(jù)醫(yī)療人工智能產(chǎn)品應(yīng)用效果的評(píng)估框架與核心流程，設(shè)計(jì)評(píng)估操作流程，包含以下4個(gè)主要內(nèi)容：評(píng)估產(chǎn)品注冊(cè)登記、產(chǎn)品靜態(tài)特征的評(píng)估、產(chǎn)品動(dòng)態(tài)特征的評(píng)估和評(píng)估結(jié)果分析。

3.1 評(píng)估產(chǎn)品注冊(cè)登記

評(píng)估產(chǎn)品注冊(cè)登記的目的是對(duì)待評(píng)估的醫(yī)療人工智能產(chǎn)品信息進(jìn)行詳細(xì)的備案，以便于后續(xù)測(cè)試環(huán)節(jié)信息的記錄以及評(píng)估結(jié)果的反饋，從而達(dá)到統(tǒng)一和標(biāo)準(zhǔn)化管理要求。

3.2 產(chǎn)品靜態(tài)特征的評(píng)估

靜態(tài)評(píng)估主要用來(lái)衡量醫(yī)療人工智能產(chǎn)品的成熟度，用以實(shí)現(xiàn)同一功能的不同產(chǎn)品在典型應(yīng)用場(chǎng)景下的性能對(duì)比，包括功能性、可靠性、聯(lián)通性、易用性等多個(gè)維度。產(chǎn)品靜態(tài)特征的評(píng)估項(xiàng)目包含以下幾點(diǎn)：

（1）功能完備性。主要對(duì)產(chǎn)品的工作流程進(jìn)行評(píng)估，判斷系統(tǒng)流程是否完備，是否符合預(yù)期的輸入、輸出及異常提示，是否完全覆蓋產(chǎn)品描述的全部功能，且各功能測(cè)試是否正常。

（2）安全性。產(chǎn)品是否支持指紋、密碼等訪問(wèn)方式，是否有明顯繞過(guò)密碼登錄的漏洞，是否有數(shù)據(jù)訪問(wèn)的邏輯漏洞等。

（3）可靠性。產(chǎn)品是否會(huì)突然宕機(jī)，是否具有數(shù)據(jù)恢復(fù)機(jī)制，是否對(duì)斷電、硬件損壞、系統(tǒng)崩潰、CPU過(guò)熱、內(nèi)存溢出等突發(fā)情況做出合適的操作。同時(shí)產(chǎn)品是否具有完備的日志管理功能，能夠?qū)浖脑敿?xì)情況進(jìn)行完備的記錄，以便于出現(xiàn)問(wèn)題及時(shí)發(fā)現(xiàn)原因。

（4）隱私保護(hù)。針對(duì)醫(yī)療疾病數(shù)據(jù)，產(chǎn)品是否在處理和傳遞的過(guò)程中進(jìn)行數(shù)據(jù)加密處理、是否存在可能的竊取用戶(hù)隱私數(shù)據(jù)的方式等。

（5）易用性。產(chǎn)品是否具備較好的糾錯(cuò)機(jī)制、是否具有良好的用戶(hù)引導(dǎo)提示、是否具備良好的人機(jī)交互方式、是否對(duì)錯(cuò)誤等異常情況有反饋機(jī)制，以及是否易于學(xué)習(xí)、操作、理解等。

（6）聯(lián)通性。產(chǎn)品是否需要接入公網(wǎng)、是否可以利用云計(jì)算來(lái)提高計(jì)算能力和效率、是否支持與多系統(tǒng)進(jìn)行聯(lián)通、是否支持多源輸入并保持多源通信、是否篩選冗余數(shù)據(jù)等。

（7）特殊依賴(lài)性。產(chǎn)品是否需要額外的特殊硬件設(shè)備，是否依賴(lài)于特定的收費(fèi)軟件API等從而導(dǎo)致額外的費(fèi)用開(kāi)銷(xiāo)。

（8）效率。產(chǎn)品實(shí)現(xiàn)某種功能所占用的計(jì)算資源、功能處理及響應(yīng)時(shí)間，是否能夠支持并行操作，是否能夠和其他產(chǎn)品同時(shí)運(yùn)行等。

（9）可移植性或兼容性。產(chǎn)品從一個(gè)計(jì)算機(jī)系統(tǒng)或環(huán)境轉(zhuǎn)移到另一個(gè)計(jì)算機(jī)系統(tǒng)或環(huán)境的容易程度。

（10）可擴(kuò)展性。產(chǎn)品添加和修改相關(guān)功能的容易程度、與其他產(chǎn)品結(jié)合的容易程度等。

3.3 產(chǎn)品動(dòng)態(tài)特征的評(píng)估

動(dòng)態(tài)評(píng)估主要用來(lái)衡量醫(yī)療人工智能產(chǎn)品的智力程度，評(píng)估產(chǎn)品適應(yīng)不同臨床場(chǎng)景的可用性，在接近真實(shí)的環(huán)境中評(píng)估產(chǎn)品的可用性，主要包括智力水平、學(xué)習(xí)能力和知識(shí)結(jié)構(gòu)等多個(gè)維度。產(chǎn)品動(dòng)態(tài)特征的評(píng)估項(xiàng)目包含以下幾點(diǎn)：

（1）知識(shí)獲取能力。主要對(duì)產(chǎn)品獲取知識(shí)的輸入數(shù)據(jù)格式進(jìn)行評(píng)估，如結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)（辦公文檔、文本、圖片、XML、HTML、各類(lèi)報(bào)表、音頻、視頻等信息）等多種疾病記錄格式[7]。

（2）知識(shí)獲取途徑。主要對(duì)產(chǎn)品獲取知識(shí)的方式進(jìn)行評(píng)估，如利用專(zhuān)家提供的某一領(lǐng)域的先驗(yàn)知識(shí)，根據(jù)海量醫(yī)療數(shù)據(jù)自主學(xué)習(xí)特征或規(guī)律從其他產(chǎn)品直接遷移得到等。

（3）知識(shí)掌握能力。主要對(duì)產(chǎn)品運(yùn)用先驗(yàn)知識(shí)和學(xué)習(xí)到的特征進(jìn)行疾病的預(yù)測(cè)和檢測(cè)（病灶定位）的能力進(jìn)行評(píng)估，可以參照目前應(yīng)用最多的檢測(cè)指標(biāo)——特異性和敏感性，以及學(xué)術(shù)研究常用的指標(biāo)，如準(zhǔn)確率、查全率、查準(zhǔn)率、均值評(píng)價(jià)精度（mean average precision，MAP）、像素精度（pixel accuracy，PA）、平均像素精度（meanpixelaccuracy，MPA）、平均交并比（meanintersectionover union，MIoU）、頻權(quán)交并比（frequency weighted intersection over union，F(xiàn)WIoU）等[8]。

（4）知識(shí)反饋能力。主要對(duì)產(chǎn)品真實(shí)、不完美數(shù)據(jù)的反饋進(jìn)行評(píng)估，如數(shù)據(jù)缺失、低信噪比數(shù)據(jù)、數(shù)據(jù)量不足等情況。

（5）知識(shí)創(chuàng)新能力。如醫(yī)療人工智能能否根據(jù)專(zhuān)家提供的先驗(yàn)知識(shí)作為基礎(chǔ)，在訓(xùn)練之后發(fā)現(xiàn)有利于診斷和檢測(cè)的新規(guī)律；根據(jù)圖像數(shù)據(jù)訓(xùn)練的醫(yī)療人工智能產(chǎn)品能否在加入病歷數(shù)據(jù)后學(xué)習(xí)其中隱含的共性和聯(lián)系，進(jìn)而提高疾病診斷和檢測(cè)的結(jié)果；根據(jù)病歷數(shù)據(jù)和圖像數(shù)據(jù)訓(xùn)練的產(chǎn)品在圖像數(shù)據(jù)缺乏的情況下只提供病歷數(shù)據(jù)，其能否根據(jù)病歷數(shù)據(jù)對(duì)缺乏的圖像數(shù)據(jù)進(jìn)行合理的猜測(cè)等。

（6）可解釋性。產(chǎn)品因其行業(yè)特殊性，保證檢測(cè)結(jié)果可靠、安全是第一要?jiǎng)?wù)，因此產(chǎn)品的可解釋性就至關(guān)重要。需要注意的是，這里關(guān)注的并不是產(chǎn)品算法本身的可解釋性，更多的是對(duì)產(chǎn)品結(jié)果的可解釋性進(jìn)行測(cè)試。如通過(guò)眼底彩照對(duì)眼球病變程度進(jìn)行診斷的情景下，可以通過(guò)可視化算法內(nèi)部對(duì)診斷結(jié)果做出貢獻(xiàn)的病灶識(shí)別的情況，判斷其是否符合現(xiàn)階段醫(yī)學(xué)領(lǐng)域知識(shí)，從而達(dá)到“可解釋”的目的。

（7）學(xué)習(xí)能力。主要對(duì)產(chǎn)品所采用核心算法的先進(jìn)性、學(xué)習(xí)速度的快速性和結(jié)果的準(zhǔn)確性進(jìn)行評(píng)估，如產(chǎn)品是否能從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到有效的特征并得到準(zhǔn)確的結(jié)果，整個(gè)產(chǎn)品學(xué)習(xí)的周期及其知識(shí)庫(kù)是否能夠持續(xù)增長(zhǎng)和更新等。

（8）知識(shí)結(jié)構(gòu)。主要對(duì)產(chǎn)品所需要學(xué)習(xí)的數(shù)據(jù)維度和大小進(jìn)行評(píng)估，如知識(shí)表示的特征維度、多源數(shù)據(jù)知識(shí)結(jié)合的結(jié)構(gòu)、知識(shí)表示結(jié)構(gòu)是否對(duì)于最終的學(xué)習(xí)目標(biāo)有明確的定義等。

（9）場(chǎng)景適用性。主要對(duì)產(chǎn)品應(yīng)用類(lèi)別（管理類(lèi)、咨詢(xún)類(lèi)和診療類(lèi)）的具體場(chǎng)景進(jìn)行評(píng)估。首先對(duì)產(chǎn)品注冊(cè)時(shí)給出的應(yīng)用領(lǐng)域進(jìn)行測(cè)試，評(píng)估其是否能夠達(dá)到該領(lǐng)域的要求。再對(duì)該領(lǐng)域下具體的應(yīng)用場(chǎng)景（三甲醫(yī)院場(chǎng)景、基層醫(yī)院場(chǎng)景、體檢中心場(chǎng)景、社區(qū)診所場(chǎng)景等）進(jìn)行評(píng)估，判斷其可用性場(chǎng)景。

（10）魯棒性和遷移性。在符合產(chǎn)品輸入要求的基礎(chǔ)上，對(duì)產(chǎn)品的多樣性輸入進(jìn)行評(píng)估。以影像歸檔和通信系統(tǒng)（picture archiving and communication systems，PACS）影像圖片為例，在正常輸入圖片工作良好的基礎(chǔ)上，評(píng)估添加額外噪聲、曝光不足/過(guò)度/不均勻、色調(diào)調(diào)整等實(shí)際醫(yī)療影像可能出現(xiàn)的情況下產(chǎn)品的運(yùn)行表現(xiàn)[9]。

3.4 評(píng)估結(jié)果分析

在對(duì)醫(yī)療人工智能產(chǎn)品的靜態(tài)特征和動(dòng)態(tài)特征進(jìn)行評(píng)估之后，需要對(duì)各評(píng)估指標(biāo)、評(píng)估參數(shù)進(jìn)行統(tǒng)計(jì)分析，給出最終評(píng)估等級(jí)和評(píng)估意見(jiàn)。具體分析指標(biāo)包括：

（1）AI性能。包括但不局限于知識(shí)獲取能力、知識(shí)獲取途徑、知識(shí)掌握能力、知識(shí)反饋能力、學(xué)習(xí)能力、知識(shí)結(jié)構(gòu)、知識(shí)創(chuàng)新能力等。

（2）軟件算法性能。包括但不局限于軟件運(yùn)行效率、軟件穩(wěn)定性、軟件功能完備性、軟件運(yùn)行環(huán)境依賴(lài)性、軟件異常情況處理、數(shù)據(jù)恢復(fù)情況等。

（3）可解釋性。包括但不局限于學(xué)習(xí)到的各項(xiàng)特征與實(shí)際醫(yī)學(xué)知識(shí)的相關(guān)性、學(xué)習(xí)到的各項(xiàng)特征對(duì)最終診斷和檢測(cè)等決策結(jié)果的影響等。

（4）安全性。包括但不局限于數(shù)據(jù)是否存在容易泄露的情況、是否會(huì)被竊取復(fù)制的情況、是否加密、是否有較好的隱私保護(hù)機(jī)制、是否需要接入公網(wǎng)等[10]。

（5）先進(jìn)性。包括但不局限于采用核心算法的先進(jìn)性、軟件架構(gòu)的先進(jìn)性、構(gòu)成部分軟硬件的先進(jìn)性、產(chǎn)品理念的先進(jìn)性、產(chǎn)品解決問(wèn)題的先進(jìn)性等。

（6）易用性。包括但不局限于產(chǎn)品交互的舒適度、產(chǎn)品響應(yīng)的時(shí)效性、產(chǎn)品使用人員的培訓(xùn)時(shí)間等。

（7）使用周期。包括但不局限于產(chǎn)品的硬件構(gòu)成及其使用壽命和維護(hù)情況、產(chǎn)品的軟件環(huán)境及其依賴(lài)軟件庫(kù)的維護(hù)與更新情況等。

（8）成本和依賴(lài)性。包括但不局限于產(chǎn)品是否依賴(lài)于軟件授權(quán)、是否依賴(lài)于特定的軟硬件、是否需要專(zhuān)業(yè)公司人員的操作輔助、是否需要額外物理?xiàng)l件（如大面積場(chǎng)地、隔音去噪環(huán)境、降溫設(shè)備等）等。

（9）可靠性。包括但不局限于產(chǎn)品的穩(wěn)定性、產(chǎn)品的魯棒性、產(chǎn)品對(duì)特定應(yīng)用場(chǎng)景的診斷和檢測(cè)結(jié)果的準(zhǔn)確性、產(chǎn)品診斷和檢測(cè)結(jié)果的可信度等。

（10）實(shí)用性（即總體評(píng)價(jià)統(tǒng)計(jì)分析）。綜合上述各點(diǎn)對(duì)產(chǎn)品的實(shí)用性進(jìn)行總體評(píng)價(jià)，包括是否具有實(shí)際推廣價(jià)值、是否符合現(xiàn)階段醫(yī)療情況的需要、是否緩解現(xiàn)有醫(yī)療資源的緊缺情況、是否提升醫(yī)療診斷的質(zhì)量和效率以及實(shí)際增益情況與其構(gòu)建成本的關(guān)系等。

在對(duì)醫(yī)療人工智能產(chǎn)品進(jìn)行評(píng)估結(jié)果的統(tǒng)計(jì)分析之后，需要設(shè)計(jì)出評(píng)估量化表來(lái)進(jìn)行結(jié)果的備案。評(píng)估量化表的設(shè)計(jì)可參考上述評(píng)估項(xiàng)目，也可針對(duì)不同應(yīng)用類(lèi)別的醫(yī)療人工智能產(chǎn)品的評(píng)估進(jìn)行裁剪或擴(kuò)充。

4 結(jié)語(yǔ)

隨著人工智能與醫(yī)療領(lǐng)域的深度融合，基于人工智能技術(shù)的醫(yī)療健康產(chǎn)品、工具等須滿足客觀的標(biāo)準(zhǔn)，從而保證其對(duì)安全性、可信賴(lài)性、可追溯性、隱私保護(hù)等方面的要求。因此，我國(guó)亟待建立起醫(yī)療人工智能產(chǎn)品進(jìn)入行業(yè)的準(zhǔn)入制度與對(duì)應(yīng)的監(jiān)管平臺(tái)，建立不同應(yīng)用類(lèi)別醫(yī)療人工智能產(chǎn)品的測(cè)試評(píng)估基地與示范院區(qū)。此外，為了更有效地評(píng)估醫(yī)學(xué)人工智能技術(shù)，相關(guān)的測(cè)試方法也必須標(biāo)準(zhǔn)化，應(yīng)創(chuàng)建不同應(yīng)用類(lèi)別產(chǎn)品的人工智能技術(shù)基準(zhǔn)，并為基準(zhǔn)的制訂提供定量要求，從而促進(jìn)和規(guī)范醫(yī)療健康人工智能的發(fā)展，為智能醫(yī)療時(shí)代保駕護(hù)航。