李丹，劉杰，馬燕嬌，湯錦依，章婷華

（工業(yè)和信息化部電子第五研究所，廣東 廣州 511370）

0 引言

計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的快速發(fā)展使得計(jì)算能力迅速提高，先進(jìn)醫(yī)療器械的廣泛應(yīng)用產(chǎn)生了海量的醫(yī)學(xué)數(shù)據(jù)，伴隨著深度學(xué)習(xí)算法取得突破，人工智能在醫(yī)學(xué)領(lǐng)域的應(yīng)用迎來了飛躍式發(fā)展，在醫(yī)學(xué)影像識別和診斷領(lǐng)域形成熱點(diǎn)。然而，研究人員發(fā)現(xiàn)現(xiàn)有的深度學(xué)習(xí)算法存在著諸多安全隱患：1）因訓(xùn)練數(shù)據(jù)的數(shù)量不足、不具代表性、質(zhì)量不高、無相關(guān)特征等原因可能產(chǎn)生欠擬合、過擬合、不收斂問題，造成人工智能軟件的泛化能力欠佳；2）耗費(fèi)大量的數(shù)據(jù)資源、計(jì)算能力和人力成本訓(xùn)練出來的人工智能模型可能被輕易地竊??；3）模型中包含的隱私信息也可能因各種針對性攻擊而被泄露；4）攻擊者通過向正常樣本添加人類無法感知的擾動(dòng)就可以實(shí)現(xiàn)深度學(xué)習(xí)模型的欺騙；5）通過模型訓(xùn)練過程中的數(shù)據(jù)投毒在模型中注入后門，從而達(dá)到操控人工智能系統(tǒng)行為的目的。在醫(yī)學(xué)應(yīng)用領(lǐng)域，深度學(xué)習(xí)的網(wǎng)絡(luò)安全隱患有可能導(dǎo)致診療錯(cuò)誤、患者隱私泄露、系統(tǒng)運(yùn)行失效和經(jīng)濟(jì)損失，成為阻礙人工智能醫(yī)學(xué)軟件產(chǎn)品部署應(yīng)用的主要因素。

近年來，研究和工程人員圍繞人工智能系統(tǒng)如何防御可能遭受的網(wǎng)絡(luò)安全攻擊進(jìn)行了廣泛和深入的研究，并找到了一些應(yīng)對網(wǎng)絡(luò)安全挑戰(zhàn)的創(chuàng)新方法。在對抗傳統(tǒng)網(wǎng)絡(luò)攻擊方面，通過工程化開發(fā)來減少代碼中隱藏的漏洞，及時(shí)地更新開發(fā)和運(yùn)行環(huán)境來減少框架漏洞帶來的影響。在模型竊取（Model Extraction Attack）防御和隱私信息保護(hù)方面，代表性的防御方法包括：模型結(jié)構(gòu)防御、信息混淆防御和查詢控制防御等[1]。在對抗樣本攻擊防御方面，代表性的防御方法包括：對抗訓(xùn)練、基于隨機(jī)化的方法、降噪方法、可證明式防御和基于一致性的防御等[2]。上述網(wǎng)絡(luò)安全防御技術(shù)經(jīng)過適應(yīng)性完善，可以應(yīng)用于人工智能醫(yī)學(xué)軟件中，以提升產(chǎn)品對抗網(wǎng)絡(luò)攻擊的能力和水平。

人工智能醫(yī)學(xué)軟件產(chǎn)品對抗攻擊的能力需要使用攻擊性測試進(jìn)行驗(yàn)證。攻擊性測試具有動(dòng)態(tài)和迭代性，在測試不斷取得進(jìn)展的同時(shí)，測試人員對被測對象的掌握和控制程度不斷地深入，測試過程需要根據(jù)當(dāng)前情況進(jìn)行適時(shí)的調(diào)整，因此，為了保證攻擊性測試的效率和有效性，往往采用非腳本化探索性測試模式，測試覆蓋面和強(qiáng)度人為把握的傾向突出，給客觀評價(jià)軟件產(chǎn)品的網(wǎng)絡(luò)安全能力帶來挑戰(zhàn)，需要對人工智能醫(yī)學(xué)軟件產(chǎn)品攻擊性測試規(guī)格化問題進(jìn)行研究和探索，并給出切實(shí)可行的解決方案。

1 人工智能醫(yī)學(xué)軟件抗攻擊能力測評方法

按照測試人員了解被測對象信息的多少，可將攻擊性測試分為黑盒、灰盒和白盒測試，它們各自存在不同程度的約束條件，綜合來看，黑盒測試的攻擊可行性最佳，灰盒技術(shù)次之，白盒測試需要滿足的前提條件最為苛刻。

1.1 基于漏洞利用的滲透測試

滲透測試是指測試人員利用所掌握的攻擊技術(shù)，以黑客的行為方式，進(jìn)行不造成任何損失的攻擊性檢測， 以取得目標(biāo)系統(tǒng)的訪問控制權(quán)。滲透測試過程有多種組織模式，針對信息系統(tǒng)的滲透測試通常由7個(gè)階段組成，包括：前期交互、情報(bào)搜集、威脅建模、漏洞分析、滲透攻擊、后滲透攻擊和總結(jié)評估。

人工智能醫(yī)學(xué)軟件產(chǎn)品滲透測試的主要對象是軟件產(chǎn)品本身，進(jìn)行滲透測試時(shí)，情報(bào)搜集階段可以簡化，后滲透攻擊階段則可以忽略。通常采用白盒、灰盒和黑盒相結(jié)合的模式。在情報(bào)搜集階段掌握被測軟件相關(guān)信息。在威脅建模階段確定攻擊路徑。在漏洞分析階段識別可利用漏洞，通過漏洞模式匹配，發(fā)現(xiàn)軟件安全功能和機(jī)制漏洞，如身份認(rèn)證可繞過、權(quán)限管理可突破、通信可偵聽和攔截等；通過已公開漏洞掃描，識別所依賴的開發(fā)框架的漏洞；通過代碼安全性審查發(fā)現(xiàn)代碼實(shí)現(xiàn)漏洞，如緩沖區(qū)溢出、輸入驗(yàn)證缺陷等。在滲透攻擊階段驗(yàn)證攻擊的可行性，評估漏洞的風(fēng)險(xiǎn)水平。

1.2 基于對抗性輸入的測試

對抗性輸入測試是一種通過給原始輸入數(shù)據(jù)添加人類難以分辨的微小擾動(dòng)，產(chǎn)生對抗性輸入，從而使人工智能軟件輸出錯(cuò)誤結(jié)果的測試。根據(jù)軟件最終給出的結(jié)果是否是測試人員預(yù)先定義好的，將對抗性輸入攻擊分為目標(biāo)攻擊和無目標(biāo)攻擊。通常，目標(biāo)攻擊測試的難度大于無目標(biāo)攻擊測試。

a）單像素攻擊

單像素攻擊（One Pixel Attack）是一種無目標(biāo)黑盒攻擊方法。它使用差分進(jìn)化算法，在輸入圖像中選定一個(gè)像素，更改其數(shù)值產(chǎn)生對抗圖像，使神經(jīng)網(wǎng)絡(luò)模型對對抗圖像錯(cuò)誤分類。由Su等人[3]提出。

b）ZOO攻擊

ZOO（Zeroth Order Optimization）攻擊是一種無目標(biāo)黑盒攻擊方法。它不需要獲取目標(biāo)模型的梯度信息，通過計(jì)算來查詢和估計(jì)梯度。由Chen等人[4]提出。

c）基于生成對抗網(wǎng)絡(luò)（GAN）的攻擊

基于生成對抗網(wǎng)絡(luò)（GAN）的攻擊是一類無目標(biāo)黑盒攻擊方法。Zhao等人[5]將生成對抗網(wǎng)絡(luò)的理念結(jié)合到對抗樣本的生成中，將此方法命名為Natural GAN。Xiao等人[6]提出AdvGAN方法，能夠不依賴對抗樣本的可遷移性進(jìn)行攻擊。

d）彈性網(wǎng)攻擊

Chen等人[7]提出了一種基于彈性網(wǎng)絡(luò)（EAD：Elastic-net Attacks to DNNs）正則化的攻擊算法，對DNN進(jìn)行黑盒目標(biāo)對抗樣本攻擊。

e）快速梯度符號法

快速梯度符號法（FGSM：Fast Gradient Sign Method）是一種將自法和錯(cuò)誤分類相結(jié)合，誘導(dǎo)神經(jīng)網(wǎng)絡(luò)模型做出錯(cuò)誤的預(yù)測的方法。GoodFellow等人[8]首先開發(fā)了一種能有效地計(jì)算對抗擾動(dòng)的白盒攻擊方法，Tramèr等人[9]提出R+FGSM白盒攻擊方法，Kurakin等人[10]提出了另一種FGSM變體白盒攻擊方法，Papernot等人[11]基于對抗樣本在模型之間的遷移性，提出了FGSM無目標(biāo)黑盒攻擊方法，Dong等人[12]提出了黑盒無目標(biāo)攻擊方法UMI-FGSM和PGD（Project Gradient Descent）。

f）基于雅可比的顯著性圖方法

基于雅可比的顯著性圖方法（JSMA：Jacobian-based Saliency Map Attack）方法使用雅各比矩陣和顯著圖，通過限制擾動(dòng)的范數(shù)來進(jìn)行白盒目標(biāo)對抗攻擊[13]。Papernot等人[11]提出了使用JSMA算法對未知目標(biāo)模型進(jìn)行黑盒目標(biāo)攻擊方法。

g）對抗轉(zhuǎn)換網(wǎng)絡(luò)

Baluja和Fischer[14]訓(xùn)練對抗轉(zhuǎn)換網(wǎng)絡(luò)（ATNs：Adversarial Transformation Networks）來生成對抗樣本，通過最小化由兩部分組成的聯(lián)合損失函數(shù)來計(jì)算產(chǎn)生對抗樣本，可實(shí)施白盒目標(biāo)攻擊。Hayex和Danezis[15]使用ATN構(gòu)造對抗樣本來進(jìn)行黑盒目標(biāo)攻擊。

h）動(dòng)量迭代攻擊

Kurakin等人[16]提出了動(dòng)量迭代攻擊（BIM：Basic&Least-Likely-Class Iterative Methods）白盒無目標(biāo)攻擊方法及其變體，通過用識別概率最不可能的類別（目標(biāo)類別）代替對抗擾動(dòng)中的類別變量來生成對抗樣本。

i）DeepFool

Moosavi-Dezfooli等人[17]通過迭代計(jì)算的方法生成最小規(guī)范對抗擾動(dòng)，將位于分類邊界內(nèi)的圖像逐步推到邊界外，直到出現(xiàn)錯(cuò)誤分類，實(shí)現(xiàn)白盒無目標(biāo)攻擊。

j）通用對抗擾動(dòng)攻擊

通用對抗擾動(dòng)（Universal Adversarial Perturbations）可以使添加該擾動(dòng)的原始圖像被誤分類為其他類別，生成對任何圖像有攻擊能力的擾動(dòng)，實(shí)現(xiàn)白盒無目標(biāo)攻擊[18]。Khrulkov等人[19]將通用對抗擾動(dòng)作為網(wǎng)絡(luò)的特征映射的雅可比矩陣的奇異向量，使用少量圖像實(shí)現(xiàn)較高的欺騙率。

k）分布式對抗攻擊

Zheng等人[20]提出了分布對抗攻擊（DAA：Distributionally Adversarial Attack）白盒無目標(biāo)攻擊方法，通過學(xué)習(xí)最大程度地增加模型泛化風(fēng)險(xiǎn)的對抗性數(shù)據(jù)分布。

l）L-BFGS

Szegedy等人[21]提出了可以應(yīng)用到不同的模型和訓(xùn)練數(shù)據(jù)集中的限域擬牛頓法（L-BFGS：Limited Storage Quasi-Newton Method）白盒目標(biāo)攻擊方法，通過計(jì)算添加到原始圖像上引起神經(jīng)網(wǎng)絡(luò)錯(cuò)誤分類的擾動(dòng)來構(gòu)造對抗樣本。

m）C&W攻擊

Carlini和Wagner[22]提出了一種基于迭代優(yōu)化的低擾動(dòng)方法，即C&W攻擊（Carlini and Wagner Attacks），通過限制范數(shù)使得擾動(dòng)無法被察覺，從而實(shí)現(xiàn)白盒目標(biāo)攻擊。

1.3 基于模型輸出引導(dǎo)的測試

基于模型輸出引導(dǎo)的測試主要包括模型竊取、模型逆向攻擊（model inversion attack）和成員推斷攻擊（membership inference attack）。相對而言模型竊取更容易實(shí)施。

a）基于替代模型的模型竊取

基于替代模型的模型竊取是目前比較實(shí)用的一種攻擊方法。測試人員通過向目標(biāo)模型進(jìn)行查詢，獲取相應(yīng)的結(jié)果，根據(jù)結(jié)果對查詢數(shù)據(jù)進(jìn)行標(biāo)注，構(gòu)建訓(xùn)練數(shù)據(jù)集，在本地訓(xùn)練一個(gè)與目標(biāo)模型功能相近的替代模型，或者模擬目標(biāo)模型的決策邊界。

b）成員推斷攻擊

成員推斷攻擊是指攻擊者通過訪問模型預(yù)測API，獲得待測樣本的成員關(guān)系信息，從預(yù)測結(jié)果中獲知某個(gè)特征數(shù)據(jù)是否包含在模型的訓(xùn)練集中。在這種攻擊中，攻擊者僅需要得到預(yù)測分類的置信度，不需要知道模型結(jié)構(gòu)、訓(xùn)練方法、模型參數(shù)和訓(xùn)練數(shù)據(jù)集分布等信息。

c）模型逆向攻擊

模型逆向攻擊（mode inversion attack）[23]可以在不知道訓(xùn)練數(shù)據(jù)的情況下，從模型預(yù)測結(jié)果中提取和訓(xùn)練數(shù)據(jù)有關(guān)的信息，泄露患者的隱私。

2 人工智能醫(yī)學(xué)軟件攻擊性測試規(guī)格化

不同網(wǎng)絡(luò)安全等級的人工智能醫(yī)學(xué)軟件產(chǎn)品需要不同強(qiáng)度的攻擊性測試進(jìn)行驗(yàn)證。本文借鑒基于攻擊潛力評估攻擊可行性的思路[24]，提出了基于攻擊性強(qiáng)度評級的攻擊性測試規(guī)格化方案。攻擊性測試強(qiáng)度是指針對特定的被測對象，測試者為達(dá)到一定的測試覆蓋和深度所花費(fèi)的努力值的度量，用測試者掌握的技能、投入的資源和采取的方法表示。

2.1 攻擊性測試強(qiáng)度參數(shù)評估

攻擊性測試強(qiáng)度依賴于5個(gè)核心參數(shù)，用xi表示。包括：投入測試的工時(shí)數(shù)、擬使用的測試裝備、擁有的機(jī)會窗口、擬采用的測試方法和了解被測對象的程度。

a）投入測試的工時(shí)數(shù)參數(shù)（x1）

包括準(zhǔn)備投入到了解被測系統(tǒng)、識別脆弱性、分析和策劃漏洞利用，以及實(shí)施測試的總時(shí)間。分級度量評估值如表1所示。

表1 投入測試的工時(shí)數(shù)分級度量

b）擬使用的測試裝備參數(shù)（x2）

攻擊者可用來發(fā)現(xiàn)脆弱性和執(zhí)行攻擊性測試的工具資源，分級度量評估值如表2所示。

表2 擬使用的測試裝備

c）擁有的機(jī)會窗口參數(shù)（x3）

為成功地執(zhí)行測試而提供的訪問條件。分級度量評估值如表3所示。

表3 擁有的機(jī)會窗口

d）擬采用的測試方法參數(shù)（x4）

測試過程中針對被測對象特點(diǎn)，選用那些測試方法進(jìn)行攻擊。分級度量評估值如表4所示。

表4 擬采用的測試方法

e）了解被測對象的程度參數(shù)（x5）

測試人員能獲得的關(guān)于被測對象的信息量。分級度量評估值如表5所示。

表5 了解被測對象的程度

2.2 攻擊性測試強(qiáng)度綜合評價(jià)模型

a）攻擊性測試強(qiáng)度綜合評價(jià)值計(jì)算

攻擊性測試強(qiáng)度綜合評價(jià)值由投入測試的工時(shí)數(shù)（x1）、擬使用的測試裝備（x2）、擁有的機(jī)會窗口（x3）、擬采用的測試方法（x4）和了解被測對象的程度（x5）根據(jù)權(quán)重累加獲得。如果攻擊性測試強(qiáng)度綜合評價(jià)參數(shù)用y表示，則y的評價(jià)值為：

式（1）中，xi——攻擊性測試強(qiáng)度依賴的核心參數(shù)；

wi——參數(shù)xi分配的權(quán)重。

對于wi有：

wi可根據(jù)針對特定類型軟件實(shí)施攻擊性測試時(shí)核心參數(shù)產(chǎn)生的不同貢獻(xiàn)確定。

b）攻擊性測試強(qiáng)度綜合評價(jià)等級劃分

根據(jù)攻擊性測試強(qiáng)度綜合評價(jià)值，將攻擊性測試強(qiáng)度綜合評價(jià)為高、中、低3個(gè)等級，如表6所示。

表6 攻擊性測試強(qiáng)度評估參照表

3 結(jié)束語

課題組基于提出的基于攻擊強(qiáng)度評級的規(guī)格化攻擊測試方案對所實(shí)施的攻擊性測試進(jìn)行強(qiáng)度管理，驗(yàn)證了方案的可行性和合理性。隨著圍繞人工智能系統(tǒng)的新型攻擊不斷出現(xiàn)，以及自動(dòng)化工具的推出，將對參數(shù)評估準(zhǔn)則進(jìn)行不斷的完善，以適應(yīng)對測試強(qiáng)度科學(xué)控制和量化管理的需要。

人工智能醫(yī)學(xué)軟件攻擊性測試規(guī)格化假定測試團(tuán)隊(duì)的專業(yè)技能能夠滿足各級別不同測試強(qiáng)度的要求。在實(shí)際測試中，應(yīng)保證測試團(tuán)隊(duì)的專業(yè)技能與測試強(qiáng)度相匹配，包括：掌握攻擊性測試知識，熟練運(yùn)用和研發(fā)專業(yè)工具，了解被測對象底層算法、協(xié)議、框架、密碼學(xué)、安全行為和安全機(jī)制，以及團(tuán)隊(duì)測試技巧和經(jīng)驗(yàn)等。