吳翼騰，劉偉，于洪濤

（信息工程大學(xué)，河南 鄭州 450002）

1 引言

對(duì)抗攻擊指有目的地對(duì)輸入數(shù)據(jù)施加微小擾動(dòng)，以使學(xué)習(xí)模型輸出錯(cuò)誤的預(yù)測(cè)結(jié)果[1]。本文認(rèn)為與對(duì)抗攻擊直接關(guān)聯(lián)的研究可上溯至20 世紀(jì)70 年代的統(tǒng)計(jì)診斷[2]。統(tǒng)計(jì)診斷最早研究了學(xué)習(xí)模型的微小擾動(dòng)對(duì)統(tǒng)計(jì)推斷帶來的影響。近年來，隨著深度學(xué)習(xí)的發(fā)展，其應(yīng)用安全受到廣泛關(guān)注。Szegedy等[3]研究圖像數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡(luò)（CNN,convolutional neural network）安全問題時(shí)提出了“對(duì)抗樣本”概念[4]。Zügner 等[5]提出處理圖數(shù)據(jù)的深度學(xué)習(xí)模型圖神經(jīng)網(wǎng)絡(luò)（GNN,graph neural network）的對(duì)抗攻擊。

圖神經(jīng)網(wǎng)絡(luò)對(duì)抗攻擊研究正處于快速發(fā)展階段，相關(guān)研究成果活躍于國際學(xué)術(shù)會(huì)議[6-8]。分析最新研究成果發(fā)現(xiàn)，當(dāng)前研究存在擾動(dòng)類型不足、前提假設(shè)單一等問題?，F(xiàn)有研究的擾動(dòng)類型通常僅考慮增刪節(jié)點(diǎn)和連邊；攻擊假設(shè)通常僅基于矛盾數(shù)據(jù)假設(shè)，具體說明如下。

1) 擾動(dòng)類型不足?，F(xiàn)有圖神經(jīng)網(wǎng)絡(luò)對(duì)抗攻擊的擾動(dòng)類型[9-10]主要是特征擾動(dòng)、增刪連邊和節(jié)點(diǎn)注入[5,11-13]，沒有考慮將訓(xùn)練數(shù)據(jù)中的特定樣本標(biāo)簽翻轉(zhuǎn)為其他類別導(dǎo)致模型預(yù)測(cè)錯(cuò)誤的標(biāo)簽翻轉(zhuǎn)攻擊。標(biāo)簽翻轉(zhuǎn)攻擊已被其他數(shù)據(jù)類型的對(duì)抗攻擊場景廣泛研究。例如，統(tǒng)計(jì)診斷[2,14]的經(jīng)典模型均值漂移模型和局部影響分析模型[15-17]都詳細(xì)研究了因變量擾動(dòng)對(duì)模型統(tǒng)計(jì)推斷的影響，是標(biāo)簽翻轉(zhuǎn)攻擊的最初形式。張宏坡等[18]提出了一種基于熵值法的標(biāo)簽翻轉(zhuǎn)攻擊方法，來評(píng)估樸素貝葉斯分類器對(duì)標(biāo)簽噪聲的穩(wěn)健性。Mu?oz-González 等[19]實(shí)現(xiàn)了針對(duì)深度神經(jīng)網(wǎng)絡(luò)的標(biāo)簽翻轉(zhuǎn)數(shù)據(jù)投毒攻擊。文獻(xiàn)[20]針對(duì)基于圖的半監(jiān)督學(xué)習(xí)模型（區(qū)別于圖神經(jīng)網(wǎng)絡(luò)）建立了統(tǒng)一的標(biāo)簽翻轉(zhuǎn)攻擊架構(gòu)。然而，針對(duì)圖神經(jīng)網(wǎng)絡(luò)的對(duì)抗攻擊還未見標(biāo)簽翻轉(zhuǎn)攻擊這種擾動(dòng)類型。

2) 前提假設(shè)單一?，F(xiàn)有圖神經(jīng)網(wǎng)絡(luò)對(duì)抗攻擊通常僅基于矛盾數(shù)據(jù)假設(shè)建立攻擊模型，而未考慮攻擊前后模型訓(xùn)練參數(shù)的顯著差異以及測(cè)試數(shù)據(jù)和訓(xùn)練數(shù)據(jù)分布的一致性。本文基于以下3 種攻擊假設(shè)展開研究。①文獻(xiàn)[5,8-9,13,21]將投毒攻擊建模為尋求擾動(dòng)方法，在訓(xùn)練集上構(gòu)建一組存在矛盾的訓(xùn)練數(shù)據(jù)，使重訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)在訓(xùn)練集上的損失最大，以降低測(cè)試數(shù)據(jù)預(yù)測(cè)準(zhǔn)確率。本文將現(xiàn)有攻擊方法概括為基于矛盾數(shù)據(jù)假設(shè)的攻擊方法。②矛盾數(shù)據(jù)假設(shè)不能很好地對(duì)過擬合攻擊場景建模。本文受統(tǒng)計(jì)診斷[2,14,22]研究工作的啟發(fā)，引入?yún)?shù)差異假設(shè)，即“有效攻擊前后圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)應(yīng)該具有較大差異”的假設(shè)建立攻擊模型。③對(duì)抗攻擊方法忽視了機(jī)器學(xué)習(xí)最基本最常見的前提假設(shè)——同分布假設(shè)，即“隨機(jī)劃分的訓(xùn)練集和測(cè)試集應(yīng)該具有相同分布”的假設(shè)。

本文基于3 種攻擊假設(shè)分別建立圖神經(jīng)網(wǎng)絡(luò)的標(biāo)簽翻轉(zhuǎn)攻擊模型，以期在不同數(shù)據(jù)分布條件下分析圖神經(jīng)網(wǎng)絡(luò)對(duì)標(biāo)簽噪聲的敏感性和潛在安全漏洞。圖神經(jīng)網(wǎng)絡(luò)應(yīng)用廣泛，它不僅應(yīng)用于節(jié)點(diǎn)分類、圖分類、鏈路預(yù)測(cè)等復(fù)雜網(wǎng)絡(luò)任務(wù)，也可應(yīng)用于文本分類、關(guān)系抽取等自然語言處理任務(wù)，還可應(yīng)用于圖像分類、目標(biāo)檢測(cè)等計(jì)算機(jī)視覺任務(wù)。在上述應(yīng)用中，圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)通常需要人工收集和標(biāo)記，實(shí)際應(yīng)用中多采用眾包技術(shù)收集和標(biāo)記數(shù)據(jù)。該收集和標(biāo)記方式成本低廉且方便快捷；但無法充分保證標(biāo)簽質(zhì)量，進(jìn)而導(dǎo)致數(shù)據(jù)中存在不可避免的標(biāo)簽噪聲，影響圖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程[18]，更無法避免精心設(shè)計(jì)的投毒數(shù)據(jù)。鑒于此，圖神經(jīng)網(wǎng)絡(luò)標(biāo)簽翻轉(zhuǎn)攻擊的研究意義是從攻擊者的角度研究標(biāo)簽翻轉(zhuǎn)攻擊，可以預(yù)知圖神經(jīng)網(wǎng)絡(luò)在各項(xiàng)任務(wù)中的安全威脅，評(píng)估圖神經(jīng)網(wǎng)絡(luò)對(duì)標(biāo)簽噪聲的敏感性，為標(biāo)簽噪聲的檢出和過濾、設(shè)計(jì)穩(wěn)健的圖神經(jīng)網(wǎng)絡(luò)提供理論基礎(chǔ)。本文主要工作如下。

1) 針對(duì)圖神經(jīng)網(wǎng)絡(luò)對(duì)抗攻擊擾動(dòng)類型不足的問題，提出評(píng)估圖神經(jīng)網(wǎng)絡(luò)對(duì)標(biāo)簽噪聲穩(wěn)健性的標(biāo)簽翻轉(zhuǎn)對(duì)抗攻擊方法。

2) 針對(duì)圖神經(jīng)網(wǎng)絡(luò)對(duì)抗攻擊前提假設(shè)單一的問題，首先基于經(jīng)典的矛盾數(shù)據(jù)假設(shè)建立標(biāo)簽翻轉(zhuǎn)攻擊模型；然后引入?yún)?shù)差異假設(shè)和同分布假設(shè)，建立標(biāo)簽翻轉(zhuǎn)攻擊模型。

3) 理論分析證明了在一定條件下，基于同分布假設(shè)模型的攻擊梯度與基于參數(shù)差異假設(shè)模型的攻擊梯度相同，從而建立了2 種攻擊方法的等價(jià)關(guān)系，進(jìn)一步增強(qiáng)了模型攻擊機(jī)理的可解釋性。

4) 實(shí)驗(yàn)對(duì)比分析了3 種基本假設(shè)對(duì)應(yīng)的損失度量在標(biāo)簽翻轉(zhuǎn)攻擊中的優(yōu)勢(shì)和不足；大量實(shí)驗(yàn)驗(yàn)證了標(biāo)簽翻轉(zhuǎn)攻擊模型的有效性。

2 基本概念

圖表示為G(V,E)，其中，V為節(jié)點(diǎn)集合，E為連邊集合。設(shè)節(jié)點(diǎn)數(shù)|V|=N，則無權(quán)無向圖可用對(duì)稱的鄰接矩陣A={0,1}N×N表示，AT=A。圖中每個(gè)節(jié)點(diǎn)有n維特征向量，節(jié)點(diǎn)特征用矩陣X={0,1}N×n表示。文獻(xiàn)[23-25]將圖神經(jīng)網(wǎng)絡(luò)簡化為SGC（simple graph convolution），它具有低通濾波器的作用。本文以SGC 為攻擊和研究對(duì)象。SGC 模型的表達(dá)式為

其中，Yout為SGC 模型輸出，A為濾波矩陣，X為輸入特征向量，W為參數(shù)矩陣。在文獻(xiàn)[25]中，A的形式通常為

其中，I為單位矩陣，1表示元素全為1 的列向量。設(shè)Z=XA，記softmax(·)為σ(·)，Y表示one-hot編碼的標(biāo)簽矩陣。使用交叉熵?fù)p失函數(shù)，并將其表達(dá)為矩陣形式為

本文研究非指定目標(biāo)、標(biāo)簽翻轉(zhuǎn)的數(shù)據(jù)投毒攻擊。非指定目標(biāo)攻擊不指定具體的一個(gè)或幾個(gè)攻擊目標(biāo)，需要使測(cè)試集整體的預(yù)測(cè)準(zhǔn)確率下降；標(biāo)簽翻轉(zhuǎn)攻擊允許將特定的訓(xùn)練樣本標(biāo)簽翻轉(zhuǎn)為其他類別；投毒攻擊允許圖神經(jīng)網(wǎng)絡(luò)對(duì)投毒的訓(xùn)練數(shù)據(jù)重新訓(xùn)練，使重訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)在測(cè)試集的預(yù)測(cè)準(zhǔn)確率下降。

3 標(biāo)簽翻轉(zhuǎn)對(duì)抗攻擊模型

3.1 基于矛盾數(shù)據(jù)假設(shè)的攻擊模型

文獻(xiàn)[5,8-9,13,21]建立了連邊擾動(dòng)的圖神經(jīng)網(wǎng)絡(luò)投毒攻擊模型。按上述文獻(xiàn)定義，攻擊方法可以統(tǒng)一概括為以下約束優(yōu)化問題

其中，A為原始鄰接矩陣，為擾動(dòng)后的鄰接矩陣，為矩陣中非0 元素的個(gè)數(shù)，δ為擾動(dòng)開銷，W*為擾動(dòng)后得到的訓(xùn)練參數(shù)。投毒攻擊允許對(duì)參數(shù)重新訓(xùn)練，是雙層優(yōu)化問題。

從上述投毒攻擊的統(tǒng)一形式化表述中可以看出，現(xiàn)有攻擊方法都是構(gòu)造擾動(dòng)后的樣本數(shù)據(jù)，使圖神經(jīng)網(wǎng)絡(luò)在擾動(dòng)后數(shù)據(jù)集上損失函數(shù)達(dá)到最大，即圖神經(jīng)網(wǎng)絡(luò)不能很好地?cái)M合擾動(dòng)后的訓(xùn)練集，擾動(dòng)后的訓(xùn)練集中存在矛盾的訓(xùn)練數(shù)據(jù)。根據(jù)上述分析，現(xiàn)有方法可概括為基于“有效攻擊的訓(xùn)練集中存在矛盾的訓(xùn)練數(shù)據(jù)”假設(shè)（簡稱矛盾數(shù)據(jù)假設(shè)）的攻擊方法。

基于矛盾數(shù)據(jù)假設(shè)，圖神經(jīng)網(wǎng)絡(luò)的標(biāo)簽翻轉(zhuǎn)攻擊模型可以表述為以下約束優(yōu)化問題

3.2 基于參數(shù)差異假設(shè)的攻擊模型

受統(tǒng)計(jì)診斷學(xué)科啟發(fā)，基于“有效攻擊前后圖神經(jīng)網(wǎng)絡(luò)模型參數(shù)應(yīng)該具有較大差異”的假設(shè)（簡稱參數(shù)差異假設(shè)），本文建立圖神經(jīng)網(wǎng)絡(luò)的標(biāo)簽翻轉(zhuǎn)投毒攻擊模型，可表示為如下約束優(yōu)化問題

為衡量參數(shù)差異，從統(tǒng)計(jì)診斷經(jīng)典文獻(xiàn)[2,14-17,22,26]中引入Cook 距離作為度量攻擊前后的參數(shù)差異。

定義1Cook 距離。參數(shù)矩陣*W與W0的Cook距離CD 定義為

其中，vec(·)表示矩陣按列優(yōu)先拉直為列向量。

圖神經(jīng)網(wǎng)絡(luò)通過優(yōu)化求解算法求得使損失函數(shù)L 達(dá)到最小值的參數(shù)矩陣W0，即W0滿足?WL(W0)=0。實(shí)用中?WL(W0)≈0。對(duì)?WL(W)在W*處進(jìn)行一階泰勒展開并取W=W0得

基于以上分析，衡量參數(shù)差異的Cook 距離可近似表示為

容易求得

其中，I是與同型的單位陣。此時(shí)可逆?；诖耍拚蟮腃ook 距離～CD 表示為

攻擊模型可以表示為

基于參數(shù)差異假設(shè)的攻擊模型同樣分為投毒攻擊和對(duì)抗訓(xùn)練2 個(gè)階段。在式(17)所示的投毒攻擊階段，使用修正后的Cook 距離作為損失函數(shù)；在式(18)所示的對(duì)抗訓(xùn)練階段，訓(xùn)練數(shù)據(jù)為擾動(dòng)后的訓(xùn)練數(shù)據(jù)，因此與基于矛盾數(shù)據(jù)假設(shè)的損失函數(shù)相同。

3.3 基于同分布假設(shè)的攻擊模型

圖神經(jīng)網(wǎng)絡(luò)對(duì)抗攻擊問題忽略了一種機(jī)器學(xué)習(xí)最基本、最常見的前提假設(shè)，即同分布假設(shè)。無論圖神經(jīng)網(wǎng)絡(luò)還是其他深度學(xué)習(xí)或機(jī)器學(xué)習(xí)方法，通常首先基于同分布假設(shè)展開研究，即認(rèn)為訓(xùn)練集的數(shù)據(jù)分布與測(cè)試集一致，因此這些方法可以在訓(xùn)練集中學(xué)習(xí)數(shù)據(jù)模式，并有效地遷移至測(cè)試集。分析實(shí)際攻擊場景，投毒攻擊的目的是通過污染訓(xùn)練數(shù)據(jù)，使其訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)在未污染的測(cè)試集上的錯(cuò)誤率（損失函數(shù)）達(dá)到最大。若考慮訓(xùn)練測(cè)試集的同分布假設(shè)，相應(yīng)的攻擊模型應(yīng)該改為通過污染訓(xùn)練數(shù)據(jù)，使其訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)在未污染的訓(xùn)練集上的錯(cuò)誤率（損失函數(shù)）達(dá)到最大。

根據(jù)以上分析，基于“隨機(jī)劃分的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)對(duì)于圖神經(jīng)網(wǎng)絡(luò)模型應(yīng)該具有同分布性質(zhì)”的假設(shè)（簡稱同分布假設(shè)），建立標(biāo)簽翻轉(zhuǎn)投毒攻擊模型，可表示為如下約束優(yōu)化問題

根據(jù)3.1 節(jié)和3.2 節(jié)分析，無論何種攻擊模型，在對(duì)抗訓(xùn)練階段均采用擾動(dòng)后的訓(xùn)練數(shù)據(jù)，因此式(20)與式(7)、式(18)相同?；谕植技僭O(shè)的攻擊模型在投毒攻擊階段，使用式(3)的交叉熵作為損失函數(shù)。從形式上，基于同分布假設(shè)的攻擊模型與基于矛盾數(shù)據(jù)假設(shè)的攻擊模型的差異僅體現(xiàn)在損失函數(shù)式(6)和式(19)中，式(6)使用擾動(dòng)后的標(biāo)簽矩陣，式(19)使用未擾動(dòng)的標(biāo)簽矩陣。但二者的建模思想是不同的。本文3.4 節(jié)將證明，在某些較弱的條件下，基于同分布假設(shè)的攻擊模型與基于參數(shù)差異假設(shè)的攻擊模型等價(jià)。

3.4 攻擊梯度及其等價(jià)定理

本節(jié)介紹上述攻擊模型的符號(hào)記法，主要涉及L、LC、之間的區(qū)別。L 由式(3)定義，L 代入的標(biāo)簽矩陣Y為未擾動(dòng)的標(biāo)簽矩陣；LC由式陣；由式(14)定義，為帶有正則項(xiàng)的L。Cook距(6)定義，LC代入的標(biāo)簽矩陣為擾動(dòng)后的標(biāo)簽矩離CD 由式(13)定義；由式(16)定義，表示由～L定義的Cook 距離CD。

設(shè)圖神經(jīng)網(wǎng)絡(luò)(1)采用梯度下降法訓(xùn)練

經(jīng)過t=t0輪訓(xùn)練，可得模型的訓(xùn)練參數(shù)。具體地，可求得損失函數(shù)對(duì)參數(shù)的梯度為

代入式(21)，有

對(duì)于離散的標(biāo)簽矩陣Y，優(yōu)化問題式(6)、式(17)、式(19)屬于NP 難問題?，F(xiàn)有文獻(xiàn)主要依據(jù)攻擊梯度實(shí)施擾動(dòng)。攻擊梯度是實(shí)現(xiàn)有效攻擊的主要依據(jù)。

從攻擊梯度的角度，定理1 給出了參數(shù)差異假設(shè)與同分布假設(shè)的等價(jià)性。

定理1設(shè)

證畢。

定理1 表明，衡量參數(shù)差異的Cook 距離的攻擊梯度與基于同分布假設(shè)攻擊模型的攻擊梯度相同，因此從攻擊梯度的意義上，上述2 個(gè)模型等價(jià)。從而說明基于同分布假設(shè)的攻擊方法的物理意義也是誘導(dǎo)圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練出一組異于原始參數(shù)的訓(xùn)練參數(shù)。

直接從基于同分布假設(shè)的損失函數(shù)出發(fā)，也可定性分析得出相同的結(jié)論：攻擊后式(19)的損失函數(shù)L 增大，但攻擊前后損失函數(shù)中Y、A、X保持不變，僅參數(shù)*W發(fā)生改變，表明攻擊前后圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練參數(shù)具有較大差異。該結(jié)論解釋了文獻(xiàn)[13]中提及但未從理論上證明的實(shí)驗(yàn)現(xiàn)象。

矛盾數(shù)據(jù)假設(shè)為

參數(shù)差異假設(shè)為

同分布假設(shè)為

3.5 攻擊算法

根據(jù)上述分析，以及式(31)～式(33)求得的攻擊梯度，采用貪心算法實(shí)施擾動(dòng)，可設(shè)計(jì)圖神經(jīng)網(wǎng)絡(luò)的標(biāo)簽翻轉(zhuǎn)對(duì)抗攻擊算法如算法1 所示。

算法1標(biāo)簽翻轉(zhuǎn)對(duì)抗攻擊算法

輸入鄰接矩陣A，特征矩陣X，標(biāo)簽Y，攻擊點(diǎn)數(shù)n

輸出擾動(dòng)列表disturb_list

4 實(shí)驗(yàn)

4.1 對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)采用型號(hào)為TITAN Xp 的GPU 顯卡，運(yùn)行環(huán)境為ubuntu 16.04 系統(tǒng)、cuda10.0、Python3.6 以及Pytorch1.4。實(shí)驗(yàn)采用的數(shù)據(jù)集為Polblogs[29]、Cora_ml、Cora[30]、Citeseer[31]，數(shù)據(jù)集的統(tǒng)計(jì)特性如表1 所示。由于現(xiàn)有研究尚未考慮標(biāo)簽翻轉(zhuǎn)攻擊，將所提3 種標(biāo)簽翻轉(zhuǎn)攻擊方法與隨機(jī)翻轉(zhuǎn)標(biāo)簽攻擊方法Random 以及2 種經(jīng)典的連邊擾動(dòng)投毒攻擊方法Mettack[13]和Min-max[32]進(jìn)行對(duì)比實(shí)驗(yàn)。Mettack采用approximating meta-gradients[13]。Min-max 的攻擊方式設(shè)置為negative cross-entropy[32]。本文提出的標(biāo)簽翻轉(zhuǎn)攻擊方法參數(shù)設(shè)置與Mettack 保持一致。具體地，對(duì)于數(shù)據(jù)集Polblogs、Cora_ml，圖神經(jīng)網(wǎng)絡(luò)SGC 正向訓(xùn)練的學(xué)習(xí)率取α=0.1；對(duì)于數(shù)據(jù)集Cora、Citeseer，學(xué)習(xí)率取α=0.01。式(2)中SGC 模型冪指數(shù)為k=1 和k=2。Mettack 和Min-max 攻擊方法允許對(duì)訓(xùn)練集中連邊總數(shù)的5%進(jìn)行攻擊，并控制擾動(dòng)后的節(jié)點(diǎn)度不超過原始網(wǎng)絡(luò)中節(jié)點(diǎn)度的最大值；標(biāo)簽翻轉(zhuǎn)攻擊方法Random、LC、L 允許對(duì)訓(xùn)練數(shù)據(jù)中5%的標(biāo)簽翻轉(zhuǎn)至其他類別?；趨?shù)差異假設(shè)的標(biāo)簽翻轉(zhuǎn)攻擊模型正則項(xiàng)λ=0.001。實(shí)驗(yàn)劃分?jǐn)?shù)據(jù)集中40%為訓(xùn)練集，60%為測(cè)試集，數(shù)據(jù)集隨機(jī)劃分20 次，記錄20 次SGC初始準(zhǔn)確率平均值和攻擊后準(zhǔn)確率平均值，實(shí)驗(yàn)結(jié)果如表2 所示。表2 中準(zhǔn)確率的最小值用黑體標(biāo)出。

表1 數(shù)據(jù)集統(tǒng)計(jì)特性

表2 準(zhǔn)確率

綜合分析以上數(shù)據(jù)，可以得出如下結(jié)論。

1) 考慮標(biāo)簽翻轉(zhuǎn)攻擊類型，可以實(shí)現(xiàn)有效的投毒攻擊。在相同擾動(dòng)比例比較基準(zhǔn)下，基于3 種假設(shè)的標(biāo)簽翻轉(zhuǎn)攻擊效果優(yōu)于基于 Mettack 和Min-max 方法的連邊擾動(dòng)攻擊效果。實(shí)驗(yàn)結(jié)果證明了標(biāo)簽翻轉(zhuǎn)這一新的攻擊類型的有效性。

2) 對(duì)于標(biāo)簽翻轉(zhuǎn)攻擊，隨機(jī)翻轉(zhuǎn)標(biāo)簽幾乎無法實(shí)施有效攻擊。對(duì)于5%的擾動(dòng)，圖神經(jīng)網(wǎng)絡(luò)SGC的預(yù)測(cè)準(zhǔn)確率沒有明顯下降，表明通過式(5)重訓(xùn)練，圖神經(jīng)網(wǎng)絡(luò)可以抵抗隨機(jī)攻擊。而針對(duì)本文所提的投毒加擾方式，SGC 的預(yù)測(cè)準(zhǔn)確率下降明顯。這種惡意注入的標(biāo)簽噪聲可能在數(shù)據(jù)標(biāo)記階段產(chǎn)生，圖神經(jīng)網(wǎng)絡(luò)在實(shí)用中存在潛在威脅。該標(biāo)簽噪聲同時(shí)具有不易察覺性，將在4.2 節(jié)分析。

3) 對(duì)于本文提出的3 種標(biāo)簽翻轉(zhuǎn)攻擊方法，本文條件下的實(shí)驗(yàn)結(jié)果表明，基于參數(shù)差異假設(shè)和同分布假設(shè)的標(biāo)簽翻轉(zhuǎn)攻擊模型的攻擊效果優(yōu)于基于矛盾數(shù)據(jù)假設(shè)的攻擊效果?；趨?shù)差異假設(shè)的攻擊效果幾乎與基于同分布假設(shè)的攻擊效果相同，與等價(jià)性定理得出的理論結(jié)果一致。

表2 列出了5%的擾動(dòng)各攻擊方法的攻擊結(jié)果。為進(jìn)一步比較不同方法的攻擊效果，說明擾動(dòng)量對(duì)攻擊效果的影響，其他實(shí)驗(yàn)條件不變，采用1%～10%的擾動(dòng)并記錄準(zhǔn)確率下降的平均值。選取標(biāo)簽翻轉(zhuǎn)攻擊方法Random、LC與L（的實(shí)驗(yàn)結(jié)果與L 類似），實(shí)驗(yàn)結(jié)果如圖1 所示。

圖1 不同擾動(dòng)量的攻擊效果對(duì)比

總體而言，基于矛盾數(shù)據(jù)假設(shè)和同分布假設(shè)的攻擊方法相比于隨機(jī)翻轉(zhuǎn)標(biāo)簽攻擊有更明顯的攻擊效果。隨機(jī)翻轉(zhuǎn)標(biāo)簽攻擊無法抵抗圖神經(jīng)網(wǎng)絡(luò)重訓(xùn)練。無論k=1 和k=2，基于同分布假設(shè)的攻擊效果均優(yōu)于基于矛盾數(shù)據(jù)假設(shè)的攻擊效果，具體原因?qū)⒃?.3 節(jié)詳細(xì)分析。實(shí)驗(yàn)結(jié)果說明了本文所提出的基于不同假設(shè)的標(biāo)簽翻轉(zhuǎn)攻擊模型的有效性和攻擊假設(shè)的合理性。

4.2 擾動(dòng)的難以分辨性分析

本節(jié)從圖結(jié)構(gòu)統(tǒng)計(jì)特征[33]和標(biāo)簽類別分布兩方面分析標(biāo)簽翻轉(zhuǎn)攻擊的難以分辨性。

1) 圖結(jié)構(gòu)統(tǒng)計(jì)特征。標(biāo)簽翻轉(zhuǎn)攻擊不對(duì)圖結(jié)構(gòu)實(shí)施擾動(dòng)，圖結(jié)構(gòu)的各項(xiàng)統(tǒng)計(jì)特征例如度分布、節(jié)點(diǎn)特征相似度、模體等局部結(jié)構(gòu)特征均保持不變。

2) 標(biāo)簽類別分布。圖2 繪制了Cora_ml 數(shù)據(jù)集k=1時(shí)原始標(biāo)簽分布和4種標(biāo)簽翻轉(zhuǎn)攻擊方法擾動(dòng)后的標(biāo)簽分布（圖2 隨機(jī)選取20 次實(shí)驗(yàn)中的某次實(shí)驗(yàn)結(jié)果作為示例）。其他數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果與之類似，實(shí)驗(yàn)結(jié)論相同。

圖2 標(biāo)簽類別分布對(duì)比

觀察標(biāo)簽類別分布可知，擾動(dòng)后各類別標(biāo)簽分布與原始標(biāo)簽分布差異不大。若實(shí)際場景中需嚴(yán)格保持標(biāo)簽類別分布不變，只需對(duì)攻擊算法中的擾動(dòng)篩選策略稍作調(diào)整。例如，不僅依據(jù)攻擊梯度大小次序篩選擾動(dòng)元素，而且限定后一輪攻擊翻轉(zhuǎn)至前一輪的原始標(biāo)簽類別。如此迭代，可保持標(biāo)簽類別分布不變?；蛘?，基于前文實(shí)驗(yàn)證明的隨機(jī)翻轉(zhuǎn)標(biāo)簽無法實(shí)施有效攻擊的結(jié)論，為保持標(biāo)簽類別分布不變，投毒攻擊后再采用隨機(jī)擾動(dòng)平衡標(biāo)簽分布（簡稱隨機(jī)平衡策略）?；陔S機(jī)平衡策略，得到Cora_ml 數(shù)據(jù)集k=1 時(shí)基于矛盾數(shù)據(jù)假設(shè)LC和同分布假設(shè)L 的實(shí)驗(yàn)結(jié)果如圖3 所示（的實(shí)驗(yàn)結(jié)果與L 類似）。圖3 中同時(shí)對(duì)比了4.1 節(jié)不使用該策略的實(shí)驗(yàn)結(jié)果?？梢钥闯觯尤腚S機(jī)平衡策略的攻擊結(jié)果仍然具有可用性，與原攻擊效果差異不明顯。

圖3 加入隨機(jī)平衡策略實(shí)驗(yàn)結(jié)果對(duì)比

4.3 模型的比較分析

本節(jié)詳細(xì)分析矛盾數(shù)據(jù)假設(shè)、參數(shù)差異假設(shè)與同分布假設(shè)及相應(yīng)損失函數(shù)的合理性，并與隨機(jī)翻轉(zhuǎn)標(biāo)簽進(jìn)行對(duì)比分析。實(shí)驗(yàn)記錄各方法在擾動(dòng)量為1%～10%下的訓(xùn)練準(zhǔn)確率和測(cè)試準(zhǔn)確率；對(duì)每種攻擊方法（包括隨機(jī)攻擊Random）均同時(shí)計(jì)算3 種損失函數(shù)值，即 LCL（隨機(jī)攻擊方法沒有專門的損失函數(shù)，只計(jì)算隨機(jī)擾動(dòng)后其他3 種損失函數(shù)值）。實(shí)驗(yàn)設(shè)置與4.1 節(jié)相同，所有數(shù)值均為20 次實(shí)驗(yàn)的平均值。選取數(shù)據(jù)集Cora_ml 的實(shí)驗(yàn)結(jié)果如表3 和表4 所示。其他數(shù)據(jù)集和不同參數(shù)下的實(shí)驗(yàn)結(jié)果與所列結(jié)果相似。綜合分析表3 和表4 的數(shù)據(jù)，可得出以下結(jié)論。

表3 k=1 時(shí)數(shù)據(jù)集Cora_ml 基于不同假設(shè)的比較分析

表4 k=2 時(shí)數(shù)據(jù)集Cora_ml 基于不同假設(shè)的比較分析

1) 基于3 種假設(shè)建模的損失函數(shù)具有有效性。對(duì)于未受擾動(dòng)的原始數(shù)據(jù)，4 種攻擊方法對(duì)應(yīng)的基于矛盾數(shù)據(jù)假設(shè)的初始損失函數(shù)值和基于同分布假設(shè)的初始損失函數(shù)值L1、L2、L3、L4相同，當(dāng)k=1 時(shí)，約為77.85；當(dāng)k=2 時(shí)，約為158.60。由于未對(duì)數(shù)據(jù)進(jìn)行投毒擾動(dòng)，標(biāo)簽矩陣Y與相同，且初始參數(shù)*W相同，因此損失函數(shù)值相同?；趨?shù)差異假設(shè)的初始損失函數(shù)，當(dāng)k=1 時(shí)，約為102.78；當(dāng)k=2時(shí)，約為181.85。因?yàn)榛趨?shù)差異假設(shè)的損失函數(shù)與其他二者相比添加了正則項(xiàng)，導(dǎo)致?lián)p失函數(shù)的初值不同?；? 種假設(shè)的標(biāo)簽翻轉(zhuǎn)攻擊方法均表現(xiàn)出隨著擾動(dòng)量的增加，訓(xùn)練測(cè)試準(zhǔn)確率遞減、損失函數(shù)遞增的趨勢(shì)，證明了基于3 種假設(shè)建立損失函數(shù)的有效性。而對(duì)于隨機(jī)翻轉(zhuǎn)標(biāo)簽攻擊方法，隨著擾動(dòng)量增加，損失函數(shù)雖有上升趨勢(shì)，但上升并不明顯，盡管擾動(dòng)量達(dá)到10%，依據(jù)參數(shù)差異或同分布損失L 來衡量，損失函數(shù)值也達(dá)不到基于3 種假設(shè)攻擊方法3%的擾動(dòng)損失，而擾動(dòng)后的準(zhǔn)確率大致處于基于3 種假設(shè)攻擊方法1%擾動(dòng)量的攻擊效果，隨機(jī)翻轉(zhuǎn)標(biāo)簽的攻擊效果不理想。

5 結(jié)束語

標(biāo)簽翻轉(zhuǎn)對(duì)抗攻擊在統(tǒng)計(jì)診斷、垃圾郵件檢測(cè)、圖像中的對(duì)抗樣本以及基于圖的半監(jiān)督學(xué)習(xí)等領(lǐng)域得到了廣泛研究。本文針對(duì)圖神經(jīng)網(wǎng)絡(luò)對(duì)抗攻擊擾動(dòng)類型不足的問題，提出并實(shí)現(xiàn)了圖神經(jīng)網(wǎng)絡(luò)的標(biāo)簽翻轉(zhuǎn)對(duì)抗攻擊。首先，提煉出對(duì)抗攻擊有效性機(jī)理的矛盾數(shù)據(jù)假設(shè)、參數(shù)差異假設(shè)和同分布假設(shè)。然后，基于3 種假設(shè)建立攻擊模型并實(shí)驗(yàn)驗(yàn)證。有效攻擊的核心是基于攻擊假設(shè)建立攻擊模型進(jìn)而求解攻擊梯度。攻擊梯度是實(shí)施有效攻擊的主要依據(jù)。為保持標(biāo)簽擾動(dòng)的不易察覺性，可增加限制條件保持標(biāo)簽分布不變，這容易通過修改擾動(dòng)篩選策略來實(shí)現(xiàn)。本文得出以下結(jié)論：1) 對(duì)于處理圖數(shù)據(jù)的深度學(xué)習(xí)模型圖神經(jīng)網(wǎng)絡(luò)，標(biāo)簽翻轉(zhuǎn)對(duì)抗攻擊具有有效性；2) 采用基于梯度的攻擊方法，參數(shù)差異假設(shè)與同分布假設(shè)建立的攻擊模型等價(jià)；3) 本文場景中基于參數(shù)差異假設(shè)和同分布假設(shè)的標(biāo)簽翻轉(zhuǎn)攻擊方法優(yōu)于基于矛盾數(shù)據(jù)假設(shè)的攻擊方法。

由于實(shí)際場景中某一樣本難以界定唯一的歸屬類別，或樣本本身存在錯(cuò)誤標(biāo)注，這可能大幅降低圖神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)能力，因此標(biāo)簽翻轉(zhuǎn)對(duì)抗攻擊研究為圖神經(jīng)網(wǎng)絡(luò)的模型診斷和穩(wěn)健的圖神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)提供了必要前提。后續(xù)研究工作可基于標(biāo)簽翻轉(zhuǎn)攻擊原理，對(duì)圖數(shù)據(jù)中的異常點(diǎn)、強(qiáng)影響點(diǎn)、離群點(diǎn)等進(jìn)行檢測(cè)和模型診斷，從而改善數(shù)據(jù)質(zhì)量；并設(shè)計(jì)圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，建立能夠防御對(duì)抗攻擊干擾的穩(wěn)健圖神經(jīng)網(wǎng)絡(luò)。