弓 燕，張曉琳*，劉月峰，劉立新，2，徐 立

(1.內(nèi)蒙古科技大學(xué)信息工程學(xué)院，內(nèi)蒙古 包頭 014010；2.中國人民大學(xué)信息學(xué)院，北京 100872；3.包頭醫(yī)學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系，內(nèi)蒙古 包頭 014010)

深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用為人工智能領(lǐng)域取得了突破性的進(jìn)展，如圖像分類[1]、語音識別[2]、自然語言處理[3]等。但是，由于神經(jīng)網(wǎng)絡(luò)自身存在局部線性等特點(diǎn)，使其極易受到安全性威脅。Szegedy 等[4]首次提出在圖像分類任務(wù)中對圖像添加難以察覺的擾動(dòng)可誘導(dǎo)模型錯(cuò)誤分類。此后，針對計(jì)算機(jī)視覺領(lǐng)域?qū)箻颖旧煞椒ǖ难芯肯嗬^展開，例如經(jīng)典的對抗樣本生成算法有基于快速梯度投影方法(Fast Gradient Sign Method，F(xiàn)GSM)[5]，投影梯度下降算法(Project Gradient Descent，PGD)[6]，基于雅可比矩陣的顯著性圖攻擊(Jacobian-based Saliency Map Attack，JSMA)[7]等。

自然語言處理包括情感分析[8]、文本分類[9]、機(jī)器翻譯[10]以及問答系統(tǒng)[11]等任務(wù)，同樣也存在著安全性問題。與圖像不同的是，文本具有離散性，用梯度方法為輸入數(shù)據(jù)添加擾動(dòng)易察覺，而且會造成語法錯(cuò)誤、語義不連貫等問題，使用的距離度量方式也不一致。因此，在圖像領(lǐng)域中對抗樣本的生成方法難以直接應(yīng)用于文本。目前，文本對抗樣本的生成方法面臨著三個(gè)挑戰(zhàn)。第一，如何保證對抗樣本與原始樣本的語義一致性；第二，如何保持對抗樣本的語法正確性；第三，如何提高對抗擾動(dòng)的不可被察覺性。

在文本領(lǐng)域，Papernot 等[12]通過FGSM 找到輸入序列中梯度最大的位置，即重要單詞的位置，使用插入、修改、和刪除三種擾動(dòng)策略生成對抗樣本，從而誤導(dǎo)字符級模型和詞級模型，但該方法是在已知模型參數(shù)的前提下實(shí)現(xiàn)的，并不適用于黑盒場景[13-14]；Gao等[15]提出的DeepWordBug 攻擊算法，通過設(shè)計(jì)重要性評分函數(shù)找到重要單詞，采用插入、替換、交換前后字母的位置以及刪除操作生成對抗樣本欺騙分類器；Garg 等[16]提出的基于BERT 生成的對抗樣本方法(BERT-based Adversarial Examples，BAE)算法，是第一個(gè)使用語言模型生成對抗樣本的方法，使用評分函數(shù)找到重要單詞的位置，然后利用Bert 語言模型對其掩碼與預(yù)測，選擇具有對抗性且與原句相似度最大的單詞作為替換詞。以上方法均在英文文本中實(shí)現(xiàn)，由于英文與中文在字符的種類、字的長度以及音形特點(diǎn)上有著明顯的差異，因此面向英文文本生成對抗樣本的方法不能直接應(yīng)用到中文文本。

目前，面向中文文本對抗樣本生成方法的研究處于起步階段，王文琦等[17]提出WordHanding 攻擊算法，能夠在黑盒條件下攻擊中文文本的情感傾向性系統(tǒng)，借助長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory Network，LSTM)預(yù)訓(xùn)練模型判別分類傾向，利用詞語重要性函數(shù)計(jì)算輸入序列中字詞的重要程度，采用同音詞替換生成對抗樣本，達(dá)到了較好的攻擊效果且擾動(dòng)字?jǐn)?shù)少，但替換方式單一；仝鑫等[18]提出一種在詞級黑盒條件下生成對抗樣本的方法CWordAttacker，采用定向詞評分刪除機(jī)制計(jì)算字詞的重要性，通過繁體字替換、拼音改寫、詞組拆解以及次序擾動(dòng)四種攻擊策略生成對抗樣本，但是擾動(dòng)率較大，未能保持較高的語義相似度。

基于前人的研究工作，提出了一種面向中文文本分類的黑盒對抗樣本生成方法WordBeguiler，通過分析漢字的字形、字音特征構(gòu)建對抗搜索空間，設(shè)計(jì)一種新的擾動(dòng)定位方式計(jì)算影響模型分類的重要字詞，并根據(jù)概率權(quán)重選取的方法確定修改策略生成對抗樣本，有效地實(shí)現(xiàn)了在多場景分類任務(wù)下面向中文文本的對抗攻擊。

本文主要貢獻(xiàn)有:

①提出了一種面向中文文本分類的黑盒對抗樣本生成方法WordBeguiler，在無需了解目標(biāo)模型內(nèi)部參數(shù)的情況下，只對輸入文本添加微小的擾動(dòng)即可生成對抗樣本，適用于情感分析、垃圾郵件檢測以及新聞分類等任務(wù)。

②設(shè)計(jì)了結(jié)合漢字字形、字音特征構(gòu)建對抗搜索空間的方法，有效地提高了對抗樣本的語法正確性，增強(qiáng)不可察覺性。

③設(shè)計(jì)了一種新的擾動(dòng)定位方式，能夠有效地找出不同分類任務(wù)下影響模型決策的關(guān)鍵字詞，降低修改率的同時(shí)提高了攻擊成功率。

④在三個(gè)公開數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，通過攻擊卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)和雙向長短期記憶(Bi-directional Long Short-Term Memory，BiLSTM)模型，使準(zhǔn)確率降低了百分之五十左右，并且具有較高的可轉(zhuǎn)移性。

1 背景知識

1.1 卷積神經(jīng)網(wǎng)絡(luò)CNN

CNN[19]是一種通過卷積計(jì)算的神經(jīng)網(wǎng)絡(luò)，由輸入層、卷積層、池化層、全連接層以及softmax 層組成。其中，卷積層是CNN 最重要的部分，使用卷積核對窗口中的元素依次進(jìn)行點(diǎn)乘、相加運(yùn)算。池化層對輸入數(shù)據(jù)不同位置特征進(jìn)行采樣，在保證收集到重要特征的條件下壓縮參數(shù)量，防止過擬合。經(jīng)過多輪的卷積和池化操作后，原信息被抽象成了信息含量更高的特征，提取到的特征傳送到全連接層進(jìn)行整合，最后經(jīng)過softmax 層，將輸出映射到0～1之間，表示分類概率。

在短文本分類任務(wù)中，CNN 可以保留文本的空間信息，同時(shí)捕獲到局部信息和順序信息，可應(yīng)用于情感分析、垃圾郵件檢測等任務(wù)。

1.2 BiLSTM

BiLSTM[20]是LSTM[21]的一種擴(kuò)展形式，采用雙向網(wǎng)絡(luò)結(jié)構(gòu)充分地提取上下文信息作為分類依據(jù)，有效地提高了文本分類的準(zhǔn)確率。BiLSTM 首先將embedding 后的詞向量輸入網(wǎng)絡(luò)，然后經(jīng)過前向LSTM 層和后向LSTM 層得到隱向量，并進(jìn)行拼接作為網(wǎng)絡(luò)的輸出，最后通過全連接層和softmax 層得到最終的分類結(jié)果，網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 BiLSTM 網(wǎng)絡(luò)結(jié)構(gòu)圖

1.3 文本對抗樣本

對于數(shù)據(jù)集中的N個(gè)文本X＝{x1，x2，…，xN}，其對應(yīng)的分類標(biāo)簽為Y＝{y1，y2，…，yM}，F(xiàn)是分類模型，學(xué)習(xí)從輸入文本x∈X到標(biāo)簽y∈Y的映射關(guān)系F:X→Y。通過向原始輸入文本x中添加微小的擾動(dòng)Δx生成對抗樣本x*，從而迫使深度學(xué)習(xí)模型F錯(cuò)誤分類。如式(1)所示:

式中:‖Δx‖＜δ，δ是限制擾動(dòng)大小的閾值。

同時(shí)，一個(gè)好的對抗樣本x*不僅可以欺騙F，而且還需滿足三個(gè)條件，即語義一致性、語法正確性以及不可察覺性，本文提出的對抗樣本生成方法很好地滿足了這三點(diǎn)。

2 WordBeguiler 算法

2.1 問題定義

給定文本分類模型F，學(xué)習(xí)從文本到標(biāo)簽的映射關(guān)系F:X→Y，將輸入文本空間X映射到標(biāo)簽空間Y，對于句子x∈X，其真實(shí)標(biāo)簽y∈Y，有效的對抗樣本x*應(yīng)滿足:

式中:Cost(·)表示文本修改累計(jì)頻次，σ表示修改最大閾值。

2.2 總體描述

本文設(shè)計(jì)的中文文本分類的對抗樣本生成算法具體流程如圖2 所示。

圖2 對抗樣本生成流程

具體過程描述如下:

①基于音形碼構(gòu)建對抗搜索空間:結(jié)合漢字的字形和字音特征為每個(gè)漢字構(gòu)建對抗搜索空間，且將繁體字、拆字和拼音加入其中。

②擾動(dòng)定位:首先關(guān)鍵句子定位，將原始文本按照標(biāo)點(diǎn)符號劃分為若干個(gè)句子，去除預(yù)測標(biāo)簽與文本的真實(shí)標(biāo)簽不一致的句子，通過關(guān)鍵句子評分函數(shù)計(jì)算每個(gè)句子的重要性，降序排列。其次關(guān)鍵字詞定位，對每一個(gè)句子進(jìn)行分詞，過濾掉停止詞，按照關(guān)鍵字詞評分函數(shù)篩選出重要字詞。

③關(guān)鍵字詞修改:本文共設(shè)置了三種修改策略，分別是字詞替換、字符插入和次序修改，采用概率權(quán)重選取的方法確定修改策略。

將修改后的樣本輸入到目標(biāo)模型中，若標(biāo)簽改變則成功生成對抗樣本，否則繼續(xù)返回到步驟③，直至標(biāo)簽改變或者達(dá)到最大修改閾值為止。

2.3 基于音形碼構(gòu)建對抗搜索空間

對抗搜索空間的質(zhì)量決定著對抗樣本的質(zhì)量，因此，文本結(jié)合漢字的字形和字音特點(diǎn)構(gòu)建對抗搜索空間以提高對抗樣本質(zhì)量。首先對字典中的漢字進(jìn)行音形編碼，其次計(jì)算每一個(gè)字與其他漢字之間的音形碼漢明距離，根據(jù)漢明距離計(jì)算相似度，最后按照相似度降序排列，選取前K個(gè)加入對抗搜索空間。

2.3.1 音形編碼方式

編碼包括拼音和字形兩部分。

①拼音部分:漢字的拼音結(jié)構(gòu)由聲母、韻母以及聲調(diào)構(gòu)成，所以對拼音進(jìn)行編碼也應(yīng)包含這三部分。對于某些漢字拼音中聲母與韻母之間存在一個(gè)元音的情況，如nuan 中的u，miao 中的i 等，需額外添加一個(gè)補(bǔ)碼位。

第一部分表示聲母，聲母有23 種，用五位二進(jìn)制數(shù)表示。為了在后期計(jì)算相似度的時(shí)候弱化平翹舌音差異，因此這里zh 與z，ch 與c，sh 與s 采用同一個(gè)編碼表示。

第二部分表示韻母，韻母有24 種，用五位二進(jìn)制數(shù)表示。同理，前后鼻音也采用同一個(gè)編碼表示。聲母編碼和韻母編碼均采用格雷碼形式，可使相鄰兩個(gè)讀音相近的編碼差異最小。拼音聲母編碼和韻母編碼表示方式如表1 和表2 所示。

表1 拼音聲母編碼

表2 拼音韻母編碼

第三部分是補(bǔ)碼，采用與韻母編碼相同的方式，若沒有補(bǔ)碼則表示為五個(gè)0。

第四部分是聲調(diào)，聲調(diào)包括四種，用兩位二進(jìn)制數(shù)表示即可，00 表示一聲，01 表示二聲，10 表示三聲，11 表示四聲。

因此，音碼部分二進(jìn)制數(shù)共有5+5+5+2 ＝17 位。

②字形部分:漢字的字形特征包括結(jié)構(gòu)，四角號碼和筆畫，因此需對這三個(gè)部分進(jìn)行編碼。

第一部分是字形的結(jié)構(gòu)。由于漢字具有14 種不同的結(jié)構(gòu)，因此用四位二進(jìn)制數(shù)來表示，同樣采用格雷碼形式使字形相近的結(jié)構(gòu)在編碼表示上相近。結(jié)構(gòu)編碼如表3 所示。

表3 結(jié)構(gòu)編碼

第二部分為漢字的四角號碼，用于描述漢字的形態(tài)特征，每個(gè)漢字都可用0 到9 中的四個(gè)數(shù)字表示，通過查找四角號碼檢字法可得到對應(yīng)的四角號碼。

第三部分是漢字的筆畫，筆畫數(shù)用16 位二進(jìn)制數(shù)表示。即筆畫數(shù)z的漢字編碼方式如式(3)所示:

因此，形碼部分二進(jìn)制位數(shù)共有4+4×4+16 ＝36 位。

2.3.2 相似度計(jì)算方法

由于音碼部分和形碼部分的二進(jìn)制位數(shù)不一致，會對最終的相似度產(chǎn)生不同影響，因此需計(jì)算音碼部分和形碼部分在最終相似度計(jì)算中所占的貢獻(xiàn)比b1和b2，滿足b1+b2＝1，如式(4)和式(5)所示。其中qp表示音碼的漢明距離，qx表示形碼的漢明距離，l1和l2分別表示音碼和形碼的二進(jìn)制長度。

計(jì)算漢字之間的相似度S，如式(6)所示:

將相似度降序排列，取前K個(gè)字加入對抗搜索空間。此外，將該漢字的繁體字，拆字以及對應(yīng)的拼音形式也添加到對抗搜索空間中。

2.4 擾動(dòng)定位

2.4.1 關(guān)鍵句子定位

當(dāng)人們表達(dá)自己的觀點(diǎn)時(shí)，大部分的句子都是在陳述事實(shí)，而對分類結(jié)果產(chǎn)生較大影響的只有少數(shù)幾個(gè)句子。因此，為了提高WordBeguiler 的效率，本文先定位對最終預(yù)測結(jié)果貢獻(xiàn)最大的關(guān)鍵句子。

首先將輸入文本根據(jù)標(biāo)點(diǎn)符號劃分為n個(gè)子句，得到x＝{s1，s2，s3，…，sn}，si表示第i個(gè)句子，其次過濾掉預(yù)測標(biāo)簽與文本的真實(shí)標(biāo)簽不一致的句子，最后用預(yù)測為真實(shí)標(biāo)簽y的置信度值作為該句的重要性分?jǐn)?shù)Csi，根據(jù)分?jǐn)?shù)降序排列。如式(7)所示:

2.4.2 關(guān)鍵字詞定位

通過上一步定位到關(guān)鍵句子后，進(jìn)行分詞處理得到si＝{w1，w2，w3，…，wn}，發(fā)現(xiàn)只有一些關(guān)鍵字詞對模型的預(yù)測結(jié)果有影響，因此，首先過濾掉停止詞，其次使用重要性評分函數(shù)去定位關(guān)鍵字詞，如式(8)所示:

式中:Iwj作為字詞wj∈si對于分類結(jié)果F(si)＝y(tǒng)的重要性分?jǐn)?shù)，si＼wj＝{w1，…，wj-1，wj+1，…，wn}表示刪除字詞wj的句子，F(xiàn)y(·)表示預(yù)測為y標(biāo)簽的置信度。

2.5 關(guān)鍵字詞修改

為了保證生成的對抗樣本與原樣本語義相近，即在誤導(dǎo)深度神經(jīng)網(wǎng)絡(luò)模型做出錯(cuò)誤預(yù)測的情況下有較好的可讀性，WordBeguiler 算法采用以下三種修改策略:①字詞替換:利用基于音形碼構(gòu)建的對抗搜索空間進(jìn)行替換；②字符插入:隨機(jī)插入不常見的特殊符號。在此建立了一個(gè)符號集，包括標(biāo)點(diǎn)符號、羅馬字符等；③次序修改:交換相鄰兩個(gè)字的順序。據(jù)心理學(xué)研究表明，交換漢字順序不會影響人類對文本的閱讀理解。對于上述修改策略，采用概率權(quán)重選取的方法確定。

WordBeguiler 算法偽代碼如下。

3 實(shí)驗(yàn)與結(jié)果

3.1 實(shí)驗(yàn)設(shè)置

目標(biāo)模型:CNN[19]由300 維的嵌入層、三個(gè)卷積層和一個(gè)全連接層組成，卷積層由256 個(gè)大小為2，3，4 的卷積核組成，步長為1；BiLSTM[20]由一個(gè)300 維的嵌入層，一個(gè)雙向LSTM 層和一個(gè)全連接層組成，雙向LSTM 層的前向和后向分別由64 個(gè)LSTM 單元組成。

數(shù)據(jù)集:選用四個(gè)中文數(shù)據(jù)集進(jìn)行評估，如表4所示。

表4 實(shí)驗(yàn)數(shù)據(jù)集

3.2 實(shí)驗(yàn)方法比較

為了驗(yàn)證WordBeguiler 算法的有效性，在情感分析數(shù)據(jù)集上分別與DeepWordBug 和WordHanding兩種攻擊算法進(jìn)行比較，實(shí)驗(yàn)中經(jīng)過調(diào)試設(shè)置參數(shù)K＝30，修改策略中概率權(quán)重依次為字詞替換0.6、字符插入0.2 和次序修改0.2。攜程酒店、京東購物、垃圾信息數(shù)據(jù)集允許最大修改閾值為30，新聞分類最大修改閾值為11。實(shí)驗(yàn)結(jié)果如表5 和表6 所示。

表5 在情感分析任務(wù)上驗(yàn)證算法WordBeguiler 的有效性(a)CNN 模型

表6 在其他任務(wù)上評估WordBeguiler 性能

在四個(gè)數(shù)據(jù)集上分析了對CNN 和BiLSTM 模型的攻擊效果。從表5 可以看出，在情感分析數(shù)據(jù)集上與基線方法DeepWordBug 和WordHanding 相比，本文提出的WordBeguiler 算法最高可使準(zhǔn)確率降幅達(dá)53.05%，明顯優(yōu)于基線方法。從表6 可以看出，在垃圾信息和新聞標(biāo)題數(shù)據(jù)集上WordBeguiler算法平均可使模型降低45%左右的準(zhǔn)確率，表明了其在多場景任務(wù)中的有效性與通用性。

為了驗(yàn)證對抗樣本檢測的準(zhǔn)確率與修改閾值m之間的關(guān)系，從兩個(gè)情感分類數(shù)據(jù)集中分別選取了長度大于120 個(gè)字的1000 條樣本，通過調(diào)整不同的修改幅度生成對應(yīng)的對抗樣本。

在攜程酒店數(shù)據(jù)集和京東購物評論數(shù)據(jù)集上得出CNN 和BiLSTM 的檢測準(zhǔn)確率隨修改閾值m的變化曲線，如圖3 和圖4 所示。

圖3 攜程酒店評論數(shù)據(jù)集不同閾值實(shí)驗(yàn)結(jié)果

圖4 京東購物評論數(shù)據(jù)集不同閾值實(shí)驗(yàn)結(jié)果

隨著修改閾值m的增加，模型的檢測準(zhǔn)確率逐漸降低，意味著對輸入序列中的個(gè)別關(guān)鍵字進(jìn)行修改，WordBeguiler 就可以生成對抗樣本。與基線相比，當(dāng)修改閾值達(dá)到15 個(gè)字左右時(shí)，攻擊效果趨于穩(wěn)定狀態(tài)，表明WordBeguiler 算法大大地降低了擾動(dòng)率，提高了文本的可讀性。

3.3 對抗樣本質(zhì)量度量

圖像領(lǐng)域中度量樣本質(zhì)量的方法典型的有L0，L2和L∞范數(shù)，但是由于圖像與文本存在不同，因此上述度量方式不能直接應(yīng)用在文本中。故使用詞移距離(Word Mover’s Distance，WMD)度量兩個(gè)文本文檔之間的距離，用于判斷兩個(gè)文本之間的相似度，即WMD 距離越大文本相似度越小，WMD 距離越小相似度越大。從生成的對抗樣本中隨機(jī)選取2 000個(gè)樣本進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖5 所示。

圖5 不同WMD 距離區(qū)間內(nèi)樣本數(shù)量占總樣本的比例

與基線方法相比，WMD 距離小于0.2 的對抗樣本占總樣本的32.6%，在0～0.6 區(qū)間的對抗樣本總占比為69.28%，高于基線方法，說明由WordBeguiler算法生成的對抗樣本與原樣本有較高的相似度。表7 是原始樣本與WordBeguiler 算法生成的對抗樣本的示例，很好地保留了語義且可讀性好。

表7 原始樣本與對抗樣本示例

3.4 可轉(zhuǎn)移性評估

為了驗(yàn)證由WordBeguiler 算法生成的對抗樣本具有可轉(zhuǎn)移性，分別使用BiLSTM 和CNN 模型生成對抗樣本去攻擊其他模型(包括BERT[22]模型)的實(shí)驗(yàn)，如表8 和表9 所示。實(shí)驗(yàn)結(jié)果表明，WordBeguiler 算法生成的對抗樣本能夠有效地轉(zhuǎn)移到其他模型上，且準(zhǔn)確率降幅達(dá)30%左右。

表8 使用BiLSTM 模型生成對抗樣本攻擊其他模型

表9 使用CNN 模型生成的對抗樣本攻擊其他模型

4 結(jié)語

本文提出了在黑盒條件下面向中文文本分類的對抗樣本生成方法WordBeguiler，誘使模型做出錯(cuò)誤決策。該方法首先結(jié)合漢字字形、字音特征為每個(gè)漢字構(gòu)建對抗搜索空間，以提高對抗樣本質(zhì)量，設(shè)計(jì)了新的擾動(dòng)定位方式尋找影響分類的重要字或詞組，并根據(jù)概率權(quán)重選取的方法確定修改策略生成對抗樣本。WordBeguiler 算法生成的對抗樣本可以使CNN和BiLSTM 模型的準(zhǔn)確率降幅最高達(dá)53.05%和50.50%，轉(zhuǎn)移到其他模型上準(zhǔn)確率降幅達(dá)30%左右，攻擊效果均優(yōu)于其他攻擊方法。此外，字詞重要性計(jì)算函數(shù)與修改策略還能進(jìn)一步優(yōu)化與改進(jìn)，今后的工作重心會集中到以上方面，并對如何增強(qiáng)文本分類模型的魯棒性問題展開更深入的探索與研究。