馬健 羅達(dá)

(1.東莞理工學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，廣東東莞 523808;2. 東莞理工學(xué)院 網(wǎng)絡(luò)空間安全學(xué)院，廣東東莞 523808)

近年來，對抗樣本[1]的研究在語音識別領(lǐng)域發(fā)展迅速。作為對抗樣本技術(shù)在語音識別中的特殊應(yīng)用，可通過添加特定的對抗擾動噪音，使語音識別系統(tǒng)的識別結(jié)果發(fā)生改變，甚至變成攻擊者指定的句子。雖然如今端到端語音識別系統(tǒng)在性能上十分優(yōu)秀，但存在音頻對抗樣本技術(shù)使語音識別系統(tǒng)的安全受到了嚴(yán)重的威脅，因此有必要對音頻對抗樣本進(jìn)行深入的研究。

自動語音識別系統(tǒng)(ASR)的任務(wù)是語音到文本的轉(zhuǎn)換。許多現(xiàn)代的自動語音識別系統(tǒng)都是基于深度神經(jīng)網(wǎng)絡(luò)(DNNs)模式，性能突出，如Deep-Speech[3]、Lingvo[4]和Amazon Transcribe。在端到端的語音識別的背景下，有可能向一段音頻片段注入對抗擾動噪音，以此篡改語音識別的結(jié)果。比如：

原始識別結(jié)果：The password has given to Alice；

Key-word篡改：The password has given to Bob；

Sentence篡改：I do not have the password.

在第一種情況下，對抗樣本只將句子中的關(guān)鍵詞從Alice改為Bob，被稱為關(guān)鍵詞篡改。在第二種情況整個文本被替換，被稱為句子篡改。

語音識別領(lǐng)域的對抗樣本研究分為攻擊方面和防御方面[2]。在攻擊方面的研究，文獻(xiàn)中展示了幾種ASR對抗樣本攻擊方法[5-8]。其中一些關(guān)鍵的技術(shù)是共通于圖像領(lǐng)域的，如使用梯度下降法來對擾動噪點(diǎn)進(jìn)行更新。與對抗樣本攻擊方法不同，音頻對抗樣本檢測與圖像領(lǐng)域的對抗樣本檢測方法相比，更具挑戰(zhàn)性。首先，由于序列的依賴性，基于遞歸神經(jīng)網(wǎng)絡(luò)(RNN)[9]生成音頻對抗性樣本更慢、更復(fù)雜，導(dǎo)致訓(xùn)練二進(jìn)制分類器作為音頻對抗樣本檢測器的訓(xùn)練樣本更少。此外，音頻輸入轉(zhuǎn)換對對抗樣本攻擊的抵抗效果并不明顯[10]，主要是因?yàn)檎Z音數(shù)據(jù)具有一定時序的依賴性。在現(xiàn)有ASR對抗樣本防御研究中，Zeng等人[11]提出以音頻文件在不同架構(gòu)和不同參數(shù)下的語音識別系統(tǒng)中的識別結(jié)果相似度作為檢測音頻對抗樣本的指標(biāo)。Yang等人[10]利用音頻數(shù)據(jù)中固有的時間依賴性進(jìn)行檢測，音頻切幀前后的識別結(jié)果差異被用作檢測的指標(biāo)。此方法將作為對比方法在實(shí)驗(yàn)中部分使用。Jayashankar等人[12]在語音識別的神經(jīng)網(wǎng)絡(luò)推理中使用了dropout機(jī)制[13]，dropout機(jī)制是指在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程中使部分的神經(jīng)元權(quán)重為0，增強(qiáng)模型的泛化性。在模型推理過程中使用dropout機(jī)制會使神經(jīng)網(wǎng)絡(luò)的參數(shù)信息異動，進(jìn)而使音頻對抗樣本的攻擊失效，但使用此方法會在一定程度上導(dǎo)致模型的性能下降。Zhu等人[14]提出了使用對抗訓(xùn)練的方法來訓(xùn)練模型，是在訓(xùn)練模型的過程中，同時對模型進(jìn)行對抗樣本攻擊，使模型在對抗樣本的攻擊下繼續(xù)進(jìn)行正確的推理，增強(qiáng)模型的魯棒性。上文提及的音頻對抗樣本檢測方法的檢測準(zhǔn)確率還存在提升空間，且現(xiàn)有的音頻對抗樣本防御檢測工作缺乏對音頻對抗樣本分布特征的分析，因此筆者從對音頻對抗樣本分布特征的分析入手，提出準(zhǔn)確率更高的音頻對抗樣本檢測方法。

文中在時域和頻域上對音頻對抗樣本的擾動噪音的分布特點(diǎn)進(jìn)行了分析，發(fā)現(xiàn)擾動噪音在時域和頻域上的分布特征：在時域上，音頻對抗樣本的擾動噪音會廣泛分布于整段原始音頻；在頻域上，音頻對抗樣本擾動噪音會集中在中高頻部分。據(jù)此，筆者提出一種基于多頻譜的音頻對抗樣本檢測方法，實(shí)驗(yàn)結(jié)果表明，所提出的方法可以顯著提高音頻對抗樣本檢測的準(zhǔn)確率，在公共語音數(shù)據(jù)集上，與基線方法和最先進(jìn)的方法相比，該方法的檢測準(zhǔn)確率提升超過30%。

1 基于多頻譜的檢測方法

1.1 音頻對抗樣本攻擊

考慮用兩種有代表性的攻擊方法來生成音頻對抗樣本：C&W攻擊[5]和Taori攻擊[8]。前者是基于梯度下降優(yōu)化的白盒攻擊，后者是最先進(jìn)的黑盒攻擊。C&W攻擊部署在DeepSpeech v0.4.1上，而Taori攻擊部署在DeepSpeech v0.1.1上。

1) C&W攻擊方法：Carlini和Wagner提出了通過一個優(yōu)化函數(shù)來生成對抗性擾動。該方法需要獲取目標(biāo)的參數(shù)信息。具體來說，DeepSpeech使用連接主義時間分類(CTC)損失函數(shù)[15]，因此，C&W攻擊的目標(biāo)函數(shù)表示為：

suchthatdB(δ)≤τ，

(1)

(2)

2)Taori攻擊方法：Taori攻擊是一種針對ASR系統(tǒng)的黑盒攻擊方法，黑盒攻擊不需要訪問受害模型的內(nèi)部信息。攻擊有兩個步驟組：首先，使用帶有動量突變的遺傳算法來獲得一個近似的解決方案，再使用梯度估計(jì)方法來完善對抗擾動噪音。與C&W攻擊相比，Taori攻擊是以較慢的速度產(chǎn)生音頻對抗樣本，并帶來相對大的擾動噪音。

1.2 擾動噪音特征分析

At=h(Utxt+WtAt-1) ，

(3)

模型的輸出計(jì)算方式為：

(4)

圖1 idirectional-RNN 網(wǎng)絡(luò)結(jié)構(gòu)示意圖

在攻擊過程中，將對抗樣本擾動噪音信號定義為語音篡改前后的音頻樣本之差，即，其中，為了篡改，必須改變時間序列中的整個話語序列。不失一般性地，用表示篡改后的輸出。因此，在范數(shù)攻擊中，關(guān)于的目標(biāo)函數(shù)是，再使用梯度下降法來優(yōu)化這個目標(biāo)函數(shù)。由以上的推斷可知，無論是篡改整段語句還是篡改關(guān)鍵詞，對抗樣本擾動的噪音都會影響整段音頻信號。

C&W方法產(chǎn)生的音頻對抗樣本數(shù)據(jù)被作為挖掘音頻對抗樣本頻域特征的研究對象。攻擊的方法分為關(guān)鍵詞篡改與句子篡改兩種情形。在音頻對抗樣本頻域特征的研究中，首先將干凈的音頻與該音頻對應(yīng)音頻的對抗樣本波形圖進(jìn)行比較，從圖2中的上部分可見波形圖，分別為干凈音頻的關(guān)鍵詞篡改情況下的音頻對抗樣本與句子篡改情況下的音頻對抗樣本。在波形圖上難以察覺出差異，這符合音頻對抗樣本難以被人耳察覺的特性。由于在波形圖上難以觀測到音頻對抗樣本的特征，因此使用短時傅立葉變換(Short-time Fourier Transform, STFT)將音頻轉(zhuǎn)換為頻譜圖，再使用功率譜圖研究音頻在各個頻率上的能量分布，功率信號在某一時間段的平均功率可以表示為：

(5)

若式(5)中的f(t)在有限時間段內(nèi)用fT(t)表示，fT(t)的傅立葉變換表達(dá)式為FT(ω)=F[fT(t)]，則平均功率譜的計(jì)算公式為：

(6)

(7)

通過計(jì)算干凈音頻與音頻對抗樣本的功率譜圖，可以發(fā)現(xiàn)音頻對抗樣本在頻域上的分布特點(diǎn)，從圖2的下部分功率譜圖可以看出，音頻對抗樣本的功率譜圖比起干凈音頻的功率譜圖在6 000至7 000 Hz的能量更大，且該現(xiàn)象在句子篡改情況的音頻對抗樣本上更為明顯。

圖2 音頻對抗樣本的波形圖與功率譜圖分析

單獨(dú)對一段干凈音頻及其對應(yīng)的關(guān)鍵詞篡改情況的音頻對抗樣本進(jìn)行分析，使用Welch方法[17]計(jì)算二者之間的相關(guān)性，結(jié)果如圖3上圖，干凈音頻與其對應(yīng)的音頻對抗樣本在0至4 000 Hz范圍內(nèi)的相似度達(dá)0.9以上，它們的主要區(qū)別集中于5 000 Hz以上的頻率范圍。為進(jìn)一步驗(yàn)證干凈音頻與其對應(yīng)的音頻對抗樣本在頻域上的分布特點(diǎn)，筆者進(jìn)一步進(jìn)行交叉功率譜相位(Cross-Spectrum Phase)分析，音頻功率譜密度由式(8)計(jì)算：

Pxy(ω)=∑Rxy(m)e-jωm,

(8)

其中互相關(guān)系數(shù)序列(cross-correlation sequence)定義為：

Rxy(m)=Ex[n+m]y=Ex[n]y[n-m] ,

(9)

式(8)中的x和y為要進(jìn)行對比的兩個音頻信號，-∞

圖3 音頻對抗樣本相關(guān)性分析與音頻交叉功率譜相位(Cross-Spectrum Phase)分析

進(jìn)一步在Common Voice語音數(shù)據(jù)集[18]上進(jìn)行信號相似度的統(tǒng)計(jì)分析。每個樣本的持續(xù)時間為3 ～ 4 s，每隔0.1 s切成幀，總共產(chǎn)生了3 890對從100對干凈的和敵對的樣本中切分出來的幀。圖4以箱線圖的形式總結(jié)了關(guān)鍵詞和句子篡改的結(jié)果?？偟膩碚f，與關(guān)鍵詞修改相比，句子修改的對抗性擾動在信號的能量和相位方面造成更大干擾。這種影響在高頻段尤為顯著。如相似度分析中在5 kH之后急劇下降，關(guān)鍵詞篡改的均值降至0.7以下，句子篡改均值降至0.4以下。大量數(shù)據(jù)支持下的分析結(jié)果符合上文的推測，音頻對抗樣本的擾動噪音主要活躍在高頻部分，這與人耳的聽力敏感范圍主要在相對低頻部分，而對高頻部分的聲音不敏感相關(guān)。并且，該現(xiàn)象在句子篡改的音頻對抗樣本的擾動噪音分布中更加明顯。

1.3 基于多頻譜的檢測框架

在以上實(shí)驗(yàn)中，音頻對抗樣本在時域和頻域的分布特征得到了挖掘。在頻域上，音頻對抗樣本的擾動噪音主要在高頻部分擁有較高的能量。在時域上，由于語音識別系統(tǒng)模型架構(gòu)的特性，音頻對抗樣本的擾動噪音會散布在整段干凈音頻序列中?；谝陨戏治隹芍?，音頻對抗樣本的擾動噪音在頻域上更易被察覺，在頻域上捕捉音頻對抗樣本擾動噪音更容易，并且基于音頻對抗樣本擾動噪音在時域的分布特點(diǎn)，檢測方法以音頻的幀作為檢測單位效果更好。據(jù)此筆者提出一種基于多頻譜的音頻對抗樣本檢測方法。

圖5為筆者提出檢測方法的流程圖，先將待檢測音頻切成幀，每一幀的時長為100 ms，記每一幀音頻數(shù)據(jù)為。通過離散傅立葉變換(Discrete Fourier Trans- form, DFT)將每幀音頻數(shù)據(jù)轉(zhuǎn)換到頻域，轉(zhuǎn)換形式為：

圖4 通過(a)關(guān)鍵字篡改情況和(b)句子篡改情況從100對干凈和對抗樣本中音頻中切出的3890對幀之間的一致性估計(jì)(coherence estimatesy)和互功率譜相位(cross-spectrum phase)的箱線圖

圖5 基于多頻譜的音頻對抗樣本檢測方法流程圖

(10)

式(10)中的ω[m]，序列長度為L，m=0,1,…,L，N是用來進(jìn)行DFT轉(zhuǎn)換的數(shù)據(jù)長度。在本文實(shí)驗(yàn)中，使用常見的分窗方法——漢寧窗(Hanning Window)，長度L為512。輸入音頻切片信號通過漢寧窗后利用傅立葉變換轉(zhuǎn)換到頻域，這里用到了兩個時域上的參數(shù)和。轉(zhuǎn)換后的二維頻譜圖作為檢測器的輸入樣本。由于在頻域上的頻譜圖特征較復(fù)雜，筆者使用端到端的學(xué)習(xí)方法來訓(xùn)練一個二分類器來提取頻譜的特征后進(jìn)行檢測。特別地，在分類器中先使用卷積神經(jīng)網(wǎng)絡(luò)[19](Convolutional Neural Networks, CNN)進(jìn)行特征提取，再使用交叉熵[20](Cross-Entropy, CE)損失函數(shù)對網(wǎng)絡(luò)進(jìn)行建模。頻譜圖被標(biāo)記為干凈樣本或音頻對抗樣本后被送入神經(jīng)網(wǎng)絡(luò)，以此來訓(xùn)練檢測器神經(jīng)網(wǎng)絡(luò)。

為提高檢測精度，在CNN基礎(chǔ)上采用能量模型的訓(xùn)練方法，最近的研究發(fā)現(xiàn)，基于能量的模型(EBM)[21]可以幫助改善自我監(jiān)督學(xué)習(xí)的判別式模型。EBM依賴于這樣一個認(rèn)識：x∈D的任何觀測概率密度p(x)均可用所謂的能量函數(shù)表示，即Eθ:D←，將輸入的x映射成一個標(biāo)量。在二分類器的情況下，能量函數(shù)可以定義為：

Eθ(Y,x)=-Y·Fθ(x) ,

(11)

其中，CNN的logit被重新用于fθ(x)，Y是x的類別標(biāo)簽，表示是干凈的數(shù)據(jù)還是對抗樣本的數(shù)據(jù)，即Y∈{-1,1}。當(dāng)預(yù)測正確且置信度高時，能量值Eθ(Y,x)會降低。通過應(yīng)用極大似然估計(jì)與Gibbs分布的準(zhǔn)則進(jìn)行訓(xùn)練，使能量模型的能量值盡可能小，遵循的損失函數(shù)遵循極大似然估計(jì)的損失(Negative Log-likelihood, NLL)[22]函數(shù)設(shè)計(jì)，定義為：

LNLL(Y,x;θ)=

(12)

損失函數(shù)中的對數(shù)項(xiàng)是對所有可能的輸出標(biāo)簽{E(y,x),y屬于Y}的對數(shù)概率之和，記為free energy。由于模型的輸出結(jié)果的改變，對比項(xiàng)會根據(jù)模型輸出正確值時而變大，以此來制衡能量損失函數(shù)的更新，以免模型過度學(xué)習(xí)某一個輸入樣本的特征，該項(xiàng)起到對比學(xué)習(xí)的作用，能讓模型在學(xué)習(xí)過程帶有自監(jiān)督的效果，從而提升了模型的泛化性能，以此提升模型的性能。參數(shù)β是一個正常數(shù)，用來控制損失函數(shù)中的對比項(xiàng)的工作強(qiáng)度，實(shí)驗(yàn)中將β設(shè)置為常見的0.5。

根據(jù)上文分析，筆者提出的在頻譜域中設(shè)計(jì)音頻對抗樣本檢測器有三個優(yōu)點(diǎn)：1)在幀的功率譜中，對抗擾動噪音的特征更為顯著；2)如上文分析，在頻譜上可以更好地利用時空信息處理高度而非平穩(wěn)的擾動噪音信號，特別是當(dāng)擾動噪音的分布位置遍布在整段音頻信號中時；3)通過將語音段切成多個頻譜幀，有更多的對抗樣本數(shù)據(jù)用來訓(xùn)練一個有效的檢測器，從而緩解了第一節(jié)中討論的音頻對抗樣本檢測訓(xùn)練中訓(xùn)練數(shù)據(jù)較少的問題。

2 實(shí)驗(yàn)以及結(jié)果分析

2.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)在兩個公共語音數(shù)據(jù)集即LibriSpeech[23]和Mozilla Common Voice數(shù)據(jù)集[17]上評估了本文所提出方法對音頻對抗樣本的檢測準(zhǔn)確性。LibriSpeech是包含有聲讀物的錄音，這些錄音被切割并組織成文本注釋的音頻文件，每個文件約15 s。Common Voice數(shù)據(jù)集包含短的音頻片段，每個片段約4 s。實(shí)驗(yàn)中使用LibriSpeech數(shù)據(jù)集中的57個音頻片段和Common Voice數(shù)據(jù)集中的60個音頻片段作為訓(xùn)練數(shù)據(jù)集。C&W攻擊方法和Taori攻擊方法將在本實(shí)驗(yàn)中用作生成音頻對抗樣本數(shù)據(jù)的攻擊方法。特別的，C&W攻擊方法為白盒攻擊，Taori攻擊方法為黑盒攻擊。為了在有限的時間內(nèi)完成黑盒攻擊，將LibriSpeech數(shù)據(jù)集中的音頻片段分成10 s的片段和5 s的片段，來生成黑盒攻擊的音頻對抗樣本。實(shí)驗(yàn)中使用LibriSpeech和Common Voice數(shù)據(jù)集生成了187個白盒攻擊音頻對抗樣本和100個黑盒攻擊音頻對抗樣本，分別作為用于測試關(guān)鍵詞和句子的篡改的數(shù)據(jù)集。DeepSpeech[3]被用作受害的語音識別模型，其中白盒攻擊部署在DeepSpeech v0.4.1模型上，黑盒攻擊部署在DeepSpeech v0.1.1模型上。

2.2 評價指標(biāo)

對音頻對抗樣本檢測效果實(shí)驗(yàn)，使用真陽性率 (True Positive Rate, TPR)和假陽性率(False Positive Rate, FPR) 作為檢測的評價指標(biāo)。在檢測過程中，將檢測結(jié)果為真陽性的個數(shù)記為TP，檢測結(jié)果為假陰性的個數(shù)記為FN，檢測結(jié)果為假陽性的個數(shù)為FP，檢測結(jié)果為真陰性的個數(shù)為FN，則有：

1)真陽性率 TPR：

(13)

2)假陽性率 FPR：

(14)

2.3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)使用了四種不同方法對數(shù)據(jù)進(jìn)行檢測并對檢測效果進(jìn)行比較。1)基線方法使用語音識別常用的手工提取特征作為RBF-SVM[24]的輸入，而不是使用端到端方法。在基線方法中使用廣泛用于語音識別和音頻檢測系統(tǒng)的手工提取特征的 Mel Frequency Cepstral Coefficients(MFCCs)[25]；2)最先進(jìn)的音頻對抗樣本檢測方案，通過利用音頻中固有的時間依賴性(TD)[10]，在時間序列域中分辨出音頻對抗樣本；3)在本文提出的多幀頻譜檢測框架下，使用CNN模型進(jìn)行特征提取和分類器學(xué)習(xí)，具體來說，CNN架構(gòu)依次包括5層(3個卷積層和2個max-pooling層)，3個卷積層的核大小分別為9×9、5×5和5×5，通道外大小為24、36和60，2個max-pooling層的核大小分別為5×5和3×3，訓(xùn)練epoch設(shè)置為15；4)在CNN logits的基礎(chǔ)上使用的EBM進(jìn)行模型訓(xùn)練的方法。表1顯示了TPR在5%FPR下對關(guān)鍵詞和句子篡改的檢測精度。

表1 在白盒和黑盒攻擊下對關(guān)鍵詞和句子篡改情況下的音頻對抗樣本檢測精度(TPR @5% FPR)

由表1的數(shù)據(jù)可以看出，EBM在所有攻擊下表現(xiàn)最好，其中，在LibriSpeech的長音頻數(shù)據(jù)上產(chǎn)生的句子篡改的黑盒攻擊對抗樣本較少，且成功的黑盒攻擊有較大的擾動強(qiáng)度，這導(dǎo)致所有四種方法都相對容易進(jìn)行檢測。實(shí)驗(yàn)通過用LibriSpeech上產(chǎn)生的音頻對抗樣本數(shù)據(jù)本來訓(xùn)練檢測器，并用Common Voice上產(chǎn)生的音頻對抗樣本數(shù)據(jù)來測試。EBM訓(xùn)練的檢測性能顯示了顯著的適用性，這表明該模型在不同的攻擊下的檢測性能更可靠。為考察本文提出的方法在面對跨數(shù)據(jù)集場景時的可行性，實(shí)驗(yàn)中使用長音頻數(shù)據(jù)集LibriSpeech作為訓(xùn)練數(shù)據(jù)集來訓(xùn)練模型，并在短音頻數(shù)據(jù)集Common Voice上進(jìn)行測試(如表1)，本文提出的方法在跨數(shù)據(jù)集也可行。圖 6為白盒攻擊與黑盒攻擊下的關(guān)鍵詞篡改情況與句子篡改情況的四種檢測方法ROC曲線圖。ROC曲線圖是由真陽性率TPR和假陽性率FPR共同決定，F(xiàn)PR越小TPR越高，代表檢測方法的性能越好，即檢測方法的ROC曲線包圍的面積越大代表檢測性能越好，從圖6中可以看出本文提出的多頻譜檢測方法CWC和EBM在關(guān)鍵詞篡改情況下的檢測成功率要好于基線方法和TD方法。

圖6 白盒攻擊與黑盒攻擊下的關(guān)鍵詞篡改情況與句子篡改情況的檢測器 ROC 曲線圖

3 結(jié)語

文中先對音頻對抗樣本在時域和頻域的分布特征進(jìn)行分析，發(fā)現(xiàn)了音頻對抗樣本在時域和頻域上的分布特點(diǎn)，根據(jù)分析得到的音頻對抗樣本特點(diǎn)，提出了一種基于多頻譜的音頻對抗樣本的檢測方法，并提出了利用音頻對抗樣本的擾動噪音會分散在干凈的音頻以及擾動噪音主要分布于高頻段的特點(diǎn)，以幀為檢測單位在頻域上進(jìn)行檢測，利用能量模型的訓(xùn)練方法對檢測模型進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果顯示提出的方法在白盒攻擊與黑盒攻擊上都取得了更好的實(shí)驗(yàn)結(jié)果，且在關(guān)鍵詞篡改情況下的音頻對抗樣本檢測的效果上提升更為明顯。