◆宋杰

聲紋識別對抗攻擊對公安領(lǐng)域的影響及對策

◆宋杰

（四川警察學(xué)院 四川 646000）

聲紋識別技術(shù)由于其獨(dú)特的優(yōu)勢，在公安領(lǐng)域中有廣泛的應(yīng)用。基于深度學(xué)習(xí)的聲紋識別技術(shù)有較高的識別準(zhǔn)確度，是目前主流的聲紋識別技術(shù)，但同時應(yīng)用此類技術(shù)的系統(tǒng)容易遭受對抗攻擊。本文主要對基于深度學(xué)習(xí)的聲紋識別技術(shù)及其對抗攻擊進(jìn)行介紹，對可能給公安領(lǐng)域帶來的影響進(jìn)行了討論并提出了對策。

聲紋識別；深度學(xué)習(xí)；對抗攻擊；公安

聲紋識別（Voiceprint Recognition）又稱說話人識別（Speaker Recognition），顧名思義是通過說話人的聲音特征來識別說話者是誰的技術(shù)，是用于識別說話人身份信息的一種生物特征識別技術(shù)。與指紋、虹膜、DNA識別等其他形式的生物特征識別技術(shù)相比，聲紋識別有許多獨(dú)特的優(yōu)勢，如語音采集便利、采集成本低、準(zhǔn)確率較高、非接觸式采集、可遠(yuǎn)程識別、用戶接受度高等，聲紋識別系統(tǒng)已逐漸被應(yīng)用于多個領(lǐng)域。

1 聲紋識別簡介

1.1 聲紋識別系統(tǒng)基本框架

聲紋識別可分為說話人辨認(rèn)和說話人確認(rèn)，二者的區(qū)別在于，說話人辨認(rèn)是從注冊的聲紋集合中識別出說話人的身份（一對多），說話人確認(rèn)是針對單個注冊聲紋進(jìn)行匹配來確定說話人的身份（一對一），兩者的識別原理沒有太大差別[1]。此外根據(jù)測試語音的內(nèi)容，聲紋識別還可以分為文本相關(guān)和文本無關(guān)兩類，二者的區(qū)別在于在識別說話人身份時對說話的文本內(nèi)容是否有限定。一個基本的聲紋識別系統(tǒng)的工作框架如圖1所示。

圖1 聲紋識別系統(tǒng)基本框架

在聲紋模型匹配方面，早期的有線性預(yù)測技術(shù)、動態(tài)時間規(guī)整技術(shù)、矢量量化技術(shù)等。之后，出現(xiàn)了基于統(tǒng)計訓(xùn)練的方法，極大提高了聲紋識別的效果，基本框架如圖2所示。

圖2 基于統(tǒng)計訓(xùn)練的聲紋識別系統(tǒng)基本框架

1.2 深度學(xué)習(xí)在聲紋識別中的應(yīng)用

隨著深度學(xué)習(xí)框架的廣泛普及、硬件成本的不斷降低，深度學(xué)習(xí)（Deep Learning）的普及率不斷上升，它開始滲透到機(jī)器學(xué)習(xí)適用的每一個研究領(lǐng)域中。因此，學(xué)者們開始將深度學(xué)習(xí)用于聲紋識別系統(tǒng)之中。

一般來說，聲紋識別中的深度學(xué)習(xí)有兩個主要方向[2]。一種是用深度學(xué)習(xí)方法進(jìn)行特征提取，使用聲學(xué)特征作為輸入，對說話者樣本進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，將說話者身份作為目標(biāo)變量，通常使用內(nèi)部隱藏層作為輸出，并應(yīng)用余弦距離或概率線性判別分析作為決策。另一個方向是使用深度學(xué)習(xí)進(jìn)行分類和決策，通過深度神經(jīng)網(wǎng)絡(luò)進(jìn)行決策分類來替代向量余弦距離和概率線性判別分析方法。

目前，基于深度神經(jīng)網(wǎng)絡(luò)的聲紋識別系統(tǒng)的訓(xùn)練速度快，識別率高，在短語音識別上有很強(qiáng)的魯棒性，是目前聲紋識別系統(tǒng)采用的主流方法。

2 聲紋識別對抗攻擊及防御

針對聲紋識別系統(tǒng)的攻擊有很多種，如人為偽裝、頻率變換偽裝、語音轉(zhuǎn)換偽裝、語音合成攻擊、錄音重放攻擊等。隨著深度學(xué)習(xí)技術(shù)在聲紋識別系統(tǒng)中的應(yīng)用，聲紋識別系統(tǒng)的性能在得到提升的同時，也引入了深度學(xué)習(xí)易遭受對抗攻擊的弱點。

2.1 對抗攻擊基本原理

所謂對抗攻擊，即對分類器的訓(xùn)練過程中為樣本添加人為設(shè)計的“噪聲”，這種被修改過的樣本雖難以被人眼直接分辨，卻是使分類器不能正確進(jìn)行識別分類的一種攻擊方式，這種被修改過的樣本叫做對抗樣本。這種在感知上與原始樣本無法區(qū)分的對抗性樣本，可以大幅降低機(jī)器學(xué)習(xí)算法分類的準(zhǔn)確性，對基于深度神經(jīng)網(wǎng)絡(luò)的聲紋識別系統(tǒng)構(gòu)成嚴(yán)重的安全威脅。其基本工作原理如圖3所示。

圖3 聲紋識別對抗攻擊基本原理

2.2 對抗攻擊相關(guān)概念

目前已有的多種聲紋識別攻擊技術(shù)，既有白盒攻擊，又有黑盒攻擊，有針對性也有非針對性的，有攻擊時域空間的也有攻擊特征空間的，且都有較好的難以察覺性，對聲紋識別系統(tǒng)構(gòu)成了較大威脅。

（1）非針對性攻擊與針對性攻擊

所謂非針對性攻擊，即攻擊者并沒有一個特定的偽裝對象，攻擊者迫使聲紋識別系統(tǒng)輸出任何非當(dāng)前說話人的識別結(jié)果即為攻擊成功。而針對性攻擊是攻擊者使聲紋識別系統(tǒng)輸出一個特定的識別結(jié)果即為攻擊成功。

（2）白盒攻擊與黑盒攻擊

攻擊者完全了解聲紋識別系統(tǒng)的所有知識，包括系統(tǒng)的架構(gòu)、使用的算法、算法的參數(shù)等的情況下開展的攻擊稱為白盒攻擊，白盒攻擊是對攻擊者最有利的情況，攻擊者能夠獲取到產(chǎn)生對抗樣本所需要的有關(guān)信息。若攻擊者只知道聲紋識別系統(tǒng)的作用，并不知道系統(tǒng)的架構(gòu)、算法和參數(shù)等相關(guān)信息的情況開展攻擊便叫黑盒攻擊。

（3）攻擊空間

音頻對抗攻擊可以在不同的信號空間執(zhí)行，攻擊空間可分為時域空間和特征空間，例如時域原始波形、提取的特征頻譜圖或其他聲學(xué)特征空間。針對時域空間的攻擊可以在語音到達(dá)聲紋識別系統(tǒng)之前就將對抗噪聲添加到其中，且在空中播放時能有效保持對抗性，有助于在真實世界中攻擊成功。

（4）不易察覺性

要想通過在空氣中傳播聲音并被麥克風(fēng)接收識別的方式實現(xiàn)對抗攻擊，對抗樣本的不易察覺性是一個重要的指標(biāo)。所謂不易察覺性即被添加了對抗噪音的攻擊樣本難以被人類感官明顯感知到差異。實現(xiàn)不易察覺性的途徑可以有噪音、人類無法感知的超低頻或超高頻、利用心理聲學(xué)被人腦自動忽略掉等方法。

2.3 對抗攻擊的防御

（1）主動防御

主動防御的思想是通過主動增加模型對對抗攻擊的魯棒性來進(jìn)行防御。對抗訓(xùn)練是主動防御的一種代表性方法，這種方法的基本原理是將生成的對抗樣本和原始樣本一起訓(xùn)練，以得到一個更魯棒的模型。攻擊者要攻擊經(jīng)過對抗訓(xùn)練的模型，需要花費(fèi)更多的時間進(jìn)行攻擊算法迭代或是在樣本中引入更大的對抗噪聲，并且對抗訓(xùn)練雖然能使模型對對抗樣本表現(xiàn)出更強(qiáng)的魯棒性，但代價是使正常樣本的識別準(zhǔn)確率降低。此外，由于對抗樣本和正常樣本之間可能有相似的特征向量，對抗樣本中的對抗噪聲可能在對抗訓(xùn)練模型的特征提取階段被過濾，因此對抗性訓(xùn)練可能無法防御基于特征空間的對抗攻擊。

（2）被動防御

被動防御通常不會對模型進(jìn)行修改，而是在模型之外再添加一些防御性的模塊，以此來防御對抗攻擊。對抗樣本檢測是被動防御的一種代表性方法，旨在在聲紋識別系統(tǒng)接受測試前先檢測輸入的音頻樣本是否具有惡意?；铙w檢測是被動防御的一個研究方向，其目的是確定語音來源是否是真人，它可以幫助檢測錄音重放的對抗攻擊[3]。

3 對公安領(lǐng)域的影響及對策

3.1 聲紋識別在公安領(lǐng)域的應(yīng)用

聲紋識別技術(shù)在公安領(lǐng)域的主要應(yīng)用場景[4]有：

（1）智慧社區(qū)警務(wù)，通過語音識別技術(shù)進(jìn)行信息錄入和案件辦理等，提高工作效率，同時采集聲紋信息。

（2）治安防控，在巡邏盤查中對可疑人員通過語音進(jìn)行身份識別、綜合查詢等功能，提升治安管控能力。

（3）重點人聲紋庫，采集重點人聲紋信息并構(gòu)建聲紋庫，以實現(xiàn)以音找人、查詢匹配等功能，可用于案件預(yù)警，有效打擊遏制犯罪。

（4）警務(wù)智能語音服務(wù)，智能警務(wù)服務(wù)中心，民眾可以通過語音交互的形式在智能設(shè)備上辦理業(yè)務(wù)，通過聲紋識別可無感識別用戶身份，提高人民群眾辦事體驗。

（5）公安物聯(lián)網(wǎng)，為了提高警務(wù)智能化和公安信息化的水平，多地已開展了公安物聯(lián)網(wǎng)的建設(shè)，構(gòu)建語音大數(shù)據(jù)平臺，利用音視頻傳感器、生物特征識別傳感器等感知技術(shù)與智能裝備，提升公安工作的效率，打造城市智慧安防體系。

（6）電詐打擊，在電信網(wǎng)絡(luò)空間中，聲紋識別技術(shù)可充分發(fā)揮技術(shù)優(yōu)勢，在海量電話及語音信息場景中根據(jù)聲紋比對快速發(fā)現(xiàn)涉詐信息、進(jìn)行詐騙預(yù)警、鎖定嫌疑人身份。

（7）案件偵破，通過語音線索提取聲紋信息，進(jìn)行身份確認(rèn)、心理畫像等，為案件偵破提供幫助。

（8）案件證據(jù)，語音信息作為試聽資料或電子數(shù)據(jù)，是法定的證據(jù)形式之一，通過聲紋鑒定可用以證明身份或反應(yīng)案件事實等，有明確的證據(jù)效力。

3.2 聲紋識別對抗攻擊帶來的影響

上述的具體應(yīng)用場景可以根據(jù)語音的來源及用途分為：有監(jiān)督采集原始語音、無監(jiān)督采集語音、虛擬空間采集語音、用于聲紋識別與鑒定的語音幾類。下面分別討論對抗攻擊對這幾類場景可能帶來的影響。

（1）有監(jiān)督采集語音

聲紋識別在公安領(lǐng)域的應(yīng)用場景中，有直接采集語音的情景，如智慧社區(qū)警務(wù)、巡邏盤查、重點人聲紋采集等，此類場景可在警務(wù)人員監(jiān)督下直接采集說話人原始語音，并錄入聲紋庫。在此過程中，語音采集一般是在監(jiān)督指導(dǎo)下現(xiàn)場完成的，攻擊者難以在此過程中添加對抗性噪聲到采集的語音樣本中，可以看作擁有說話人最真實的聲學(xué)特征和頻譜信息的語音樣本。因此應(yīng)繼續(xù)強(qiáng)化此類場景下的監(jiān)督，避免攻擊者趁監(jiān)督者不備從而錄入對抗語音的情況。

（2）無監(jiān)督采集語音

對于智能語音警務(wù)服務(wù)、公安物聯(lián)網(wǎng)等來說，進(jìn)行音頻采集的設(shè)備可能處于無人監(jiān)督狀態(tài)，這便給了攻擊者通過播放對抗樣本的方式攻擊系統(tǒng)的可能性，攻擊者可以通過事先準(zhǔn)備好含有對抗噪聲的樣本輸入到系統(tǒng)，以欺騙系統(tǒng)達(dá)到攻擊目的。

例如，攻擊者通過事先錄制好含有針對性對抗噪聲的語音樣本，對無人監(jiān)督的智能警務(wù)服務(wù)設(shè)備或公安物聯(lián)網(wǎng)語音感知設(shè)備進(jìn)行播放，從而欺騙系統(tǒng)將聲紋識別成特定的身份，從而實現(xiàn)攻擊目的。此外，還需防范其他非正常與系統(tǒng)進(jìn)行語音交互的攻擊手段，如通過聲光轉(zhuǎn)換調(diào)制激光照射語音感知設(shè)備[5]，以欺騙系統(tǒng)的方式進(jìn)行攻擊。

（3）虛擬空間采集語音

對于電信網(wǎng)絡(luò)詐騙等通過電信網(wǎng)絡(luò)虛擬空間采集語音信息的情況，如電話、即時聊天工具、VoIP等方式傳遞、采集的音頻信息，由于說話人的語音是間接采集的，并非直接面對面輸入到被信任的語音采集設(shè)備，因此無法確定語音信息是否進(jìn)行偽裝或添加了對抗噪聲。若攻擊者在虛擬空間中的語音通話、語音信息中使用了對抗攻擊技術(shù)，那么將會影響聲紋識別的準(zhǔn)確性，目前基于聲紋識別匹配的一些反電詐技戰(zhàn)法將失效，若將這些語音作為聲紋來源加入聲紋庫，還會對建設(shè)的聲紋庫造成污染，降低整個聲紋識別系統(tǒng)的魯棒性。

（4）聲紋識別與鑒定

在案件的偵破過程中，往往涉及對相關(guān)語音信息進(jìn)行聲紋識別與鑒定。聲紋識別包括從聲紋庫中匹配出與輸入語音聲紋特征高度一致的說話人，如以音找人等場景，以便快速辨認(rèn)語音來源人員的身份。而聲紋鑒定則主要包括真實性和同一性鑒定[6]，將語音信息中的聲紋特征與特定人員的聲紋進(jìn)行鑒定，從而確認(rèn)語音來源人員的身份。

而在案件中搜集到的語音信息往往并不是有監(jiān)督采集的語音，這些非直接、面對面采集的語音信息的可信度無法保證，若嫌疑人在其中加入了對抗噪聲，則會使語音識別系統(tǒng)做出錯誤的判斷。同時，對于對抗性語音樣本，由于其生成原理不同于剪輯、合成等語音偽裝手段，其真實性鑒定存在一定難度，此外在一些攻擊算法中語音的頻譜分布和聲學(xué)特征與正常樣本無明顯差異[7]，即聲紋鑒定結(jié)果即使為肯定同一的情況下，將兩段語音輸入聲紋識別系統(tǒng)中可能會得到完全不同的輸出結(jié)果，被系統(tǒng)識別為2個不同的人，與鑒定結(jié)果存在沖突。

3.3 對策

（1）聲紋采集與聲紋庫建設(shè)管理規(guī)范化

為避免在涉及語音錄入的場景采集到對抗性聲紋樣本，對系統(tǒng)造成不良影響，應(yīng)加強(qiáng)對錄音設(shè)備、環(huán)境、采集流程等的規(guī)范管理，確保采集語音信息的真實性，提高樣本質(zhì)量，防止采集設(shè)備遭受外部干擾，嚴(yán)格監(jiān)督采集過程，避免被采集者通過事先準(zhǔn)備的音頻播放設(shè)備進(jìn)行外放錄音，以免對抗樣本進(jìn)入聲紋庫造成污染。

（2）為聲紋識別系統(tǒng)添加檢測模塊

為了防止攻擊者在無監(jiān)督采集語音的情況下對采集設(shè)備通過錄音重放、利用聲光轉(zhuǎn)換調(diào)制激光等方式進(jìn)行對抗攻擊，可以為聲紋識別系統(tǒng)添加活體檢測模塊，從而過濾非直接活體采集的語音樣本，防止被篡改的樣本輸入系統(tǒng)。對于通過電信網(wǎng)絡(luò)采集的語音信息，可以在系統(tǒng)中添加對抗樣本檢測[8]模塊，用以識別出添加了對抗噪聲的樣本并進(jìn)行過濾，從而避免對抗樣本輸入系統(tǒng)實施攻擊。但目前對抗樣本檢測的技術(shù)尚不夠成熟，因此對來源于電信網(wǎng)絡(luò)的語音信息須謹(jǐn)慎對待，不宜直接納入標(biāo)準(zhǔn)聲紋庫以免造成污染。

（3）采用多重認(rèn)證

對無監(jiān)督采集語音的場景，需要通過聲紋認(rèn)證訪問有較高安全要求的系統(tǒng)時，可結(jié)合人臉識別、隨機(jī)語音口令等方式進(jìn)行多重認(rèn)證，在滿足便捷性和無感識別需求的情況下，提高安全性，增加對聲紋識別系統(tǒng)進(jìn)行對抗攻擊的難度。

（4）完善相關(guān)標(biāo)準(zhǔn)和技術(shù)

在聲紋鑒定方面，現(xiàn)行的《SF-Z JD0301001-2010錄音資料鑒定規(guī)范》等規(guī)范，由于制定時間較早，未對存在對抗攻擊的情況作出規(guī)定，一些鑒定方法、技術(shù)等在鑒定對抗樣本時存在困難。此外，如《GA/T 1179-2014 安防聲紋確認(rèn)應(yīng)用算法技術(shù)要求和測試方法》、《GB/T 35318-2017 公安物聯(lián)網(wǎng)感知終端安全防護(hù)技術(shù)要求》等相關(guān)技術(shù)規(guī)范中也缺乏對存在對抗攻擊的情形的考慮。因此，需要不斷完善聲紋識別相關(guān)技術(shù)規(guī)范與要求，及時制定對抗攻擊防御技術(shù)規(guī)范，積極開展多方合作，跟進(jìn)前沿研究成果，提高完善司法鑒定的技術(shù)方法，提高對抗樣本的檢出準(zhǔn)確率，促進(jìn)行業(yè)在大數(shù)據(jù)與人工智能浪潮下應(yīng)對對抗攻擊帶來的挑戰(zhàn)。

（5）完善法律責(zé)任與監(jiān)管

語音數(shù)據(jù)包含了說話人的生物特征信息，屬于敏感隱私數(shù)據(jù)，其采集、傳輸、存儲等過程都應(yīng)嚴(yán)格管理，避免被不法分子利用從而帶來嚴(yán)重后果。2021年9月1日開始正式施行的《中華人民共和國數(shù)據(jù)安全法》規(guī)范了數(shù)據(jù)處理活動，在促進(jìn)數(shù)據(jù)開發(fā)利用的同時保障數(shù)據(jù)安全，保護(hù)個人、組織的合法權(quán)益，維護(hù)國家主權(quán)、安全和發(fā)展利益，要與《網(wǎng)絡(luò)安全法》《個人信息保護(hù)法》等法律法規(guī)一起配合，進(jìn)一步完善、明確法律責(zé)任和監(jiān)管主體執(zhí)法部門，體現(xiàn)立法效果。此外，對一些類似人臉造假軟件ZAO等，可能帶來不良后果的語音偽裝軟件等應(yīng)加強(qiáng)兼管，防止技術(shù)濫用破壞經(jīng)濟(jì)社會的安全穩(wěn)定發(fā)展。

4 結(jié)束語

在大數(shù)據(jù)時代，人工智能、深度學(xué)習(xí)等技術(shù)是實現(xiàn)智慧城市、智慧警務(wù)的重要工具，但深度學(xué)習(xí)面臨著遭受對抗攻擊的風(fēng)險，而基于深度學(xué)習(xí)的聲紋識別系統(tǒng)面臨著相同的挑戰(zhàn)。在公安領(lǐng)域中，聲紋識別系統(tǒng)有著廣泛的應(yīng)用和光明的前景，對抗攻擊的檢測與防御關(guān)系著公共安全，希望各方能夠積極應(yīng)對，早日攻克這個難點。

[1]Hansen J H L，Hasan T. Speaker recognition by machines and humans：A tutorial review[J]. IEEE Signal processing magazine，2015.

[2]Sztahó D，Szaszák G，Beke A. Deep learning methods in speaker recognition：a review[J]. arXiv preprint，2019.

[3]Abdullah H，et al. Sok：The faults in our asrs：An overview of attacks against automatic speech recognition and speaker identification systems[C]//2021 IEEE Symposium on Security and Privacy. IEEE，2021.

[4]劉曉晨，潘孝勤，曹金璇，等.聲紋識別和語音識別技術(shù)在公安領(lǐng)域的應(yīng)用[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2021.

[5]Sugawara T，et al. Light commands：laser-based audio injection attacks on voice-controllable systems[C]//USENIX Security，2020.

[6]曹洪林，張曉琳.中國聲紋鑒定證據(jù)庭審應(yīng)用現(xiàn)狀的實證研究[J].中國語音學(xué)報，2020.

[7]Hanifa R M，Isa K，Mohamad S. A review on speaker recognition：Technology and challenges[J]. Computers & Electrical Engineering，2021.

[8]Tian J，et al. Detecting Adversarial Examples from Sensitivity Inconsistency of Spatial-Transform Domain[C]//Proceedings of the AAAI Conference on Artificial Intelligence，2021.

四川省教育廳科研計劃項目（18ZB0409）