張駿飛 張雄偉 孫 蒙

(中國人民解放軍陸軍工程大學指揮控制工程學院 南京 210001)

依賴神經(jīng)網(wǎng)絡模型完成數(shù)據(jù)處理的移動設備深入到生活中的私人領(lǐng)域,如智能手機、智能家居及可穿戴設備.有如此多的日常設備連接到互聯(lián)網(wǎng),智能連接可以通過任何設備隨時隨地訪問數(shù)據(jù),效率提高的同時,隱私問題和安全風險也隨之產(chǎn)生.在一般情況下,語音常用于日常社交,隱私特性感知不強.語音數(shù)據(jù)隱私分析表明,語音中除了語義內(nèi)容外,說話人的語音特征和表達方式可能隱含著豐富的私人敏感信息,如性別、年齡、健康狀況和地理來源[1].語音數(shù)據(jù)的泄露可能對個人隱私構(gòu)成嚴重威脅,例如竊取模型中的語音信息,甚至利用這類信息進行深度偽造到其他違法事件當中,對個人生活和工作產(chǎn)生不良影響.因此,模型的語音隱私信息不被竊取是至關(guān)重要的.

機器學習(machine learning, ML)被廣泛應用于數(shù)據(jù)處理任務中,移動設備和邊緣設備越來越依賴深度神經(jīng)網(wǎng)絡(deep neural networks, DNNs)完成復雜任務.如今,DNNs正被應用于許多涉及隱私和敏感數(shù)據(jù)集的領(lǐng)域,如醫(yī)療、安全等,這可能帶來一些隱私問題.事實上,先前對隱私的研究已經(jīng)證實了從訪問模型中恢復未授權(quán)信息的可能.其中有一類方法稱之為模型反演(model inversion, MI),給定模型的訪問權(quán)限,模型反演可以重構(gòu)用于模型訓練的私有數(shù)據(jù),引發(fā)了越來越多的隱私擔憂.例如,惡意用戶可能會訪問人臉識別系統(tǒng),以重構(gòu)用于訓練的人臉圖像.深度學習技術(shù)的興起將模型反演擴展至深層結(jié)構(gòu)和復雜數(shù)據(jù)集,對隱私數(shù)據(jù)保護提出了新的挑戰(zhàn).

聲紋識別系統(tǒng)是一種憑借語音信息識別說話人的身份認證系統(tǒng),被廣泛應用于需匹配特定說話人身份的訪問控制或交易認證等諸多現(xiàn)實場景,利用該技術(shù)可以便捷控制和訪問計算機、手機等其他私人電子設備.聲紋識別模型的訓練依賴于神經(jīng)網(wǎng)絡從大量語音數(shù)據(jù)中提取每個說話人的特征表示,模型輸出中可能會包含說話人的部分信息.日常情境中,不論是在私人領(lǐng)域還是在公共領(lǐng)域,受設備計算能力、存儲和功耗的限制,通常模型部署在本地,云端按需完成計算過程,設備僅接收云端識別確認的返回結(jié)果.這種場景下很容易引發(fā)隱私問題,上傳云端的語音數(shù)據(jù)得不到足夠的安全保障.

到目前為止,模型反演工作大都集中在圖像領(lǐng)域,能較好地從得到的模型相關(guān)知識中重構(gòu)原始輸入,但在語音領(lǐng)域還少有相關(guān)研究.與圖像領(lǐng)域的模型反演類似,聲紋識別系統(tǒng)將每個說話人視作一類,語音信息可能被惡意恢復.由于語音數(shù)據(jù)包含重要的個人可識別信息,針對聲紋識別系統(tǒng)的模型反演研究有重要意義.基于DNNs的聲學模型在許多語音任務中取得了成功,代替?zhèn)鹘y(tǒng)低維特征向量如MFCC和PLP系數(shù),Fbank特征可以更多地保留語音本身所攜帶的信息[2].本文提出的基于分治方法的聲紋識別系統(tǒng)模型反演,成功將模型反演擴展至Fbank特征語譜圖上,驗證了模型反演在語譜圖上的可行性.實驗結(jié)果表明提取此類語音特征信息的聲紋識別模型存在隱私安全問題.

1 相關(guān)工作

圖1 模型反演方法

針對隱私的模型反演其總體目標是獲取不被共享的隱私敏感信息,如訓練數(shù)據(jù)和模型信息.模型反演旨在重構(gòu)訓練數(shù)據(jù)對目標模型隱私敏感信息的安全產(chǎn)生威脅.正常情況下,如圖1所示,用戶輸入私有數(shù)據(jù)x,模型輸出預測結(jié)果y;攻擊者在得到模型輸出的預測知識后,可通過已掌握的模型知識,對模型反演得到與x相同或相似的信息x′.模型反演主要有2類方法:基于優(yōu)化的方法和基于訓練的方法.

1.1 基于優(yōu)化的模型反演方法

基于優(yōu)化的方法是利用數(shù)據(jù)空間中的梯度優(yōu)化來模型反演.模型反演視為一個優(yōu)化問題,搜索在目標模型下達到最大似然特征值的輸入空間.如圖2所示,神經(jīng)網(wǎng)絡模型可看作一個函數(shù)Fw,其基本思想是基于梯度優(yōu)化在輸入空間X中搜索x′,使得Fw(x′)的預測值逼近原始輸入Fw(x),并使用自然圖像空間P中的先驗概率P(x′)正則化項來調(diào)整優(yōu)化,使得反演產(chǎn)生的圖像更接近原始圖像.

圖2 基于優(yōu)化的模型反演方法

形式上,基于優(yōu)化的模型反演求逆,就是尋找一個使式(1)最小的x′,使Fw(x′)的輸出結(jié)果與原始輸入x產(chǎn)生的預測值Fw(x)盡可能相似,式(1)中L表示度量距離,如L1距離損失.

d(x′)=L(Fw(x′),Fw(x))+P(x′).

(1)

Fredrikson等人[3]在醫(yī)藥診斷任務下,首次引入模型反演恢復患者的遺傳基因標記,表明模型具有隱私風險.然而,對反演的評估僅限于線性模型,反演是否適用于其他環(huán)境也是未知的.為此,Fredrikson等人[4]提出基于梯度下降的優(yōu)化算法,利用預測分類器返回的置信度改進反演方法,成功在淺層網(wǎng)絡重構(gòu)出灰度人臉圖像.但這些直接從像素空間重構(gòu)隱私數(shù)據(jù)的反演方法對于更復雜的模型,重構(gòu)質(zhì)量往往會下降甚至完全失效.為了使深層網(wǎng)絡模型下的反演成為可能,Zhang等人[5]提出生成式模型反演(generic MI, GMI),該方法通過在公共通用數(shù)據(jù)上訓練生成對抗網(wǎng)絡(generative adversarial network, GAN)學習一個先驗分布,然后用它指導反演過程,有效地將搜索空間縮小到特定的相關(guān)圖像上,將優(yōu)化問題限制在生成器的潛在空間中.但GAN無法提取針對目標網(wǎng)絡中特定的私有知識,知識豐富分布模型反演(knowledge-enriched distributional MI, KED-MI)在GMI的基礎上進行改進,Chen等人[6]提出一種新的反演GAN,為了從公共數(shù)據(jù)中提取關(guān)于目標模型的私有知識,采用一個能夠區(qū)分真實數(shù)據(jù)和偽造數(shù)據(jù)的判別器,它可以指導生成器生成與私有訓練數(shù)據(jù)具有更多共同特征的圖像,更好地從公共數(shù)據(jù)中提取有用的私有知識執(zhí)行模型反演.

1.2 基于訓練的模型反演方法

反演神經(jīng)網(wǎng)絡模型的預測實際上是一個困難的不適定問題[7].基于優(yōu)化的過程從隨機初始化輸入開始,且反演過程中要求解梯度,難以擴展到更深結(jié)構(gòu)和復雜數(shù)據(jù)集.不同于基于優(yōu)化的方法,基于訓練的方法是訓練一個新的神經(jīng)網(wǎng)絡模型(簡稱反演模型).該方法學習出一個新反演模型Dθ以逼近從預測知識Ew(x)到輸入x的逆映射,即僅靠給定預測知識輸出Ew(x)就能直接求解反演樣本x′.由于目標模型Ew和反演模型Dθ具有相似的功能,模型反演的訓練過程類似于自動編碼器結(jié)構(gòu),即編碼器-解碼器對,如圖3所示:

圖3 基于訓練的模型反演方法

這種模型反演就是尋找一個反演模型Dθ,最小化式(2)反演樣本x′與原始輸入x的誤差,其中R表示L1范數(shù)等損失.

s(Dθ)=R(Dθ(Ew(x)),x).

(2)

可逆神經(jīng)網(wǎng)絡(invertible neural networks, INNs)由于其特殊結(jié)構(gòu)以及限制權(quán)值分布,可作為1對1的函數(shù)逼近器.Jacobsen等人[8]改進可逆殘差網(wǎng)絡(reversible residual network, RevNet)[9]仍使用多個不可逆向算子的情況,可以完全反演直至最后的分類器上,不丟棄任何信息并且允許從最后一層中準確地恢復輸入.而Yang等人[10]研究對抗環(huán)境下的模型反演問題,采用更一般的數(shù)據(jù)集組成輔助集訓練反演模型,作為目標模型的逆執(zhí)行反演.其提出的基于截斷的技術(shù),能夠從獲得的部分模型預測輸出中有效地反演目標模型.為了擴展至更深層的網(wǎng)絡,Dong等人[11]引入分治法以分而治之反演DNNs,證明在復雜圖像數(shù)據(jù)集反演深層模型的可行性.同樣地,基于訓練的模型反演也可用GAN實現(xiàn).Wang等人[12]提出一個能夠在服務器端“隱形”工作的多任務輔助識別GAN(multi-task GAN for auxiliary identification, mGAN-AI),采用多任務判別器提高生成特定樣本的質(zhì)量.Shi等人[13]提出一種基于深度學習的模型反演方法,通過輪詢推理分類器的功能,構(gòu)建出功能等效的模型.而后利用條件生成對抗網(wǎng)絡(conditional GAN, cGAN)減少對采集數(shù)據(jù)量的需求,生成更多的數(shù)據(jù)訓練反演模型[14].

綜上所述,2類模型反演方法都在努力尋找與原始輸入x距離最小的反演樣本x′,并有著對以往研究中所作假設不斷減少的共同趨勢.本文采用基于訓練的模型反演方法訓練一個反演模型Dθ.假設目標模型是可訪問的,可以在獲得模型輸出的情況下得到一個單向通道反演的多層前饋反演模型.當再次得到新的模型輸出時,只需通過反演模型進行1次正向傳遞就能根據(jù)模型輸出重構(gòu)輸入數(shù)據(jù).

圖4 端到端模型反演訓練框架

2 本文方法

深度神經(jīng)網(wǎng)絡的學習是一個循序漸進的過程,網(wǎng)絡的不同階段具有不同的學習能力,由此可學習到不同的分層特征.DNNs是具有多層或塊的組合結(jié)構(gòu),隨著深度的增加,特征的抽象程度變高,從而產(chǎn)生更復雜的特征圖,導致反演難度增加.為避免直接反演所有層的困難,本文引入一種與Dong等人[11]相同的簡單而有效的分治反演策略,將整體反演問題分解成若干個逐層反演的子問題,使得每步反演都是一個較為容易解決的問題.不同于僅靠模型2端信息監(jiān)督的端到端整體反演,分治法會使得模型反演過程更加穩(wěn)定和有效,特別是對深層網(wǎng)絡結(jié)構(gòu)有獨特的優(yōu)勢:分層會使模型的非線性和復雜度降低,更易反演;反演能夠逐層調(diào)整優(yōu)化,提供更有效豐富的層監(jiān)督信息,減少訓練過程中傳播的累積誤差.

(3)

(4)

3) 循環(huán)一致重構(gòu)損失.通過將反演樣本輸入目標模型重新檢查循環(huán)一致性加強重構(gòu)質(zhì)量.利用循環(huán)一致性,反演樣本x′輸入目標模型中,逐層計算循環(huán)一致?lián)p失并求和,最小化反演樣本與原始輸入在目標模型輸入的逐層輸出總和.

(5)

從原始輸入起使用式(3)(5),將原始輸入作為參考,監(jiān)督反演樣本與原始輸入具有相似的特征;同時使用式(4),減少反演訓練過程中產(chǎn)生的傳播累積誤差.綜合上述損失,反演整體優(yōu)化目標為式(6),其中α是超參數(shù).

Ln=Llayer+Lspec+αLcycle.

(6)

特別地,先前應用在圖像領(lǐng)域上的模型反演方法中,重構(gòu)與原始輸入接近或相同的反演樣本才是有價值的.對于聲紋識別來說,語音場景下模型反演的特殊性在于,模型的特征層已經(jīng)有了大量的說話人信息,足夠用于說話人身份識別.尤其是許多聲紋識別依賴于余弦相似度[15-16]算法,由此對本文的分治法進一步改進,采用xvector[17]余弦相似損失式(7)替換臨時重構(gòu)損失式(4)來監(jiān)督反演重構(gòu)數(shù)據(jù)過程,如圖4中②.重點關(guān)注于反演樣本與原始輸入的xvector特征余弦相似,利用模型反演直接重構(gòu)說話人身份特征相似的反演樣本.

LCosine(x,x′)=

1-cos[xvector(x),xvector(x′)],

(7)

(8)

利用xvector[17]相似會降低計算代價,減少反演樣本和原始輸入在其表示中的距離,會使反演產(chǎn)生更高的保真度.修改損失后的優(yōu)化目標如下,其中α,β是超參數(shù).

Ln_xvector=Llayer+βLCosine+αLcycle.

(9)

3 實 驗

3.1 實驗設置

實驗采用Aishell-1[18]數(shù)據(jù)集.Aishell-1是一個中文語音數(shù)據(jù)集,由來自400名中國不同口音區(qū)域的說話人在安靜的室內(nèi)環(huán)境中參與錄制,每人300多條語音,錄音時長178h,并降采樣至16kHz.隨機從Aishell-1數(shù)據(jù)集抽取40位說話人用于實驗,首先將數(shù)據(jù)按5∶5劃分為用于訓練目標模型和反演模型的數(shù)據(jù)集,劃分數(shù)據(jù)集間無重疊,之后再按7∶3分別對2個數(shù)據(jù)集劃分訓練集和測試集.訓練目標模型后固定,再以端到端的方式訓練反演模型.α,β這2個超參數(shù)用來調(diào)節(jié)損失中各項保持在同一量級.由以下2個評價指標衡量模型反演的效果.

1) 反演樣本在目標模型上正確分類的比例.若反演樣本在目標模型上正確分類為原說話人,則視為成功.即目標模型被反演樣本欺騙導致正確分類.可以幫助分析經(jīng)反演模型輸出的反演樣本對于目標模型是否還能再次被正確識別.

2) 反演樣本與原始輸入的語譜圖可視化對比.側(cè)重于從可視角度量化反演樣本與原始輸入的相似度,若語譜圖相似,反演樣本也應當與原始輸入相似.分析模型反演是否可由構(gòu)建的反演模型中恢復原始輸入.

3.1.1 數(shù)據(jù)預處理

提高農(nóng)產(chǎn)品質(zhì)量安全預警有利于農(nóng)業(yè)健康發(fā)展，提高國民生活水平，是當前相關(guān)部門需高度重視的一項工作。只有充分意識到提高農(nóng)產(chǎn)品質(zhì)量安全預警的意義，才能使其含有的實效性在農(nóng)業(yè)發(fā)展中發(fā)揮出最大化，才會為社會經(jīng)濟不斷增長做鋪墊。

神經(jīng)網(wǎng)絡對高度相關(guān)的信息不敏感.經(jīng)短時傅里葉變換(short-time Fourier transform, STFT)后直接得到的聲譜圖維度較高,冗余信息過多.而信息變換一般是有損的,原始語音包含信息量更完整,MFCC會造成語音信號的高頻非線性部分丟失.Fbank與上面2種特征相比,信息損失少,運算量低且相關(guān)度高.按圖5流程處理成32維×64幀固定大小的語譜圖用于實驗.

3.1.2 目標模型

受限于設備性能、存儲等,在滿足本地化需求的前提下,目標模型需盡可能的輕量化,采用圖6所示的網(wǎng)絡結(jié)構(gòu)模擬目標模型.

圖5 Fbank特征提取流程

圖6 目標模型

3.1.3xvector提取

當前的聲紋識別依賴于神經(jīng)網(wǎng)絡提取說話人特征表示.使用時延神經(jīng)網(wǎng)絡(time-delay neural networks, TDNN)[19]通過擴張卷積逐步建立時間上下文,可以將變長的說話者語音映射到固定維度的嵌入矢量表示,稱為xvector[17].ECAPA-TDNN[16]在原有架構(gòu)的基礎上作了進一步改進,將時間注意力擴展到通道維度,在不同幀的集合上提取一定的說話人屬性,使得網(wǎng)絡更多地關(guān)注那些不在同一時間上的說話人特征.SE-Res2Blocks重新調(diào)整幀級特征,將初始幀重組,使得網(wǎng)絡受益于更廣泛的時間上下文.其中Res2Blocks通過構(gòu)建層次化的殘差連接處理多尺度特征;SE-Block會根據(jù)記錄的全局屬性對每個通道進行重新縮放來擴展幀層的時間上下文.神經(jīng)網(wǎng)絡學習分層特征,每一層操作復雜度不同.為了利用每層的互補信息,對不同層的SE-Res2Blocks的輸出特征通過殘差連接傳播,將其輸出特征圖串聯(lián).實驗采用預訓練的ECAPA-TDNN模型提取xvector,即圖7中的Audio feature.

圖7 ECAPA-TDNN網(wǎng)絡結(jié)構(gòu)

3.2 結(jié)果及分析

在實驗中,使用反演模型重構(gòu)完整的原始輸入語音數(shù)據(jù),同時驗證反演樣本是否能再次被正確識別為原說話人身份.本文實驗結(jié)果如表1所示.預訓練的目標模型在測試集上的分類準確率為90.135%.2種方法重構(gòu)反演樣本的說話人身份均能被再次正確識別,對目標模型有較高的準確率.分治法反演樣本在目標模型上的識別準確率高達84.926%,同樣地,針對語音的特殊性,利用xvector[17]余弦相似損失重構(gòu)的反演樣本識別準確率顯著提高到89.016%,因為其中已攜帶有大量可用于神經(jīng)網(wǎng)絡模型對聲紋識別的關(guān)鍵特征信息,足夠用于說話人身份的識別.結(jié)果表明通過模型輸出知識反演原始輸入時反演樣本與原始輸入的說話人身份基本保持一致.對于一個使用聲紋特征信息作為身份控制和訪問的安全系統(tǒng),反演樣本在模型上識別的高準確性是不可接受的.

表1 目標模型測試集識別準確率

同時,實驗也從可視角度驗證了從目標模型輸出經(jīng)反演模型重構(gòu)原語譜圖的可行性,圖8可視化了部分模型反演的效果,圖8中序號是說話人的身份標簽.觀察到其與原始輸入雖已有可見的相似,可能由于語義信息還原的不完美,并不完全匹配.尤其是改進損失僅衡量反演樣本與原始輸入的xvector[17]相似,減弱語義信息后可視效果變差.特別地,轉(zhuǎn)換為語音文件后,反演樣本聽起來與原始語音有相似的內(nèi)容,然而盡管反演樣本與原始輸入之間重構(gòu)距離減小,重構(gòu)的反演樣本聽起來仍然不像原始語音那么清晰.另外,由于語音場景的特殊性,聲紋識別模型的識別并不需要像原始語音那樣自然的聲音,改進損失重構(gòu)的反演樣本可視效果雖比原方法差,但對目標模型的識別準確率更高.說話人身份特征已被較好地還原并被原模型正確識別,證明了模型反演在目標模型上的有效性,可以通過模型反演得到與原說話人身份信息一致的反演樣本.

圖8 語譜圖

以上實驗基本驗證了模型反演在聲紋識別系統(tǒng)提取語譜圖特征的可行性,結(jié)果表明模型存在隱私信息泄露風險.在掌握模型完全知識的情況下,初步可達到從訓練好的反演模型中重構(gòu)對應模型輸出的與原說話人身份信息一致的語譜圖的目標.實驗的成功可為語音隱私信息安全提供有價值的見解,模型反演不僅可以用來重構(gòu)模型所訓練的隱私信息,還會嚴重威脅提取此類語音特征信息的聲紋識別系統(tǒng)安全性.

4 結(jié) 語

本文成功將模型反演擴展至語譜圖,對模型反演在語譜圖上的可行性進行了有效驗證.結(jié)果表明,反演樣本已包含豐富的身份信息.聲紋識別模型依賴于神經(jīng)網(wǎng)絡提取學習每個說話人的特征完成識別任務.因此,訓練好的神經(jīng)網(wǎng)絡模型中總會包含說話人的部分信息.現(xiàn)有神經(jīng)網(wǎng)絡模型中的語音信息被惡意恢復是有可能的,要重視在此類模型中提供足夠隱私保護的重要性.目前模型反演在語音領(lǐng)域的實際影響可能仍然是有限的,隨著新的模型反演方法的提出,對聲紋識別系統(tǒng)隱私空間安全的關(guān)注將變得越來越重要.后續(xù)可對更深更復雜的網(wǎng)絡進行研究,將模型反演擴展至大規(guī)模應用的聲紋識別系統(tǒng),進一步探索語音領(lǐng)域?qū)ｉT的隱私保護方法.