羅婭婭，楊 乘，2，張 旺，余 萍，3

（1.貴州師范大學(xué) 物理與電子科學(xué)學(xué)院，貴州 貴陽 550001；2.貴州省教育廳汽車電子技術(shù)特色重點(diǎn)實(shí)驗(yàn)室，貴州 貴陽 550001；3.貴州省射電天文數(shù)據(jù)處理重點(diǎn)實(shí)驗(yàn)室，貴州 貴陽 550025）

聲紋識(shí)別可根據(jù)說話人聲紋的唯一性來進(jìn)行身份識(shí)別，具有簡單方便的特點(diǎn)。在無噪聲環(huán)境下聲紋識(shí)別技術(shù)已較為成熟，其中以i?vector[1]算法為主流，采用一個(gè)通用背景模型（UBM）收集大量的統(tǒng)計(jì)信息，投影矩陣T把UBM 的高維統(tǒng)計(jì)信息映射到低維，提取i?vector 進(jìn)行識(shí)別，但該方法的建模能力和帶噪聲環(huán)境下的聲紋識(shí)別率還存在很大的挑戰(zhàn)。隨著人工智能時(shí)代的發(fā)展，使用深度神經(jīng)網(wǎng)絡(luò)（DNN）[2]來對說話人的語音特征進(jìn)行增強(qiáng)是聲紋識(shí)別的一大熱潮。

在早期的研究中，通過訓(xùn)練DNN 自動(dòng)編碼器進(jìn)行預(yù)處理[3]將噪聲環(huán)境下的語音映射為純凈語音，但該方法在提高系統(tǒng)魯棒性的同時(shí)增大了計(jì)算復(fù)雜度。此外，谷歌的Heigold 等人提出深度神經(jīng)網(wǎng)絡(luò)可直接應(yīng)用于分離相同和不同說話者，在語音幀級進(jìn)行分類，用嵌入的方法取代i?vector，提高了聲紋識(shí)別率[4]。文獻(xiàn)[5]采用數(shù)據(jù)擴(kuò)充來提高TDNN 嵌入性能從而增強(qiáng)系統(tǒng)魯棒性，用深層神經(jīng)網(wǎng)絡(luò)來訓(xùn)練說話人識(shí)別器直接分類提取說話人信息。TDNN 中的臨時(shí)池層捕獲說話人特征[5]，將訓(xùn)練后的語音信息映射到固定維度的說話人嵌入上，再用線性概率分析（PLDA）[6]對嵌入信息進(jìn)行打分識(shí)別。TDNN 算法的各方面性能都優(yōu)于i?vector，但由于TDNN是一維的卷積神經(jīng)網(wǎng)絡(luò)。隨著網(wǎng)絡(luò)深度的增加，訓(xùn)練時(shí)容易出現(xiàn)梯度消失和網(wǎng)絡(luò)退化現(xiàn)象[7]，使得訓(xùn)練效果不佳，從而影響了該算法在噪聲環(huán)境下的聲紋識(shí)別率。

基于以上TDNN 算法所存在的問題，從提高噪聲環(huán)境下聲紋識(shí)別的魯棒性和緩解神經(jīng)網(wǎng)絡(luò)退化、梯度消失現(xiàn)象的角度出發(fā)，本文提出一種帶噪聲環(huán)境下改進(jìn)時(shí)延神經(jīng)網(wǎng)絡(luò)的聲紋識(shí)別算法。先利用殘差神經(jīng)網(wǎng)絡(luò)的輸入層能對輸出層進(jìn)行不斷修正以減少信息損失的特點(diǎn)，緩解網(wǎng)絡(luò)退化作用的同時(shí)提高系統(tǒng)魯棒性；再直接在TDNN 的網(wǎng)絡(luò)中引入殘差神經(jīng)網(wǎng)絡(luò)和批量歸一化處理，形成新的網(wǎng)絡(luò)框架，從而使聲紋識(shí)別率得到提高。

1 深度學(xué)習(xí)網(wǎng)絡(luò)

1.1 時(shí)延神經(jīng)網(wǎng)絡(luò)

TDNN 的優(yōu)勢在于每個(gè)隱藏層的特征不僅與此刻的輸入有關(guān)，還和未來時(shí)刻的輸入有關(guān)。TDNN 系統(tǒng)模型結(jié)構(gòu)如圖1 所示。

圖1 TDNN 系統(tǒng)模型結(jié)構(gòu)

TDNN 算法采用24 維濾波器組，幀長為25 ms，用語音動(dòng)態(tài)檢測法（VAD）[8]消除靜音幀提取出聲學(xué)模型?？勺冮L度語音序列作為TDNN 的輸入，經(jīng)過激活函數(shù)后，在時(shí)延神經(jīng)網(wǎng)絡(luò)層提取幀級別的說話人特征，而統(tǒng)計(jì)池層用來聚合，完全連接層獲取了低維度的話語級信息后傳輸?shù)捷敵鰧印＞W(wǎng)絡(luò)經(jīng)過訓(xùn)練后在完全連接層把語音直接映射到固定維度的說話人嵌入上，稱之為x?vector，再將x?vector 提取出來后用PLDA 算法進(jìn)行打分。

1.2 殘差神經(jīng)網(wǎng)絡(luò)

殘差神經(jīng)網(wǎng)絡(luò)通常用于圖像處理，若利用語音信號的頻譜結(jié)構(gòu)，ResNet 的概念也可用于語音識(shí)別任務(wù)[9]。本文采用的殘差神經(jīng)網(wǎng)絡(luò)與其應(yīng)用于語音頻譜圖的方法不同，直接用殘差神經(jīng)網(wǎng)絡(luò)對TDNN 網(wǎng)絡(luò)框架上進(jìn)行修改，并未對語譜圖進(jìn)行處理。一個(gè)淺層殘差神經(jīng)網(wǎng)絡(luò)的輸入輸出關(guān)系可由式（1）表示，輸入為x，輸出為H（x），此時(shí)的殘差為0。

但隨著深度神經(jīng)網(wǎng)絡(luò)隱藏層數(shù)目的增加，網(wǎng)絡(luò)訓(xùn)練的信息損耗是不可忽略的。式（1）被式（2）所代替，殘差的公式由式（2）表示。這樣讓冗余層更新參數(shù)更為簡單，且在反向傳播更新參數(shù)時(shí)，用短路連接（Shortcut）使得梯度為0 的現(xiàn)象很難出現(xiàn)，這樣便不會(huì)導(dǎo)致梯度消失和網(wǎng)絡(luò)退化情況的發(fā)生。殘差神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 殘差神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

1.3 批量歸一化

批量歸一化（Batch Normalization）是由Loffer 等人提出來的，讓不同維度的輸入有著相似的分布[10]。BN通過減均值除方差操作把每一層的輸出均值和方差相對固定，將輸出從飽和區(qū)拉到了非飽和區(qū)，從而提高網(wǎng)絡(luò)泛化能力，很好地解決了梯度消失或梯度爆炸問題。設(shè)x=（x1，x2，…，xk）為某一層的k維輸入，E（xk）為均值，Var（xk）為方差。批量歸一化公式為：

下一層的輸入為zk：

式中，拉升參數(shù)γk和偏移參數(shù)βk為模型的可學(xué)習(xí)參數(shù)。

2 ResTDNN 設(shè)計(jì)

2.1 ResTDNN 設(shè)計(jì)思路

TDNN 算法應(yīng)用于聲紋識(shí)別時(shí)會(huì)存在兩個(gè)影響識(shí)別率的問題：第一，在TDNN 網(wǎng)絡(luò)深度增加的同時(shí)，精度會(huì)逐漸達(dá)到飽和，從而使網(wǎng)絡(luò)性能迅速退化。此現(xiàn)象并非由過擬合引起，而是因?yàn)殡S著訓(xùn)練層數(shù)的增加，誤差也隨之增大[11]。第二，隨著網(wǎng)絡(luò)隱藏層數(shù)目的增加，容易出現(xiàn)梯度消失或梯度爆炸的現(xiàn)象，致使神經(jīng)網(wǎng)絡(luò)無法收斂[12]。

本文設(shè)計(jì)ResTDNN 網(wǎng)絡(luò)思路在于將殘差神經(jīng)網(wǎng)絡(luò)和批量歸一化應(yīng)用到時(shí)延神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，從而解決TDNN 網(wǎng)絡(luò)所存在的問題。首先，利用殘差神經(jīng)網(wǎng)絡(luò)的輸入層能對輸出層進(jìn)行不斷修正的特點(diǎn)，來減少網(wǎng)絡(luò)訓(xùn)練中特征信息的損耗和丟失，從而彌補(bǔ)TDNN 所存在的網(wǎng)絡(luò)退化的缺陷。在提高精度的同時(shí)，進(jìn)一步提高帶噪聲環(huán)境下聲紋識(shí)別的魯棒性。其次，采用批量歸一化處理使每一層的平均值和方差限制在一定范圍內(nèi)，提高了網(wǎng)絡(luò)泛化的能力，進(jìn)而緩解梯度消失或梯度爆炸現(xiàn)象的發(fā)生。

2.2 ResTDNN 網(wǎng)絡(luò)設(shè)計(jì)

2.2.1 BN 層設(shè)計(jì)

激活函數(shù)采用線性整流函數(shù)（ReLu），在每一層的激活函數(shù)激活前均進(jìn)行歸一化處理。不僅使每一層的均值和方差固定在一定范圍內(nèi)，還能提高神經(jīng)網(wǎng)絡(luò)對初始化的魯棒性。

2.2.2 殘差模塊設(shè)計(jì)

殘差神經(jīng)網(wǎng)絡(luò)是基于卷積神經(jīng)網(wǎng)絡(luò)提出來的，又因TDNN 網(wǎng)絡(luò)為一維的CNN 網(wǎng)絡(luò)，可直接在TDNN 網(wǎng)絡(luò)上進(jìn)行殘差網(wǎng)絡(luò)的引入。本文選擇兩層殘差塊，因?yàn)榫矸e核的大小直接影響到訓(xùn)練的復(fù)雜度，故卷積核大小選擇3×3，同時(shí)為解決收斂速度問題，卷積核數(shù)量分別設(shè)置為128，256。設(shè)計(jì)殘差模塊結(jié)構(gòu)如圖3 所示。

圖3 殘差模塊結(jié)構(gòu)

2.2.3 ResTDNN 模塊設(shè)計(jì)

設(shè)置TDNN1 的輸出維度和TDNN4 的維度一致，均為512 維，使其滿足恒等跳躍連接映射的要求，故在此加入殘差模塊。TDNN4 層可根據(jù)TDNN1 層的輸出對語音幀進(jìn)行不斷修正，保證信息的相對完整性。ResTDNN網(wǎng)絡(luò)共5 層TDNN 層，在每一個(gè)TDNN 層之前均設(shè)置歸一化處理和ReLu 激活函數(shù)，其中TDNN2 層和TDNN3 層是殘差模塊的卷積層，信息聚合在統(tǒng)計(jì)池層后傳遞到完全連接層，在完全連接層的Segment6 處提取映射降至512 維的x?vector 信息。ResTDNN 網(wǎng)絡(luò)模型結(jié)構(gòu)如圖4所示。

圖4 ResTDNN 網(wǎng)絡(luò)模型結(jié)構(gòu)

ResTDNN 網(wǎng)絡(luò)的特點(diǎn)是23 維MFCC，幀長為25 ms，在長達(dá)3 s 的滑動(dòng)窗口處進(jìn)行平均歸一化，采用VAD 過濾非語音幀。ResTDNN 網(wǎng)絡(luò)配置如表1 所示。

表1 ResTDNN 網(wǎng)絡(luò)結(jié)構(gòu)

主要功能分成三組，第一組1～5 層，在幀級對語音進(jìn)行上下文拼接處理，假設(shè)TDNN 的輸入為F維的T個(gè)語音幀組成的序列，以當(dāng)前t幀為中心，例如：TDNN1 層的輸入為{t-2，t-1，t，t+1，t+2}共5 幀進(jìn)行拼接處理后，把輸出的5 幀拼接成一個(gè)新的幀集合t，再以t為中心拼接{t-2，t，t+2}上下文4 幀為一個(gè)新的幀集合t，作為TDNN2層的輸入，即在前一層的上下文基礎(chǔ)上進(jìn)行拼接輸出，在TDNN2 可看到9 幀的上下文，同理在TDNN3 可看到15 幀的上下文，由于采用恒等Shortcut 連接，要求兩個(gè)輸入維度必須一致，加入殘差，TDNN3 的輸出與TDNN1的輸出進(jìn)行拼接作為TDNN4 的輸入。TDNN5 無任何附加時(shí)間上下文。第二組，第6 層，統(tǒng)計(jì)池層接收TDNN5的輸出作為輸入，捕獲第5 層的信息并計(jì)算每個(gè)維度的平均值和標(biāo)準(zhǔn)差，統(tǒng)計(jì)信息連接在一起來生成3 000 維向量。第三組，第7～9 層，在ReLu 激活之前，在第7 層實(shí)現(xiàn)嵌入提取映射到512 維x?vector。第8 層也可以進(jìn)行提取，但提取效果不如Segment6 層。最后是Softmax 輸出層，L為輸出層的輸出維度。

2.3 訓(xùn) 練

本文提出一種新型的網(wǎng)絡(luò)結(jié)構(gòu)，即將殘差神經(jīng)網(wǎng)絡(luò)及批量歸一化應(yīng)用于TDNN 網(wǎng)絡(luò)，該網(wǎng)絡(luò)是對可變長語音進(jìn)行分類而不是對幀進(jìn)行操作。TDNN 的特性是對輸入上下文進(jìn)行拼接輸出，通過降維提取的x?vector 能充分利用10 s 左右的語音信息捕捉說話人聲紋信息，采用交叉熵?fù)p失函數(shù)解決了激活函數(shù)算法收斂速度問題?；趯?shí)驗(yàn)，刪除小于5 s 和靜音的語音，利用自然梯度隨機(jī)下降法[13]對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，其中在無噪聲環(huán)境下訓(xùn)練3 組數(shù)據(jù)，有噪聲環(huán)境下訓(xùn)練6 組數(shù)據(jù)。

2.4 PLDA 打分

用線性判別分析（LDA）進(jìn)行降維到150 維，降維后對x?vector 進(jìn)行長度歸一化。訓(xùn)練PLDA 后，通過計(jì)算兩條語音分別來自不同空間的似然函數(shù)來衡量兩條語音是否屬于同一說話人。

2.5 聲紋識(shí)別系統(tǒng)流程

聲紋識(shí)別主要包括訓(xùn)練和測試兩個(gè)過程，圖5 為聲紋識(shí)別系統(tǒng)流程。

圖5 聲紋識(shí)別系統(tǒng)流程

1）數(shù)據(jù)準(zhǔn)備：下載數(shù)據(jù)集并解壓成訓(xùn)練集、測試集和驗(yàn)證集，準(zhǔn)備相應(yīng)的語言文件；

2）數(shù)據(jù)預(yù)處理：分別對訓(xùn)練集和測試集進(jìn)行數(shù)據(jù)預(yù)處理、加噪、刪除靜音和小于5 s 的語音等過程；

3）特征提取：分別提取相應(yīng)的梅爾倒譜系數(shù)（MFCC）；

4）訓(xùn) 練ResTDNN 網(wǎng)絡(luò)和提取x?vector：訓(xùn) 練ResTDNN 網(wǎng)絡(luò)并進(jìn)行歸一化處理，提取x?vector，得到每一條語音的x?vector；

5）訓(xùn)練PLDA：對訓(xùn)練集中的語音進(jìn)行PLDA 模型訓(xùn)練；

6）打分判決：對分別來自訓(xùn)練集和測試集的x?vector進(jìn)行PLDA 打分得到識(shí)別結(jié)果。

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)

ResTDNN 網(wǎng)絡(luò)是基于kaldi[14]平臺(tái)構(gòu)建的。使用來自希殼貝兒公司的178 h 開源中文普通話數(shù)據(jù)集Aishell[15]進(jìn)行訓(xùn)練和識(shí)別，Aishell的采樣頻率為16 kHz，其中train 集包括已知說話人的話語（254 人）；dev 集包括已知說話人的未知話語（42 人）；test 集包括未知說話人的未知話語（44 人）。用RIR[16]中的混響和MUSAN[17]中噪聲、音樂等對Aishell 數(shù)據(jù)集的train、dev 和test 進(jìn)行加噪處理，得到帶噪環(huán)境下的數(shù)據(jù)集，其中RIR 和MUSAN 的采樣頻率均設(shè)置為16 kHz，將babble、music、noise、reverb 隨機(jī)加入數(shù)據(jù)集中。

3.2 對比實(shí)驗(yàn)

本文采用4 組對比實(shí)驗(yàn)，實(shí)驗(yàn)一采用時(shí)延神經(jīng)網(wǎng)絡(luò)算法對錄音環(huán)境安靜且普通話標(biāo)準(zhǔn)的Aishell 數(shù)據(jù)集進(jìn)行聲紋識(shí)別；實(shí)驗(yàn)二中數(shù)據(jù)集仍和實(shí)驗(yàn)一一致，但采用的是加入殘差神經(jīng)網(wǎng)絡(luò)的TDNN 算法對說話人信息進(jìn)行提取，從而進(jìn)行打分識(shí)別；實(shí)驗(yàn)三與實(shí)驗(yàn)一的區(qū)別在于在數(shù)據(jù)集隨機(jī)加入了混響、音樂、噪聲、脈沖，使數(shù)據(jù)集變成了含噪聲的數(shù)據(jù)集，用TDNN 算法對帶噪聲的數(shù)據(jù)集進(jìn)行了聲紋識(shí)別操作；實(shí)驗(yàn)四中針對有噪聲情況下選取ResTDNN 算法對數(shù)據(jù)集進(jìn)行訓(xùn)練，提取x?vector，實(shí)現(xiàn)聲紋識(shí)別。

3.3 評價(jià)指標(biāo)

1）等錯(cuò)誤率（EER）：當(dāng)錯(cuò)誤接收率（FAR）與錯(cuò)誤拒絕率（FRR）相等時(shí)，該值即為等錯(cuò)誤率（EER），EER越小代表系統(tǒng)性能越好。其中：式（5）為錯(cuò)誤接收率的公式，式（6）為錯(cuò)誤拒絕率的公式。

2）最小檢測代價(jià)（minDCF）：FAR 和FRR 的加權(quán)和函數(shù)稱之為檢測代價(jià)函數(shù)（DCF），式（7）為DCF 的定義公式，minDCF 用來表示系統(tǒng)取得最優(yōu)性能。

式中：CMiss為錯(cuò)誤拒絕的權(quán)重；CFalseAlarm為錯(cuò)誤接收的權(quán)重；Ptarget為錯(cuò)誤拒絕的概率。按2010 年NIST 比賽中的minDCF 測評指標(biāo)進(jìn)行參數(shù)設(shè)定：CMiss=CFalseAlarm=1。

3.4 實(shí)驗(yàn)結(jié)果

通過不同的對比實(shí)驗(yàn)，得到相應(yīng)的EER 以及Ptarget分別為0.01 和0.001 時(shí)的minDCF。實(shí)驗(yàn)結(jié)果對比如表2 所示。

表2 實(shí)驗(yàn)結(jié)果對比

1）由實(shí)驗(yàn)一和實(shí)驗(yàn)二可知，在無噪聲環(huán)境下，殘差神經(jīng)網(wǎng)絡(luò)結(jié)合歸一化處理提高了系統(tǒng)的性能，使聲紋識(shí)別率提高到了96.811%，等錯(cuò)誤率相對降低了15.6%，而minDCF（10-2）和minDCF（10-3）分別相對改善了18.6%和17.2%。由此可見，ResTDNN 網(wǎng)絡(luò)減輕了梯度消失和網(wǎng)絡(luò)退化的情況。

2）由實(shí)驗(yàn)一和實(shí)驗(yàn)三可知，在有噪聲情況下，TDNN 算法的系統(tǒng)性能相對下降19.2%～24.9%，說明TDNN 網(wǎng)絡(luò)在有噪聲情況下的魯棒性還有待提高。

3）由實(shí)驗(yàn)三和實(shí)驗(yàn)四可知，當(dāng)對TDNN 網(wǎng)絡(luò)進(jìn)行改進(jìn)后，在有噪聲情況下，等錯(cuò)誤率（EER）相對降低35.8%，minDCF（10-2）和minDCF（10-3）分別相對降低了29.3%和24.4%，聲紋識(shí)別率提高到了96.768%。表明ResTDNN 算法使系統(tǒng)在噪聲環(huán)境下的聲紋識(shí)別魯棒性得到很好的提升。

4）由實(shí)驗(yàn)一、實(shí)驗(yàn)二和實(shí)驗(yàn)四可知，ResTDNN 系統(tǒng)在有噪和無噪環(huán)境下的聲紋識(shí)別率均高于TDNN 系統(tǒng)，說明ResTDNN 系統(tǒng)的整體性能優(yōu)于TDNN 系統(tǒng)。

4 結(jié)語

本文提出一種在TDNN 神經(jīng)網(wǎng)絡(luò)框架中引入殘差網(wǎng)絡(luò)和批量歸一化進(jìn)行噪聲環(huán)境下的聲紋識(shí)別算法。殘差網(wǎng)絡(luò)的短路連接使網(wǎng)絡(luò)的輸入層能對輸出層進(jìn)行不斷修正，保護(hù)特征信息的完整性，以及批量歸一化處理通過減少內(nèi)部協(xié)變量的移位，提高網(wǎng)絡(luò)的泛化能力。ResTDNN 算法不僅緩解了梯度消失和網(wǎng)絡(luò)退化情況，還提高了噪聲環(huán)境下的魯棒性，進(jìn)而提高了聲紋識(shí)別率。通過對比TDNN 算法和ResTDNN 算法實(shí)驗(yàn)結(jié)果表明，無噪聲環(huán)境下系統(tǒng)的聲紋識(shí)別率提高到了96.811%，有噪聲環(huán)境下聲紋識(shí)別率提高到了96.768%，這在聲紋識(shí)別領(lǐng)域是一次很有意義的發(fā)現(xiàn)。在未來的工作中，將繼續(xù)研究殘差神經(jīng)網(wǎng)絡(luò)在聲紋識(shí)別方向上的應(yīng)用，找到一個(gè)與之更為匹配的網(wǎng)絡(luò)結(jié)合使用。