鄭晨穎，馬建芬+，張朝霞

(1.太原理工大學(xué) 信息與計算機(jī)學(xué)院，山西 晉中 030600；2.太原理工大學(xué) 物理與光電工程學(xué)院，山西 晉中 030600)

0 引 言

在理想情況下，語音增強(qiáng)系統(tǒng)應(yīng)該完全消除噪聲而不降低語音質(zhì)量。語音增強(qiáng)的一般方法是對含噪語音進(jìn)行處理，使其更接近干凈語音，但是這類方法會由于對語音的過抑制在語音信號中引入額外的失真[1，2]。文本-語音(text-to-speech，TTS)合成系統(tǒng)通過訓(xùn)練聲學(xué)模型將文本特征映射到聲碼器的時變聲學(xué)參數(shù)上，然后由聲碼器生成語音，從而從文本輸入產(chǎn)生高質(zhì)量的語音。然而這類系統(tǒng)存在的問題是無法從純文本中預(yù)測真實的韻律[3]。Soumi Maiti等[4]提出了使用干凈語音聲碼器參數(shù)作為目標(biāo)的神經(jīng)網(wǎng)絡(luò)進(jìn)行語音增強(qiáng)的參數(shù)再合成(parametric resynthesis，PR)方法，結(jié)合了一般的語音增強(qiáng)算法和TTS，該方法主要分為預(yù)測和合成兩個階段，其預(yù)測模型是一種神經(jīng)網(wǎng)絡(luò)，以噪聲的Mel頻率倒譜系數(shù)(Mel frequency cepstrum coefficient，MFCC)特征作為輸入，在固定幀率下預(yù)測干凈語音的聲學(xué)特征；在合成階段利用傳統(tǒng)的基于源濾波器WORLD聲碼器實現(xiàn)語音參數(shù)與純凈語音波形之間的轉(zhuǎn)換。該系統(tǒng)的主要問題是使用單一聲學(xué)特征MFCC進(jìn)行預(yù)測以及非神經(jīng)網(wǎng)絡(luò)聲碼器WORLD聲碼器進(jìn)行語音合成，這會導(dǎo)致在復(fù)雜的噪聲環(huán)境下系統(tǒng)的增強(qiáng)性能大幅度下降。

針對以上問題，在基于參數(shù)再合成的語音增強(qiáng)算法上從噪聲中分別提取GFCC、MFCC和韻律特征后進(jìn)行注意力融合，采用綜合特征代替單一特征預(yù)測干凈語音的聲學(xué)參數(shù)，并用神經(jīng)網(wǎng)絡(luò)聲碼器WaveNet聲碼器合成干凈語音，從而在預(yù)測和合成兩個方面同時提高語音質(zhì)量。

1 傳統(tǒng)的參數(shù)再合成語音增強(qiáng)算法

傳統(tǒng)的參數(shù)再合成的增強(qiáng)方法分為預(yù)測和合成兩個階段，具體框架如圖1所示，第一階段是訓(xùn)練一個以含噪語音的聲學(xué)特征(MFCC)作為輸入，干凈語音的聲學(xué)特征作為輸出的預(yù)測模型，預(yù)測的聲學(xué)特征和干凈的聲學(xué)特征之間的均方誤差最??；第二階段是利用非神經(jīng)網(wǎng)絡(luò)WORLD聲碼器從預(yù)測的干凈語音聲學(xué)特征中重新合成語音。

圖1 基于參數(shù)再合成的語音增強(qiáng)算法框架

2 基于多特征融合的參數(shù)再合成語音增強(qiáng)方法

在基于參數(shù)再合成的語音增強(qiáng)算法基礎(chǔ)上的改進(jìn)點(diǎn)主要為：采用注意力機(jī)制進(jìn)行多種聲學(xué)特征融合；然后采用多特征融合特征代替單一特征MFCC預(yù)測干凈語音聲學(xué)特征，通過結(jié)合不同特征，為預(yù)測模型提供更多可區(qū)分和互補(bǔ)的特征表示，從而保留更多關(guān)于干凈語音的信息；最后為了避免在低信噪比下WORLD聲碼器合成語音質(zhì)量較差的問題，提出采用神經(jīng)網(wǎng)絡(luò)聲碼器WaveNet聲碼器代替WORLD聲碼器合成干凈語音，算法具體框架如圖2所示。

圖2 基于注意力機(jī)制多特征融合的參數(shù)再合成語音增強(qiáng)算法框架

2.1 基于注意力的多特征融合

2.1.1 多種特征的選擇

基于參數(shù)再合成語音增強(qiáng)系統(tǒng)是采用含噪語音的單一聲學(xué)特征(MFCC)進(jìn)行干凈語音的預(yù)測，MFCC特征[5]雖然考慮了人耳對頻率的非線性感知特性，但是在提取MFCC時使用的三角形濾波器組對耳蝸基底膜分辨頻率的特性模擬效果較差，在語音的低頻部分具有較高的頻率分辨能力，但是高頻部分信息被一定程度的弱化，因此在復(fù)雜的噪聲環(huán)境中單一使用MFCC的效果較差?；贕ammatone濾波器組的伽馬通倒譜系數(shù)(Gammatone frequency cepstral coefficients，GFCC)特征[6]在處理帶噪語音信號方面表現(xiàn)出了良好的能力，GFCC提取過程所使用Gammatone濾波器組是一組具有類似人類聽覺濾波器的幅度特性的高脈沖響應(yīng)濾波器，它的非線性形有助于其更好地模擬人類聽覺系統(tǒng)的感知過程。GFCC的高抗干擾能力還來自于采用對數(shù)壓縮來模擬人耳聽覺系統(tǒng)的非線性特性，即對濾波器的輸出進(jìn)行對數(shù)壓縮[7]。Shi等[8]使用GFCC進(jìn)行說話人識別，他們發(fā)現(xiàn)GFCC相比MFCC在噪聲環(huán)境下的識別率顯著提高了，特別是在信噪比較低時，但同時發(fā)現(xiàn)在高信噪比情況下，GFCC的表現(xiàn)并不優(yōu)于MFCC。

生活中的交流通常依賴語義來表達(dá)，但是實際上當(dāng)我們處于不同情緒中表達(dá)同樣的語句時向外傳遞出的信息可能不同，因此這些不同情緒的表征和區(qū)分在識別說話人和語音情感識別中至關(guān)重要，而在語音增強(qiáng)任務(wù)中我們在去除噪聲的同時要盡可能最大限度地保留原始語音信息，所以不同情緒的表征和區(qū)分在語音增強(qiáng)任務(wù)中也很重要。語音的不同情緒可以通過韻律特征進(jìn)行表征，最常用的韻律特征有短時過零率、短時平均能量、基音頻率、共振峰等。例如，在“高興”、“憤怒”、“中性”3種情感狀態(tài)下由同一個說話人說同一句話，結(jié)果可以看出“高興”狀態(tài)下的短時平均過零率最高，“高興”和“憤怒”狀態(tài)下的短時平均能量較高，基音頻率在“高興”、“憤怒”時較高且頻率變換較快，在“高興”、“憤怒”時第二共振峰的變化范圍較小，而在“中性”時第二共振峰的變化范圍明顯變大。

除了單個聲學(xué)特征的研究，研究者們還對聲學(xué)特征的組合或延伸進(jìn)行了研究，王華朋等[9]就對比了3種特征組合方式下情感識別的識別效果，并通過實驗驗證了MFCC和GFCC與韻律特征組合的方法提高了情感識別的正確率和穩(wěn)定性。綜上，提出將MFCC、GFCC與韻律特征這一聲學(xué)特征組合應(yīng)用于語音增強(qiáng)中。

2.1.2 基于注意力機(jī)制的多特征融合

為了提高系統(tǒng)性能，通常會融合多個基于不同聲學(xué)特征的子系統(tǒng)。有研究者[10]比較了多種聲學(xué)特征融合架構(gòu)在說話人驗證和語音識別中的表現(xiàn)，如等權(quán)重融合、幀級融合、多層次融合以及嵌入融合等，經(jīng)過實驗驗證幀級融合是最優(yōu)策略。

我們可以在吵鬧嘈雜的環(huán)境中自如的與他聊天交流，這是因為人類在聽覺感知過程中可以將自己的注意力放在目標(biāo)聲音上，從而自動忽略嘈雜的背景噪聲，這一現(xiàn)象被稱為雞尾酒會效應(yīng)，雞尾酒會效應(yīng)表明了人類的聽覺注意力特性在處理復(fù)雜背景噪聲場景里是至關(guān)重要的[11]。受此啟發(fā)提出通過在幀級融合中引入注意力機(jī)制進(jìn)行多特征融合用于語音增強(qiáng)任務(wù)，通過增強(qiáng)區(qū)分干凈語音部分和噪聲部分的特征提高系統(tǒng)的去噪性能。

(1)幀級多特征融合

幀級多特征融合可以利用多種聲學(xué)特征的互補(bǔ)性，具體結(jié)構(gòu)如圖3所示。在該結(jié)構(gòu)中，多個聲學(xué)特征同時訓(xùn)練模型，在池化層之前，將多個特征融合為一個綜合特征。

圖3 多特征幀級融合結(jié)構(gòu)

設(shè) (X1，X2，X3) 表示來自同一語音幀的3種聲學(xué)特征向量，Y表示融合后的綜合特征如式(1)所示

Y=f4(cat(f1(X1；θ1)，f2(X2；θ2)，f3(X3；θ3)；θ4)

(1)

其中，cat(·) 表示連接操作，f1(X1；θ1) 為給定網(wǎng)絡(luò)參數(shù)θ1聲學(xué)特征X1的預(yù)投影，同理f2(X2；θ2) 為給定網(wǎng)絡(luò)參數(shù)θ2聲學(xué)特征X2的預(yù)投影，f3(X3，θ3) 為給定網(wǎng)絡(luò)參數(shù)θ3聲學(xué)特征X3的預(yù)投影，f4(θ4；·) 指完全連接的拼接層映射。

(2)基于注意力的多特征幀級融合

在幀級多特征融合結(jié)構(gòu)中的TDNN層計算之后的特征可認(rèn)為是用于語音增強(qiáng)的信息，但是，對于3個特征最后的TDNN層之間的輸出可能仍然存在冗余，可能沒有完全強(qiáng)調(diào)用于語音增強(qiáng)的有用信息。受到“雞尾酒會效應(yīng)”的啟發(fā)，本文使用拼接層執(zhí)行注意力來進(jìn)行多特征學(xué)習(xí)，使綜合特征能夠更多強(qiáng)調(diào)干凈語音部分和噪聲部分的區(qū)分并且不丟失其它有用信息。

多特征基于幀級注意力結(jié)構(gòu)的融合即將注意力加在拼接層內(nèi)(具體結(jié)構(gòu)如圖4所示)，注意機(jī)制是通過計算上下文和位置編碼的權(quán)重來實現(xiàn)語音增強(qiáng)任務(wù)更重要的特征來減輕多個特征之間的冗余。Yatt表示基于注意力機(jī)制融合的綜合特征，如式(2)所示

圖4 多特征幀級注意力融合結(jié)構(gòu)

Yatt=f4(attRL(cat(f1(X1；θ1)，f2(X2；θ2)，f3(X3；θ3))；θ4)

(2)

其中，attRL表示從L到R語境下的注意力學(xué)習(xí)。

2.2 基于WaveNet的神經(jīng)網(wǎng)絡(luò)聲碼器

傳統(tǒng)的基于參數(shù)再合成的語音增強(qiáng)算法利用WORLD聲碼器[12]實現(xiàn)了聲音參數(shù)與純凈語音波形之間的轉(zhuǎn)換，WORLD聲碼器比其它傳統(tǒng)聲碼器處理速度快且需要的訓(xùn)練數(shù)據(jù)較少，但是卻對輸入語音幀的信噪比有較高的要求。Van den等提出了一種基于自回歸網(wǎng)絡(luò)模型WaveNet，該模型直接在原始波形層面對語音信號建模，并采用擴(kuò)大因果卷積網(wǎng)絡(luò)結(jié)構(gòu)增加波形序列上的接受野，保證了整個網(wǎng)絡(luò)的輸入分辨率和計算效率。Tamamori等[13]提出了基于WaveNet模型的聲碼器，對語音參數(shù)和語音波形之間的關(guān)系進(jìn)行建模，打破了原有線性濾波框架，改善了傳統(tǒng)聲碼器性能。目前合成語音和人類自然語音已較為貼近，其顯著的進(jìn)步主要是因為WaveNet架構(gòu)導(dǎo)致基于信號處理的聲碼器被神經(jīng)網(wǎng)絡(luò)聲碼器所取代。綜上，為了解決在低信噪比下WORLD聲碼器合成語音質(zhì)量較差的問題，本文提出使用WaveNet聲碼器代替非神經(jīng)網(wǎng)絡(luò)聲碼器WORLD聲碼器合成干凈語音。

將輸入的語音信號的聲學(xué)特征作為條件h輸入WaveNet模型即可構(gòu)造WaveNet聲碼器，WaveNet可以模擬給定這個輸入語音的條件分布，如式(3)所示

p(x|h)=∏Tt=1p(xt|x1，x2，…，xt-1，h)

(3)

其中，h為條件序列，它的采樣頻率一般會低于語音波形的采樣頻率，為了能夠具有相同的時域分辨率，WaveNet聲碼器使用轉(zhuǎn)置卷積網(wǎng)絡(luò)(transposed convolution network)對這個時間序列進(jìn)行變換，將其映射為與語音信號具有相同時域分辨率的時間序列y=f(h)， 然后使用如下所示的激活函數(shù)

z=tanh(Wf，k*x+Vf，k*y)⊙σ(Wg，k*x+Vg，k*y)

(4)

其中，*表示卷積運(yùn)算，⊙為點(diǎn)乘運(yùn)算，σ(·) 為Sigmoid函數(shù)，W為可學(xué)習(xí)的卷積濾波器，Wf，k表示網(wǎng)絡(luò)中第k層處理歷史語音波形信息的濾波卷積權(quán)值矩陣，相應(yīng)地，Wg，k表示門控卷積權(quán)值矩陣。Vf，k、Vg，k分別表示第k層處理條件輸入的卷積權(quán)值矩陣和門控卷積權(quán)值矩陣。

WaveNet聲碼器的模型結(jié)構(gòu)如圖5所示，在訓(xùn)練階段，以預(yù)測的干凈語音信號的聲學(xué)特征和干凈語音波形序列作為模型的條件輸入和輸出對模型參數(shù)訓(xùn)練；在生成階段，根據(jù)預(yù)測的聲學(xué)特征和歷史波形信息模擬各個采樣點(diǎn)的條件概率分布，然后通過逐點(diǎn)自回歸生成語音波形。

圖5 WaveNet聲碼器網(wǎng)絡(luò)結(jié)構(gòu)

3 實驗和結(jié)果分析

3.1 實驗配置

實驗中使用的語音均來自于TIMIT語料庫，TIMIT語料庫包含了來自不同說話人所說的6300條干凈語音，其中訓(xùn)練集中有4620句，測試集中有1680句。實驗中所用的噪聲來自NOISEX-92數(shù)據(jù)庫，NOISEX-92語料庫中共有15種噪聲。本文設(shè)置在4種信噪比(-5 dB，0 dB，5 dB，10 dB)下，將TIMIT訓(xùn)練集中的4000條干凈語音與NOISEX-92的4種噪聲(white，F(xiàn)actory1，Pink，F(xiàn)16)疊加得到64000(4000×4×4)條含噪語音，加噪后的含噪語音與其相對應(yīng)的干凈語音共同作為訓(xùn)練集。在測試過程中，在上述4種信噪比條件下，選取TIMIT測試集中的300條干凈語音和NOISEX-92語料庫中的其它3種不同噪聲類型(Factory2，Volvo，Babble)疊加得到一個包含3600(300×3×4)條含噪語音的測試集。實驗中所有的干凈語音和噪聲的采樣率均為16 KHz，依次對語音信號分幀，加窗其中幀長為32 ms(512個采樣點(diǎn))，幀移為16 ms(256個采樣點(diǎn))，然后進(jìn)行快速傅里葉變化將語音信號從時域轉(zhuǎn)換到頻域。

3.2 評價方法

本文用短時客觀可懂度(short-time objective intelligibility，STOI)來衡量增強(qiáng)語音的客觀可懂度，用語音質(zhì)量感知(perceptual evaluation of speech quality，PESQ)來衡量語音客觀質(zhì)量。其中，PESQ得分在-0.5到4.5之間，得分越高代表增強(qiáng)語音的質(zhì)量越好；STOI反映了人對于一段語音的可理解程度，得分在0到1之間，同樣得分越高代表語音的可懂度越好。

3.3 評價結(jié)果

為了驗證本文提出的基于注意力機(jī)制多特征融合的方法(PR-AMFI)能夠有效提高系統(tǒng)增強(qiáng)性能，將方法PR-AMFI與直接使用干凈語音聲學(xué)特征進(jìn)行參數(shù)再合成的語音增強(qiáng)方法(PR-Clean)以及傳統(tǒng)使用單一聲學(xué)特征的參數(shù)再合成語音增強(qiáng)方法(PR)進(jìn)行對比，表1為在4種信噪比(-5 dB，0 dB，5 dB，10 dB)和3種噪聲下(Factory2，Volve，Babble)PR-AMFI、PR、PR-Clean這3種方法的PESQ得分，從表中可以看出，PR-AMFI與PR相比在不同信噪比和不同噪聲類型下語音質(zhì)量都有明顯提高，且PR-AMFI系統(tǒng)增強(qiáng)語音的PESQ得分較PR系統(tǒng)更接近以干凈語音直接作為輸入的PR-Clean系統(tǒng)，這說明了多種聲學(xué)特征基于注意力融合得到的綜合特征比單一聲學(xué)特征能夠更好表征語音信號信息。表2列出了本文所提方法PR-AMFI與PR、PR-Clean的STOI得分，從表中可以看出PR-AMFI系統(tǒng)的語音可懂度在不同噪聲和不同信噪比下都有提高，并且更接近PR-Clean系統(tǒng)的增強(qiáng)語音的可懂度，這表明PR-AMFI系統(tǒng)能夠有效提高PR系統(tǒng)增強(qiáng)語音的語音可懂度。

表1 3種方法在不同噪聲和不同信噪比下的PESQ得分

表2 3種方法在不同噪聲和不同信噪比下的STOI得分

為了驗證本文采用神經(jīng)網(wǎng)絡(luò)聲碼器WaveNet聲碼器能夠在PR-AMFI基礎(chǔ)上進(jìn)一步改善系統(tǒng)的增強(qiáng)性能，用基于多特征融合的參數(shù)再合成的語音增強(qiáng)方法(PR-AMFI+WN)分別與基于DNN的語音增強(qiáng)方法(SE-DNN)、原始的基于參數(shù)再合成增強(qiáng)系統(tǒng)(PR)、只在語音合成階段用WaveNet聲碼器代替WORLD聲碼器的方法(PR-WN)進(jìn)行對比，表3為在4種信噪比(-5 dB，0 dB，5 dB，10 dB)和3種噪聲(Factory2，Volve，Babble)下SE-DNN、PR、PR-WN、PR-AMFI+WN這4種方法的PESQ得分，通過分析可以看出，在不同信噪比不同噪聲類型下PR-AMFI+WN的增強(qiáng)語音PESQ得分均高于PR、SE-DNN、PR-WN的增強(qiáng)語音PESQ得分，說明本文提出的PR-AMFI+WN的方法能夠有效提高傳統(tǒng)PR系統(tǒng)的增強(qiáng)性能。表4列出了本文所提方法與SE-DNN、PR、PR-WN這4種方法的 STOI得分，從表中可以看出PR-AMFI+WN的語音可懂度在不同情況下都有提高。

表3 4種方法在不同噪聲和不同信噪比下的PESQ得分

表4 4種方法在不同噪聲和不同信噪比下的STOI得分

為了更直觀觀測實驗結(jié)果，任意選擇一種噪聲類型Factory2，將各方法在4種信噪比下的PESQ得分可視化，圖6為可視化后的折線圖。從折線圖可以看出，PR-AFMI+WN在低信噪比下的增強(qiáng)性能提升效果更好，而在高信噪比下的提升效果較弱。這是由于GFCC在低信噪比環(huán)境下對語音的表征能力以及抗干擾能力確實明顯高于MFCC，但是在高信噪比情況下，GFCC的表現(xiàn)并不優(yōu)于MFCC。在今后的研究學(xué)習(xí)中可以嘗試將自適應(yīng)算法加入到算法中，使系統(tǒng)能夠根據(jù)相應(yīng)的背景噪聲情況自動選擇適合的聲學(xué)特征，從而使本算法在高、低信噪比下都能有更好的提升效果。

圖6 Factory2噪聲不同信噪比下的PESQ得分折線

圖7分別為干凈語音、含噪語音Noisy、PR增強(qiáng)語音、PR-AMFI增強(qiáng)語音、PR-WN增強(qiáng)語音以及PR-AMFI+WN增強(qiáng)語音的語譜圖，從這些語譜圖可以看出通過PR-AMFI、PR-WN以及PR-AMFI+WN增強(qiáng)后的語音的殘留噪聲均少于PR增強(qiáng)語音，并且可以看出PR-AMFI、PR-AMFI+WN增強(qiáng)后語音的諧波結(jié)構(gòu)較PR更加清晰，語音的基因頻率及其變換范圍更加明顯，這驗證了多特征融合后的綜合特征保留了更多原始語音信息，能夠有效提高系統(tǒng)的增強(qiáng)性能。

圖7 不同方法的增強(qiáng)語音的語譜

4 結(jié)束語

本文提出了一種基于多特征融合的參數(shù)再合成語音增強(qiáng)算法，采用多特征融合特征代替單一特征預(yù)測干凈語音聲學(xué)特征，此外使用神經(jīng)網(wǎng)絡(luò)聲碼器WaveNet聲碼器代替WORLD聲碼器合成干凈語音。實驗結(jié)果表明，基于多特征融合的參數(shù)再合成語音增強(qiáng)算法的增強(qiáng)語音在語音質(zhì)量和語音可懂度都有了相應(yīng)的提高。

但本文方法也存在著不足，最后的改進(jìn)效果在高信噪比下較弱，為了在高信噪比和低信噪比的情況下都能獲得良好的性能，在今后的學(xué)習(xí)中可以嘗試將自適應(yīng)算法加入到本文算法中，從而使系統(tǒng)能夠根據(jù)背景噪聲自動選擇聲學(xué)特征。