李 聰 葛洪偉

(1. 江南大學(xué)輕工過(guò)程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室，江蘇無(wú)錫 214122；2. 江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院，江蘇無(wú)錫 214122)

1 引言

語(yǔ)音身份識(shí)別也稱為說(shuō)話人識(shí)別，是通過(guò)對(duì)說(shuō)話人的一段語(yǔ)音中所提取出的個(gè)性特征進(jìn)行分析和識(shí)別，達(dá)到對(duì)說(shuō)話人身份辨認(rèn)和確認(rèn)的技術(shù)。語(yǔ)音身份識(shí)別有著廣泛的應(yīng)用前景，可用于需要進(jìn)行身份認(rèn)證的安全領(lǐng)域，也可在智能家居、車載系統(tǒng)等小容量嵌入式系統(tǒng)中運(yùn)用。目前說(shuō)話人識(shí)別技術(shù)已經(jīng)有了很大突破，在安靜環(huán)境下表現(xiàn)出了較高的識(shí)別率。但是，現(xiàn)有的語(yǔ)音身份識(shí)別系統(tǒng)仍存在一些困難，最突出的便是噪聲環(huán)境下系統(tǒng)的魯棒性問(wèn)題。實(shí)際應(yīng)用中，由于現(xiàn)實(shí)環(huán)境下難免出現(xiàn)的背景噪音的影響，語(yǔ)音識(shí)別相關(guān)系統(tǒng)的應(yīng)用環(huán)境往往不能很好的和純凈訓(xùn)練模型的環(huán)境相匹配，從而出現(xiàn)了由于環(huán)境失配所導(dǎo)致的系統(tǒng)識(shí)別性能下降的問(wèn)題[1]。目前針對(duì)減小環(huán)境失配問(wèn)題提出的方法主要分為兩類[2]。一類是特征域方法，主要是尋求穩(wěn)健的聲學(xué)特性來(lái)提取魯棒性語(yǔ)音特征。近年來(lái)，許多魯棒性的語(yǔ)音特征被提出，在噪聲環(huán)境下能夠提升一定的識(shí)別率，但僅僅通過(guò)魯棒特征來(lái)提升語(yǔ)音識(shí)別的效率還是無(wú)法滿足實(shí)際應(yīng)用的需要；另一類稱為模型域方法，通過(guò)調(diào)整聲學(xué)模型參數(shù)，將噪聲信息融合到純凈訓(xùn)練模型的語(yǔ)音狀態(tài)中，使之能夠匹配當(dāng)前測(cè)試中的噪聲環(huán)境，克服環(huán)境失配所帶來(lái)的影響。模型域中較為經(jīng)典的方法是并行模型組合(Parallel Model Combination，PMC)算法[3-5]。傳統(tǒng)PMC算法需要噪聲信息已知，即通過(guò)已知的噪聲信息對(duì)原始語(yǔ)音進(jìn)行相應(yīng)變換和調(diào)整后提高模型的抗噪能力，這樣的做法雖然能夠更充分的利用噪聲信息改善原有模型，但缺乏一定的自適應(yīng)性。本文結(jié)合PMC算法的原理和高斯混合模型-通用背景模型(Gaussian Mixture Model-Universal Background Model，GMM-UBM)[6-7]特點(diǎn)，提出了自適應(yīng)并行模型組合APMC(Adaptive Parallel Model Combination)算法。通過(guò)從環(huán)境中估計(jì)出噪聲信息來(lái)調(diào)整訓(xùn)練GMM各高斯單元的均值向量和協(xié)方差矩陣，估計(jì)出符合當(dāng)前環(huán)境的GMM參數(shù)，減少因環(huán)境差異而導(dǎo)致的識(shí)別率不理想的問(wèn)題。實(shí)驗(yàn)表明，結(jié)合了APMC補(bǔ)償算法的說(shuō)話人識(shí)別系統(tǒng)的抗噪性能較未補(bǔ)償?shù)南到y(tǒng)有明顯提升。

2 PMC簡(jiǎn)介

PMC是一種有效的噪聲補(bǔ)償技術(shù)，其核心思想是通過(guò)已有的純凈語(yǔ)音聲學(xué)模型和噪聲模型，經(jīng)相應(yīng)的變換后估計(jì)出含噪語(yǔ)音的模型，從而達(dá)到對(duì)聲學(xué)模型的參數(shù)調(diào)整。該算法的原理是分別對(duì)處于時(shí)域的純凈語(yǔ)音信號(hào)和單純的噪聲信號(hào)進(jìn)行模型訓(xùn)練，得出相對(duì)應(yīng)的純凈語(yǔ)音模型和噪聲模型，接著將兩個(gè)模型變換到能夠進(jìn)行加性計(jì)算的對(duì)數(shù)譜域進(jìn)行合并，得到含噪語(yǔ)音模型，再經(jīng)過(guò)一系列的反變換后便得出處于時(shí)域的含噪語(yǔ)音信號(hào)。

為了更有針對(duì)性地解決噪聲魯棒性問(wèn)題，PMC算法假設(shè)語(yǔ)音信號(hào)和噪聲信號(hào)之間是相互獨(dú)立的，在時(shí)域中是可加的關(guān)系[1]，且噪聲相對(duì)平穩(wěn)。對(duì)于加噪語(yǔ)音y(n)表現(xiàn)為純凈語(yǔ)音x(t)和加性噪聲n(t)在對(duì)數(shù)譜域特征矢量的非線性函數(shù)[4,8]：

yln(t)=ln(exp(xln(t))+exp(nln(t)))

(1)

PMC算法原理如圖1所示。

圖1 PMC算法原理Fig.1 Principle of PMC algorithm

3 自適應(yīng)并行模型組合算法

3.1 APMC算法思想

為了提高模型的自適應(yīng)性，相較于原始PMC算法而言，本算法不需要當(dāng)前噪聲模型已知，而是在含噪語(yǔ)音中估計(jì)出一小段噪聲信息，通過(guò)該噪聲信息得到噪聲參數(shù)。由于噪聲只影響純凈語(yǔ)音GMM中高斯單元的均值與方差[8]，用APMC方法對(duì)每個(gè)說(shuō)話人GMM各高斯成分的均值與方差進(jìn)行相應(yīng)調(diào)整，使之與測(cè)試中的噪聲環(huán)境相匹配，來(lái)提高模型的抗噪性能以及自適應(yīng)能力。

算法首先經(jīng)過(guò)自適應(yīng)的噪聲估計(jì)得出倒譜域噪聲參數(shù)，包括均值向量和協(xié)方差矩陣，然后利用PMC算法原理，對(duì)純凈語(yǔ)音倒譜系數(shù)訓(xùn)練成的GMM參數(shù)同噪聲參數(shù)經(jīng)倒譜提升逆變換和離散余弦反變換一同變換到對(duì)數(shù)譜域，接著通過(guò)指數(shù)變換變換到線性譜域，在線性譜域，對(duì)原始GMM模型參數(shù)和噪聲參數(shù)進(jìn)行非線性相加，再經(jīng)過(guò)對(duì)數(shù)變換將參數(shù)變換到對(duì)數(shù)譜域，進(jìn)而再通過(guò)離散余弦變換和倒譜系數(shù)提升變換到倒譜域，便得到了補(bǔ)償后的GMM模型參數(shù)。

APMC算法流程如圖2所示。

圖2 APMC算法流程Fig.2 Process of APMC algorithm

3.2 自適應(yīng)噪聲估計(jì)

對(duì)于短時(shí)語(yǔ)音數(shù)據(jù)而言，背景噪聲一般認(rèn)為是平穩(wěn)的，因此，可以通過(guò)自適應(yīng)噪聲估計(jì)算法對(duì)當(dāng)前語(yǔ)音數(shù)據(jù)提取噪聲信息并獲取噪聲特征，通過(guò)利用該噪聲特征對(duì)純凈語(yǔ)音訓(xùn)練模型GMM參數(shù)進(jìn)行特征補(bǔ)償，可以提高系統(tǒng)自適應(yīng)的抗噪能力。具體過(guò)程如下：

Step 1 對(duì)于輸入的語(yǔ)音信號(hào)X，先進(jìn)行分幀處理，并對(duì)每一幀求取幀能量[6]E(i)：

(2)

其中i表示幀序號(hào)，dim表示特征矢量維度。

Step 2 通過(guò)多次實(shí)驗(yàn)驗(yàn)證，取前五幀能量平均值的1.2倍作為基準(zhǔn)門限值H可以有較好的效果：

(3)

Step 3 對(duì)幀能量進(jìn)行平滑處理，利用寬度為5的移動(dòng)平均濾波器對(duì)幀能量序列進(jìn)行平滑處理，得到平滑后的幀能量E′(i)，然后從第一幀開始，對(duì)每一幀平滑后的幀能量與門限值H進(jìn)行比較，若E′(i)≤H，則認(rèn)為該幀為噪聲幀，若E′(i)>H，則認(rèn)為語(yǔ)音幀開始，進(jìn)而對(duì)該幀的前一幀進(jìn)行位置標(biāo)記，記為T′，取該幀及之前的幀作為噪聲段進(jìn)行參數(shù)估計(jì)。

(4)

3.3 特征補(bǔ)償

特征補(bǔ)償是根據(jù)測(cè)試環(huán)境下提取的信息，通過(guò)非線性失配函數(shù)對(duì)模型參數(shù)進(jìn)行調(diào)整，提高模型的魯棒性。由于語(yǔ)音特征系數(shù)各個(gè)分量對(duì)識(shí)別率的影響有所不同，相對(duì)于低階特征分量來(lái)說(shuō)，高階特征分量具有較好的魯棒性，不易受到噪聲的干擾。針對(duì)這種狀況，在補(bǔ)償?shù)倪^(guò)程中采用了一種半升正弦函數(shù)(Half Raise-Sine Function，HRSF)[9-10]的系數(shù)提升策略對(duì)倒譜系數(shù)進(jìn)行非線性的提升。倒譜提升相當(dāng)于對(duì)倒譜系數(shù){Xi}賦予權(quán)值{Wi}，用正弦波來(lái)分配權(quán)重，可以降低易受噪聲干擾的低階分量值，同時(shí)又提高了數(shù)值相對(duì)較小的中高階分量值[9]。由于突出了語(yǔ)音魯棒性較好的高階系數(shù)值，可以在抗噪能力方面提供更好的性能。

引入了倒譜系數(shù)提升的特征補(bǔ)償過(guò)程如下：

(5)

(6)

Step 2 將對(duì)數(shù)譜域均值和方差通過(guò)指數(shù)變換的方式將其參數(shù)變換到線性譜域，此時(shí)變量服從對(duì)數(shù)正態(tài)分布[8,11]：

(7)

(8)

Step 3 將純凈語(yǔ)音和噪聲的線性譜域參數(shù)非線性相加，得到處于線性譜域的含噪語(yǔ)音GMM的均值及方差：

(9)

Step 4 將含噪語(yǔ)音線性譜域均值和方差變換到對(duì)數(shù)譜域，得到對(duì)數(shù)譜域參數(shù)[11]：

(10)

Step 5 將得到的對(duì)數(shù)譜域均值與方差通過(guò)離散余弦變換和倒譜系數(shù)提升變換到倒譜域：

(11)

Step 6 為了提高運(yùn)算效率，去掉冗余元素，對(duì)得到的倒譜域協(xié)方差矩陣只保留對(duì)角元素：

(12)

N維離散余弦變換矩陣第m行n列的定義是：

(13)

N維離散余弦反變換矩陣為：

C-1=CT

(14)

N維倒譜系數(shù)提升矩陣定義為：

(15)

N維倒譜系數(shù)提升逆矩陣定義為：

(16)

4 APMC語(yǔ)音身份識(shí)別過(guò)程

語(yǔ)音身份識(shí)別模型較為常用的模型是高斯混合模型-通用背景模型，將本文提出的自適應(yīng)特征補(bǔ)償方法應(yīng)用于GMM-UBM，通過(guò)對(duì)原始訓(xùn)練GMM參數(shù)進(jìn)行適當(dāng)調(diào)整，以提高整個(gè)模型的抗噪能力和魯棒性。APMC語(yǔ)音身份識(shí)別的過(guò)程如下：

1)對(duì)所有的純凈訓(xùn)練語(yǔ)音數(shù)據(jù)提取倒譜特征，訓(xùn)練通用背景模型UBM，利用提取的語(yǔ)音特征通過(guò)自適應(yīng)得到每個(gè)說(shuō)話人的GMM[6,12]，其中第q個(gè)說(shuō)話人模型對(duì)應(yīng)的高斯混合模型參數(shù)

自適應(yīng)并行模型組APMC語(yǔ)音身份識(shí)別過(guò)程如圖3所示。

圖3 APMC語(yǔ)音身份識(shí)別流程Fig.3 APMC speaker recognition process

5 實(shí)驗(yàn)與分析

5.1 APMC算法對(duì)GMM高斯單元均值分布的重構(gòu)

影響識(shí)別誤差的問(wèn)題與含噪語(yǔ)音模型均值與估計(jì)含噪語(yǔ)音模型均值之間的距離有關(guān)，距離越小，說(shuō)明相似度越高，擬合效果越好，相應(yīng)的識(shí)別率也會(huì)隨之提高[10]。本實(shí)驗(yàn)通過(guò)對(duì)同一段純凈語(yǔ)音加噪前和加噪后，以及對(duì)原始純凈語(yǔ)音補(bǔ)償后的GMM高斯單元均值分布進(jìn)行了比較，以此來(lái)突出本方法對(duì)聲學(xué)模型的重構(gòu)是有效的。

實(shí)驗(yàn)選取12維的MFCC倒譜系數(shù)作為語(yǔ)音特征，在TIMIT語(yǔ)音庫(kù)中選取了一段語(yǔ)音，結(jié)合NoiseX-92數(shù)據(jù)庫(kù)中的Babble噪聲和Mixed噪聲。其中Mixed噪聲是利用NoiseX-92數(shù)據(jù)庫(kù)中較具代表性的Babble噪聲、Factory噪聲以及Cafe噪聲三種加性混合產(chǎn)生的噪聲。對(duì)原始語(yǔ)音進(jìn)行加噪處理，信噪比SNR=0 dB。用32分量的高斯混合模型進(jìn)行訓(xùn)練，得出不同狀態(tài)下的GMM高斯單元均值分布。

圖4、圖5分別給出了在Babble噪聲和Mixed噪聲環(huán)境下不同狀態(tài)語(yǔ)音GMM各高斯單元均值的分布情況。其中，圖4(a)顯示的是原始純凈語(yǔ)音12維MFCC特征的GMM均值分布情況，圖4(b)是純凈語(yǔ)音混入信噪比為0 dB加性Babble噪聲后得到的含噪語(yǔ)音的GMM均值分布，圖4(c)是通過(guò)對(duì)含噪語(yǔ)音估計(jì)出的噪聲參數(shù)，經(jīng)APMC算法對(duì)原始純凈語(yǔ)音的GMM均值分布的重構(gòu)結(jié)果。

圖4 Babble噪聲下語(yǔ)音GMM均值分布Fig.4 The GMM mean distribution of speech in Babble noise

圖5 Mixed噪聲下不同狀態(tài)語(yǔ)音GMM均值分布Fig.5 The GMM mean distribution of speech in Mixed noise

通過(guò)對(duì)GMM均值的補(bǔ)償可以看出，補(bǔ)償前未調(diào)整的參數(shù)與含噪語(yǔ)音均值參數(shù)差距較大，通過(guò)自適應(yīng)的并行模型組合算法補(bǔ)償后，兩者之間的距離差距有明顯的降低，也就是相較于圖4(a)，圖4(c)的均值分布更加接近圖4(b)的均值分布，圖5的均值分布亦是如此。這說(shuō)明補(bǔ)償后的純凈語(yǔ)音能夠更加接近含噪語(yǔ)音的GMM均值分布，從而可以減少噪聲污染所帶來(lái)的誤差問(wèn)題，提供更好的識(shí)別性能。

本文采取的加噪方法是根據(jù)信噪比的大小，通過(guò)噪聲能量與信號(hào)能量的比值來(lái)確定比例因子調(diào)整噪聲信號(hào)的幅值，進(jìn)而將噪聲與語(yǔ)音信號(hào)加性混合作為含噪語(yǔ)音。如圖6所示，上部分顯示的是一段純凈語(yǔ)音的時(shí)間波形圖，下半部分是同一語(yǔ)音混入信噪比SNR=0 dB的Mixed噪聲后的信號(hào)波形圖。

圖6 純凈語(yǔ)音和含噪語(yǔ)音Fig.6 Clean speech and noisy speech

5.2 噪聲環(huán)境下的說(shuō)話人身份識(shí)別

本實(shí)驗(yàn)數(shù)據(jù)來(lái)自TIMIT語(yǔ)音庫(kù)，選取其中50人的發(fā)音數(shù)據(jù)進(jìn)行文本無(wú)關(guān)說(shuō)話人識(shí)別實(shí)驗(yàn)。語(yǔ)音采樣頻率為16 kHz，其中男性和女性各25人，每人10段語(yǔ)音數(shù)據(jù)，每段語(yǔ)音長(zhǎng)度約為3～5 s，用每個(gè)說(shuō)話人發(fā)音數(shù)據(jù)中的5段語(yǔ)音作為訓(xùn)練數(shù)據(jù)，另外5段語(yǔ)音單獨(dú)在不同信噪比下混合噪聲后作為測(cè)試數(shù)據(jù)，共250組測(cè)試樣本。噪聲語(yǔ)音數(shù)據(jù)來(lái)自NoiseX-92數(shù)據(jù)庫(kù)，選用了其中生活中常出現(xiàn)的幾種噪聲，包括工廠噪聲Factory噪聲、嘈雜話語(yǔ)噪聲Babble噪聲、咖啡廳噪聲Cafe噪聲和混合Mixed噪聲。噪聲混合信噪比SNR分別取-5 dB、0 dB、5 dB、10 dB、15 dB、20 dB進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)中設(shè)定GMM的混合度為32，語(yǔ)音分幀長(zhǎng)度為20 ms，幀移為幀長(zhǎng)的一半。特征補(bǔ)償?shù)脑鲆嬉蜃映跏贾礕設(shè)為0.5。當(dāng)無(wú)噪聲或噪聲較小時(shí)，為了防止補(bǔ)償造成的失配問(wèn)題，算法會(huì)根據(jù)噪聲能量的閾值判斷自動(dòng)調(diào)整G的值為1，G=1意味著不再進(jìn)行特征補(bǔ)償。

為了突出本算法的有效性，在同樣條件下，分別選取較為經(jīng)典的12維靜態(tài)MFCC特征和近幾年提出的抗噪性能較好基于Gammatone濾波器組[13]的26維GFCC[14]特征進(jìn)行對(duì)比實(shí)驗(yàn)，并且將基于ivector+PLDA系統(tǒng)的39維差分MFCC和26維GFCC特征的識(shí)別正確率作為基線對(duì)比數(shù)據(jù)。通過(guò)與結(jié)合APMC算法的兩種特征進(jìn)行實(shí)驗(yàn)對(duì)比，得出了不同噪聲環(huán)境下算法識(shí)別率的對(duì)比結(jié)果。

其中ivector+DMFCC和ivector+GFCC分別表示在ivector+PLDA架構(gòu)下采用差分MFCC特征和GFCC特征算法的實(shí)驗(yàn)結(jié)果，MFCC、GFCC分別代表在GMM-UBM框架下使用兩種特征的實(shí)驗(yàn)結(jié)果，MFCC+APMC和GFCC+APMC則分別表示結(jié)合了APMC補(bǔ)償算法的實(shí)驗(yàn)結(jié)果。

圖7 不同加性噪聲環(huán)境下的識(shí)別率Fig.7 Recognition accuracy in various types of additive noise

如圖7的實(shí)驗(yàn)結(jié)果表明，在信噪比較大，也就是噪聲污染較小時(shí)，所有算法都能給出較好的識(shí)別結(jié)果，在信噪比較小的情況下，MFCC和差分MFCC特征都對(duì)噪聲較為敏感，識(shí)別性能會(huì)隨著信噪比的降低而迅速下降， GFCC特征的魯棒性較MFCC有一定改善，但在信噪比較低時(shí)，識(shí)別效果仍然不理想。在結(jié)合了自適應(yīng)特征補(bǔ)償APMC算法后，這兩種特征說(shuō)話人身份識(shí)別系統(tǒng)在抗噪能力上較未補(bǔ)償?shù)腗FCC和GFCC特征有較為明顯的改善，尤其是在信噪比較低時(shí)，該算法的優(yōu)勢(shì)就比較明顯，與ivector+PLDA算法的基線系統(tǒng)相比，對(duì)噪聲的魯棒性同樣有較大的提升。并且APMC算法在各種噪聲和不同強(qiáng)度下都展現(xiàn)出了較好的魯棒性和穩(wěn)定性，證明了該算法在抗噪方面的有效性。

表1 無(wú)噪聲環(huán)境下不同算法的識(shí)別正確率

表1給出了幾種算法在未添加噪聲的純凈環(huán)境下的平均識(shí)別率，從結(jié)果來(lái)看，幾種算法的整體識(shí)別率都達(dá)到了較高的水平，尤其是在UBM下結(jié)合MFCC特征，幾乎達(dá)到了全部識(shí)別正確的識(shí)別率。本文算法為了防止低噪或無(wú)噪環(huán)境下的由于補(bǔ)償所導(dǎo)致的失配現(xiàn)象，特在噪聲估計(jì)時(shí)根據(jù)閾值對(duì)補(bǔ)償因子進(jìn)行一定的調(diào)整，所以識(shí)別率并沒有因?yàn)檠a(bǔ)償?shù)木壒识陆?，算法的有效性在無(wú)噪聲環(huán)境下也得到了充分的體現(xiàn)。

6 結(jié)論

現(xiàn)實(shí)環(huán)境中背景噪聲對(duì)語(yǔ)音信號(hào)的影響是制約語(yǔ)音識(shí)別相關(guān)系統(tǒng)發(fā)展的一大難題。本文深入研究了針對(duì)噪聲環(huán)境下的魯棒性語(yǔ)音身份識(shí)別方法，提出了基于高斯混合模型下的自適應(yīng)并行模型組合特征補(bǔ)償算法。該算法通過(guò)利用含噪測(cè)試語(yǔ)音估計(jì)得到噪聲參數(shù)，將該參數(shù)結(jié)合到原始GMM訓(xùn)練模型參數(shù)中，既降低了實(shí)際測(cè)試環(huán)境與訓(xùn)練環(huán)境之間的失配現(xiàn)象，同時(shí)又提高了模型的抗噪性和自適應(yīng)能力，使整個(gè)語(yǔ)音身份識(shí)別系統(tǒng)在噪聲環(huán)境下具有較好的識(shí)別率和魯棒性。