張開生，趙小芬

(陜西科技大學(xué) 電氣與控制工程學(xué)院，陜西 西安 710021)

0 引言

語音增強(qiáng)是從輸入語音中提取純凈的語音信號，去除無用的噪聲干擾，進(jìn)而提高語音的可懂度和清晰度等[1-2]。傳統(tǒng)的語音增強(qiáng)方法包括維納(Wiener)濾波[3]、譜減法[4]和最小均方差法[5]等?；诮y(tǒng)計(jì)模型的無監(jiān)督語音增強(qiáng)方法通常假定噪聲處于一個(gè)穩(wěn)定的水平，雖然可以省去訓(xùn)練的階段，但是現(xiàn)實(shí)環(huán)境中噪聲往往是非平穩(wěn)的，因此傳統(tǒng)語音增強(qiáng)難以滿足實(shí)際需求。相較于無監(jiān)督的語音增強(qiáng)方法，有監(jiān)督模型訓(xùn)練的語音增強(qiáng)方法更能夠適應(yīng)實(shí)際非平穩(wěn)的噪聲環(huán)境[6]。非負(fù)矩陣分解(non-negative matrix factorization，NMF)[7]是近年來快速興起的一種有監(jiān)督模型的方法。文獻(xiàn)[8]將語音存在概率融進(jìn)NMF中，實(shí)現(xiàn)無監(jiān)督語音增強(qiáng)，取得了一定的增強(qiáng)效果。文獻(xiàn)[9]將NMF算法進(jìn)行擴(kuò)展，使用Kulback-Leibler(KL)實(shí)現(xiàn)具有監(jiān)督分離效應(yīng)的NMF，用以語音增強(qiáng)。文獻(xiàn)[10]將心理學(xué)掩蔽特性考慮進(jìn)語音增強(qiáng)中，并建立感知掩蔽函數(shù)，在一定程度上增強(qiáng)了NMF的性能。但是，目前對于NMF增強(qiáng)語音信號時(shí)，往往忽略了時(shí)間屬性對高維矩陣分解產(chǎn)生的影響，并且進(jìn)行NMF時(shí)，稀疏度難以控制，這些都有可能影響語音的增強(qiáng)性能。另外，在重構(gòu)語音時(shí)，采用逆短時(shí)傅里葉變換往往沒有考慮信號失真及語音可懂度差的問題，造成重構(gòu)后的語音質(zhì)量難以令人滿意。

基于上述分析，利用NMF增強(qiáng)語音信號具有獨(dú)特優(yōu)勢，但仍有改進(jìn)空間。與此同時(shí)，大部分研究并未將時(shí)間約束條件考慮進(jìn)去。針對上述矩陣分解稀疏度難以控制、信號重構(gòu)效果不理想等問題，本文提出一種雙重約束NMF與改進(jìn)正交匹配追蹤(orthogonal matching pursuit，OMP)算法的語音增強(qiáng)，采用雙重約束方式改進(jìn)NMF，采用改進(jìn)OMP算法代替?zhèn)鹘y(tǒng)逆短時(shí)傅里葉變換進(jìn)一步提升重構(gòu)精度。通過大量的實(shí)驗(yàn)，證明了本文算法的有效性。

1 雙重約束非負(fù)矩陣分解

1.1 基于時(shí)間約束的非負(fù)矩陣分解

文獻(xiàn)[11]研究發(fā)現(xiàn)：在非負(fù)矩陣分解時(shí)，高維數(shù)據(jù)具有與時(shí)間相關(guān)的屬性，然而這種屬性隨著降維過程損失嚴(yán)重，勢必影響到語音增強(qiáng)后的性能。目前，考慮到時(shí)間屬性的NMF語音增強(qiáng)依然匱乏。受到文獻(xiàn)[12]的啟發(fā)，本文將時(shí)間屬性考慮進(jìn)NMF分解中，假設(shè)第t個(gè)時(shí)間點(diǎn)特征向量U(t)為：

Ut≈Vt(Wt)T，

(1)

X=VW+E，

(2)

其中：E為逼近誤差。矩陣X的具體分解過程為：

(3)

其中：V為基矩陣，W為系數(shù)矩陣，矩陣X中的每一列向量由基矩陣V中r個(gè)列向量的線性組合來表示，r的取值不僅影響矩陣分解后的V和W，而且還關(guān)系到低維特征的質(zhì)量?？紤]時(shí)間約束因素之后，r的取值同時(shí)受到維數(shù)、分解誤差以及時(shí)間順序的約束，進(jìn)而將r值作為自變量，建立因變量模型為：

(4)

其中：T為具有高維屬性的時(shí)間序列；r為基矩陣維度；?為具有時(shí)間屬性的特征維度大小。將時(shí)間點(diǎn)信息融合進(jìn)NMF中，文獻(xiàn)[13]采用最小化歐幾里得距離的方式找到目標(biāo)函數(shù)，但是采用KL散度模型來構(gòu)建目標(biāo)函數(shù)能提高算法的精度。因此，本文使用KL散度選取目標(biāo)函數(shù)，并使目標(biāo)值達(dá)到最小值。使用KL優(yōu)化NMF的表達(dá)式為：

(5)

其中：i∈[1,N]；j∈[1,L]；當(dāng)δ為0時(shí)，式(5)為標(biāo)準(zhǔn)的KL非負(fù)矩陣分解，按照式(5)迭代計(jì)算，就可保證將高維矩陣分解為帶有時(shí)間屬性的低維矩陣。

1.2 基于稀疏化約束的非負(fù)矩陣分解

在時(shí)頻域中語音信號存在稀疏性，稀疏度在NMF分解成基矩陣及系數(shù)矩陣的時(shí)候，難以控制，容易造成過度擬合或殘余噪聲過多的情況，因此將稀疏約束系數(shù)引入，用于控制系數(shù)矩陣W的稀疏度。得到目標(biāo)函數(shù)[14]為：

(6)

其中：D為目標(biāo)函數(shù)；λ、γ分別為E和W的稀疏度。為了降低算法的復(fù)雜度，將正交約束表示在目標(biāo)函數(shù)中，以減少計(jì)算量，得到表達(dá)式為：

(7)

其中：ζ為正交因子，采用文獻(xiàn)[15]的更新規(guī)則。首先，將非負(fù)矩陣V和W記為：

(8)

進(jìn)而有：

(9)

將最小二乘迭代規(guī)則應(yīng)用于此，得到更新規(guī)則為：

(10)

其中：.*為矩陣點(diǎn)乘形式。

2 改進(jìn)正交匹配追蹤重構(gòu)算法

實(shí)際上，OMP算法主要是重構(gòu)出原始語音信號，但是只關(guān)注純凈語音信號，對于噪聲信號來說，噪聲分量會隨著迭代次數(shù)的增加而增大。因此，為了保證重構(gòu)語音的純凈性，必須對重構(gòu)階段加以控制，通過設(shè)置能量閾值來控制重構(gòu)階段。假設(shè)S(n)為第n幀純凈語音信號的能量，N(n)為第n幀的噪聲能量，那么其能量閾值[16]可以表示為：

(11)

其中：L為總幀數(shù)；Nm(n)為第n幀的噪聲能量。當(dāng)恢復(fù)的能量閾值大于τ時(shí)，可認(rèn)為語音分量已被提取完畢，則停止迭代。如果繼續(xù)迭代，將會使部分語音信號被噪聲信號所替代，降低語音增強(qiáng)的性能。由于OMP在進(jìn)行信號重構(gòu)的時(shí)候，使用最小二乘法逼近測量信號，對非線性問題求解精度低，并且使得重構(gòu)后噪聲信號逐漸累加，而共軛梯度法收斂快，并且可以改善矩陣求逆過程的運(yùn)算量。因此，本文將OMP求解中的最小二乘法改進(jìn)為共軛梯度法計(jì)算估計(jì)值，可得：

(12)

其中：αn為步長，然后不斷更新步長直到共軛梯度達(dá)到n。

3 基于雙重約束NMF與改進(jìn)OMP算法的語音增強(qiáng)

輸入語音信號為純凈語音信號與噪聲信號的疊加：

x(t)=s(t)+n(t)，

(13)

圖1 語音增強(qiáng)算法流程框圖

其中：x(t)、s(t)和n(t)分別為輸入語音信號、純凈語音信號和噪聲信號。本文語音增強(qiáng)算法的流程框圖如圖1所示。

整個(gè)算法包括訓(xùn)練及增強(qiáng)兩部分。在訓(xùn)練階段，首先利用短時(shí)傅里葉變換(short-time Fourier transform，STFT)對純凈語音信號和噪聲信號進(jìn)行轉(zhuǎn)換，得到幅度譜，這是因?yàn)檎Z音信號具有短時(shí)平穩(wěn)的特性，可以對其進(jìn)行分幀操作。然后對每一幀進(jìn)行處理，即STFT操作，STFT的表達(dá)式[17]如下：

(14)

其中：x(n)為純凈語音信號序列；ω(n)為窗函數(shù)；窗ω(n-m)會隨著n取值的不同沿著時(shí)間軸滑動，經(jīng)過STFT過程之后，純凈語音信號會轉(zhuǎn)化為對應(yīng)的幅度譜形式Xn(ejw)，同理得到噪聲信號的幅度譜形式為Xn(ejw)。然后，將得到的純凈語音信號及噪聲信號幅度譜經(jīng)過時(shí)間及稀疏化的雙重約束NMF算法，按照式(10)的更新規(guī)則進(jìn)行迭代。利用NMF算法U≈VW分解為字典矩陣Vs和Vn以及激活矩陣Ws和Wn，并將Vs和Vn保存為聯(lián)合字典矩陣[VsVn]，將其作為先驗(yàn)信息保存起來，供增強(qiáng)階段使用。

增強(qiáng)階段又可分為更新及語音重構(gòu)。更新時(shí)，將帶噪語音信號經(jīng)過短時(shí)傅里葉變換得到其幅度譜形式U，并與聯(lián)合矩陣結(jié)合，通過雙重約束NMF進(jìn)行迭代更新，直到目標(biāo)函數(shù)收斂。在語音重構(gòu)的部分使用改進(jìn)OMP算法取代傳統(tǒng)逆STFT進(jìn)行重構(gòu)，改善傳統(tǒng)方法重構(gòu)時(shí)所引起的信號失真及語音增強(qiáng)性能弱的缺點(diǎn)。使用能量閾值控制OMP算法，減少重構(gòu)時(shí)引入的噪聲影響，并使用共軛梯度法改進(jìn)OMP，解決傳統(tǒng)OMP使用最小二乘法收斂速度及求解精度低的問題，利用共軛梯度的快速收斂性，提高算法的效率。由于低頻段為聲音的集中區(qū)域，而高頻區(qū)域是噪聲的主要集中區(qū)域，為了有效避免重構(gòu)過程中引入高頻區(qū)域噪聲，采用低通濾波器平滑重構(gòu)語音，進(jìn)而提高重構(gòu)語音的可懂度與清晰度，低通濾波器的傳遞函數(shù)為：

(15)

其中：G為常數(shù)。

4 結(jié)果與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)及參數(shù)設(shè)置

為了充分驗(yàn)證本文算法的性能，實(shí)驗(yàn)選取TIMIT標(biāo)準(zhǔn)語音數(shù)據(jù)集及THCHS-30中文語音數(shù)據(jù)集[18]作為實(shí)驗(yàn)數(shù)據(jù)來源。實(shí)驗(yàn)在安靜的室內(nèi)環(huán)境條件下進(jìn)行，采樣頻率為16 kHz，采樣大小為16 bits。從TIMIT標(biāo)準(zhǔn)語音數(shù)據(jù)庫中選取240個(gè)不同人語音(其中男性120人，女性120人)共計(jì)1 200條語句，平均句長約3 s。從THCHS-30語音庫中選取1.25 h的600條語音作為訓(xùn)練集，選擇125條作為測試集。為了營造現(xiàn)實(shí)環(huán)境中不可避免的噪聲干擾現(xiàn)象，引入NoiseX-92噪聲庫[19]作為噪聲來源，選取其中的Babble、F16、Factory、Street這4種噪聲作為語音信號的疊加噪聲。

4.2 算法評價(jià)指標(biāo)

感知語音質(zhì)量評估方法(perceptual evaluation of speech quality, PESQ)是國際電信聯(lián)盟(international telecommunication union，ITU)在2001年提出的一種新的語音質(zhì)量客觀評價(jià)算法，并且形成ITU-T的P.862建議，可以作為增強(qiáng)語音質(zhì)量的衡量標(biāo)準(zhǔn)，并可以反映出聽覺的測試結(jié)果，PESQ得分值為-0.5～4.5，在這個(gè)范圍之內(nèi)，得分值越高，語音質(zhì)量越好。

對數(shù)譜距離(logarithmic spectral distance，LSD)用于衡量增強(qiáng)后的語音與純凈語音之間的對數(shù)譜距離，其數(shù)學(xué)表達(dá)式[20]為：

(16)

其中：N為幀長；L{S(l,n)}為具有一定動態(tài)范圍的對數(shù)譜，可以反映重構(gòu)信號與原始信號之間的差異大小，其值越小，代表與原始語音之間的差距越小，因此其與語音質(zhì)量呈現(xiàn)出負(fù)相關(guān)的關(guān)系。

信源失真率(source distortion rate，SDR)反映增強(qiáng)語音信號的失真程度，其值越大，說明噪聲所占比例越小，即語音增強(qiáng)效果越好。

對任何系統(tǒng)來說，時(shí)間性能都是必須考慮的因素。如果一個(gè)算法的時(shí)間復(fù)雜度過于龐大，便不能保證實(shí)時(shí)性，尤其是對于語音識別系統(tǒng)，良好的時(shí)間性能才能保證算法的可靠性。

4.3 對比方法及結(jié)果分析

圖2 Factory背景噪聲下幾種語音增強(qiáng)方法PESQ得分值

實(shí)驗(yàn)中對比方法分別為單獨(dú)使用NMF進(jìn)行語音增強(qiáng)、單獨(dú)OMP語音增強(qiáng)、正則化改進(jìn)NMF的算法實(shí)現(xiàn)語音增強(qiáng)(改進(jìn)NMF算法)以及改進(jìn)的OMP算法實(shí)現(xiàn)的語音增強(qiáng)(改進(jìn)OMP算法)。分別在-5 dB、0 dB、5 dB和10 dB這4種信噪比噪聲背景下進(jìn)行性能評價(jià)，并與本文算法性能指標(biāo)進(jìn)行比較。其中，在Factory背景噪聲下得到PESQ得分情況如圖2所示。由于在其他幾種背景噪聲下與Factory背景下所呈現(xiàn)的效果趨勢一致，因此這里并不進(jìn)行一一展示。由圖2可以看出：不同算法相較于未經(jīng)處理時(shí)的原始輸出語音都有一定的提高，其中，本文算法的PESQ得分值均高于其他幾種算法，在Factory噪聲背景下，相比于未處理的情況，PESQ得分值提高41.38%；相對于傳統(tǒng)NMF算法，PESQ得分值提高21.22%；相對于傳統(tǒng)OMP算法，PESQ得分值提高22.93%；相較于改進(jìn)NMF算法，PESQ得分值提高14.71%；相較于改進(jìn)OMP算法，PESQ得分值提高15.06%。在Babble背景噪聲下，本文算法相較于未經(jīng)處理、傳統(tǒng)NMF、傳統(tǒng)OMP、改進(jìn)NMF算法和改進(jìn)OMP算法，其PESQ得分值分別提高37.90%、25.49%、25.76%、20.02%和20.52%。在Street背景噪聲下，本文算法相較于未經(jīng)處理、傳統(tǒng)NMF、傳統(tǒng)OMP、改進(jìn)NMF算法和改進(jìn)OMP算法，其PESQ得分值分別提高45.70%、34.13%、34.27%、21.02%和22.01%。在F16背景噪聲下，本文算法相較于未經(jīng)處理、傳統(tǒng)NMF、傳統(tǒng)OMP、改進(jìn)NMF算法和改進(jìn)OMP算法，其PESQ得分值分別提高44.78%、32.21%、29.17%、17.51%和15.98%。由上述分析可知，信噪比處于越低水平時(shí)，本文算法語音增強(qiáng)的效果越明顯，且在不同的噪聲環(huán)境下PESQ仍表現(xiàn)出良好的特性。這是由于本文改進(jìn)了傳統(tǒng)重構(gòu)方法，使用改進(jìn)OMP針對純凈語音進(jìn)行重構(gòu)，避免引入噪聲分量引起信號失真，減少了噪聲的影響。而在處于較高信噪比的情況下，由于噪聲干擾較小，因此各個(gè)算法對語音增強(qiáng)的效果差異并不明顯。

表1 不同背景噪聲下幾種語音增強(qiáng)方法LSD得分統(tǒng)計(jì)表

表1為在Factory、Babble、Street以及F16噪聲背景下，不同方法的LSD評價(jià)。由表1可以看出：本文算法均優(yōu)于其他對比算法，這與PESQ評價(jià)結(jié)果一致。本文算法LSD值均小于其他算法，說明其無論在何種噪聲下，相較于對比算法，語音失真度都在減小。在處于同一類型噪聲背景時(shí)，隨著信噪比的提升，各個(gè)算法的LSD評價(jià)增量處于下降的趨勢，說明在處于高信噪比水平時(shí)，各個(gè)算法對于LSD評價(jià)值差距不明顯，這是由于在處于信噪比較高的情況下，語音失真度較小，噪聲所占比例小，不同算法對于語音增強(qiáng)性能相差不大。在處于-5 dB Factory噪聲下，本文算法的LSD評價(jià)值相較于其他5種對比方法平均下降18.81%；在Babble噪聲下，LSD值平均下降23.86%；在Street噪聲下，LSD值平均下降25.47%；在F16噪聲下，LSD值平均下降23.90%?？梢?，在信噪比較低的情況下，不同的背景噪聲語音失真度相較于對比算法，本文算法的LSD評價(jià)性能都有較為明顯的提升。

在信噪比為-5 dB時(shí)，在4種噪聲環(huán)境下，本文算法與改進(jìn)NMF算法和改進(jìn)OMP算法的運(yùn)行時(shí)間見表2。由表2可以看出：本文算法在提高語音增強(qiáng)性能的前提下，并沒有使系統(tǒng)運(yùn)行時(shí)間降低，相反還有小幅度的提升。

表2 本文算法與對比算法運(yùn)行時(shí)間統(tǒng)計(jì) s

SDR值反映了增強(qiáng)語音信號的失真程度，其值越大，說明噪聲所占比例越小。圖3為F16噪聲下，不同算法的SDR值。在Factory、Babble、Street噪聲環(huán)境下，不同算法的SDR值與F16噪聲背景下變化趨勢一致。由圖3可以看出：整體上，本文算法的SDR值基本為2～14，相較于對比算法均有提高。未經(jīng)任何處理的語音信號的SDR值處于較低水平，因此可以看出由于輸入語音中摻雜較多的噪聲信號，導(dǎo)致信號失真程度比較大，甚至使得SDR值為負(fù)，說明信號嚴(yán)重失真。傳統(tǒng)NMF以及OMP實(shí)現(xiàn)的語音增強(qiáng)處于負(fù)信噪比時(shí)，其SDR值仍為負(fù)數(shù)，達(dá)不到語音增強(qiáng)的效果，而通過改進(jìn)后的NMF與改進(jìn)后的OMP算法的SDR值有所上升，但是仍然低于本文算法的SDR值。

圖3 F16背景噪聲下幾種語音增強(qiáng)方法SDR得分值

上述從PESQ、LSD、SDR以及時(shí)間性能上驗(yàn)證了本文算法的有效性，為了更直觀地反映增強(qiáng)后的語音特征，本文還采集了由自己錄入的語音信息，內(nèi)容為“藍(lán)天、白云”，并作出它們對應(yīng)的語譜圖，由于整體而言改進(jìn)NMF算法相較于改進(jìn)OMP算法的性能略優(yōu)，因此選取改進(jìn)NMF算法與本文算法進(jìn)行語譜圖比較，如圖4a和圖4b所示。圖4a為本文算法對應(yīng)的語譜圖，圖4b為改進(jìn)NMF算法的語譜圖。根據(jù)語譜圖顏色來評判語音增強(qiáng)狀況，顏色越深表明對應(yīng)語音頻譜能量越強(qiáng)。由圖4可以看出：本文算法增強(qiáng)后語音的語譜圖比改進(jìn)NMF算法更加清晰，對于噪聲的抑制效果更好。

(a) 本文算法

(b) 改進(jìn)NMF算法

5 結(jié)束語

(1)采用時(shí)間約束及稀疏度約束的方式改進(jìn)NMF算法，克服了傳統(tǒng)NMF算法未考慮時(shí)間屬性對于高維信號分解的影響以及分解時(shí)稀疏度難以控制的問題。

(2)采用改進(jìn)OMP算法代替?zhèn)鹘y(tǒng)逆短時(shí)傅里葉變換，提升了算法的重構(gòu)精度。為了進(jìn)一步平滑濾波，引入低通濾波器。

(3)綜合PESQ、LSD、SDR以及時(shí)間性能4種指標(biāo)，本文算法評價(jià)指標(biāo)均優(yōu)于對比算法。并且當(dāng)信噪比處于低水平(小于0 dB)時(shí)，在不同的噪聲環(huán)境下，都具有良好的增強(qiáng)效果，顯示出本文算法較強(qiáng)的適應(yīng)能力。