張毅，謝延義，羅元，席兵

(1.重慶郵電大學 先進制造工程學院，重慶 400065； 2. 重慶郵電大學 自動化學院，重慶 400065； 3. 重慶郵電大學 光電工程學院，重慶 400065)

?

一種語音特征提取中Mel倒譜系數(shù)的后處理算法

張毅1，謝延義2，羅元3，席兵3

(1.重慶郵電大學 先進制造工程學院，重慶 400065； 2. 重慶郵電大學 自動化學院，重慶 400065； 3. 重慶郵電大學 光電工程學院，重慶 400065)

摘要：為提高語音識別系統(tǒng)的魯棒性,本文以Mel頻率倒譜系數(shù)(MFCC)為基礎，結合均值消減法、方差歸一化、時間序列濾波法和加權自回歸移動平均濾波法，提出了一種后處理算法，本文將該算法命名為MVDA后處理法，所得語音特征參數(shù)簡稱MVDA。本文首先從理論上推導了MVDA后處理法可以去除加性噪聲和卷積噪聲的干擾，接著針對MVDA與MFCC做了對比試驗，并分析了含噪語音與語音信號的歐氏距離變化，證明MVDA后處理法的每一步均有效降低了噪聲的干擾，且得出了MVDA在不同噪聲環(huán)境中均更優(yōu)的結論。這種簡潔的語音特征不僅可以達到許多復雜語音特征處理方法的效果，而且有效減少了自動語音識別系統(tǒng)的計算量。

關鍵詞：后處理；語音特征；語音識別；噪聲；魯棒性

中文引用格式：張毅，謝延義，羅元，等. 一種語音特征提取中Mel倒譜系數(shù)的后處理算法[J]. 智能系統(tǒng)學報， 2016, 11(2): 208-215.

英文引用格式：ZHANG Yi，XIE Yanyi，LUO Yuan， et al. Postprocessing method of MFCC in speech feature extraction[J]. CAAI transactions on intelligent systems, 2016, 11(2): 208-215.

為了提高語音識別系統(tǒng)的魯棒性，譜減法、卡爾曼濾波[1-2]和麥克風陣列[3]等語音增強技術得到應用和推廣。語音特征的失真造成聲學空間的變形，對此聲學模型可以相應地調(diào)整，以彌補訓練和測試語音之間的差異，這種調(diào)整通常被稱為噪聲模型補償技術[4-5]。由于語音去噪的復雜性，甚至小詞匯的自動語音識別系統(tǒng)都采用了相對復雜的處理方法[6]。這些復雜的處理方法往往會造成較大的計算量和不必要的時延，降低自動語音識別系統(tǒng)的靈活性[7]。

因此本文綜合考慮自動語音識別系統(tǒng)的魯棒性和靈敏性，有針對性地提出了一種簡潔的語音信號后處理方法——MVDA后處理法。同時，也改善了傳統(tǒng)的MFCC特征提取方法中采用三角濾波器組帶來的相鄰頻帶之間的頻譜能量相互泄露，且不利于反映共振特性的問題，為整個語音識別系統(tǒng)的優(yōu)化提供了基礎。實驗表明，MVDA后處理法在不同的噪聲環(huán)境中的魯棒性和靈敏性都要高于傳統(tǒng)的MFCC特征提取法。

1噪聲分類和MFCC

自動語音識別系統(tǒng)的魯棒性取決于噪聲、語音特征和語音信號處理方法。本節(jié)首先定義了日常聲學環(huán)境中常見的噪聲類型，對噪聲的分類有利于本文更加清晰地分析特征失真，并且有利于描述MVDA后處理法。

1.1 噪聲的分類

通常處理的噪聲分為加性噪聲和卷積噪聲。加性噪聲可以描述為

(1)

式中：{s(t)}是語音信號，{n(t)}是加性噪聲，{x(t)}是含噪語音。卷積噪聲可以描述為

(2)

式中：*是卷積符號，h(t)是環(huán)境導致的卷積噪聲。此處假設環(huán)境是穩(wěn)定的，在實際環(huán)境中，兩種類型的噪聲同時存在。因此加噪語音可以描述為

(3)

式(3)可以被看成是一般噪聲情況下，表明語音成分與噪聲成分的一種方法，可以簡化為

(4)

式中：F指非線性時變環(huán)境下語音信號的映射。由于語音信號具有短時連續(xù)性，經(jīng)過分幀加窗之后，語音信號在短時內(nèi)接近線性時不變。

另一種失真產(chǎn)生于噪聲環(huán)境下樣本采集過程中的Lombard效應[8]，如延長元音的持續(xù)時間和頻譜向高頻率傾斜，從而改變了語音信號本身。因此，噪聲環(huán)境下的{s(t)}本身存在失真，這種失真可以看做是式(4)的一個特例。

1.2基礎語音特征MFCC

本文以Mel頻率倒譜系數(shù)為基礎，提出了新的語音特征提取法。MFCC的分析基于人的聽覺機理，即根據(jù)人的聽覺實驗結果來分析語音的頻譜，期望獲得更好的語音特性。MFCC分析依據(jù)的聽覺機理有兩個：1)人的主觀感知頻域的劃定并不是線性的；2)人耳聽覺的臨界帶原理。

一幀語音信號的MFCC參數(shù)可以表示為C?(C[1]…C[D])T，這里D表示倒譜系數(shù)的維數(shù)。MFCC的定義如下：

(5)

這里Q?(Q[1]…Q[J])T表示每幀的譜線能量經(jīng)過梅爾三角濾波器處理后的梅爾能量譜。G是代表離散余弦變換的I*J階矩陣，表示為

(6)

MFCC特征提取方法采用三角濾波器組處理，同時也帶來的相鄰頻帶之間頻譜能量的相互泄露。

2MVDA后處理法步驟

MVDA后處理法在MFCC特征提取法的基礎上，融合了均值消減、方差歸一化、時間序列濾波和加權自回歸移動平均濾波法，圖1為MVDA后處理法基本步驟。

圖1　MVDA后處理法Fig.1　Postprocessing of MVDA

MVDA的提出是為了解決MFCC特征參數(shù)的加性和卷積噪聲的問題，均值消減和方差歸一化在語音處理中已經(jīng)得到了相對廣泛的應用[9-12]。本文提出了結合時間序列濾波和加權自回歸移動平均濾波法在頻域的應用，可以獲得相較于單獨使用均值消減和方差歸一化更好的效果。

本文用C(τ)表示第τ幀語音的特征，則均值消減表示為

(7)

式中：μ是根據(jù)樣本數(shù)據(jù)估計的均值項。方差歸一化法表示為

(8)

(9)

(10)

均值μ和方差σ2的估計可以采用多種方法。在方差估計法[13]中，均值和方差根據(jù)一整段對話語音估計。如果環(huán)境是靜態(tài)的，則這種估計是相對穩(wěn)定的。而根據(jù)在線估計法[14]，均值和方差可以不依賴將來的特征觀察值，根據(jù)當前樣本估計，這種策略時延低，適用于靈敏度要求高的系統(tǒng)。介于這兩種策略之間的是語句估計法。本文中的所有結果都基于語句估計，其定義為

式中：T為給定語句中的幀數(shù)。注意在語句歸一化法中，結果可能被語音前后的空白和噪聲影響[15]，本文的研究假設在計算均值和方差統(tǒng)計之前，已經(jīng)對語音進行了合理的分割。

3噪聲影響與MVDA濾波法分析

關于頻域加性和卷積噪聲，本文均作了詳細的分析。本節(jié)從理論上推導MVDA濾波法，分析均值消減、方差歸一化、時間序列濾波和加權自回歸移動平均濾波法的去噪效果，并分析在濾波前后噪聲對語音特征的影響。

3.1均值消減

本文首先分析卷積噪聲對語音特征造成的失真，并且得出均值消減可以有效去除卷積噪聲。分析表明，頻域均值消減導致參數(shù)在時不變卷積噪聲下是穩(wěn)定的。

卷積噪聲在頻域內(nèi)表現(xiàn)為乘法運算，因此{x(t)}、{s(t)}和{h(t)}的功率譜可以表示為

式中：Fjk表示第j個Mel特征濾波器的第k條譜線。一般情況下，Cx和Cs并不是簡單的通過h關聯(lián)，因為對數(shù)的參數(shù)求和不能被因式分解。如果假設Ph是相對平滑的，每一個Mel濾波器頻帶內(nèi)卷積噪聲的變化很小。

式中：Ph[kj]為{h(t)}在第j維濾波器中的能量譜。

上述假設不排除在Ph在Mel頻域濾波器的不同頻帶內(nèi)產(chǎn)生變化，而只要求其在每個頻帶內(nèi)的變化足夠小，該假設要求設計良好的傳輸設備通帶。然而在多噪聲環(huán)境中，從聲源到接收者的多路徑反射可能導致峰谷的頻率響應[16]，不滿足上述假設。因此第i維噪聲和語音信號MFCC的差別與{h(t)}，而與{s(t)}無關。也就是說，卷積噪聲增加特征的偏置取決于瞬時的信道特性數(shù)值。如果進一步假設噪聲是穩(wěn)態(tài)的，對于MFCC，有

因此在穩(wěn)態(tài)噪聲和相對平滑的卷積噪聲環(huán)境下，均值消減特征不會改變。從而在語句結構中，如果環(huán)境噪聲是卷積類型并且在語句內(nèi)是穩(wěn)態(tài)的、平滑的，均值消減法是有效的。對均值消減的上述特性均建立在卷積噪聲的基礎上。對于加性噪聲的分析將在后面三級濾波中進行分析。

3.2方差歸一化

加性噪聲不同于卷積噪聲，在經(jīng)過頻域變換之后語音與加性噪聲更加難以區(qū)分，為了更加方便地分析加性噪聲環(huán)境下的語音信號，我們將含噪語音定義為

式中：加性噪聲n(t;γ)?γno(t)中的γ變量表示噪聲的強度。本文首先分析加性噪聲，然后分析語音信號。n(t;γ)和no(t)在Mel頻域的對數(shù)特征表示為

式中：Qn(γ)和Qno分別是n(t;γ)和no(t)的Mel頻率譜表示，Mel倒譜系數(shù)可以表示為

式中：Cn(γ)和Cno分別是n(t;γ)和no(t)的倒譜， MFCC并沒有衰減。含噪語音的功率譜為

式中：Px(γ)、Ps和Pno分別表示x(t;γ)、s(t)和no(t)的功率譜。由于Mel分級是線性運算，因此

語音失真為

因此失真與語音信號s(t)和噪聲n(t;γ)相關。一般強度的加性噪聲影響與語音信號、噪聲類型和噪聲強度有著復雜的關系，因此加性噪聲的濾波相對困難。當存在噪聲語音數(shù)據(jù)樣本時，可以考慮設計潛在的非線性變換來減小語音信號的失真。

加性噪聲造成的語音信號失真不僅僅取決于噪聲的加性增益，而與語音信號和噪聲均相關，因此很難去除加性噪聲。在低噪聲環(huán)境下這種關聯(lián)并不明顯。高噪聲環(huán)境下，在去除噪聲增益項之后，本文應用了方差歸一化法以彌補語音信號特征的衰減。由于存在γ-1的增益，在使用方差歸一化法后，也無法得到零加性噪聲的語音信號，因此處理后的語音特征很難滿足要求。

3.3時間序列濾波和加權自回歸移動平均濾波

1)低加性噪聲

2)高加性噪聲

并且失真之后的MFCC特征近似為

人耳對語音的動態(tài)特征更為敏感，這種動態(tài)特性可以通過時間序列濾波實現(xiàn)。時間序列濾波之后的語音信號更接近真實語音信號。時間序列濾波器在語音信號靜態(tài)特性的基礎上，又兼顧了語音信號的動態(tài)特性，其使用達到了預期的目的。

由于人類的聲音頻率的結構性限制，發(fā)聲時聲道系統(tǒng)結構的改變有限，人類語音的重要信息主要是在低頻段[17]。由于MFCC反映聲道系統(tǒng)的特性，本文假設語音低頻特征包含的信息更多。均值消減和方差歸一化方法可以彌補能譜的下降，但卻不能解決譜型平滑的問題。而加權自回歸移動平均濾波由于強調(diào)了語音低頻段的作用，并弱化了高頻的影響。

4實驗設計及分析

實驗數(shù)據(jù)庫為用cooledit軟件建立語音樣本庫。數(shù)據(jù)庫規(guī)模為100人(50男50女)，考慮時間的遍歷性，同一段指令要求在不同的時間錄制10遍。語音采樣率16 kHz，單聲道，Windows PCM編碼格式，采樣精度16位。噪聲添加使用Noise-92庫中的pink、volvo、destroyerengine(DE)、和white噪聲，根據(jù)隨機時間偏移與純凈語音信號混合，形成-5～20 dB范圍內(nèi)不同信噪比的數(shù)據(jù)庫。

本文語音信號分幀采用交疊分段的法，每幀170個采樣點，疊加步長為15個采樣點，對信號進行特征提取得MFCC，設定特征維數(shù)為25。再以MFCC為基礎，獲得MVDA語音特征。

圖2～9是語音“12345”在噪聲環(huán)境下，MVDA特征向量的第一維和第D維特征。通過對比發(fā)現(xiàn)干凈語音和不同信噪比的含噪語音的差異。均值消減和方差歸化法使語音信號和含噪信號在同平均水平(均值消減)和總體規(guī)模(方差歸一化法)的差異減小，然而差別依然明顯。本文進一步使用了時間序列濾波和加權自回歸移動平均濾波，差異進一步減小。

圖2　語音特征C[1]噪聲為20 dB時，MVDA后處理輸出Fig.2　The MVDA postprocessing output of voice features C[1]with noise of 20 dB

圖3　語音特征C[1]噪聲為10 dB時，MVDA后處理輸出Fig.3　The MVDA postprocessing output of voice features C[1] with noise of 10 dB

圖4　語音特征C[1]噪聲為0 dB時，MVDA后處理輸出Fig.4　he MVDA postprocessing output of voice features C[1] with noise of 0 dB

圖5　語音特征C[1]噪聲為-5 dB時，MVDA后處理輸出Fig.5　The MVDA postprocessing output of voice features C[1]with noise of -5 dB

圖6　語音特征C[D]噪聲為20 dB時，MVDA后處理輸出Fig.6　The MVDA postprocessing output of voice features C[D] with noise of 20 dB

圖7　語音特征C[D]噪聲為10 dB時，MVDA后處理輸出Fig.7　The MVDA postprocessing output of voice features C[D] with noise of 10 dB

圖8　語音特征C[D]噪聲為0 dB時，MVDA后處理輸出Fig.8　The MVDA postprocessing output of voice features C[D] with noise of 0 dB

圖9　語音特征C[D]噪聲為-5 dB時，MVDA后處理輸出Fig.9　The MVDA postprocessing output of voice features C[D] with noise of -5 dB

然而使用視覺檢查推斷語音識別處理方法的不確定性總是存在的。為了便于比較，本文計算了語音信號特征和帶噪語音信號特征的歐式距離，具體數(shù)值見表1。可以分析得出，含噪語音特征和無噪語音信號特征的歐式距離均與噪聲強度正相關。均值消減和方差歸一化減小了含噪語音特征與無噪語音信號特征的歐式距離。最終，時間序列濾波和加權自回歸移動平均濾波進一步減小了歐式距離。根據(jù)表1，加權自回歸移動平均濾波處理后的帶噪語音更加接近真實的語音信號。

表1含噪語音MVDA參數(shù)與語音信號的歐氏距離

Table 1The compasison of training beteeen MVDA and MFCC

參數(shù)20/dB10/dB0/dB-10/dB均值消減939135618451956方差歸一化129196259346時間序列濾波78112136203加權自回歸移動平均61697276

將MVDA與MFCC特征在自動語音識別系統(tǒng)下進行語音識別實驗對比，實驗結果如圖4 ?？梢缘贸觯旁氡容^高時，MFCC特征與MVDA特征的識別率基本相同，但隨著信噪比降低,MVDA語音特征的效果更加顯著。

圖10　自動語音識別結果對比圖Fig.10　Comparison of automatic speech recognition results

5結束語

本文的分析主要基于加性噪聲和卷積噪聲環(huán)境下MFCC特征參數(shù)的失真，針對這一問題提出了MVDA語音特征提取法。分析得出實驗效果與語音基本特征、濾波器的類型均相關。在使用MVDA濾波法后，相較于MFCC語音特征，自動語音識別系統(tǒng)在不同性噪比環(huán)境下的識別率提高了2.7%～15.0%。MVDA特征提取可以達到很多復雜去噪算法的效果，卻可以減少系統(tǒng)對計算能力的要求，減小系統(tǒng)的時延。因此，MVDA后處理法可以在更小的計算代價下提高系統(tǒng)的魯棒性，具有較高的實際應用價值。

參考文獻:

[1]PALIWAL K K, BASU A. A speech enhancement method based on Kalman fltering[C]//Proceedings of IEEE International Conference on Acoustics, Speech, and Signal Processing. Dallas, USA, 1997: 177-180.

[2]GIBSON J D, KOO B, GRAY S D. Filtering of Colored Noise for Speech Enhancement and Coding[J]. IEEE Transactions on Signal Processing, 1991, 39(8): 1732-1742.

[3]ZELINSKI R. A microphone array with adaptive post-filtering for noise reduction in reverberant rooms[C]//Proceedings of IEEE International Conference on Acoustics, Speech, and Signal Processing. New York, USA, 1998: 2578-2581.

[4]MYLLYMAKI M, VIRTANEN T. Non-stationary noise model compensation in voice activity detection[C]//Proceedings of IEEE International Conference on Signal Processing Conference. Glasgow, Scotland, 2009: 2186-2190.

[5]RAMFREZ J, SEGURA J C, BENFTEZ C, et al. Efficient voice activity detection algorithms using long-term speech information[J]. Speech communication, 2004, 42(3/4): 271-287.

[6]CHOWDHURY M, SELOUANI S A, O'SHAUGHNESSY D. A soft computing approach to improve the robustness of on-line ASR in previously unseen highly non-stationary acoustic environments[C]//Proceedings of the 11th IEEE International Conference on Information Science, Signal Processing and their Applications. Montreal, Canada, 2012: 522-527.

[7]GUPTA H A, RAJU A, ALWAN A. Non-linear dimension reduction of Gabor features for noise-robust ASR[C]//Proceedings of IEEE International Conference on Acoustics, Speech, and Signal Processing. Florence, Italy, 2014: 1715-1719.

[8]HANSEN J H L, VARADARAJAN V. Analysis and compensation of lombard speech across noise type and levels with application to in-set/out-of-set speaker recognition[J]. IEEE transactions on audio, speech, and language processing, 2009, 17(2): 366-378.

[9]COOK G, ROBINSON T. Transcribing broadcast news with the 1997 abbot system[C]//Proceedings of IEEE International Conference on Acoustics, Speech, and Signal Processing. Seattle, USA, 1998: 917-920.

[10]KIM D S, LEE S Y, KIL R M. Auditory processing of speech signals for robust speech recognition in real-world noisy environments[J]. IEEE transactions on speech and audio processing, 1999, 7(1): 55-69.

[11]HAIN T, WOODLAND P C, EVERMANN G, et al. New features in the CU-HTK system for transcription of conversational telephone speech[C]//Proceedings of IEEE International Conference on Acoustics, Speech, and Signal Processing. Salt Lake City, UT, 2001(1): 57-60.

[12]LIN S H, CHEN B, YEH Y M. Exploring the use of speech features and their corresponding distribution characteristics for robust speech recognition[J]. IEEE transactions on audio, speech, and language processing, 2009, 17(1): 84-94.

[13]MORTIA S, UNOKI M, LU Xugang, et al. Robust voice activity detection based on concept of modulation transfer function in noisy reverberant environments[C]//Proceedings of International Symposium on Chinese Spoken Language Processing (ISCSLP). Singapore, 2014: 108-112.

[14]CHANG J E, BAI J Y, ZENG Fangang. Unintelligible low frequency sound enhances simulated cochlear implant speech recognition in noise[J]. IEEe transactions on biomedical engineering, 2006, 53(12): 2598-2601.

[15]BOLL S F. Suppression of acoustic noise in speech using spectral subtraction[J]. IEEE transactions on acoustics, speech, and signal processing, 1999, 27(2): 113-120.

[16]MAMMONE R J, ZHANG Xiaoyu, RAMACHANDRAN R P. Robust speaker recognition: a feature-based approach[J]. IEEE signal processing magazine, 1996, 13(5): 58-71.

[17]BOLL S F. Suppression of acoustic noise in speech using spectral subtraction[J]. IEEE transactions on acoustics, speech, and signal processing, 1999, 27(2): 113-120.

張毅，男，1966年生，教授，博士生導師。主要研究方向機器人及應用、數(shù)據(jù)融合、信息無障礙技術。任重慶郵電大學國家信息無障礙工程研發(fā)中心主任，智能系統(tǒng)及機器人實驗室主任，發(fā)表學術論文多篇。

謝延義，男，1989年生，碩士研究生，主要研究方向為語音識別與智能機器人。

羅元，女，1972年生，教授，博士，主要研究方向為信號與信息處理、數(shù)字圖像處理。

Postprocessing method of MFCC in speech feature extraction

ZHANG Yi1， XIE Yanyi2， LUO Yuan3， XI Bing3

(1. Institute of Advanced Manufacturing Engineering, Chongqing University of Posts and Telecommunications, Chongqing 400065, China; 2. College of Automation, Chongqing University of Posts and Telecommunications, Chongqing 400065, China; 3. College of Opto Electronic Engineering, Chongqing University of Posts and Telecommunications, Chongqing 400065, China)

Abstract：To improve the robustness of automatic speech recognition systems, a new speech feature postprocessing method based on the Mel-frequency Cepstral Coefficient (MFCC) is proposed, which is named the MVDA postprocessing method. The postprocessed feature parameters are named MVDAs. This technique combines mean subtraction, variance normalization, time sequence fltering, and autoregressive moving average flters. Experiments were conducted to compare MVDA and MFCC. Changes in the Euclidean distance of the speech with noise and the speech signal were analyzed, proving that every step of MVDA postprocessing could effectively reduce the noise interference. Thus, all MVDAs in different noise environments were superior. This simple feature does not only achieve the effect of many complex speech feature processing methods but also effectively reduces the computational complexity of automatic speech recognition systems.

Keywords：postprocessing; phonetic feature; speech recognition; noise; robustness

作者簡介：

中圖分類號：TP391.4

文獻標志碼：A

文章編號：1673-4785(2016)02-0208-07

通信作者：謝延義. E-mail：811719530@qq.com.

基金項目：重慶市科委前沿技術專項重點項目(cstc2015jcyjBX0066).

收稿日期：2015-11-06. 網(wǎng)絡出版日期：2016-03-15.

DOI:10.11992/tis.201511008

網(wǎng)絡出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20160315.1248.018.html