陳 雷，楊俊安，王 龍，李晉徽

（1.電子工程學(xué)院，安徽 合肥 230037；2.電子制約技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230037）

一種新的基于DBN的聲學(xué)特征提取方法

陳 雷1，2，楊俊安1，2，王 龍1，2，李晉徽1，2

（1.電子工程學(xué)院，安徽 合肥 230037；2.電子制約技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230037）

大詞匯量連續(xù)語音識別系統(tǒng)中，為了進(jìn)一步增強(qiáng)網(wǎng)絡(luò)的魯棒性、提升深度置信網(wǎng)絡(luò)的識別準(zhǔn)確率，提出一種基于區(qū)分性和ODLR自適應(yīng)瓶頸深度置信網(wǎng)絡(luò)的特征提取方法。該方法首先使用魯棒性較強(qiáng)的瓶頸深度置信網(wǎng)絡(luò)進(jìn)行初步特征提取，進(jìn)而進(jìn)行區(qū)分性訓(xùn)練，使網(wǎng)絡(luò)的區(qū)分性更強(qiáng)、識別準(zhǔn)確率更高，在此基礎(chǔ)上引入說話人自適應(yīng)技術(shù)對網(wǎng)絡(luò)進(jìn)行調(diào)整，提高模型的魯棒性。利用提出的聲學(xué)特征在多個噪聲較強(qiáng)、主題風(fēng)格較為隨意的多個公共連續(xù)語音數(shù)據(jù)庫上進(jìn)行了測試，識別結(jié)果取得了22.2%的提升。實(shí)驗(yàn)結(jié)果表明所提出的特征提取方法有效性。

連續(xù)語音識別；瓶頸深度置信網(wǎng)絡(luò)；區(qū)分性訓(xùn)練；ODLR

0 引言

語音識別技術(shù)是指機(jī)器通過識別和理解把人類的語音信號轉(zhuǎn)變?yōu)橄鄳?yīng)的文本或命令的技術(shù)。

目前主流的語音識別系統(tǒng)主要由三部分組成，分別是：特征提取、聲學(xué)模型以及解碼。對于特征提取部分而言，它的主要功能是從輸入的原始語音中提取出有利于后續(xù)識別的語音特征。本文主要針對上述語音識別系統(tǒng)存在的識別準(zhǔn)確率偏低、復(fù)雜環(huán)境中魯棒性的問題，重點(diǎn)從特征提取展開研究。但是目前基于BN＋DBN的特征提取方法在識別準(zhǔn)確率、魯棒性上的表現(xiàn)仍不盡如人意。本文通過對現(xiàn)有BN＋DBN網(wǎng)絡(luò)的深入分析，找出現(xiàn)存特征提取方法存在的問題及其問題產(chǎn)生的原因，提出一種使用區(qū)分性和ODLR自適應(yīng)的瓶頸深度置信網(wǎng)絡(luò)進(jìn)行特征提取的方法。

1 基于BN＋DBN的特征提取方法

1.1 深度置信網(wǎng)絡(luò)

與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法不同的是，DBN采用預(yù)訓(xùn)練與微調(diào)相結(jié)合的方式來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其中預(yù)訓(xùn)練過程使用了一種基于受限波爾茲曼機(jī)（Re-stricted Boltzmann Machine，RBM）［1］的非監(jiān)督訓(xùn)練方法；微調(diào)階段使用BP網(wǎng)絡(luò)進(jìn)行監(jiān)督式的訓(xùn)練。通過非監(jiān)督的訓(xùn)練將網(wǎng)絡(luò)的權(quán)重調(diào)整到了合適的初始值，進(jìn)而采用傳統(tǒng)的BP算法對權(quán)重進(jìn)行微調(diào)，便得到了一個DBN模型。

1.2 基于BN＋DBN的特征提取方法

特征提取模塊是連續(xù)語音識別系統(tǒng)的基本組成模塊，對系統(tǒng)起著底層支撐的作用。

傳統(tǒng)的特征提取方法都有著相應(yīng)的問題，MFCC方法難以提取語音數(shù)據(jù)中深層次的特征，并且相對于噪聲的魯棒性不強(qiáng)。而運(yùn)用SDC進(jìn)行特征提取的過程中需要對倒譜參數(shù)個數(shù)、差分倒譜的幀間間隔、計算差分倒譜的相鄰塊的幀移以及差分到普塊的個數(shù)進(jìn)行調(diào)整，這種通過人工對參數(shù)進(jìn)行調(diào)整的方式更多地依賴于研究人員的經(jīng)驗(yàn)，而且操作流程較為復(fù)雜，需要大量的計算機(jī)資源和訓(xùn)練時間。

瓶頸（Bottle Neck，BN）的思想初次進(jìn)入視野是在2007年，BN＋ANN的特征提取方法在連續(xù)語音數(shù)據(jù)集中取得了較為理想的效果，DBN取代了ANN成為語音識別領(lǐng)域的主流方法之后，相關(guān)學(xué)者考慮BN＋DBN的特征提取方法能否同樣給DBN的性能帶來相應(yīng)的提升，最終提出了BN＋DBN這一性能出色的神經(jīng)網(wǎng)絡(luò)模型。BN＋DBN在訓(xùn)練的過程中通常將網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)置為相對于中間層對稱，將中間層命名為瓶頸層，瓶頸層所含節(jié)點(diǎn)數(shù)較少，隨后丟棄中間層之后的網(wǎng)絡(luò)結(jié)構(gòu)，將瓶頸層作為網(wǎng)絡(luò)的輸出。盡管瓶頸層含有較少的神經(jīng)元，但是通過選取合適的神經(jīng)元數(shù)目，瓶頸層特征能夠很好地對語音進(jìn)行表征，同時由于較少的節(jié)點(diǎn)數(shù)去除了數(shù)據(jù)冗余，大大提升了識別速率。BN＋DBN的特征提取方法在擁有DBN較強(qiáng)的表征能力、較強(qiáng)的魯棒性的同時，由于瓶頸層的引入擁有著較高的識別速率［2］。

基于BN-DBN的特征提取兼顧了DBN和BN的出色性能，目前已經(jīng)得到廣泛應(yīng)用，其在連續(xù)語音識別中的優(yōu)越性主要體現(xiàn)在［3］：

①能夠從不同的語音數(shù)據(jù)集中提取出具有代表性的特征，這些特征成為后續(xù)識別過程中的重要依據(jù)；

②DBN特有的非監(jiān)督預(yù)訓(xùn)練使網(wǎng)絡(luò)的傳輸權(quán)重調(diào)整到合適的初值，同時也使系統(tǒng)能夠充分地利用未標(biāo)注的數(shù)據(jù)進(jìn)行訓(xùn)練，更全面有效地提取語音特征；

③DBN的微調(diào)優(yōu)化部分利用標(biāo)注數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行監(jiān)督訓(xùn)練，對網(wǎng)絡(luò)模型進(jìn)行更加精細(xì)的調(diào)整，提取更有效的特征；

④BN＋DBN在原有深度置信網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行降維處理，這種策略對于系統(tǒng)去冗余有著重大意義，提升了訓(xùn)練速度；

⑤相對于傳統(tǒng)的特征提取方法，需要人工調(diào)整的參數(shù)較少，具有更加廣泛的適應(yīng)性。

2 基于區(qū)分性和ODLR自適應(yīng)的深度置信網(wǎng)絡(luò)

2.1 基于區(qū)分性深度置信網(wǎng)絡(luò)的特征提取方法

區(qū)分性訓(xùn)練在語音識別系統(tǒng)中的應(yīng)用已經(jīng)有幾十年的歷史。隨著相關(guān)算法的不斷提出以及計算機(jī)性能的大幅提升，區(qū)分性訓(xùn)練不僅僅局限于小詞匯量數(shù)據(jù)集，更是將應(yīng)用的領(lǐng)域擴(kuò)展到了大詞匯量連續(xù)語音識別系統(tǒng)。區(qū)分性策略首先選取與模型分類特性緊密相關(guān)的目標(biāo)函數(shù)，隨后直接對目標(biāo)函數(shù)進(jìn)行優(yōu)化來實(shí)現(xiàn)模型調(diào)整。這種訓(xùn)練方式不僅能夠降低模型假設(shè)錯誤，而且更直接地關(guān)注系統(tǒng)的識別和優(yōu)化效果，為構(gòu)建更為有效的聲學(xué)模型提供了有力的保證［4，5］。下面本文對DBN準(zhǔn)則下的區(qū)分性訓(xùn)練理論進(jìn)行重點(diǎn)介紹。

DBN區(qū)分性訓(xùn)練的代價函數(shù)和目標(biāo)函數(shù)分別使用符號DSEQ和FMMIE表示，則有：

式中，R為訓(xùn)練樣本句子數(shù)的總和，θ表示訓(xùn)練過程中的參數(shù)的集合，Or表示聲學(xué)特征序列，Wr則表示詞序列。Mr表示訓(xùn)練樣本中競爭序列的集合，即混淆集，表示所有可能句子的近似集合。k為聲學(xué)規(guī)整因子。

為了使DBN的輸出對應(yīng)于各個綁定狀態(tài)的后驗(yàn)概率，首先要將各個狀態(tài)的后驗(yàn)概率轉(zhuǎn)換成似然值，使用如下公式進(jìn)行：

通過鏈?zhǔn)椒▌t，結(jié)合：

進(jìn)一步得到區(qū)分性準(zhǔn)則下DBN輸出層誤差的分量：

式中，等式右側(cè)第一個表達(dá)式的求解可以使用傳統(tǒng)GMM＋HMM區(qū)分性訓(xùn)練中的導(dǎo)數(shù)求解方法。

等號右側(cè)第2個表達(dá)式使用式得到：

第3個表達(dá)式使用如下公式求得：

δs，s′為克羅內(nèi)克δ函數(shù)；s′＝s時，δs，s′＝1；其他情況下δs，s′＝0。

綜上，式子的最終形式為：

最終得到；

至此完成了DBN準(zhǔn)則下的區(qū)分性訓(xùn)練，訓(xùn)練的流程與傳統(tǒng)的GMM＋HMM的聲學(xué)模型基礎(chǔ)上進(jìn)行的區(qū)分性訓(xùn)練極為相似。主體思路為首先使用lattice得到分子和分母的狀態(tài)占有率，隨后使用上述公式進(jìn)行計算，最后通過BP算法使誤差在隱含層傳播，使用SGD算法對DBN參數(shù)進(jìn)行更新。在區(qū)分性訓(xùn)練的優(yōu)化階段，使用EBW優(yōu)化算法進(jìn)行，同時結(jié)合i-smoothing平滑技術(shù)增強(qiáng)區(qū)分性訓(xùn)練的擴(kuò)展性。

區(qū)分性訓(xùn)練流程：

根據(jù)最大互信息的目標(biāo)函數(shù)，本文可以分兩步實(shí)現(xiàn)上述過程：第一步是增加分子項(xiàng)，實(shí)現(xiàn)與最大似然準(zhǔn)則一樣，都是要增加相關(guān)特征對模型的相似度；第二步是減少分母項(xiàng)，也就是要降低競爭句子的特征對模型的相似度。這也就是區(qū)分性訓(xùn)練準(zhǔn)則與最大似然準(zhǔn)則的差異之處，要設(shè)法降低競爭句子與正確句子的混淆度，以顯示正確句子的區(qū)分度。

在算法實(shí)現(xiàn)上，較為經(jīng)典的方法為擴(kuò)展的Baum-Welch算法，具體實(shí)現(xiàn)步驟如下：

①瓶頸深度置信網(wǎng)絡(luò)的訓(xùn)練；

②利用訓(xùn)練好的瓶頸深度置信模型進(jìn)行標(biāo)注的強(qiáng)制對齊，使用瓶頸特征的深度置信網(wǎng)絡(luò)模型做強(qiáng)制切分，使得每一幀特征嚴(yán)格對應(yīng)到模型的各個音素上；

①采用Filter Bank特征作為輸入，使用瓶頸深度置信網(wǎng)絡(luò)進(jìn)行訓(xùn)練，分別產(chǎn)生正確句子與競爭句子的詞圖；

②忽略原來的聲學(xué)得分，根據(jù)詞圖進(jìn)行有限制的識別，識別后在詞圖上產(chǎn)生新的聲學(xué)分?jǐn)?shù)；

③利用擴(kuò)展的Baum-Welch算法計算前向及后向概率，以此計算出的概率判斷競爭句子與正確句子的混淆度；

④根據(jù)步驟③計算出反向概率，可知每個詞段所必須做的反向訓(xùn)練程度，這便是正向與反向統(tǒng)計信息；

⑤根據(jù)統(tǒng)計信息對當(dāng)前模型做參數(shù)更新求取新的模型。

2.2 ODLR自適應(yīng)深度置信網(wǎng)絡(luò)的特征提取方法

ODLR（Output-space Discrininative Linear Re-gression）是一種直接對DBN網(wǎng)絡(luò)進(jìn)行自適應(yīng)的方法，其基本思想是針對每個具體的說話人，使用少量的數(shù)據(jù)對DBN網(wǎng)絡(luò)的最后一個隱含層輸出進(jìn)行變換，具體原理如圖1所示。［6－8］：

假設(shè)最后一個隱含層的輸出特征變換為：

MLP的輸出層的激活值表示為：

變換陣M的梯度表示為：

圖1 ODLR自適應(yīng)深度置信網(wǎng)絡(luò)

偏置B的梯度表示為：

3 公開數(shù)據(jù)庫實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)庫

本文使用的數(shù)據(jù)集規(guī)模較大，信噪比普遍較低，背景噪聲多樣，使用該數(shù)據(jù)庫對所提出的基于區(qū)分性和ODLR自適應(yīng)BN＋DBN的特征提取方法進(jìn)行驗(yàn)證。

表1 數(shù)據(jù)庫

3.2 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)一

實(shí)驗(yàn)一主要對區(qū)分性訓(xùn)練的基本理論進(jìn)行驗(yàn)證，首先在BN＋DBN基線系統(tǒng)上進(jìn)行了區(qū)分性訓(xùn)練；隨后在此基礎(chǔ)上對VTLN［9］、網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整和狀態(tài)輸出對系統(tǒng)性能帶來的影響進(jìn)行實(shí)驗(yàn)［10］；最終將各個技術(shù)點(diǎn)與區(qū)分性訓(xùn)練相結(jié)合，測試總體性能實(shí)驗(yàn)結(jié)果如表2所示：

表2 區(qū)分性DBN實(shí)驗(yàn)結(jié)果

由上述結(jié)果，首先，在信噪比較高的數(shù)據(jù)集上學(xué)者已經(jīng)證明了區(qū)分性訓(xùn)練的有效性，表2的實(shí)驗(yàn)結(jié)果說明在噪聲水平較高的數(shù)據(jù)集上進(jìn)行區(qū)分性訓(xùn)練同樣能夠增強(qiáng)網(wǎng)絡(luò)的區(qū)分性，達(dá)到較為理想的效果。新特征提取方法方法使識別系統(tǒng)的識別準(zhǔn)確率平均提升10.6%，說明在瓶頸深度置信網(wǎng)絡(luò)上進(jìn)行區(qū)分性訓(xùn)練能夠達(dá)到預(yù)期效果。

其次，聲道長度規(guī)整技術(shù)能夠?qū)δＰ彤a(chǎn)生積極的效果，識別準(zhǔn)確率取得了一定提升，表明了VTLN技術(shù)從一定程度上濾除了說話人對識別造成的不利影響；第三組實(shí)驗(yàn)在第二組的基礎(chǔ)上進(jìn)行了網(wǎng)絡(luò)狀態(tài)調(diào)整和狀態(tài)輸出累積，識別準(zhǔn)確率又取得了進(jìn)一步的提升，證明了網(wǎng)絡(luò)狀態(tài)調(diào)整和狀態(tài)輸出能夠有效地提升DBN網(wǎng)絡(luò)的魯棒性，更加精細(xì)的網(wǎng)絡(luò)結(jié)構(gòu)保證了識別性能的提升；最終第四組實(shí)驗(yàn)提升效果最為明顯，表明了VTLN、網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整和狀態(tài)輸出能夠與區(qū)分性DBN完美地結(jié)合，這些技術(shù)的引入最終使區(qū)分性DBN的識別準(zhǔn)確率取得了19.5%提升。

實(shí)驗(yàn)二

實(shí)驗(yàn)二中本文主要針對自適應(yīng)技術(shù)進(jìn)行實(shí)驗(yàn)，驗(yàn)證在瓶頸深度置信網(wǎng)絡(luò)中引入自適應(yīng)技術(shù)的可行性。

在區(qū)分性訓(xùn)練之后進(jìn)行自適應(yīng)的實(shí)驗(yàn)，進(jìn)行了ODLR自適應(yīng)的實(shí)驗(yàn)，在測試集上得到如表3結(jié)果。

表3 區(qū)分性自適應(yīng)DBN特征提取方法的實(shí)驗(yàn)結(jié)果

表3的結(jié)果表明，在區(qū)分性瓶頸深度置信網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行說話人自適應(yīng)又取得了3.3%的效果提升。新的特征提取方法總體取得了22.2%的識別準(zhǔn)確率提升，性能提升效果較為明顯。實(shí)驗(yàn)結(jié)果表明在基線系統(tǒng)下區(qū)分性訓(xùn)練和說話人自適應(yīng)能夠比較完美的共存。

由于要使用到切分、解詞圖等技術(shù)，本文所提出的特征提取方法需要多個程序分步運(yùn)行，因此特征提取的時間難以準(zhǔn)確測算。此外，雖然模型訓(xùn)練階段耗時較長，但考慮到模型預(yù)先訓(xùn)練完成之后，識別時可直接使用，無需反復(fù)訓(xùn)練，引入?yún)^(qū)分性訓(xùn)練和說話人自適應(yīng)對實(shí)際測試過程的耗時影響不大，所以這里沒有對訓(xùn)練時長做定量分析。

4 結(jié)束語

針對現(xiàn)有BN＋DBN特征提取方法存在的區(qū)分性不強(qiáng)和自適應(yīng)能力較差的問題，將區(qū)分性訓(xùn)練和ODLR自適應(yīng)技術(shù)與瓶頸深度置信網(wǎng)絡(luò)相結(jié)合，提出了基于區(qū)分性和自適應(yīng)瓶頸深度置信網(wǎng)絡(luò)的特征提取方法，區(qū)分性訓(xùn)練的引入使BN＋DBN網(wǎng)絡(luò)更直接地強(qiáng)調(diào)模型的分類特性，為系統(tǒng)識別準(zhǔn)確率的提升提供了依據(jù)；自適應(yīng)技術(shù)有效地提升了系統(tǒng)的泛化能力，同時考慮區(qū)分性和自適應(yīng)能否在BN＋DBN模型上取得協(xié)同作用，在區(qū)分性訓(xùn)練的基礎(chǔ)上進(jìn)行了說話人自適應(yīng)的訓(xùn)練，通過不同背景噪聲，會話主題風(fēng)格的數(shù)據(jù)庫上進(jìn)行的實(shí)驗(yàn)驗(yàn)證了新的特征提取方法的有效性。

［1］Mohamed A，Dahl G，Hinton G.Acoustic Modeling Using Deep Belief Networks［J］.IEEE Transactions on Audio，Speech，and Language Processing，2012，20（1）：14－22.

［2］Mohamed A，Sainath T，Dahl G，et al.Deep Belief Networks Using Discriminative Features for Phone Recog-nition［C］∥Proceedings of the IEEE International Con-ference on Acoustics，Speech，and Signal Processing. 2011，Prague，Cech Republic，2011：5060－5063.

［3］Sainath T，Kingsbury B，Ramabhadran B.Auto-Encoder Bottleneck Features using Deep Belief Networks［C］∥Proceedings of the IEEE International Conference on A-coustics，Speech，and Signal Processing，Kyoto，Japan. 2012：4153－4156.

［4］Valtchev V，Odell J J，Woodl P C.Lattice-Based Discrimi-native l Yaining for Large Vocabulary Speech Recognition［C］∥Proceedings of IEEE International Conference on Acoustics，Speech and Signal Processing（ICASSP），1996（2）：605－608.

［5］Kingsbury B.Lattice-based Optimization of Sequence Clas-sification Criteria for Neural-Network Acoustic Modeling［C］∥Proceedings of IEEE International Conference on Acoustics，Speech and Signal Processing（ICASSP），2009：3761－3764.

［6］Hinton G，Srivastava N，Krizhevsky A，et al.Improving Neural Networks by Preventing Co-adaptation of Feature Detectors［C］∥CoRR，2012：1207－1210.

［7］Kuhn R，Junqua J C，Nguyen P，et al.Rapid Speaker Ad-aptation in Eigenvoice Space［J］.IEEE Transactions on Speech and Audio Processing，2000，8（6）：695－707.

［8］張志華.說話人自適應(yīng)技術(shù)研究及其在電話信道下的關(guān)鍵詞檢出系統(tǒng)應(yīng)用［D］.鄭州：解放軍信息工程大學(xué)，2005：112－116.

［9］Siniscalchi S M，Dong Yu，Li Deng，et al.Speech Recogni-tion Using Long-Span Temporal Patterns in a Deep Network Mode［J］.IEEE Signal Processing Letters，2013：20（3）：201－204.

［10］BaoYebo，Jiang Hui，Liu Cong，et al.Investigation on Di-mensionality Reduction of Concatenated Features with Deep Neural Network for LVCSR Systems［C］∥Pro-ceedings of the IEEE 11th International Conference on Signal Processing（ICSP2012），Beijing，China，2012：562－566.

A New Feature Extraction Method Based on Bottleneck Deep Belief Network

CHEN Lei1，2，YANG Jun-an1，2，WANG Long1，2，LI Jin-hui1，2
（1.Electronic Engineering Institute，Hefei Anhui 230037，China；2.Key Laboratory of Electronic Restriction，Hefei Anhui 230037，China）

In order to further improve the robustness and recognition rate of deep belief network in Large Vocabulary Continuous Speech Recognition system，this paper presented a novel bottleneck deep belief network to extract new features，which was based on speaker adaptation and discriminative training.Firstly，a bottleneck deep belief network was adopted to get the feature.And discriminative training performed on this basis gave a more distinguished network to improve the recognition accuracy.Simultaneously，a more robust speaker adaptation method was introduced to adjust the network.The proposed method was tested on several public continuous speech databases with strong noise and casual themes and a relative 6.9%promotion of the recognition accuracy was obtained.The result proves the superiority of the proposed method compared to the conventional one.

Continuous Speech Recognition；Bottleneck Deep Belief Network；Discriminative Training；ODLR

TN912.34

A

1003－3114（2015）06－41－5

10.3969／j.issn.1003－3114.2015.06.11

陳 雷，楊俊安，王龍，等.一種新的基于DBN的聲學(xué)特征提取方法［J］.無線電通信技術(shù)，2015，41（6）：41－45.

2015－07－13

國家自然科學(xué)基金項(xiàng)目（60872113）

陳 雷（1990―），男，碩士研究生，主要研究方向：語音識別。楊俊安（1965―）男，教授，博士生導(dǎo)師，主要研究方向：信號處理、智能計算等。