張 宇，計 哲，萬 辛，張 震，葛鳳培，顏永紅

(1. 中國科學院聲學研究所，語言聲學與內容理解重點實驗室，北京 100190；2. 國家計算機網(wǎng)絡應急技術處理協(xié)調中心，北京 100029)

基于DNN的聲學模型自適應實驗

張 宇1，計 哲2，萬 辛2，張 震2，葛鳳培1，顏永紅1

(1. 中國科學院聲學研究所，語言聲學與內容理解重點實驗室，北京 100190；2. 國家計算機網(wǎng)絡應急技術處理協(xié)調中心，北京 100029)

聲學模型自適應算法研究目的是緩解由測試數(shù)據(jù)和訓練數(shù)據(jù)不匹配而引起的識別性能下降問題. 基于深度神經(jīng)網(wǎng)絡(DNN)模型框架的自適應技術中，重訓練是最直接的方法，但極容易出現(xiàn)過擬合現(xiàn)象，尤其是自適應數(shù)據(jù)稀疏的情況下．文章針對領域相關的自動語音識別任務，對典型的兩種聲學模型自適應算法進行了嘗試，實驗了基于線性變換網(wǎng)絡的自適應方法和基于相對熵正則化準則的自適應方法，并對兩種算法進行了詳盡的系統(tǒng)性能比較.結果表明，在不同的自適應數(shù)據(jù)量下，相對熵正則化自適應方法均能表現(xiàn)出較好的性能.

聲學模型自適應；語音識別；深度神經(jīng)網(wǎng)絡

近年來，大詞匯量連續(xù)語音識別(large vocabulary continuous speech recognition，LVCSR)系統(tǒng)取得了很大的進步．傳統(tǒng)的語音識別系統(tǒng)使用隱馬爾科夫模型(hidden Markov model，HMM)表達語音信號的時變特性，采用高斯混合模型(Gaussian mixture model，GMM)建模語音信號的發(fā)音多樣性．微軟研究人員提出了采用上下文相關的深度神經(jīng)網(wǎng)絡(deep neural network，DNN)建模聲學模型[1-3]．實驗已經(jīng)證明，相比傳統(tǒng)的方法，基于DNN的語音識別系統(tǒng)性能有顯著的提高．但是，測試數(shù)據(jù)與訓練數(shù)據(jù)的不匹配仍然對語音識別系統(tǒng)性能有較大的影響．如何增強語音識別系統(tǒng)的魯棒性，使聲學模型能夠適應測試環(huán)境變化，是目前語音研究人員十分關注的重點和難點．因此，在當今語音識別研究領域中，模型自適應技術是非常重要的研究課題之一，其主要思想是利用與測試環(huán)境匹配的自適應數(shù)據(jù)改進聲學模型，最終達到提升識別性能的目的．

針對傳統(tǒng)基于GMM建?？蚣艿恼Z音識別系統(tǒng)，研究人員已經(jīng)成功提出了若干自適應技術來減少測試與訓練不匹配帶來的識別系統(tǒng)性能下降．如聲道長度歸一化(vocal tract length normalizetion，VTLN)[4]、最大后驗概率(maximum a posteriori，MAP)[5]以及最大似然線性回歸(maximum likelihood linear regression，MLLR)[6]．VTLN技術利用頻率規(guī)整函數(shù)歸一化不同說話人的語音特征．由于對每個說話人僅估計一個自由參數(shù)，這種方法比較魯棒和有效．MAP算法的實質是將先驗知識和自適應數(shù)據(jù)中得到的知識以線性插值的方式結合，并將結果作為自適應后的參數(shù)值．但此種方法在自適應數(shù)據(jù)量較大時比較有效．另一方面，當自適應數(shù)據(jù)較少時，MLLR方法的性能較好．MLLR技術利用自適應數(shù)據(jù)以最大似然為準則估計變換矩陣，由變換矩陣得到自適應后的特征向量．

DNN在語音識別領域的廣泛應用促進了基于DNN聲學模型自適應技術的發(fā)展．最直接的自適應策略是重訓練方法，即直接利用自適應數(shù)據(jù)依照誤差反向傳播(back propagation，BP)算法調節(jié)神經(jīng)網(wǎng)絡權重，但這種方法的缺點是容易過擬合．一般采用相近數(shù)據(jù)訓練得到的較為穩(wěn)健的模型作為重訓練的種子模型，以此來緩解過擬合問題．另一種相對穩(wěn)健的方法是在神經(jīng)網(wǎng)絡中加入線性變換層[7-8]．此種算法在自適應過程中只更新線性層權重，其他層的權重保持不變．同樣基于線性變換的方法還有fDLR算法[9]和oDLR算法[10]．此外，基于正則化[11-13]的自適應方法也有很多，如L2正則化[11]和相對熵正則化[13]. 正則化算法通過在目標函數(shù)中加入正則項達到緩解過擬合的目的．在說話人自適應方面，i-vector[14-15]和speaker code[16-17]的加入提升了系統(tǒng)對特定說話人的識別性能．

本文就特定領域的自動語音識別任務，實現(xiàn)了基于線性變換網(wǎng)絡的自適應方法和基于相對熵正則化準則的自適應方法，根據(jù)兩種算法的差異和優(yōu)缺點，對比分析了實驗結果并加以討論．

1 基于DNN-HMM的語音識別系統(tǒng)

DNN本質上是一個包含多個隱含層的前饋神經(jīng)網(wǎng)絡．輸入為特征觀察值，網(wǎng)絡的輸出為HMM三音子狀態(tài)的后驗概率．

1.1 DNN-HMM

一個(L＋1)層的深度神經(jīng)網(wǎng)絡包含輸入層、輸出層及它們之間的L個非線性隱層，如圖1所示．每個隱層和輸出層都由若干個神經(jīng)元構成．隱層中的神經(jīng)元j一般使用sigmoid函數(shù)作為激活函數(shù)，將其表示為σ(·)．激活函數(shù)將神經(jīng)元加權后的輸入值alj映射到輸出hlj，然后將hlj作為下一層的輸入．輸出層使用softmax激活函數(shù)，它的輸出即為狀態(tài)的后驗概率．

DNN的前向傳播公式為

其中

式中：X為聲學特征觀察向量；Wl為第l層神經(jīng)網(wǎng)絡的權重矩陣；bl為第l層神經(jīng)網(wǎng)絡的偏置向量；al為向量al的第j個元素；hl為向量hl的第j個元素．Wl和bl是待估參數(shù)，參數(shù)的估計利用隨機梯度下降算法優(yōu)化目標函數(shù)實現(xiàn)．

1.2 DNN訓練

DNN的訓練準則有多種，本文介紹常用的交叉熵準則．交叉熵是對目標后驗概率與實際后驗概率間差異度的衡量．交叉熵目標函數(shù)為

式中：N為訓練樣本的數(shù)目；p~( y|Xt)為標注的目標概率，其值為0或1；p( y| Xt)為DNN的實際輸出概率．訓練樣本的標注可以通過使用GMM-HMM做強制對齊得到．

迭代更新權重公式為式中η為學習率．依照式(6)更新權重，尋找使目標函數(shù)達到極小值時的權重參數(shù)lW．輸入向量X經(jīng)過網(wǎng)絡前向傳播，網(wǎng)絡輸出值即為狀態(tài)后驗Pr(|)s X.對輸出的后驗概率利用貝葉斯公式，得到解碼識別所需的聲學似然概率P(|)s X．

2 自適應語音識別算法

隨著DNN在語音識別上的廣泛應用，其自適應技術也得到人們的進一步關注．聲學模型自適應技術使用少量自適應數(shù)據(jù)對聲學模型進行參數(shù)調整，改善訓練和測試數(shù)據(jù)類型不匹配導致的識別性能不佳問題，降低由于失配導致的性能惡化．自適應可以分為：有監(jiān)督，自適應語音數(shù)據(jù)有文本標注(如人工提供)；無監(jiān)督，自適應語音數(shù)據(jù)沒有標注，可將解碼識別結果作為標注，但是由于不可避免會存在識別錯誤，所以無監(jiān)督自適應性能通常要劣于有監(jiān)督自適應. 需要指出的是，本文的實驗均是在有監(jiān)督的情況下完成的．

2.1 線性變換網(wǎng)絡自適應算法

線性變換網(wǎng)絡方法是一種最廣泛也是最簡單的自適應方法．它增加一個仿射變換到DNN的輸入或隱層的輸出，使網(wǎng)絡在某一損失函數(shù)下性能更好．如圖2所示，當仿射矩陣作用于輸入層時，稱作線性輸入網(wǎng)絡[7](linear input network，LIN)；當作用于隱層輸出時，稱作線性隱層網(wǎng)絡[7](linear hidden network，LHN)．DNN模型可以看作一個特征提取器和分類器的組合，因此，LIN和LHN作用上很類似，二者對不同層面的特征進行仿射變換，使變換后的特征更有助于分類．

圖2 線性變換網(wǎng)絡示意Fig.2 Diagram of linear transformation network

加入的線性層與它前一層有相同的維度，權重矩陣的初始值為單位矩陣，偏置初始為0．加入線性層的激活函數(shù)為線性函數(shù)()f xx=．訓練時，保持其他層權重不變，利用自適應數(shù)據(jù)通過BP算法迭代更新線性層的連接權重．

2.2 相對熵正則化自適應算法

利用BP算法重訓練隱含層參數(shù)是最直接的方法，但這種做法易破壞基線模型的學習信息并對自適應數(shù)據(jù)過擬合．為防止上述問題，對基線聲學模型可進行保守訓練．保守訓練的中心思想是自適應模型的狀態(tài)分布不應過度背離基線模型，尤其是在自適應數(shù)據(jù)稀疏時．對這種背離可以用相對熵度量，并把它作為正則項加入到式(5)，這樣就得到正則化優(yōu)化準則

式中：pSI(y| Xt) 為基線模型做前向計算得到的后驗概率；ρ為正則化權重．式(7)可以被整理成如下形式：

對于插值權重的選擇，即正則化權重ρ大小的選取，可以根據(jù)自適應集和學習率的大小，使用開發(fā)集調節(jié)．當1ρ=時，等效為基線模型．當0ρ=時，等效為上述的重訓練方法．

3 實 驗

3.1 實驗數(shù)據(jù)及配置

本文實驗是針對特定領域的自動語音識別任務，目標領域為語音數(shù)據(jù)較為缺乏的中文客服領域．基線模型的訓練數(shù)據(jù)來自1,000,h中文面向電話語音交談的數(shù)據(jù)庫，對話風格為日常生活交流．實驗中采用4組客服中心提供的不同數(shù)據(jù)量的客服自適應數(shù)據(jù)，數(shù)據(jù)時長分別為2,h、5,h、10,h和20,h．實驗采用2,h客服數(shù)據(jù)作為開發(fā)集．測試集為兩組數(shù)據(jù)集：一組是與自適應數(shù)據(jù)同風格的2,h客服測試數(shù)據(jù)，一組是與基線模型訓練數(shù)據(jù)同風格的1.5,h LDC數(shù)據(jù)集．

實驗采用中文帶調的聲韻母音素集，共計179個音素．每個HMM包含3個狀態(tài)，用其建模一個上下文相關的詞間擴展的三音子，通過決策樹方法將左右狀態(tài)聚類成6,245個單元．采用的聲學特征為13維PLP特征加一維基頻特征以及一維基頻置信度，做3階差分擴展成60維的特征．基線DNN模型的輸入特征維度為660，由前文5幀、當前幀、后文5幀特征串聯(lián)；隱藏層共有5層，每層2,048個節(jié)點；輸出層各節(jié)點對應HMM模型的6,245個狀態(tài)．各隱層使用sigmoid激活函數(shù)，輸出層則為softmax激活函數(shù)．

實驗采用mini-batch模式的BP算法對參數(shù)更新，mini-batch的大小是1,024．學習率的初始值設為1×10-5．重訓練模型的初始學習率設為0.005．

對于線性網(wǎng)絡自適應方法，實驗中將LIN線性層加在輸入層后，將LHN線性層加在最后一層隱層后；對于相對熵正則化自適應方法，實驗測試了不同的正則化權重對識別性能的影響．

3.2 實驗結果及分析

本節(jié)將基于線性變換網(wǎng)絡的自適應方法和基于相對熵正則化準則的自適應方法應用于不同自適應數(shù)據(jù)量的實驗，并將自適應模型與基線模型以及重訓練模型做識別性能的對比．

圖3描繪了正則化權重變化時，不同自適應數(shù)據(jù)量下相對熵正則化自適應模型在兩個測試集上的識別字錯誤率(character error rate，CER)．當權重為1時，自適應模型等效為基線模型．當權重為0時，自適應模型等效為重訓練模型．

由圖3(a)客服測試集識別結果可知，在不同數(shù)據(jù)量下，調整權重后正則化自適應模型都可取得顯著的CER改進效果，如自適應數(shù)據(jù)量為2,h、權重為0.5時，正則化方法獲得相對11.6%,的CER降低．由圖3(b)LDC測試集識別結果可知，在與自適應數(shù)據(jù)不匹配的LDC測試集上，自適應方法使模型偏離基線模型，對與自適應數(shù)據(jù)不匹配的數(shù)據(jù)識別性能變差；權重從1到0變化，即對應的模型從基線模型到重訓練模型變化時，CER持續(xù)升高；重訓練模型對與自適應數(shù)據(jù)不匹配的測試數(shù)據(jù)識別的魯棒性最差；不同權重下的正則化自適應模型對應的CER結果顯示，其魯棒性顯著優(yōu)于重訓練模型(權重為0)．由圖3中的實驗結果基本可以得出結論，正則化的保守訓練方法有效緩解了自適應中的過擬合問題．

為方便對比描述，以下實驗中使用權重為0.5的正則化自適應模型與線性網(wǎng)絡自適應模型(LIN、LHN)、基線模型以及重訓練模型的識別性能做對比，并將結果繪制在圖4中．

圖3 正則化實驗結果Fig.3Experimental results of KL-divergence regularized deep neural network adaptation

圖4 自適應實驗結果Fig.4 Experimental results of adaptation

由圖4(a)客服測試集的實驗結果可見，在不同數(shù)據(jù)量下，正則化方法相比其他自適應方法，都獲得了最優(yōu)的CER改善效果．與基線模型相比，在2,h、5,h、10,h 和20,h的自適應數(shù)據(jù)量下分別獲得了11.6%,、18.1%,、20.5%,和21.4%,的CER下降．而重訓練方法在不同數(shù)據(jù)量下獲得的改善分別為1.9%,、11.6%,、13.5%,和16.3%,．相反，基于線性變換網(wǎng)絡的自適應方法在自適應數(shù)據(jù)集較少時，優(yōu)勢才明顯．雖然LHN在4組不同數(shù)據(jù)量下識別性能一致優(yōu)于重訓練方法，與重訓練模型相比，有絕對0.2%,到0.4%,的CER降低，但識別性能的改善幅度仍低于正則化方法．線性變換網(wǎng)絡方法在自適應過程中僅更新加入的變換矩陣，與重訓練方法相比，大幅度減少了估計的參數(shù)量．因此，與重訓練模型相比，此方法緩解了過擬合問題．與LHN相比，LIN只在2,h數(shù)據(jù)量時才優(yōu)于重訓練方法．在2,h自適應數(shù)據(jù)量時，LIN比重訓練模型在客服測試集上的識別CER有絕對0.4%,的CER降低．上述現(xiàn)象原因在于，將LIN與LHN對比后發(fā)現(xiàn)，LIN在輸入層后加入660×660矩陣，而LHN在隱層后加入2,048×2,048矩陣．自適應數(shù)據(jù)量較多時，自適應估計的參數(shù)量相對較少會導致模型對自適應數(shù)據(jù)的學習不夠充分，因此，LIN的性能不如LHN以及重訓練．

由圖4(b)LDC測試集的實驗結果可見，在與自適應數(shù)據(jù)不相關的LDC測試集上，重訓練模型識別性能急劇下降．與重訓練模型相比，使用線性變換自適應方法以及正則化自適應方法均能顯著改善對不同類型數(shù)據(jù)識別的魯棒性．其中，LIN的魯棒性最優(yōu)，正則化方法的魯棒性介于LIN和LHN之間，具有良好的魯棒性．

由以上實驗結果可得出：在與自適應數(shù)據(jù)不匹配的測試集上，兩種自適應模型均比重訓練模型更具魯棒性．然而，在與自適應數(shù)據(jù)匹配的測試集上，基于線性變換網(wǎng)絡自適應算法的性能改進幅度稍遜一些．自適應數(shù)據(jù)較少時，兩種自適應模型在自適應能力和魯棒性兩方面均優(yōu)于重訓練模型．分析上述原因，是由于自適應數(shù)據(jù)量較少的情況下，如果估計的參數(shù)量相對較多，容易產(chǎn)生過擬合，而線性網(wǎng)絡自適應方法通過減少估計參數(shù)量的方式減少過擬合，正則化自適應的方法通過保守訓練的方式減少過擬合．因此，這兩種方法均適用于較少數(shù)據(jù)量的情況．相反，若自適應數(shù)據(jù)量較多，自適應估計的參數(shù)量相對較少，模型對自適應數(shù)據(jù)的學習不夠充分，因此，線性網(wǎng)絡自適應方法的性能不如正則化方法．

4 結 語

本文介紹了針對DNN的線性變換網(wǎng)絡(LIN、 LHN)自適應方法與相對熵正則化自適應方法，并與傳統(tǒng)的重訓練方法進行了對比．線性變換網(wǎng)絡和正則化方法分別通過減少估計參數(shù)量和保守訓練的思路，顯著改善了重訓練方法存在的與自適應數(shù)據(jù)過擬合的問題．通過本文的對比實驗可見，在領域相關的自動語音識別任務中，線性網(wǎng)絡自適應方法由于需要學習的參數(shù)少，在自適應數(shù)據(jù)集較少時更有優(yōu)勢，而相對熵正則化自適應方法在自適應數(shù)據(jù)較多或較少時均能表現(xiàn)出較優(yōu)的性能．與重訓練相比，兩種聲學模型自適應方法都具有較好的魯棒性．

［1］ Seide F，Li G，Yu D. Conversational speech transcription using context-dependent deep neural networks[C]// Proceedings of the 12th Annual Conference of the International Speech Communication Association. Florence，Italy，2011：437-440.

［2］ Dahl G E，Yu D，Deng L，et al. Context-dependent pre-trained deep neural networks for large-vocabulary speech recognition[J]. IEEE Transactions on Audio，Speech，and Language Processing，2012，20(1)：30-42.

［3］ Hinton G，Deng L，Yu D，et al. Deep neural networks for acoustic modeling in speech recognition：The shared views of four research groups[J]. Signal Processing Magazine，IEEE，2012，29(6)：82-97.

［4］ Eide E，Gish H. A parametric approach to vocal tract length normalization[C]// IEEE International Conference on Acoustics，Speech，and Signal Processing. Atlanta，USA，1996：346-348.

［5］ Gauvain J L，Lee C H. Maximum a posteriori estimation for multivariate Gaussian mixture observations of Markov chains[J]. IEEE Transactions on Speech and Audio Processing，1994，2(2)：291-298.

［6］ Leggetter C J，Woodland P C. Maximum likelihood linear regression for speaker adaptation of continuous density hidden Markov models[J]. Computer Speech and Language，1995，9(2)：171-185.

［7］ Li Bo，Sim Khe Chai. Comparison of discriminative input and output transformations for speaker adaptation in the hybrid NN/HMM systems[C]// Proceedings of the 11th Annual Conference of the International Speech Communication Association. Makuhari，Japan，2010：526-529.

［8］ Gemello R，Mana F，Scanzio S，et al. Linear hiddentransformations for adaptation of hybrid ANN/HMM models[J]. Speech Communication，2007，49(10)：827-835.

［9］ Seide F，Li G，Chen X，et al. Feature engineering in context-dependent deep neural networks for conversational speech transcription[C]//2011 IEEE Workshop on Automatic Speech Recognition and Understanding. Hawaii，USA，2011：24-29.

［10］ Yao K，Yu D，Seide F，et al. Adaptation of context dependent deep neural networks for automatic speech recognition[C]// Spoken Language Technology Workshop. Miami，USA，2012：366-369.

［11］ Liao H. Speaker adaptation of context dependent deep neural networks[C]// IEEE International Conference on Acoustics，Speech，and Signal Processing. Vancouver，Canada，2013：7947-7951.

［12］ Li X，Bilmes J. Regularized adaptation of discriminative classifiers[C]// IEEE International Conference on Acoustics，Speech，and Signal Processing. Toulouse， France，2006：1237-1240.

［13］ Yu D，Yao K，Su H，et al. KL-divergence regularized deep neural network adaptation for improved large vocabulary speech recognition[C]// IEEE International Conference on Acoustics，Speech，and Signal Processing. Vancouver，Canada，2013：7893-7897.

［14］ Saon G，Soltau H，Nahamoo D，et al. Speaker adaptation of neural network acoustic models using i-vectors [C]// Automatic Speech Recognition and Understanding. Olomouc，Czech Republic，2013：55-59.

［15］ Karanasou P，Wang Y Q，Gales M J F，et al. Adaptation of deep neural network acoustic models using factorised i-vectors[C]//Proceedings of the 15th Annual Conference of the International Speech Communication Association. Singapore，2014：2180-2184.

［16］ Abdel-Hamid O，Jiang H. Fast speaker adaptation of hybrid NN/HMM model for speech recognition based on discriminative learning of speaker code[C]// IEEE International Conference on Acoustics，Speech，and Signal Processing. Vancouver，Canada，2013：7942-7946.

［17］ Xue S，Abdel-Hamid O，Jiang H，et al. Fast adaptation of deep neural network based on discriminant codes for speech recognition[J]. IEEE Transactions on Audio，Speech，and Language Processing，2014，22(12)：1713-1725.

(責任編輯：樊素英)

An Experiment of Acoustic Model Adaptation Based on Deep Neural Network

Zhang Yu1，Ji Zhe2，Wan Xin2，Zhang Zhen2，Ge Fengpei1，Yan Yonghong1
(1．Institute of Acoustics，Chinese Academy of Sciences，Beijing 100190，China；2．National Computer Network Emergency Response Technical Coordination Center，Beijing 100029，China)

Acoustic model adaptation algorithm aims at reducing the recognition performance degradation caused by the mismatch between training and testing data．Among the many adaptation techniques based on deep neural network(DNN)，retraining is the most straightforward way．However it is prone to over-fitting，especially when adaptation data is sparse．In this paper，two typical acoustic adaptation methods，namely linear transformation network adaptation and Kullback-Leibler divergence regularization adaptation，are experimentally explored for taskadaptation purpose．An elaborate comparison is made，and results show that KL divergence regularization technique achieves better performance under different amounts of adaptation data．

acoustic model adaptation；speech recognition；deep neural network(DNN)

TN912.34

A

0493-2137(2015)09-0765-06

10.11784/tdxbz201507062

2015-03-06；

2015-07-08.

國家高技術研究發(fā)展計劃(863計劃)資助項目(2012AA012503)；中國科學院戰(zhàn)略性先導科技專項(XDA06030100，XDA 06030500)；國家自然科學基金資助項目(11461141004，91120001，61271426)；中科院重點部署資助項目(KYGD-EW-103-2)．

張 宇（1991— ），女，博士研究生，zhangyu@hccl.ioa.ac.cn.

葛鳳培，gefengpei@hccl.ioa.ac.cn.