李 姍，徐瓏婷

(南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

基于語譜圖提取瓶頸特征的情感識別算法研究

李 姍，徐瓏婷

(南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

傳統(tǒng)的譜特征(諸如MFCC)來源于對語譜圖特征的再加工提取，但存在著因分幀處理引起相鄰幀譜特征之間相關(guān)性被忽略的問題和所提取的譜特征與目標(biāo)標(biāo)簽不相關(guān)的問題。這導(dǎo)致了從語譜圖中提取的特征丟失了很多有用信息。為此，提出了獲取深度譜特征(Deep Spectral Feature，DSF)的算法。DSF的特征是把直接從語譜圖中提取的譜特征用于深度置信網(wǎng)絡(luò)(DBN)訓(xùn)練，進而從隱層節(jié)點數(shù)較少的瓶頸層提取到瓶頸特征。為了解決傳統(tǒng)譜特征的第一種缺陷，采用相鄰多幀語音信號中提取的特征參數(shù)構(gòu)成DSF特征。而深度置信網(wǎng)絡(luò)所具有的強大自學(xué)習(xí)能力以及與目標(biāo)標(biāo)簽密切相關(guān)的性能，使得經(jīng)過微調(diào)的DSF特征能夠解決傳統(tǒng)譜特征的第二個缺陷。大量的仿真實驗結(jié)果表明，相對于傳統(tǒng)MFCC特征，經(jīng)過微調(diào)的DSF特征在語音情感識別領(lǐng)域的識別率比傳統(tǒng)MFCC高3.97%。

瓶頸特征；深度置信網(wǎng)絡(luò)；譜特征；語譜圖；情感識別

1 概 述

在現(xiàn)今的大數(shù)據(jù)時代背景下，機器學(xué)習(xí)已成為人工智能領(lǐng)域中一個十分重要的研究方向。如今，越來越多的研究者考慮運用機器學(xué)習(xí)的相關(guān)知識來實現(xiàn)語音信息識別。實際上，提取合適而準(zhǔn)確的語音特征參數(shù)是語音信息識別研究中的關(guān)鍵步驟。但是，語音特征參數(shù)的提取有兩個難點：無法找到與識別目標(biāo)明確相關(guān)的特征；語音信息復(fù)雜多變，過分依賴于環(huán)境、說話人、情感等因素。

目前，用于語音信息識別的特征參數(shù)主要分為三類：韻律特征、音質(zhì)特征以及譜特征[1-2]。其中，譜特征的研究受到了廣泛關(guān)注。并且梅爾頻率倒譜系數(shù)(MFCC)在相當(dāng)長的一段時間內(nèi)，在語音信息識別領(lǐng)域占據(jù)主導(dǎo)地位。Sun Yaxin[3]指出了MFCC譜特征存在的兩個缺陷：忽略了每個語音幀內(nèi)及相鄰幀之間的系數(shù)關(guān)系；忽略了語音標(biāo)簽信息，沒有提取到與目標(biāo)標(biāo)簽相關(guān)的特征。因此，從語譜圖中提取的MFCC特征會導(dǎo)致有用信息的丟失。文獻[4]詳細介紹了采用由深度置信網(wǎng)絡(luò)產(chǎn)生的堆疊瓶頸特征[5-6]作為語音識別中分類模型的輸入，能夠提高系統(tǒng)識別率?？梢?，BN特征能充分挖掘特征參數(shù)相鄰幀之間的相關(guān)性，有助于系統(tǒng)性能的改善。Liu Yuan等[7]運用深度學(xué)習(xí)強大的自學(xué)習(xí)能力,提高了說話人確認(rèn)的識別率。深度置信網(wǎng)絡(luò)[8]是深度學(xué)習(xí)的一種結(jié)構(gòu)，采用了預(yù)訓(xùn)練以及微調(diào)兩種方式改善參數(shù)收斂效果，使得特征參數(shù)與目標(biāo)標(biāo)簽相匹配。它具有非常強大的自學(xué)習(xí)能力，能夠獲得與目標(biāo)密切相關(guān)的區(qū)分性特征，濾除無關(guān)干擾，從而解決了傳統(tǒng)譜特征的第二個缺陷。

情感識別[9]是通過計算機處理并分析獲取的語音信號，進而判斷出語音的情感類型的技術(shù)，它能使計算機有更加擬人化的能力。Zhang W等[10]研究了運用DBN網(wǎng)絡(luò)進行性別相關(guān)的和無關(guān)的情感分類，說明了基于DBN的方法具有情感識別的優(yōu)秀潛能。王一等[11-13]提出了魯棒性較強的、層次稀疏的BN特征提取方法，分別用于語音識別和語種識別，均取得了不錯的研究進展。

為了挖掘相鄰幀之間的相關(guān)信息以及結(jié)合監(jiān)督訓(xùn)練的優(yōu)勢，首次提出了采用深度置信網(wǎng)絡(luò)直接從語譜圖中提取瓶頸特征的算法，并將該特征稱作深度譜特征(DSF)。其不同于目前用MFCC特征作為訓(xùn)練DBN網(wǎng)絡(luò)的輸入?yún)?shù)，直接把語譜圖作為輸入特征的方法能夠顯著減少有用信息的缺失，進而提高識別率。為了驗證目標(biāo)標(biāo)簽與語音樣本之間的相關(guān)性是否有助于提高系統(tǒng)性能，仿真實驗比較了未經(jīng)微調(diào)的目標(biāo)無關(guān)的DSF特征和微調(diào)后的目標(biāo)有關(guān)的DSF特征。結(jié)果表明，該算法能利用標(biāo)簽信息和相鄰幀之間的相關(guān)信息，有效提高系統(tǒng)識別率，解決傳統(tǒng)譜特征的兩個缺陷。

2 相關(guān)研究

2.1 瓶頸特征

瓶頸特征產(chǎn)生于多層感知器(MLP)模型，最早由Greal[14]提出。當(dāng)MLP中間層的隱節(jié)點數(shù)相對于其他隱層較少時，該模型將在該層學(xué)習(xí)到一個訓(xùn)練向量的低維表述，即瓶頸特征是一種非線性降維方式。圖1是一個三層MLP提取瓶頸特征的示意圖[15]。

2.2 深度置信網(wǎng)絡(luò)

深度學(xué)習(xí)的預(yù)訓(xùn)練機制有效地改進了神經(jīng)網(wǎng)絡(luò)的收斂效果，為了更好地實現(xiàn)對輸入數(shù)據(jù)的低維表示，提出使用深度置信網(wǎng)絡(luò)來提取瓶頸特征。深度置信網(wǎng)絡(luò)是一種能量模型，擁有強大的自學(xué)習(xí)能力，且可以采用監(jiān)督訓(xùn)練提取目標(biāo)相關(guān)特征。

圖1 提取瓶頸特征的結(jié)構(gòu)圖

2.2.1 限制玻爾茲曼機(RBM)

限制玻爾茲曼機[16]要求可見層只和隱含層連接?？梢妼雍碗[含層之間的分布滿足指數(shù)分布，伯努利和高斯分布是最常用的分布形式。

設(shè)RBM模型參數(shù)為θ，可見層v以及隱含層h，則聯(lián)合分布為p(v,h;θ)，定義為：

(1)

可見，層向量邊緣概率分布如式(2)所示：

(2)

對于伯努利-伯努利分布和高斯-伯努利分布的限制玻爾茲曼機，其能量函數(shù)分別如式(3)和式(4)所示[11]：

(3)

(4)

其中，wi,j為可見單元vi以及隱單元hj之間的連接權(quán)重；bi和aj為相應(yīng)的偏置項。

RBM的訓(xùn)練需要計算條件分布，伯努利-伯努利RBM條件分布如式(5)和式(6)所示：

(5)

(6)

而高斯-伯努利RBM條件分布如式(7)和式(8)所示：

(7)

(8)

其中，σ(x)=1/exp(x)為sigmoid函數(shù)。

最大化對數(shù)似然函數(shù)logp(v;θ)可以優(yōu)化RBM的參數(shù)集，更新式定義為：

Δwij=〈vihj〉data-〈vihj〉model

(9)

其中，〈vihj〉data為訓(xùn)練樣本中vi和hj發(fā)生的概率；〈vihj〉model為該模型中vi和hj發(fā)生的概率。由于〈vihj〉model計算困難，常用Gibbs采樣來替代〈vihj〉model[17]。

2.2.2 訓(xùn)練深度置信網(wǎng)絡(luò)

將RBM棧式連接就組成了深度置信網(wǎng)絡(luò)，對DBN每一層的RBM網(wǎng)絡(luò)逐層訓(xùn)練，便可以得到預(yù)訓(xùn)練的DBN網(wǎng)絡(luò)。預(yù)訓(xùn)練DBN網(wǎng)絡(luò)的最后一層RBM輸出到softmax分類器即達到分類的目的。Softmax函數(shù)如式(10)所示[8]：

(10)

其中，l=k表示輸入被分為類別k；λik表示最后一層隱單元hi和類別k之間的權(quán)重；ak表示相應(yīng)的偏置；Z(h)表示歸一化項。

通過以上分類方法，采用監(jiān)督訓(xùn)練可以對整個預(yù)訓(xùn)練后的網(wǎng)絡(luò)進行微調(diào)(fine-tune)。即整個網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練分為兩步：先逐層預(yù)訓(xùn)練；再微調(diào)整體結(jié)構(gòu)。

3 深度譜特征(DSF)算法

3.1 語譜圖

語譜圖是語音能量時頻分布的二維平面圖，橫坐標(biāo)是時間，縱坐標(biāo)是頻率，具有連通時頻兩域的特點。而MFCC特征產(chǎn)生于語譜圖，其提取流程為：將每幀的語譜經(jīng)過Mel頻率濾波器組濾波后，再進行對數(shù)能量計算，然后經(jīng)過DCT變換即可獲得一幀的MFCC，而整幅語譜圖則可獲得一條語音的MFCC系數(shù)矩陣。

圖2為語譜圖和MFCC提取流程圖[18]，下半部分為基于語譜圖提取MFCC特征參數(shù)的流程圖。

圖2 語譜圖和MFCC提取流程圖

由此可見，對語譜圖特征進行再加工提取可獲得傳統(tǒng)的譜特征，這一步會導(dǎo)致部分有用信息的丟失，造成MFCC的兩個缺陷。

3.2 深度譜特征模型

從語譜圖中提取相鄰幀譜特征用于深度置信網(wǎng)絡(luò)訓(xùn)練，進而從隱層節(jié)點數(shù)最少的瓶頸層獲得瓶頸特征，得到深度譜特征(DSF)，DSF特征提取流程見圖3。

圖3 深度譜特征提取模型

另外，DSF特征被分為兩類，分別為未經(jīng)微調(diào)的DSF特征(即第2步中不采用微調(diào)步驟)和微調(diào)后的DSF特征。下面分別將這兩種特征命名為目標(biāo)無關(guān)DSF特征和目標(biāo)相關(guān)DSF特征。

該模型提取DSF特征算法如下所示：

(2)使用分割后數(shù)據(jù)訓(xùn)練結(jié)構(gòu)參數(shù)為[M1,M2,M,M2,M1]的DBN網(wǎng)絡(luò)，滿足M

(3)去掉包括分類器在內(nèi)的下三層網(wǎng)絡(luò)，得到瓶頸特征提取結(jié)構(gòu)。

輸出：DSF特征Dtrain和Dtest，其中若第2步有微調(diào)，得到目標(biāo)相關(guān)DSF，否則為目標(biāo)無關(guān)DSF。

4 實驗結(jié)果與分析

旨在從語譜圖中提取比傳統(tǒng)譜特征MFCC更有表達力的DSF特征，證明DSF特征能夠克服MFCC特征的兩個缺陷。為此，分別設(shè)計了兩組實驗來證明：DSF特征在語音情感識別上比MFCC特征具有更強的區(qū)分能力。

4.1 實驗語音庫及實驗設(shè)計

為了驗證上述算法的有效性，基于柏林庫(EMO-DB)[19]進行仿真。柏林庫由10個不同的人(5男5女)錄制而成，包含7種不同的情感。挑選其中四種情感，分別是害怕、快樂、平靜以及生氣，共427條語句構(gòu)成實驗語音庫。

為了保證仿真是性別和說話人無關(guān)的，首先對語音庫進行隨機打亂，再采用四折交叉驗證，最后多次實驗求平均。支持向量機(Support Vector Machine，SVM)[16]和高斯混合模型(GMM)[20]是實驗中用到的分類器。

采用三層DBN，隱層節(jié)點數(shù)為1 288，瓶頸層節(jié)點數(shù)為36。參數(shù)設(shè)置[21]依據(jù)實驗結(jié)果調(diào)整得到，其中權(quán)重衰減系數(shù)0.005，沖量0.9，批大小5，迭代次數(shù)50。

4.2 基于DSF特征的情感識別

語音情感識別在人機交互領(lǐng)域發(fā)揮著重要作用，其目的是讓計算機像人一樣識別出人類情感，賦予機器更人性化的能力[22]。設(shè)計了兩個實驗來證實DSF能解決MFCC的兩個缺陷，提高語音情感識別率。第一個實驗分別比較了目標(biāo)相關(guān)DSF、目標(biāo)無關(guān)DSF、傳統(tǒng)MFCC特征的情感識別率，分別采用線性SVM和32階的GMM分類器，進而驗證了提取DSF特征算法的可行性。另外，實驗也比較了上述兩種特征與MFCC串聯(lián)、三種特征串聯(lián)組成融合特征的情感識別率。實驗結(jié)果如圖4所示。

由圖4可知，目標(biāo)相關(guān)DSF特征能利用標(biāo)簽相關(guān)性和相鄰幀之間的聯(lián)系，使SVM系統(tǒng)的平均識別率比目標(biāo)無關(guān)DSF、MFCC特征分別高12.65%、3.97%；GMM分類器趨勢一樣，但是性能提高不明顯。另外，基于SVM的目標(biāo)無關(guān)DSF特征識別結(jié)果較差，比傳統(tǒng)MFCC特征的識別率低8.68%，可見依據(jù)標(biāo)簽信息訓(xùn)練DBN網(wǎng)絡(luò)這一步十分關(guān)鍵。但是，當(dāng)把各個特征融合后，發(fā)現(xiàn)識別率并沒有比傳統(tǒng)MFCC特征提高太多?？梢?，融合可以補充一些相關(guān)信息，但是也會造成冗余，反而導(dǎo)致識別率下降。

圖4 各種特征的情感識別結(jié)果對比

第二個實驗選用目標(biāo)相關(guān)DSF特征作為特征參數(shù)，用SVM分類器獲得每種情感識別率的矩陣，實驗結(jié)果如圖5所示。

害怕/%快樂/%平靜/%生氣/%害怕/%75.367.2514.492.90快樂/%11.7666.180.0022.06平靜/%2.450.0097.550.00生氣/%1.577.870.0090.55

圖5 目標(biāo)相關(guān)DSF特征的情感識別矩陣

由圖5可知，平均識別率可達88.77%。其中，快樂的識別率最低，因為快樂的發(fā)音特性與害怕、生氣都很相似，三者的情感激活度都很高[23]，所以僅僅深度譜特征不能很好地區(qū)分這三種類別的情感。但是該特征對平靜和生氣的識別性能很好。因為這兩種情感的效價維和激活維差異較大。

5 結(jié)束語

為了解決傳統(tǒng)譜特征存在的缺陷，提出了深度譜特征的算法。它把相鄰幀的語譜圖特征串聯(lián)起來，再直接用來訓(xùn)練深度置信網(wǎng)絡(luò)，最后從中間的瓶頸層獲得瓶頸特征，即為深度譜特征。實驗結(jié)果表明：提出的目標(biāo)相關(guān)DSF特征能充分利用標(biāo)簽相關(guān)性，相對于SVM分類器的MFCC特征，系統(tǒng)平均識別率提高了3.97%。另外，該特征還考慮了相鄰幀間的關(guān)系，進一步提高了識別率。今后，還要進一步研究合適的網(wǎng)絡(luò)參數(shù)設(shè)置和網(wǎng)絡(luò)結(jié)構(gòu)，比較不同的分類器性能。并且把該DSF特征運用于多維說話人信息識別中。

[1] Kinnunen T,Li H.An overview of text-independent speaker recognition:from features to supervectors[J].Speech Communication,2010,52(1):12-40.

[2] Samantaray A K, Mahapatra K,Kabi B, et al.A novel approach of speech emotion recognition with prosody, quality and derived features using SVM classifier for a class of north-eastern languages[C]//2nd international conference on recent trends in information systems.[s.l.]:IEEE,2015:372-377.

[3] Sun Y,Wen G,Wang J.Weighted spectral features based on local Hu moments for speech emotion recognition[J].Biomedical Signal Processing and Control,2015,18:80-90.

[4] Tuerxun M,Zhang S,Bao Y,et al.Improvements on bottleneck feature for large vocabulary continuous speech recognition[C]//12th international conference on signal processing.[s.l.]:IEEE,2014:516-520.

[6] Zhang Y,Chuangsuwanich E,Glass J R.Extracting deep neural network bottleneck features using low-rank matrix factorization[C]//ICASSP.[s.l.]:[s.n.],2014:185-189.

[7] Liu Y,Qian Y,Chen N,et al.Deep feature for text-dependent speaker verification[J].Speech Communication,2015,73:1-13.

[8] Safari P,Ghahabi O, Hernando J. Feature classification by means of deep belief networks for speaker recognition[C]//23rd European signal processing conference.[s.l.]:IEEE,2015:2117-2121.

[9] Pal A,Baskar S.Speech emotion recognition using deep dropout autoencoders[C]//International conference on engineering and technology.[s.l.]:IEEE,2015:1-6.

[10] Zhang W,Zhao D,Chen X,et al.Deep learning based emotion recognition from Chinese speech[M]//Inclusive smart cities and digital health.[s.l.]:International Publishing,2016:49-58.

[11] 王 一,楊俊安,劉 輝,等.基于層次稀疏 DBN 的瓶頸特征提取方法[J].模式識別與人工智能,2015,28(2):173-180.

[12] 李晉徽,楊俊安,王 一.一種新的基于瓶頸深度信念網(wǎng)絡(luò)的特征提取方法及其在語種識別中的應(yīng)用[J].計算機科學(xué),2014,41(3):263-266.

[13] 陳 雷,楊俊安,王 一,等.LVCSR系統(tǒng)中一種基于區(qū)分性和自適應(yīng)瓶頸深度置信網(wǎng)絡(luò)的特征提取方法[J].信號處理,2015,31(3):290-298.

[14] Grézl F,Karafiát M，Kontr S，et al.Probabilistic and bottle-neck features for LVCSR of meetings[C]//Proceedings of the IEEE international conference on acoustics,speech,and signal processing.Honolulu，USA:IEEE,2007:757-760.

[15] Gehring J,Miao Y,Metze F,et al.Extracting deep bottleneck features using stacked auto-encoders[C]//IEEE international conference on acoustics, speech and signal processing.[s.l.]:IEEE,2013:3377-3381.

[16] 張春霞,姬楠楠,王冠偉.受限波爾茲曼機[J].工程數(shù)學(xué)學(xué)報,2015,32(2):159-173.

[17] You Y,Qian Y,He T,et al.An investigation on DNN-derived bottleneck features for GMM-HMM based robust speech recognition[C]//China summit and international conference on signal and information processing.[s.l.]:IEEE,2015:30-34.

[18] 陶華偉,査 誠,梁瑞宇,等.面向語音情感識別的語譜圖特征提取算法[J].東南大學(xué)學(xué)報:自然科學(xué)版,2015,45(5):817-821.

[19] Burkhardt F,Paeschke A,Rolfes M,et al.A database of German emotional speech[C]//Proceedings of Interspeech.[s.l.]:[s.n.],2005:1517-1520.

[20] Anagnostopoulos C N,Iliou T,Giannoukos I.Features and classifiers for emotion recognition from speech: a survey from 2000 to 2011[J].Artificial Intelligence Review,2015,43(2):155-177.

[21] Hinton G E.A practical guide to training restricted Boltzmann machines[J].Momentum,2010,9(1):599-616.

[22] Mariooryad S,Busso C.Compensating for speaker or lexical variabilities in speech for emotion recognition[J].Speech Communication,2014,57:1-12.

[23] Koolagudi S G,Rao K S.Emotion recognition from speech:a review[J].International Journal of Speech Technology,2012,15(2):99-117.

Research on Emotion Recognition Algorithm Based on Spectrogram Feature Extraction of Bottleneck Feature

LI Shan，XU Long-ting

(College of Communication and Information Engineering,Nanjing University of Posts and Telecommunications,Nanjing 210003,China)

Traditional spectral features (such as MFCC) can be extracted from spectrogram features.However,the relation between spectral features of adjacent frames has been ignored owing to frames division.What’s worse,the extracted spectral features are uncorrelated with the labels of corresponding targets,which lead to useful feature information lost.Therefore,a new Deep Spectral Feature (DSF) algorithm has been proposed,in which DSF features have been gained by applying spectral feature directly extracted from spectrogram for Deep Belief Network (DBN) and a kind of bottleneck (BN) feature from the bottleneck layer has been obtained with least hidden layer nodes number.To deal with the first drawback,a method is proposed to extract characteristic parameters from adjacent frames that consist of DSF features.What is more,owing to strong self-learning ability and substantial relationship with target labels in deep belief network,the proposed DSF feature can supply a better solution to the second drawback of conventional spectral features.Experimental results show that the accuracy of DSF feature with proper fine-tuning outperforms traditional MFCC about 3.97% in speech emotion recognition.

bottleneck feature;deep belief network;spectral feature;spectrogram;emotion recognition

2016-06-18

2016-09-22 網(wǎng)絡(luò)出版時間：2017-03-13

國家自然科學(xué)基金資助項目(61271335)；國家“863”高技術(shù)發(fā)展計劃項目(2006AA010102)

李 姍(1992-)，女，碩士研究生，研究方向為情感識別、多維說話人信息識別技術(shù)。

http://kns.cnki.net/kcms/detail/61.1450.tp.20170313.1547.074.html

TP301.6

A

1673-629X(2017)05-0082-05

10.3969/j.issn.1673-629X.2017.05.018