王 秀， 謝志成， 張 棟

(福州大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院， 福建 福州 350116)

一種基于特征差異度和SVM投票機(jī)制的數(shù)字音樂(lè)語(yǔ)音情感識(shí)別算法

王 秀， 謝志成， 張 棟

(福州大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院， 福建 福州 350116)

針對(duì)數(shù)字音樂(lè)語(yǔ)音情感識(shí)別問(wèn)題， 提出一種基于特征差異度和SVM投票機(jī)制進(jìn)行識(shí)別的方法. 該方法不僅降低了特征向量的維度， 而且保留了足夠的能夠描述數(shù)字音樂(lè)語(yǔ)音不同情感之間差異的特征. 同時(shí)， 該方法利用多個(gè)二分SVM分類(lèi)器進(jìn)行投票， 減少了每個(gè)分類(lèi)器的權(quán)重， 從而降低了誤差. 實(shí)驗(yàn)結(jié)果表明， 該方法能夠有效地提高識(shí)別準(zhǔn)確率.

數(shù)字音樂(lè)語(yǔ)音； 情感識(shí)別； 支持向量機(jī)； 特征差異度

0 引言

隨著科學(xué)技術(shù)的發(fā)展， 人們的娛樂(lè)生活越來(lái)越豐富多彩， 對(duì)于娛樂(lè)內(nèi)容的要求也不斷提高. KTV作為娛樂(lè)的一種形式， 已經(jīng)被人們廣為接受. 如何提高人們對(duì)于KTV服務(wù)質(zhì)量的滿意程度也開(kāi)始受到學(xué)術(shù)界和業(yè)界的廣泛關(guān)注. 目前， KTV系統(tǒng)已經(jīng)可以對(duì)演唱者的音高、 音長(zhǎng)等音準(zhǔn)方面的因素進(jìn)行評(píng)判和打分， 但是并不能評(píng)判演唱者的演唱是否帶有符合歌曲本身的情感， 導(dǎo)致評(píng)分反映不出演唱主觀質(zhì)量， 這樣就會(huì)降低評(píng)分的準(zhǔn)確性， 影響用戶的體驗(yàn). 針對(duì)上述情況， 本研究提出一種基于特征差異度(DBC， difference between characteristics)系數(shù)和SVM投票機(jī)制的數(shù)字音樂(lè)語(yǔ)音情感識(shí)別算法， 將識(shí)別結(jié)果加入評(píng)分系統(tǒng)中， 從而增加評(píng)分的主觀性. 語(yǔ)音情感識(shí)別方法的一般流程如圖1所示.

圖1 語(yǔ)音情感識(shí)別流程圖Fig.1 The flow chart of emotion recognition

目前， 語(yǔ)音情感識(shí)別主要關(guān)注的是正常說(shuō)話語(yǔ)音而不是音樂(lè)語(yǔ)音， 識(shí)別的關(guān)鍵問(wèn)題在于特征與識(shí)別模型的選取， 現(xiàn)有的識(shí)別方法各有不同. 文獻(xiàn)[1]采用提取Mel倒譜系數(shù)(MFCC)作為特征參數(shù)， 然后選擇SVM作為分類(lèi)器的方法. 該方法不僅考慮了低頻部分的MFCC， 同時(shí)提升了中高頻MFCC的計(jì)算精度， 并將其作為低頻MFCC的補(bǔ)充， 然后利用SVM作為分類(lèi)器進(jìn)行識(shí)別. 這種利用MFCC參數(shù)的方法考慮了Mel頻率同Hz頻率的非線性關(guān)系， 但如果單一利用MFCC系數(shù)作為識(shí)別參數(shù)， 特征包含的信息太少. 文獻(xiàn)[2]采用直接計(jì)算傳統(tǒng)特征， 如能量、 過(guò)零率、 能零積、 基頻、 共振峰等， 再計(jì)算上述特征的最大值、 最小值、 平均值、 標(biāo)準(zhǔn)差， 然后利用混合蛙跳算法(SELA)神經(jīng)網(wǎng)絡(luò)識(shí)別情感的方法. 這種方法沒(méi)有對(duì)特征進(jìn)行降維處理， 不僅計(jì)算量較大， 而且可能把一些在分類(lèi)過(guò)程中沒(méi)有用的特征也考慮進(jìn)來(lái)， 從而影響識(shí)別準(zhǔn)確率. 文獻(xiàn)[3-5]采用提取傳統(tǒng)特征及其衍生參數(shù)作為備選特征， 然后利用Fisher準(zhǔn)則或者PCA等方法， 從備選特征提取適合特征進(jìn)行分層識(shí)別[6]. 基于Fisher準(zhǔn)則提取傳統(tǒng)特征及其衍生參數(shù)的方法， 如果準(zhǔn)則模型與實(shí)際樣本數(shù)據(jù)的分布有較大的偏差， 就無(wú)法得到好的識(shí)別結(jié)果[7]. 同時(shí)， Fisher判別的思想是先確定類(lèi)與類(lèi)間的臨界值， 然后以臨界值作為準(zhǔn)則進(jìn)行判別. 而計(jì)算臨界值時(shí)沒(méi)有考慮樣本總體大小及類(lèi)的離散程度對(duì)臨界值的影響， 這樣會(huì)導(dǎo)致判別效果變差[8].

1 數(shù)字音樂(lè)語(yǔ)音情感特征的提取與選擇

數(shù)字音樂(lè)語(yǔ)音和正常說(shuō)話語(yǔ)音的情感不一樣. 正常說(shuō)話語(yǔ)音的情感類(lèi)型指的是根據(jù)所處環(huán)境、 心情等因素的不同， 說(shuō)話人在發(fā)音時(shí)表現(xiàn)出的不同的語(yǔ)氣、 語(yǔ)調(diào)和語(yǔ)速. 一般來(lái)說(shuō)， 正常說(shuō)話包括6種基本情感類(lèi)型[9-11]： 悲傷、 憤怒、 驚奇、 恐懼、 喜悅、 厭惡. 而數(shù)字音樂(lè)語(yǔ)音的情感類(lèi)型跟環(huán)境、 心情等因素?zé)o直接關(guān)系. 歌者努力演唱所要表現(xiàn)的是歌曲本身就富含的情感， 因此， 數(shù)字音樂(lè)語(yǔ)音的情感類(lèi)型與歌曲類(lèi)型息息相關(guān). 本研究根據(jù)不同歌曲的風(fēng)格， 提出了音樂(lè)語(yǔ)音基本情感模型： 悲傷、 高興、 激昂、 抒情和發(fā)泄. 同時(shí)， 將音樂(lè)語(yǔ)音情感模型與情感語(yǔ)音特征結(jié)合， 提出一個(gè)基于特征差異度的特征選擇方法， 并利用SVM分類(lèi)器， 實(shí)現(xiàn)音樂(lè)情感識(shí)別.

1.1 備選特征提取

特征提取的任務(wù)是提取并選擇具有可分性強(qiáng)的特征. 目前大部分情感識(shí)別系統(tǒng)采用的都是聲學(xué)層面的特征. 為了創(chuàng)建一個(gè)豐富的備選特征集合， 經(jīng)過(guò)分析選取了音樂(lè)語(yǔ)音的韻律特征和音質(zhì)特征作為基本特征. 韻律特征包括音高、 音長(zhǎng)， 音質(zhì)特征包括前三個(gè)共振峰及其導(dǎo)數(shù)、 短時(shí)能量、 短時(shí)能量的對(duì)數(shù)及對(duì)數(shù)的導(dǎo)數(shù). 然后分別計(jì)算每個(gè)基本特征的方差、 均值、 最大值、 最小值、 偏差及一階導(dǎo)數(shù)， 最終得到52維的備選特征作為音樂(lè)語(yǔ)音情感特征選擇和分析的基礎(chǔ)， 如表1所示.

表1 備選特征列表

1.2 基于特征差異度(DBC)的特征選擇方法

對(duì)表1的音樂(lè)語(yǔ)音情感特征， 定義了特征差異度(DBC)系數(shù)， 計(jì)算長(zhǎng)度不一的不同類(lèi)樣本間的距離， 解決了Fisher準(zhǔn)則樣本分布無(wú)規(guī)律以及樣本數(shù)量不一致的缺陷， 借助DBC尋找不同特征之間的差異性， 選擇合適特征.

1.2.1 DTW距離

動(dòng)態(tài)時(shí)間規(guī)整(DTW)[12]是基于動(dòng)態(tài)規(guī)劃(DP)的思想提出的， 它解決了長(zhǎng)短不一的模板匹配問(wèn)題. 簡(jiǎn)單來(lái)說(shuō)， 就是通過(guò)構(gòu)建一個(gè)鄰接矩陣， 尋找最短路徑和.

設(shè)序列A(m)={a1,a2, …,am}和B(n)={b1,b2, …,bn}，則序列A和序列B的DTW距離計(jì)算公式：

DTW[i, j]=dist(A[i],B[j])+min(DTW[i-1, j], DTW[i, j-1], DTW[i-1, j-1])

其中: dist()表示A[i]和B[j]的歐式距離； DTW(A,B)=DTW[m, n].

1.2.2DBC系數(shù)的提出

設(shè)特征類(lèi)別T={T1,T2, …,T52}， 分別代表52個(gè)備選特征，情感的類(lèi)別Y={Y1,Y2,Y3,Y4,Y5}， 分別代表五種不同情感. 用T1Y1表示第一類(lèi)情感所有樣本的第一個(gè)特征的集合， 設(shè)第一類(lèi)情感共有N個(gè)樣本，則向量T1Y1={T1Y1(1),T1Y1(2), …,T1Y1(N)}.

對(duì)每個(gè)樣本進(jìn)行分類(lèi)時(shí)， 要求所選擇樣本的特征序列的類(lèi)間相似度盡可能小， 而類(lèi)內(nèi)相似度盡可能大. 基于這個(gè)原則， 定義特征差異度(DBC)系數(shù)， 用來(lái)計(jì)算在樣本確定的情況下某個(gè)特征序列的類(lèi)間相似度和類(lèi)內(nèi)相似度的大小.DBC系數(shù)越大， 說(shuō)明該特征越能反映異類(lèi)間的相異性和同類(lèi)間的相似性. 特征Ti的DBC系數(shù)dist(i)定義為T(mén)iY1,TiY2,TiY3,TiY4,TiY5中任意兩個(gè)不同向量的DTW距離之和除以所有向量方差之和， 具體計(jì)算方法如下：

上式中，variance()表示一個(gè)序列的方差，max()表示一個(gè)序列的最大值. 計(jì)算每個(gè)特征向量的DBC系數(shù).

2 基于SVM投票機(jī)制的音樂(lè)語(yǔ)音情感識(shí)別

由于ANN在語(yǔ)音情感識(shí)別的推廣性能不如SVM， 文中選擇SVM作為檢驗(yàn)不同特征選擇方法的分類(lèi)器.SVM用于二類(lèi)問(wèn)題效果很好， 但對(duì)于多類(lèi)問(wèn)題效果不佳， 因此， 通過(guò)構(gòu)建多個(gè)二分SVM分類(lèi)器進(jìn)行投票表決， 將待測(cè)樣本的特征序列輸入不同二分SVM分類(lèi)器， 統(tǒng)計(jì)每個(gè)SVM分類(lèi)器的分類(lèi)結(jié)果， 得票數(shù)最大的情感則為識(shí)別結(jié)果. 二分SVM原問(wèn)題的目標(biāo)函數(shù)：

其中:w是超平面距離; ε是松弛變量;P是懲罰因子.

當(dāng)情感特征的區(qū)分度比較大時(shí)， 可以減小P值從而增加SVM的分類(lèi)準(zhǔn)確性， 而當(dāng)情感特征的區(qū)分度比較小時(shí)， 應(yīng)該適當(dāng)提高P值從而增加對(duì)錯(cuò)分樣本的約束程度. 本文的SVM投票機(jī)制的識(shí)別模型采用的懲罰因子P與選取特征的DBC系數(shù)有關(guān)：

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

由于現(xiàn)有的情感語(yǔ)音數(shù)據(jù)庫(kù)都屬于正常說(shuō)話語(yǔ)音， 因此， 實(shí)驗(yàn)數(shù)據(jù)選取網(wǎng)絡(luò)下載不同男女聲清唱版(未帶伴奏音且吐詞清晰)的歌曲錄音， 重新采樣得到采樣頻率44.1 kHz， 采樣位數(shù)16 bit的清唱錄音， 然后將每首歌逐句分割得到備選錄音. 事先， 由本實(shí)驗(yàn)組共6人將所有備選錄音按照上述5類(lèi)情感進(jìn)行分類(lèi)， 若判斷演唱感情平淡， 則將該句錄音刪除不作考慮， 然后統(tǒng)計(jì)每句錄音的情感分類(lèi)結(jié)果. 如果有5個(gè)人或以上均認(rèn)為該錄音屬于某同一類(lèi)別， 則將這句歌曲分入該類(lèi)情感作為實(shí)驗(yàn)素材. 最后， 每類(lèi)情感均得到600條左右清唱語(yǔ)句的錄音. 考慮到如果每個(gè)類(lèi)型的訓(xùn)練樣本不同， 則SVM分類(lèi)器可能會(huì)出現(xiàn)偏向性， 將所得實(shí)驗(yàn)素材數(shù)量最少的情感——發(fā)泄， 按照訓(xùn)練/測(cè)試比1 ∶2的比例， 從發(fā)泄素材中隨機(jī)選取1/3的句子作為訓(xùn)練樣本. 同時(shí)， 為了保持訓(xùn)練時(shí)的不偏向性， 也從其他四類(lèi)情感實(shí)驗(yàn)素材中隨機(jī)選取同樣數(shù)量的句子作為訓(xùn)練樣本， 其他剩余的句子均作為測(cè)試樣本.

3.2 特征選擇實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)分別采用DBC、 PCA、 因子分析、 Fisher等方法， 得到相應(yīng)的選擇結(jié)果. 根據(jù)DBC方法， 實(shí)驗(yàn)結(jié)果如表2所示.

表2 DBC選擇特征列表

從表2看出， 基于DBC系數(shù)的特征選擇提取了20個(gè)特征， 特征個(gè)數(shù)的選擇是自適應(yīng)的. 在計(jì)算每個(gè)特征值的DBC系數(shù)后， 將DBC系數(shù)值大于所有DBC系數(shù)平均值的特征選出. 為了便于識(shí)別準(zhǔn)確率的比較， 將其他特征選擇方法也選出相同個(gè)數(shù)的特征數(shù).

因子分析法主要步驟如下： 根據(jù)輸入原始數(shù)據(jù)SN×M=[X1,X2, …,XN]T， 計(jì)算樣本均值和方差， 進(jìn)行標(biāo)準(zhǔn)化處理. 求樣本相關(guān)系數(shù)矩陣R=(rij)M×M， 求相關(guān)系數(shù)矩陣的特征值λi(λi>0,i=1, 2, …,M)和相應(yīng)的標(biāo)準(zhǔn)正交的特征向量， 確定公共因子數(shù)， 計(jì)算公共因子的共性方差， 對(duì)載荷矩陣進(jìn)行旋轉(zhuǎn)， 以求更好地解釋公共因子， 最后對(duì)公共因子做出專(zhuān)業(yè)性的解釋. 實(shí)驗(yàn)采用統(tǒng)計(jì)分析軟件——SPSS18(PASWStatistics18.0.0)進(jìn)行因子分析. 實(shí)驗(yàn)通過(guò)導(dǎo)入數(shù)據(jù)、 參數(shù)設(shè)置(抽取特征值>1， 最大收斂性迭代次數(shù)為25， 方法為最大方差法)等步驟， 計(jì)算每個(gè)特征向量成分得分系數(shù)的絕對(duì)值的和， 并根據(jù)大小選擇前20個(gè)即為結(jié)果. 實(shí)驗(yàn)結(jié)果見(jiàn)表3.

表3 PCA與因子分析法選擇特征列表

圖2 分層語(yǔ)音情感空間模型Fig.2 Hierarchical speech emotion space model

表4 各分類(lèi)器不同特征Fisher比率

3.3 音樂(lè)語(yǔ)音情感識(shí)別實(shí)驗(yàn)結(jié)果

5組對(duì)比實(shí)驗(yàn)， 包括DBC算法、 Fisher方法、 PCA方法、 因子分析方法以及使用全部52維特征的DBC算法， 分別驗(yàn)證了不同特征選擇方法和SVM對(duì)音樂(lè)語(yǔ)音情感識(shí)別的識(shí)別準(zhǔn)確率. 識(shí)別結(jié)果如圖3所示.

對(duì)比圖3的5組實(shí)驗(yàn)結(jié)果可知， 本文算法利用DBC系數(shù)進(jìn)行特征選取， 不僅降低了特征的維度， 減少了SVM訓(xùn)練和識(shí)別的時(shí)間， 且較為準(zhǔn)確地保留了能夠描述不同情感差異的特征， 與其他4組方法對(duì)比， 實(shí)驗(yàn)的識(shí)別準(zhǔn)確率高. 同時(shí)， 由于全部52維特征中有部分特征具有較為明顯的相似性， 如抒情與悲傷、 發(fā)泄與激昂， 因此， 利用DBC系數(shù)進(jìn)行特征選取后， 算法的準(zhǔn)確率也高于采用全部52維特征時(shí)的準(zhǔn)確率. 也正是因?yàn)榇嬖谶@些相似性， 從圖3還可以看出， 抒情和發(fā)泄兩類(lèi)情感的整體識(shí)別準(zhǔn)確率均不高.

圖3 不同實(shí)驗(yàn)的準(zhǔn)確率Fig.3 The accuracy of different experiments

4 結(jié)語(yǔ)

提出一種基于特征差異度和SVM投票機(jī)制進(jìn)行音樂(lè)語(yǔ)音情感識(shí)別的方法. 基于DBC系數(shù)進(jìn)行特征選取， 不僅降低了特征向量的維度， 同時(shí)保留了足夠的能夠描述數(shù)字音樂(lè)語(yǔ)音不同情感之間差異的特征， 較PCA、 因子分析、 Fisher準(zhǔn)則提取特征而言提高了識(shí)別的準(zhǔn)確率. 同時(shí)， 利用多個(gè)二分SVM分類(lèi)器進(jìn)行投票識(shí)別情感的方法， 減少了每個(gè)分類(lèi)器的權(quán)重， 從而降低了誤差， 能夠有效地提高識(shí)別準(zhǔn)確率.

[1] 韓一, 王國(guó)胤, 楊勇. 基于MFCC的語(yǔ)音情感識(shí)別[J]. 重慶郵電大學(xué)學(xué)報(bào)： 自然科學(xué)版, 2008, 20(5): 597-602.

[2] 余華, 黃程韋, 張瀟丹, 等. 混合蛙跳算法神經(jīng)網(wǎng)絡(luò)及其在語(yǔ)音情感識(shí)別中的應(yīng)用[J]. 南京理工大學(xué)學(xué)報(bào), 2011, 35(5): 659-663.

[3] Guo Yuefei, Shu Tingting, Yang Jingyu,etal. Feature extraction method based on the generalized Fisher discriminant criterion and facial recognition[J]. Pattern Analysis & Applications, 2001, 4(1): 61-66.

[4] Wang S, Li Deyu, Wei Yingjie,etal. A feature selection method based on Fisher’s discriminant ratio for text sentiment classification[C]//Proc of the International Conference on Web Information Systems and Mining. Shanghai: [s.n.], 2009: 88-97.

[5] Pearson K. On lines and planes of closest fit to systems of points in space[J]. Philosophical Magazine, 1901, 2 (6): 559-572.

[6] 陳立江, 毛峽, Mitsuru I. 基于Fisher準(zhǔn)則與SVM的分層語(yǔ)音情感識(shí)別[J]. 模式識(shí)別與人工智能, 2012, 25(4): 604-609.

[7] 黃國(guó)宏, 劉剛. 一種改進(jìn)的基于Fisher準(zhǔn)則的線性特征提取方法[J]. 計(jì)算機(jī)仿真, 2008, 25(7): 192-195.

[8] 黃利文, 梁飛豹. 改進(jìn)的Fisher判別方法[J]. 福州大學(xué)學(xué)報(bào): 自然科學(xué)版, 2006, 34(4): 473-477.

[9] Tomkins S S. Affect, imagery, consciousness[M]. New York: Springer, 1962.

[10] Izard C E. Human emotions[M]. New York: Plenum Press, 1977.

[11] Ekman P． An argument for basic emotions[J]． Cognition and Emotion， 1992， 6(3/4)： 169-200.

[12] Sakoe H. Two level DP matching: a dynamic programming based parton matching algorithm for connected word recognition[J]. IEEE Trans Acoustic Speech Signal Processing, 1979, 27: 588-595.

[13] 劉穎, 王成儒. 用于人臉動(dòng)畫(huà)的語(yǔ)音特征提取算法研究[J]. 電聲技術(shù), 2009, 32(12): 49-53.

(責(zé)任編輯： 沈蕓)

An emotion recognition algorithm for digital music speech based on difference between characteristics and SVM voting mechanism

WANG Xiu， XIE Zhicheng， ZHANG Dong

(College of Mathematics and Computer Science， Fuzhou University， Fuzhou， Fujian 350116， China)

To solve emotion recognition problem for digital music speech, an emotion recognition method which is based on difference between characteristics and SVM voting mechanism is proposed. The method not only reduces the dimension of feature vectors, but retains the characteristics between different emotions of digital music speech. Meanwhile, using multiple two-class SVM classifier to vote for digital music speech, the method decreases the weight of each classifier and reduces the error. The experimental results show that this method can effectively improve the recognition accuracy.

digital music speech； emotion recognition； support vector machine； characteristic difference

10.7631/issn.1000-2243.2015.04.0460

1000-2243(2015)04-0460-06

2013-12-05

張棟(1981-)， 講師， 主要從事計(jì)算機(jī)網(wǎng)絡(luò)、 網(wǎng)絡(luò)虛擬化研究, zhangdong@fzu.edu.cn

福建省青年科技人才創(chuàng)新資助項(xiàng)目(2011J05150)； 福建省自然科學(xué)基金資助項(xiàng)目(2013J01231,2015J01420)； 福州大學(xué)科技發(fā)展基金資助項(xiàng)目(2012-XY-20)

TP391

A