邢玉娟 李恒杰 張成文

（甘肅聯(lián)合大學(xué)，蘭州 730000）

一種改進(jìn)的FSVM語(yǔ)音情感識(shí)別算法

邢玉娟 李恒杰 張成文

（甘肅聯(lián)合大學(xué)，蘭州 730000）

針對(duì)語(yǔ)音特征參數(shù)對(duì)某類情感具有不確定性的問(wèn)題，提出一種基于典型相關(guān)性分析的改進(jìn)模糊支持向量機(jī)算法，應(yīng)用于語(yǔ)音情感識(shí)別。采用典型相關(guān)性分析方法對(duì)特征向量進(jìn)行降維，得到樣本的約簡(jiǎn)向量集，在此約簡(jiǎn)向量集上建立模糊支持向量機(jī)模型判定情感類型。仿真實(shí)驗(yàn)結(jié)果表明，該方法相比于傳統(tǒng)支持向量機(jī)法和模糊支持向量機(jī)法具有較高的識(shí)別準(zhǔn)確率。

典型相關(guān)性分析；模糊支持向量機(jī)；語(yǔ)音情感識(shí)別；支持向量機(jī)

語(yǔ)音是人類的重要交流方式，在人類的語(yǔ)音信號(hào)中不僅包含了語(yǔ)義信息，同時(shí)也包含了人類豐富的情感信息（如喜悅、悲傷、憤怒、驚訝等）［1］。如何讓智能計(jì)算機(jī)具有語(yǔ)音情感識(shí)別和表達(dá)能力，是當(dāng)前智能化人機(jī)交互領(lǐng)域研究的熱點(diǎn)，在自然人機(jī)交互、多媒體分段與檢索、安全系統(tǒng)自動(dòng)監(jiān)管等方面有著廣泛的應(yīng)用前景。

傳統(tǒng)的支持向量機(jī)法，以其出色的分類性能在語(yǔ)音情感識(shí)別領(lǐng)域獲得了成功的應(yīng)用。然而，SVM是基于二元分類的，當(dāng)將其應(yīng)用于語(yǔ)音情感識(shí)別中時(shí)，需要構(gòu)造多元分類器，常用一對(duì)多組合分類和一對(duì)一組合分類的方法。然而在構(gòu)造多元分類器的過(guò)程中，存在一些不可分區(qū)域。為了解決這個(gè)問(wèn)題，文獻(xiàn) ［2］中提出了模糊支持向量機(jī)的方法（Fuzzy Support Vector Machine,FSVM），通過(guò)對(duì)每一類樣本設(shè)置隸屬度解決不可分?jǐn)?shù)據(jù)，實(shí)驗(yàn)結(jié)果表明FSVM的分類性能優(yōu)于SVM。而文獻(xiàn)［3］中指出FSVM在大規(guī)模訓(xùn)練樣本情況下，并不能很好的解決受限優(yōu)化問(wèn)題。在語(yǔ)音情感識(shí)別中，語(yǔ)音特征參數(shù)主要包括語(yǔ)音的基音頻率、短時(shí)能量、共振峰、MFCC參數(shù)以及它們的派生參數(shù)，這些語(yǔ)音參數(shù)的維數(shù)很高，并且包含大量的對(duì)情感識(shí)別沒(méi)有貢獻(xiàn)的噪音信息，采用這樣的高維特征向量訓(xùn)練FSVM，勢(shì)必會(huì)導(dǎo)致FSVM訓(xùn)練速度慢。因此本文提出一種基于典型相關(guān)性分析(canonical correlation analysis，CCA)的改進(jìn)的FSVM算法。通過(guò)CCA對(duì)樣本進(jìn)行降維，減小樣本的規(guī)模，進(jìn)而降低后續(xù)階段的計(jì)算復(fù)雜度，有助于FSVM模型的建立。

1 典型相關(guān)性分析

典型相關(guān)性分析的核心思想是通過(guò)研究?jī)山M隨機(jī)向量之間相關(guān)關(guān)系，根據(jù)判別準(zhǔn)則尋找向量的典型投影方向，使得在該投影方向上兩組向量間的相關(guān)性最大［4］。

假設(shè)x∈Rp和y∈Rq是兩組語(yǔ)音特征向量，根據(jù)CCA的思想，尋找投影方向a1和b1，使得x和y在這兩個(gè)投影方向上的投影μ1=aT1x和ν1=bT1y具有最大的相關(guān)度，稱μ1，ν1是第一對(duì)典型相關(guān)特征。緊接著再依次計(jì)算第二對(duì)投影方向a2和b2，求得第二對(duì)典型相關(guān)特征μ2和ν2，以此類推直到求得第s對(duì)投影方向和典型相關(guān)特征。通過(guò)最大化典型相關(guān)特征μ和ν之間的相關(guān)系數(shù) ρ(μ,ν)，來(lái)求解投影方向 a 和 b。

這樣，通過(guò)對(duì)x和y之間的相關(guān)分析,得到少數(shù)幾對(duì)典型相關(guān)特征向量作為有效的判別信息，達(dá)到降維和消除特征之間信息冗余的目的。

2 基于CCA和FSVM的語(yǔ)音識(shí)別

本文提出的語(yǔ)音情感識(shí)別系統(tǒng)框圖如圖1所示，輸入語(yǔ)音經(jīng)過(guò)預(yù)處理過(guò)程（端點(diǎn)檢測(cè)、預(yù)加重、分幀加窗等）得到情感特征向量，采用CCA對(duì)情感特征向量降維，在得到的約簡(jiǎn)向量集上建立FSVM分類模型，最終得到識(shí)別結(jié)果。

圖1 基于CCA的改進(jìn)FSVM語(yǔ)音情感識(shí)別系統(tǒng)框圖

模糊支持向量機(jī)和常規(guī)支持向量機(jī)的區(qū)別是，訓(xùn)練樣本中除了樣本的特征與類屬性表示之外，F(xiàn)SVM 的每個(gè)訓(xùn)練樣本增加了隸屬度 μ (xi)∈(0,1］［5］。設(shè)訓(xùn)練樣本集為(yi，xi，μ(xi))，(i=1，2，…，n)。其中 xi∈RN表示樣本特征，yi∈{－1,1}表示類標(biāo)識(shí)。假設(shè)映射f=φ(x)將訓(xùn)練樣本從原始空間RN映射到高維空間H。

由于隸屬度μ(xi)表示該樣本屬于某類的可靠程度，ρ是支持向量機(jī)目標(biāo)函數(shù)中的分類誤差項(xiàng)，則μ(xi)ρ為帶權(quán)的誤差項(xiàng)，F(xiàn)SVM的最優(yōu)分類面為下面目標(biāo)函數(shù)的最優(yōu)解。

約束條件為：yi［(wT·f)+b］－1+ρi≥0, i=1，2，…，n

其中，懲罰因子C為常數(shù)，w表示線性分類函數(shù)yi的權(quán)系數(shù)。由式（2）可知，當(dāng) μ(xi)很小時(shí)，減小了 ρi的影響，以至于將相應(yīng)的xi看作不重要的樣本。相應(yīng)地最優(yōu)分類面的判別函數(shù)為：

其中 0≤αi≤μ(xi)C，i=1，…，n，K(xi，x)為核函數(shù)。

輸入向量x和最優(yōu)分類超平面fij(x)的距離可定義為。這樣當(dāng)fij(x)≥1或者fij(x)≤－1時(shí)，x完全屬于類別 i或類別 j；當(dāng)－1＜fij(x)＜1 時(shí) fij(x)可以認(rèn)為是類別i或類別j的隸屬度。因此μ(xi)的計(jì)算公式如下：

由于語(yǔ)音情感識(shí)別是一個(gè)多元分類問(wèn)題，本文采用一對(duì)一的FSVM分類器。因此，對(duì)于一個(gè)n類問(wèn)題，需要構(gòu)造 n(n－1)/2 個(gè)二元 FSVM［6］。

具體的FSVM分類器算法如下：

Step1：對(duì)于輸入向量 x，如果 fi(x)＞0滿足某一類，則將x劃分到該類。否則轉(zhuǎn)到Step2；

Step2：如果fi(x)＞0滿足不止一個(gè)類別i(i=i1,…,il,l＞1),將其劃分到 fi(x)(i∈{il,…,il})取最大值的那一類，否則轉(zhuǎn)到Step3；

Step3：如果fi(x)≤0滿足所有的類,則將數(shù)據(jù)劃分到fi(x)的絕對(duì)值取最小的那個(gè)類。

3 仿真實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境及語(yǔ)音情感數(shù)據(jù)庫(kù)

仿真實(shí)驗(yàn)平臺(tái)為PC2.6G/1G,Windows XP2003操作系統(tǒng)/Matlab7.0，結(jié)合語(yǔ)音工具箱Voicebox以及SVM Toolbox 1.0驗(yàn)證語(yǔ)音情感識(shí)別的性能。采用自己錄制的語(yǔ)音數(shù)據(jù)，錄音軟件采用Cool Edit pro 2.0，錄音時(shí)采用單聲道、11.025kHz采樣頻率、16位采樣精度。錄制26位說(shuō)話人（男性13名，女性13名）的6種情感狀態(tài)語(yǔ)音：憤怒，喜悅，驚訝，悲傷，害怕，厭惡。每人每種情感錄制10條語(yǔ)句，其中5句用于訓(xùn)練，剩余5句用于測(cè)試。利用Cool Edit中的降噪器工具,清除各種背景雜音。對(duì)語(yǔ)音庫(kù)中每條語(yǔ)句進(jìn)行端點(diǎn)檢測(cè)、預(yù)加重，以幀長(zhǎng)30ms、幀移15ms為語(yǔ)音信號(hào)加漢明窗，窗長(zhǎng)N=200。提取基音頻率、第一共振峰、短時(shí)能量、MFCC（Mel-frequency Cepstral Coefficients）4 類基本情感聲學(xué)特征及其派生特征參數(shù)共40維作為語(yǔ)音情感特征向量。

3.2 實(shí)驗(yàn)結(jié)果分析

在該實(shí)驗(yàn)中，我們將本文提出的方法和傳統(tǒng)的支持向量機(jī)法、模糊支持向量機(jī)法進(jìn)行了比較分析，核函數(shù)采用分類性能較好的RBF核函數(shù)（σ=1.3）。實(shí)驗(yàn)結(jié)果如表1所示。

表1 情感識(shí)別率

由表1可知：

（1）在3種方法中，本文提出的方法的平均識(shí)別準(zhǔn)確率是最高的，比SVM高出五個(gè)百分點(diǎn)，而比FSVM高出2.43%。在憤怒、喜悅和驚訝三種情感狀態(tài)，改進(jìn)FSVM的識(shí)別率相比于FSVM和SVM都有顯著地提高，在憤怒狀態(tài)比SVM提高了5.22%，比FSVM提高了3.34%；在喜悅狀態(tài)比SVM提高了6.99%，比FSVM提高了3.71%；在驚訝狀態(tài)比SVM提高了6.33%，比FSVM方法提高了2.85%。

（2）3種方法在悲傷、害怕和厭惡情感狀態(tài)下的識(shí)別率都普遍不高，主要是由于這三種情感在發(fā)音時(shí)，許多生理特征相似，較易混淆。

圖2給出了3種算法的情感識(shí)別率曲線圖。

圖2 3種算法情感識(shí)別率曲線圖

4 結(jié) 語(yǔ)

為了克服傳統(tǒng)FSVM在大規(guī)模訓(xùn)練樣本情況下，不能很好的解決受限優(yōu)化問(wèn)題，導(dǎo)致訓(xùn)練速度慢的缺陷，本文提出一種基于CCA的改進(jìn)FSVM算法，應(yīng)用于語(yǔ)音情感識(shí)別。借助于CCA對(duì)輸入樣本進(jìn)行降維約簡(jiǎn)，降低了FSVM的建模計(jì)算復(fù)雜度，同時(shí)FSVM在訓(xùn)練時(shí)引入了樣本的模糊隸屬度，從而可以很好地解決不可分?jǐn)?shù)據(jù)問(wèn)題。仿真實(shí)驗(yàn)結(jié)果表明本文提出的方法具有良好的識(shí)別性能。

[1]Moataz ElAyadi,Mohamed S，Kamel，et al.Surveyon Speech Emotion Recognition:Features,Classification Schemes,and Databases[J].Pattern Recognition,2011,44:572-587.

[2]Takuya Inoue,Shigeo Abe.Fuzzy Support Vector Machines for Pattern Classification[J].IJCNN'01,Volume 2,15-19 July 2001:1449-1454.

[3]Alistair Shilton,Daniel T H Lai.Iterative Fuzzy Support Vector Machine Classification[J]. Fuzzy Systems Conference,2007:1-6.

[4]徐曉娜，穆志純.基于CCA的人耳和側(cè)面人臉特征融合的身份識(shí)別[J].計(jì)算機(jī)應(yīng)用研究,2007,24(11):312-314.

[5]Yongguo Liu,Gang Chen,Jiwen Lu,et al.Face Recognition Based on Independent Component Analysis and Fuzzy Support Vector Machine[J].Intelligent Control and Automation,WCICA2006,21-23:9889-9892.

[6]Tai-Yue Wang,Huei-Min Chiang.Fuzzy Support Vector Machine for Multi-class Text Categorization[J].Information Processing&Management,Volume 43,Issue 4,July 2007:914-929.

Speech Emotion Recognition Based on Improved Fuzzy Support Vector Machine

XING Yujuan LI Hengjie ZHANG Chengwen
(Gansu Lianhe University,Lanzhou 730000)

An improved fuzzy support vector machine algorithm is proposed in this paper in order to solve the non-determinacy of speech feature parameter.Firstly,canonical correlation analysis is utilized to reduce the dimension of feature vectors.And then,fuzzy support machine is trained on the reduced set to make final decision.The experiment results show that,our method has superior classification performance compared with SVM and FSVM.

canonical correlation analysis；fuzzy support vector machine；speech emotion recognition；support vector machine

TP391 文獻(xiàn)標(biāo)示碼：A

1673-1980(2012)05-0140-03

2012-05-12

甘肅省教育廳基金項(xiàng)目（1113-01）

邢玉娟(1981-)，女，甘肅天水人，碩士，講師，研究方向?yàn)樯锾卣髯R(shí)別。