邢玉娟，李恒杰，胡建軍，王萬(wàn)軍

(甘肅聯(lián)合大學(xué)電子與信息工程學(xué)院，甘肅蘭州730000)

語(yǔ)音情感識(shí)別［1］就是根據(jù)說(shuō)話人的語(yǔ)音特征識(shí)別出說(shuō)話人的情感狀態(tài)(如憤怒、喜悅、驚訝、悲傷、害怕、厭惡等)，包含語(yǔ)音情感特征參數(shù)的提取以及情感狀態(tài)的判定，在信號(hào)處理和人工智能領(lǐng)域有著重要的研究意義。

在語(yǔ)音情感識(shí)別中，為了獲得理想的識(shí)別率，主要提取基音頻率、短時(shí)能量、共振峰、MFCC參數(shù)以及它們的派生參數(shù)作為語(yǔ)音的情感特征。特征向量的維數(shù)很高，并且高維特征向量往往也存在著一些對(duì)情感分類貢獻(xiàn)小，甚至沒(méi)有貢獻(xiàn)的特征［2］。采用這樣的高維特征向量進(jìn)行情感識(shí)別，勢(shì)必會(huì)產(chǎn)生識(shí)別率低和實(shí)時(shí)性差的問(wèn)題。近幾年來(lái)，基于核函數(shù)的機(jī)器學(xué)習(xí)方法如支持向量機(jī)法、核Fisher判別技術(shù)等以其出色的分類性能成為模式識(shí)別領(lǐng)域的研究熱點(diǎn)。核Fisher判別(Kernel Fisher Discriminant，KFD)技術(shù)在分類時(shí)采用了所有的訓(xùn)練樣本，而不是少量的稱之為“支持向量”的樣本，因此KFD的識(shí)別率在某種程度上優(yōu)于支持向量機(jī)［3］。然而KFD的求解難度隨著樣本數(shù)目的增加急劇提高，同時(shí)在KFD的計(jì)算中并沒(méi)有考慮到樣本對(duì)所屬類別的相對(duì)重要性或?qū)λ鶎兕悇e貢獻(xiàn)的大小問(wèn)題，并且語(yǔ)音特征向量中存在噪聲點(diǎn)和野值向量，導(dǎo)致KFD訓(xùn)練速度慢且識(shí)別率不高。因此此處提出一種基于核主成分空間的(Kernel Principle Component Space，KPCS)模糊核Fisher判別(Fuzzy Kernel Fisher Discriminant，F(xiàn)KFD)語(yǔ)音情感識(shí)別方法。采用核主成分分析(Kernel Principle Component Analysis，KPCA)和模糊C均值聚類(Fuzzy C-means Clustering，F(xiàn)CM)對(duì)特征向量進(jìn)行降維去噪、聚類的同時(shí)，對(duì)不同的樣本賦予不同的懲罰權(quán)系數(shù)，得到樣本的隸屬度，使得不同樣本對(duì)Fisher目標(biāo)函數(shù)的貢獻(xiàn)不同，進(jìn)而提高FKFD判別的準(zhǔn)確率。

1 基于KPCA核主成分空間的模糊核Fisher判別在語(yǔ)音情感識(shí)別中的應(yīng)用

此處提出的語(yǔ)音情感識(shí)別方法的系統(tǒng)框圖如圖1所示。

圖1 語(yǔ)音情感識(shí)別系統(tǒng)框圖

1.1 KPCA 降維去噪

KPCA的核心思想是通過(guò)核函數(shù)技巧，將原始數(shù)據(jù)映射到高維特征空間，然后在高維特征空間中利用主成分分析法(Principle Component Analysis，PCA)求出最佳投影方向，從而獲得非線性特征［4］。

假設(shè)情感語(yǔ)音樣本為{x1，x2，…，xN}，xi∈Rm，通過(guò)非線性映射Φ:x∈Rm→z∈Rh將樣本映射到高維空間H。在該空間樣本的協(xié)方差矩陣可以表示為:

其中＜x，v＞代表x與v的點(diǎn)積。公式(2)意味著λ≠0所對(duì)應(yīng)的v都一定在)中，因此，存在系數(shù)αi(i=1，…，n)可以滿足:

將式(4)得到的特征值由大到小排序，λ1≥λ2≥…≥λn，其對(duì)應(yīng)的特征向量為 μ1，μ2，…，μn。語(yǔ)音特征向量經(jīng)過(guò)KPCA變換之后，選擇前q個(gè)特征分量構(gòu)成核主成分空間:，…，N。

1.2 模糊C均值聚類

在核主成分空間P(s)中，對(duì)KPCA降維去噪后得到的約簡(jiǎn)特征向量集，采用模糊C均值聚類計(jì)算向量的隸屬度。假設(shè)約簡(jiǎn)數(shù)據(jù)集，其中xi∈Rq，F(xiàn)CM聚類主要是最小化目標(biāo)函數(shù):

其中n是訓(xùn)練樣本的數(shù)目，c表示指定的聚類數(shù)目。X={x1，x2，…，xn}和M={m1，m2，…，mc}分別表示訓(xùn)練樣本集和聚類中心。模糊矩陣U=(uj(xi))c×n由每一個(gè)訓(xùn)練樣本xi對(duì)于聚類mj的模糊隸屬度組成。同時(shí)，b＞1用于控制分類結(jié)果模糊量的指數(shù)權(quán)重。是樣本xi到聚類中心 mj的歐幾里得距離。根據(jù)定義，每個(gè)樣本xi滿足條件:

在此條件下，最小化目標(biāo)函數(shù)。這是一種受限優(yōu)化問(wèn)題，通過(guò)拉格朗日乘子法將其轉(zhuǎn)換為一個(gè)非受限優(yōu)化問(wèn)題。

FCM算法的具體步驟如下:

Step1:確定聚類的數(shù)目c，b=2，給定非負(fù)的收斂誤差ε，同時(shí)設(shè)定t=0用于記錄聚類中心。

Step4:如果‖Ut－Ut－1‖＜ε停止聚類，否則轉(zhuǎn)到step3。

1.3 KFKD 最終判別

由于核主成分空間已經(jīng)是高維線性空間，因此在該空間KFD的核函數(shù)映射計(jì)算可以省略，直接采用線性判別(Linear Discriminant Analysis，LDA)算法進(jìn)行最終分類識(shí)別。LDA核心問(wèn)題是樣本隸屬度的確定以及如何在目標(biāo)函數(shù)中引入隸屬度。在目標(biāo)函數(shù)中起決定作用的是類間離散度矩陣Sb和類內(nèi)離散度矩陣Sw。因此，提出在用FCM得到的模糊隸屬度矩陣U=(uij)C×N和聚類中心矩陣M=［m1，m2，…，mC］對(duì)Sb和Sw進(jìn)行重新定義［5］。

類內(nèi)離散度矩陣和類間離散度矩陣可重新定義為:

其中p是控制模糊量的指數(shù)權(quán)重，mi是第i類樣本的聚類中心，ˉm是樣本的整體均值向量。將重新定義的FSb和FSw代入Fisher目標(biāo)函數(shù)式可得:

重新計(jì)算輸入樣本的最優(yōu)投影方向w=Sw(m1－m2)，最后使用分類判別函數(shù)式(12)即可得出識(shí)別結(jié)果。

綜上所述，F(xiàn)KFD判別算法描述如下:

Step 1:在KPCA的核主成分空間進(jìn)行模糊C－均值聚類，得到模糊隸屬度矩陣U=(uij)C×N和類中心矩陣 M=［m1，m2，…，mC］。

Step 2:根據(jù)模糊隸屬度矩陣U和類中心矩陣M重新計(jì)算LDA中的類內(nèi)離散度矩陣Sw和類間離散度矩陣Sb。

Step 3:將FSb和FSw代入目標(biāo)函數(shù)計(jì)算樣本的最優(yōu)投影方向。

Step 4:根據(jù)最優(yōu)投影方向采用判別函數(shù)得出識(shí)別結(jié)果。

在語(yǔ)音情感識(shí)別中，很明顯識(shí)別模型是一個(gè)多元分類器，在此參照支持向量機(jī)構(gòu)造多類分類器的方法，設(shè)計(jì)了一個(gè)二叉樹(shù)FKFD多元分類器，其結(jié)構(gòu)如圖2所示。

圖2 二叉樹(shù)FKFD多元分類器

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)環(huán)境及語(yǔ)音情感數(shù)據(jù)庫(kù)

仿真實(shí)驗(yàn)平臺(tái)為PC2.6G/1G，Windows XP2003操作系統(tǒng)/Matlab7.0，結(jié)合語(yǔ)音工具箱 Voicebox以及SVM Toolbox 1.0驗(yàn)證語(yǔ)音情感識(shí)別的性能。核函數(shù)采用分類性能較好的RBF核函數(shù)(σ=1.3)。采用自己錄制的語(yǔ)音數(shù)據(jù)，錄音軟件采用Cool Edit pro 2.0，錄音時(shí)采用單聲道、11.025 kHz采樣頻率、16位采樣精度，錄制語(yǔ)音保存為PCM編碼的wav格式。錄制26位說(shuō)話人的6種情感狀態(tài)語(yǔ)音:憤怒、喜悅、驚訝、悲傷、害怕、厭惡。其中男性13名，女性13名，每人每種情感錄制10條語(yǔ)句，其中5句用于訓(xùn)練，剩余5句用于測(cè)試。利用Cool Edit中的降噪器工具，清除各種背景雜音。

2.2 情感特征提取

對(duì)語(yǔ)音庫(kù)中每條語(yǔ)句進(jìn)行端點(diǎn)檢測(cè)、預(yù)加重，以幀長(zhǎng)30 ms、幀移15 ms為語(yǔ)音信號(hào)加漢明窗，窗長(zhǎng)N=200。提取基音頻率、第一共振峰、短時(shí)能量、MFCC(Mel-frequency Cepstral Coefficients)4類基本情感聲學(xué)特征及其派生特征參數(shù)作為語(yǔ)音情感特征向量。在仿真實(shí)驗(yàn)中，逐幀計(jì)算語(yǔ)音的基音頻率、第一共振峰和短時(shí)能量的最大值、最小值、均值、范圍、標(biāo)準(zhǔn)差、斜度、峰度、曲線抖動(dòng)均值以及曲線抖動(dòng)范圍，各9維共27維特征向量。逐幀提取前13維MFCC參數(shù)。通過(guò)語(yǔ)音情感參數(shù)的提取，每位說(shuō)話人的每條語(yǔ)句共可提取40維的特征向量。全部特征參數(shù)數(shù)據(jù)歸一化到［0，1］。

圖3所示為語(yǔ)音庫(kù)中一名男性語(yǔ)音“你可真?zhèn)ゴ笱?”的喜悅和悲傷兩種情感語(yǔ)音的短時(shí)能量和基音周期，其中基音周期采用短時(shí)自相關(guān)函數(shù)法檢測(cè)。

圖3 喜悅和悲傷兩種情感語(yǔ)音短時(shí)能量和基音周期

2.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)1 識(shí)別性能實(shí)驗(yàn)。在實(shí)驗(yàn)中，此處提出的方法和傳統(tǒng)的支持向量機(jī)法、核Fisher判別法進(jìn)行比較分析，實(shí)驗(yàn)結(jié)果如表1所示。

表1 情感識(shí)別率 %

由表1可知，在3種方法中，此處提出的方法在憤怒和驚訝狀態(tài)識(shí)別率都有顯著的提高。在憤怒狀態(tài)，KPCA+FKFD方法比SVM提高了7.81%，比KFD方法提高了4.62%;在驚訝狀態(tài)，KPCA+FKFD方法比SVM提高了6.99%，比KFD方法提高了4.7%。而3種方法的悲傷、害怕和厭惡的識(shí)別率都普遍不高，主要是由于這3種情感在發(fā)音時(shí)，許多生理特征相似，較易混淆。

實(shí)驗(yàn)2 抗噪實(shí)驗(yàn)。為了測(cè)試提出方法的抗噪性能，采用Matlab7.0對(duì)測(cè)試語(yǔ)音進(jìn)行加噪處理，產(chǎn)生帶白噪聲的語(yǔ)音測(cè)試庫(kù)［6］。選擇的信噪比分別為:40 dB、35 dB、30 dB、25 dB、20 dB、15 dB、10 dB、5 dB。實(shí)驗(yàn)結(jié)果如表2所示。為了更好地描述不同信噪比下識(shí)別算法的情感平均正確識(shí)別率的變化趨勢(shì)，繪制了情感平均識(shí)別率曲線圖，如圖4所示。

表2 不同信噪比下的情感平均正確識(shí)別率 %

圖4 不同信噪比下情感平均識(shí)別率曲線圖

由表2和圖4可知，在不同的信噪比實(shí)驗(yàn)中，隨著信噪比的降低(噪聲的增加)，SVM和KFD分類器的情感平均正確識(shí)別率下降較快，而此處提出的方法(KPCA+FKFD)下降較慢，而且平均正確識(shí)別率均高于其他方法。即使當(dāng)信噪比降低到5 dB時(shí)，此時(shí)語(yǔ)音信號(hào)中的噪聲強(qiáng)度已經(jīng)非常高，KPCA+FKFD的情感平均正確識(shí)別率也達(dá)到了48.17%，而其他兩種的情感平均正確識(shí)別率降至20%左右。因此，在上述3種情感識(shí)別方法中，KPCA+FKFD具有最好的抗噪聲性能。主要原因是KPCA在對(duì)語(yǔ)音數(shù)據(jù)降維的同時(shí)，也去除了語(yǔ)音向量中的冗余信息，這些冗余信息主要是一些噪聲信息。

3 總結(jié)

在深入分析研究語(yǔ)音情感識(shí)別算法的基礎(chǔ)上，提出基于核主成分空間的模糊核Fisher判別算法。該算法一方面借助于KPCA和FCM對(duì)語(yǔ)音數(shù)據(jù)在維度和數(shù)量上進(jìn)行了約簡(jiǎn)，可以有效地降低后續(xù)LDA的計(jì)算復(fù)雜度;另一方面，通過(guò)KPCA的轉(zhuǎn)換矩陣得到核主成分空間，在該空間進(jìn)行FCM，對(duì)不同輸入樣本根據(jù)其貢獻(xiàn)度引入隸屬度，根據(jù)隸屬度重新定義LDA，不僅大大地簡(jiǎn)化了KFD的計(jì)算步驟，并且有效地提高了KFD的高分類性能。仿真實(shí)驗(yàn)結(jié)果表明，此處提出的方法和傳統(tǒng)SVM、KFD相比，在純凈語(yǔ)音和噪聲語(yǔ)音的情況下都取得了較為理想的的情感平均正確識(shí)別率，具有良好的抗噪性能，是一種有效可行的語(yǔ)音情感識(shí)別算法。然而，仿真實(shí)驗(yàn)也表明，悲傷、害怕和厭惡3種情感狀態(tài)的識(shí)別率不高，因此在后續(xù)的研究工作中，將側(cè)重于尋找更有效的參數(shù)提取方法，使得這3種情感狀態(tài)識(shí)別率也能具有較高的識(shí)別率。

［1］AYADI E l M.Survey on speech emotion recognition:Features，classification schemes，and databases［J］.Pattern Recognition，2011，44(3):572-587

［2］BITOUK D，VERMA R，NENKOVA A.Class-level spectral features for emotion recognition［J］.Speech Communication，2010，52(7/8):613-625

［3］WANG J H，LI Q，YOU J，et al.Fast kernel Fisher discriminant analysis via approximating the kernel principal component analysis［J］.Neurocomputing，2011，74(17):3313-3322

［4］李童.基于改進(jìn)的2DPCA人臉識(shí)別方法研究［J］.重慶工商大學(xué)學(xué)報(bào):自然科學(xué)版，2012，29(04):45-49

［5］ZHENG Y J，YANG J Y，WANG W D，et al.Fuzzy Kernel Fisher Discriminant Algorithm with Application to Face Recognition［A］.The proceedings of Sixth World Congress on Intelligent Control and Automation(WCICA2006)［C］.中國(guó)，大連:2006

［6］張石清，趙知?jiǎng)?噪聲背景下的語(yǔ)音情感識(shí)別［J］.西南交通大學(xué)學(xué)報(bào)，2009，44(3):442-447