李 杰，周 萍

（1.桂林電子科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，廣西桂林 541004;2.桂林電子科技大學(xué)電子工程與自動(dòng)化學(xué)院，廣西桂林 541004）

0 引言

隨著計(jì)算機(jī)技術(shù)的高速發(fā)展和人類對(duì)計(jì)算機(jī)依賴性的不斷增強(qiáng)，人機(jī)交流變得越來越普遍，人機(jī)交互能力也越來越受到研究者的重視，語音情感識(shí)別就是人機(jī)交互與情感計(jì)算的交叉研究領(lǐng)域。語音中的情感之所以能夠被識(shí)別與表達(dá)，是因?yàn)檎Z音特征在不同情感狀態(tài)下的表現(xiàn)不同。因此，很多研究者對(duì)特征與情感類別之間的對(duì)應(yīng)關(guān)系產(chǎn)生了濃厚的興趣并進(jìn)行了深入的探討。Murray I和Amott J L完成的實(shí)驗(yàn)得出了基頻、能量、時(shí)長等韻律特征，以及語音質(zhì)量特征與情感之間的定性關(guān)系［1］，使得韻律學(xué)特征成為語音情感識(shí)別的常用特征。此后，研究者又加入了共振峰參數(shù)和語音學(xué)特征，如MFCC，使得韻律學(xué)特征與語音學(xué)特征結(jié)合識(shí)別情感。通常在利用這些基本特征進(jìn)行研究時(shí)，還需要求出其派生特征和各種統(tǒng)計(jì)特征，如范圍、均值和方差等，并把它們組成特征向量。由于到目前為止，聲學(xué)特征與情感狀態(tài)的對(duì)應(yīng)關(guān)系缺乏統(tǒng)一的結(jié)論，為了盡可能保留有意義的信息，研究者只能在研究中保留這維數(shù)少則幾十條多則上百條的特征向量。但根據(jù)模式識(shí)別的理論，高維特征集合不僅不會(huì)提高識(shí)別率，還會(huì)造成“維數(shù)災(zāi)難”［2］。大量的研究表明:語音情感識(shí)別的關(guān)鍵就在于從數(shù)量眾多的特征中求得高效的情感聲學(xué)特征組，這就需要用到特征降維技術(shù)。

目前，已有數(shù)篇綜述文獻(xiàn)總結(jié)了語音情感識(shí)別的研究成果［3～6］，但主要都是針對(duì)識(shí)別算法的研究進(jìn)展進(jìn)行綜述。本文從模式識(shí)別的角度對(duì)目前語音情感識(shí)別研究中所采用的特征降維技術(shù)進(jìn)行總結(jié)，并對(duì)近幾年提出的情感特征參數(shù)進(jìn)行闡述。

1 語音情感識(shí)別系統(tǒng)的概述

基于語音的情感識(shí)別大致分為預(yù)處理、特征提取和情感分類三步，大致框架如圖1所示。特征提取作為情感分類的前向步驟，能直接影響到最終的識(shí)別效率，是從輸入的語音信號(hào)中提取能夠區(qū)分不同情感的參數(shù)序列。在提取特征數(shù)據(jù)時(shí)，為獲得最優(yōu)特征子集還需進(jìn)行對(duì)特征降維。

圖1 語音情感識(shí)別系統(tǒng)Fig 1 Speech emotion recognition system

2 語音情感特征參數(shù)

本文從發(fā)音語音學(xué)和聲學(xué)語音學(xué)兩方面出發(fā)，將語音情感分為基于發(fā)音特征參數(shù)和基于聲學(xué)特征參數(shù)。

2.1 基于發(fā)音特征參數(shù)

此類特征按照語音信號(hào)生成的數(shù)學(xué)模型不同，分為線性激勵(lì)源—濾波器（source-filter）語音生成模型特征和非線性語音生成模型特征。

2.1.1 線性激勵(lì)源—濾波器語音生成模型特征

在激勵(lì)系統(tǒng)中，聲門每開啟和閉合一次的時(shí)間就是基音周期，其倒數(shù)稱為基頻，決定了語音的音調(diào)高低。由于語音是聲門激勵(lì)信號(hào)和聲道沖激響應(yīng)的卷積，直接對(duì)語音提取基音周期將受到聲道共振峰的影響，所以，需要先求出聲門激勵(lì)信號(hào)（聲門波）。獲得聲門波的常用方法有線性預(yù)測(cè)法和倒譜分析法，都是基于聲道建模，通過逆濾波消除共振峰的影響得到聲門波。由于這2種方法只是對(duì)聲道傳輸特性的近似，故通過逆濾波得到的聲門波差分波形頻譜都會(huì)不可避免地帶有“波紋”。為了準(zhǔn)確估計(jì)聲門波參數(shù)，研究者提出了對(duì)聲門波進(jìn)行參數(shù)建模的方法，其中LF［7］模型最常用。趙艷等人［8］將通過該方法提取的音質(zhì)參數(shù)運(yùn)用到情感識(shí)別中去，取得了不錯(cuò)的識(shí)別率。

歸一化振幅商（normalized amplitude quotient，NAQ）是由文獻(xiàn)［9］提出的，一種新的用來刻畫聲門激勵(lì)特性的時(shí)域參數(shù)。Airasm A P［10］和白潔等人［11］分別比較了連續(xù)語音中單一元音的較短片段、整句及元音段NAQ值的情感識(shí)別效果，實(shí)驗(yàn)表明了元音段的NAQ值是一種具有判別力的語音情感特征。

共振峰是當(dāng)聲音激勵(lì)進(jìn)入聲道引起共振產(chǎn)生的一組共振頻率。不同情感的發(fā)音可能使聲道有不同的變化，因此，共振峰是反映聲道特性的一個(gè)重要參數(shù)。提取共振峰參數(shù)的方法主要有倒譜法和線性預(yù)測(cè)法（LPC）。

2.1.2 非線性模型特征

傳統(tǒng)的線性聲學(xué)理論認(rèn)為，聲音的產(chǎn)生取決于聲帶的振動(dòng)和聲道內(nèi)的激勵(lì)源位置。而Teager H等人［12］認(rèn)為聲源是聲道內(nèi)非線性渦流的交互作用。為度量這種非線性過程產(chǎn)生的語音，文獻(xiàn)［12］提出了能量操作算子（teager energy operator，TEO）。隨著TEO的提出，許多基于TEO的特征被用于識(shí)別語音中的情感。文獻(xiàn)［13］將多分辨率自帶分析與TEO結(jié)合，提出一種新的特征參數(shù)TEOCEP，其識(shí)別性能優(yōu)于使用短時(shí)能量的自帶倒譜參數(shù)。高慧等人［14］結(jié)合小波分析將不同形式的TEO與MFCC結(jié)合提出了5種非線性特征，當(dāng)與文本有關(guān)時(shí)，這些特征語音情感識(shí)別的效果優(yōu)于MFCC。林奕琳［15］將基于TEO的非線性特征用于帶噪語音情感的識(shí)別，證明了上述特征具有較高魯棒性。

2.2 基于聲學(xué)特征參數(shù)

2.2.1 聽覺模型特征

研究者發(fā)現(xiàn)人耳在嘈雜的環(huán)境中之所以仍能正常地分辨出各種聲音，耳蝸是其中的關(guān)鍵所在。耳蝸相當(dāng)于一個(gè)濾波器組，在低頻區(qū)呈線性關(guān)系，在高頻區(qū)呈對(duì)數(shù)關(guān)系，從而使得人耳對(duì)低頻信號(hào)更敏感。根據(jù)這一原則，研究者根據(jù)心理學(xué)實(shí)驗(yàn)得到了類似于耳蝸?zhàn)饔玫囊唤M濾波器組——Mel頻率濾波器組。研究者又利用這一原理和倒譜的解相關(guān)特性提出了Mel頻率倒譜系數(shù)（Mel frequency cepstrum coefficient，MFCC）。MFCC在語音情感識(shí)別領(lǐng)域已經(jīng)得到廣泛的應(yīng)用。

2.2.2 非基于模型特征

這類特征通常不假設(shè)語音模型，如語速、短時(shí)平均過零率、發(fā)音持續(xù)時(shí)間和能量等，文獻(xiàn)［5］對(duì)這些特征進(jìn)行了詳細(xì)的敘述。研究者發(fā)現(xiàn)以往常被用于診斷喉部疾病的諧波噪聲比（HNR）可以有效評(píng)估說話人嗓音嘶啞程度，余華［16］，趙艷等人［8］已把HNR作為特征參數(shù)成功運(yùn)用于語音情感識(shí)別當(dāng)中。

3 特征降維

高維數(shù)據(jù)特征不僅可能造成維數(shù)災(zāi)難，而且其可能存在較大的數(shù)據(jù)冗余，影響識(shí)別的準(zhǔn)確性。為了有效地進(jìn)行數(shù)據(jù)分析，提高正確識(shí)別率和降低計(jì)算工作量，特征降維就顯得異常重要。特征降維包括特征抽取和特征選擇。特征抽取是用全部可能的變量把數(shù)據(jù)變換（線性或非線性變換）到維數(shù)減少了的數(shù)據(jù)空間上。特征選擇是選出有用的或重要的特征，而去除其他的特征。

3.1 特征抽取

3.1.1 線性特征抽取算法

主成分分析（principal component analysis，PCA）和線性判別分析（linear discriminant analysis，LDA）是最常用的線性特征抽取算法。PCA因未能利用原始數(shù)據(jù)中的類別信息，降維后的數(shù)據(jù)有時(shí)反而不利于模式分類，直接用于語音情感識(shí)別時(shí)效果并不好。LDA考慮了訓(xùn)練樣本的類別信息，強(qiáng)調(diào)了不同類別樣本之間的分離，用于語音情感識(shí)別時(shí)取得了良好的識(shí)別率［17］。文獻(xiàn)［2］針對(duì)PCA，LDA在不同性別、不同情感狀態(tài)有不同的識(shí)別表現(xiàn)，設(shè)計(jì)了結(jié)合PCA和LDA的分層次語音情感識(shí)別系統(tǒng)，取得了較高識(shí)別率。

3.1.2 非線性流形特征抽取算法

近年來，研究人員發(fā)現(xiàn)語音信號(hào)中的特征數(shù)據(jù)位于一個(gè)嵌入在高維聲學(xué)特征空間的非線性流形上，這使得流形學(xué)習(xí)算法開始被用于語音特征參數(shù)的非線性降維處理。

等距映射（isometric feature mapping，Isomap）和局部線性嵌入（locally linear embedding，LLE）算法是該類算法中較為常用的。Isomap和LLE都屬于非監(jiān)督方式的降維方法，沒有給出降維前后數(shù)據(jù)之間的映射關(guān)系，新的測(cè)試數(shù)據(jù)并不能直接投影到低維空間，直接應(yīng)用于語音情感識(shí)別時(shí)識(shí)別率都不高，甚至不如線性的PCA［18］，因此，應(yīng)用于語音情感識(shí)別時(shí)算法都需要進(jìn)行改進(jìn)。陸捷榮等人［19］在Isomap算法基礎(chǔ)上提出基于增量流形學(xué)習(xí)的語音情感特征降維方法，實(shí)驗(yàn)表明具有較好的識(shí)別效果。Ridder等人使用考慮數(shù)據(jù)類別信息的監(jiān)督距離修改LLE算法中的鄰域點(diǎn)搜索，提出了一種監(jiān)督式的局部線性嵌入（supervised locally linear embedding，SLLE）算法，文獻(xiàn)［18］又在 SLLE基礎(chǔ)上提出了一種改進(jìn)的監(jiān)督局部線性嵌入算法（improved-SLLE），并用Improved-SLLE實(shí)現(xiàn)了對(duì)48維語音情感特征參數(shù)數(shù)據(jù)的非線性降維，提取相應(yīng)的特征進(jìn)行情感識(shí)別，取得了90.78%的正確識(shí)別率。

增強(qiáng)型 Lipschitz嵌入（enhanced Lipschitz embedding，ELE）算法是尤鳴宇［2］基于 Lipschitz嵌入算法［20］提出的一種新的特征降維算法。ELE主要對(duì)樣本點(diǎn)到樣本集合（各種情感）中各點(diǎn)的最短距離的求取和新加入測(cè)試點(diǎn)的投影方式進(jìn)行補(bǔ)充完善。在ELE中，當(dāng)有新進(jìn)測(cè)試點(diǎn)需進(jìn)行投影時(shí)，距離矩陣M被重新構(gòu)造以包含新樣本點(diǎn)的信息，雖然這種方法需要消耗一定的計(jì)算時(shí)間，但卻可以最大限度地發(fā)揮算法的優(yōu)勢(shì)，而且由于ELE算法較簡單，投影新測(cè)試點(diǎn)時(shí)并不需要重新構(gòu)建距離矩陣M。ELE解決了Isomap和LLE所未解決的將新進(jìn)測(cè)試樣本投影到目標(biāo)空間的問題。同時(shí)，文獻(xiàn)［2，21］也證明了基于ELE的語音情感識(shí)別系統(tǒng)具有較高正確率，且對(duì)噪聲具有較高的魯棒性。

3.2 特征選擇

按照特征子集的生成方法，特征選擇可分為窮舉法、啟發(fā)式算法和隨機(jī)算法。

3.2.1 窮舉法

窮舉法是一種最直接的優(yōu)化策略，對(duì)p個(gè)變量中選出d個(gè)變量，搜索nd=p!/（p－d）!d!種可能的子集。盡管該方法確定能找到最優(yōu)子集，但是，由于計(jì)算開銷過大，實(shí)用性不強(qiáng)。

3.2.2 啟發(fā)式算法

啟發(fā)式算法是使用啟發(fā)式信息得到近似最優(yōu)解的算法。它是一個(gè)重復(fù)迭代而產(chǎn)生遞增或遞減的特征子集的過程，從當(dāng)前特征子集出發(fā)，搜索下一個(gè)增加或刪除的特征時(shí)，需要通過一個(gè)啟發(fā)函數(shù)來選擇代價(jià)最少的方案。此類方法不需要遍歷所有特征組合，就可以估計(jì)出一個(gè)較為合理的特征子集，具有實(shí)現(xiàn)過程簡單、運(yùn)行速度快等優(yōu)點(diǎn)。語音情感識(shí)別中常用的啟發(fā)式算法有順序向前選擇（SFS）、順序向后選擇（SBS）、優(yōu)先選擇（PFS）、順序浮動(dòng)前進(jìn)選擇（SFFS）和逐步判別分析法（SDA）等。Kwon O W等人［22］采用SFS和SBS兩種方法進(jìn)行特征選擇，建立了聲學(xué)特征的情感判別力強(qiáng)弱排名的二維等級(jí)圖，指出基頻、對(duì)數(shù)能量和第一共振峰對(duì)語音情感識(shí)別的重要性。Lugger M等人［23］使用SFFS先從韻律特征和嗓音特征中分別選取4個(gè)特征參數(shù)，而后又從混合特征集中選取8個(gè)特征，其中包括6個(gè)韻律特征和2個(gè)嗓音特征。謝波等人［24］針對(duì)普通話情感語音特征分別用PFS，SFS，SBS和SDA進(jìn)行特征選擇，分析了特征個(gè)數(shù)和特征選擇方法對(duì)平均準(zhǔn)確率的影響，最后進(jìn)行了特征選擇的有效性分析。

3.2.3 隨機(jī)算法

隨機(jī)算法可分為完全隨機(jī)與概率隨機(jī)兩類，前者指純隨機(jī)產(chǎn)生子集，后者指子集的產(chǎn)生依照給定的概率進(jìn)行。目前，被運(yùn)用于語音情感識(shí)別的有遺傳算法（genetic algorithm，GA）和神經(jīng)網(wǎng)絡(luò)分析法等。

遺傳算法是一種以遺傳和自然選擇的進(jìn)化論思想為啟發(fā)的算法，通過選擇并遺傳適應(yīng)環(huán)境的特征得到所需特征子集。首先，選取適應(yīng)性函數(shù)值最大的若干個(gè)特征組成初始特征集，并從該集合中選取2個(gè)特征，被選中的機(jī)率與其“適應(yīng)能力”呈正比。在這2個(gè)特征間使用“交配”算法和“突變”算法，再從得到的特征中選取“適應(yīng)能力”強(qiáng)的幾個(gè)加入特征子集。重復(fù)前兩步，直到獲得所需的分類特征子集。王穎［25］提出了一種改進(jìn)的自適應(yīng)遺傳算法語音情感識(shí)別方法，實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的算法具有良好的識(shí)別效果。

神經(jīng)網(wǎng)絡(luò)分析法是王小佳［26］利用神經(jīng)網(wǎng)絡(luò)的貢獻(xiàn)原理選出有效特征的方法。王小佳將其提取的101個(gè)語音情感特征通過神經(jīng)網(wǎng)絡(luò)貢獻(xiàn)分析進(jìn)行選擇，通過聚類性分析驗(yàn)證了所選擇特征的有效性。

4 結(jié)束語

1）研究者們已分析了多種類型的特征，但就特征提取而言，不同的提取方法會(huì)產(chǎn)生不同的特征精度，如基頻的提取目前仍是一項(xiàng)開放的研究課題。因此，需要研究出更加精確的特征提取方法。

2）由于語音情感變化會(huì)造成諸多語音特征發(fā)生變化，將多種特征融合起來可以更全面地表現(xiàn)情感。多類特征組合是特征獲取的一個(gè)新興研究方向，目前已有少部分學(xué)者開始研究。

3）對(duì)語音情感進(jìn)行高效識(shí)別，必須對(duì)特征降維方法進(jìn)行更針對(duì)的研究，目前，特征降維應(yīng)用于語音情感識(shí)別還只是一個(gè)起步階段，需要更多的研究和嘗試。

［1］Murray I，Amott J L.Towards the simulation of emotion in synthetic speech:A review of the literature on human vocal emotion［J］.Journal of the Acoustic Society of American，1993，93（2）:1097 －1108.

［2］尤鳴宇.語音情感識(shí)別的關(guān)鍵技術(shù)研究［D］.杭州:浙江大學(xué)，2007.

［3］余伶俐，蔡自興，陳明義.語音信號(hào)的情感特征分析與識(shí)別研究綜述［J］.電路與系統(tǒng)學(xué)報(bào)，2007，12（4）:77 －84.

［4］林奕琳，韋 崗，楊康才.語音情感識(shí)別的研究進(jìn)展［J］.電路與系統(tǒng)學(xué)報(bào)，2007，12（1）:90 －98.

［5］趙臘生，張 強(qiáng)，魏小鵬.語音情感識(shí)別研究進(jìn)展［J］.計(jì)算機(jī)應(yīng)用研究，2009（2）:428 －432.

［6］章國寶，宋清華，費(fèi)樹岷，等.語音情感識(shí)別研究［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2009（1）:92－96.

［7］Fant G，Liljencrants J，Lin Q.A four-parameter model of glottal flow［J］.STL-QPSR 4，1985，26（4）:1 －13.

［8］趙 艷，趙 力，鄒采榮.結(jié)合韻律和音質(zhì)參數(shù)的改進(jìn)二次判別式在語音情感識(shí)別中的應(yīng)用［J］.信號(hào)處理，2009（6）:882－887.

［9］Paavo A，Tom B，Erhhi V.Normalized amplitude quotient for parameterization of the glottal flow［J］.Journal of the Acoustical Society of America，2002，112（2）:701 －710.

［10］Airasm A P.Emotions in short vowel segments:Effects of the glottal flow as reflected by the normalized amplitude quotient［C］//Proceedings of Tutorial and Research Workshop on Affective Dialogue Systems，2004:13 －24.

［11］白 潔，蔣冬梅，謝 磊.基于NAQ的語音情感識(shí)別研究［J］.計(jì)算機(jī)應(yīng)用研究，2008，25（11）:3243 －3258.

［12］Teager H，Teager S.Evidence for nonlinear production mechanisms in the vocal tract［C］//Speech Production ＆ Speech Modeling，1990:241 －261.

［13］Jabloun F.Large vocabulary speech recognition in noisy environments［D］.Ankara，Turkey:Bilrent University，1998.

［14］高 慧，蘇廣川.情緒化語音特征分析與識(shí)別的研究進(jìn)展［J］.航天醫(yī)學(xué)與醫(yī)學(xué)工程，2004，17（5）:77－80.

［15］林奕琳.基于語音信號(hào)的情感識(shí)別研究［D］.廣州:華南理工大學(xué)，2006.

［16］余 華，黃程韋，金 赟，等.基于改進(jìn)的蛙跳算法的神經(jīng)網(wǎng)絡(luò)在語音情感識(shí)別中的研究［J］.信號(hào)處理，2010（9）:1295－1299.

［17］Go H，Kwak K，Lee D，et al.Emotion recognition from the facial image and speech signal［C］//Proceedings of Annual Conference of SICE，2003:2890 －2895.

［18］張石清，李樂民，趙知?jiǎng)?基于一種改進(jìn)的監(jiān)督流形學(xué)習(xí)算法的語音情感識(shí)別［J］.電子與信息學(xué)報(bào)，2010（11）:2724－2729.

［19］陸捷榮.基于流形學(xué)習(xí)與D-S證據(jù)理論的語音情感識(shí)別研究［D］.鎮(zhèn)江:江蘇大學(xué)，2010.

［20］Bourgain J.On lipschitz embedding of finete metric spaces in hilbert space［J］.Journal of Mathemetics，1985，52（1 －2）:46 －52.

［21］劉 佳.語音情感識(shí)別的研究與應(yīng)用［D］.杭州:浙江大學(xué)，2009.

［22］Kwon O W ，Chan K，Hao J.et al.Emotion recognition by speech signals［C］//Proceedings of Eurospeech，Geneva，2003:125 －128.

［23］Lugger M，Yang B.The relevance of voice quality features in speaker independent emotion recognition［C］//IEEE International Conference on Acoustics，Speech and Signal Processing，Honolulu，HI，2007:17 －20.

［24］謝 波，陳 嶺，陳根才，等.普通話語音情感識(shí)別的特征選擇技術(shù)［J］.浙江大學(xué)學(xué)報(bào):工學(xué)版，2007（11）:1816－1822.

［25］王 穎.自適應(yīng)語音情感識(shí)別方法研究［D］.鎮(zhèn)江:江蘇大學(xué)，2009.

［26］王小佳.基于特征選擇的語音情感識(shí)別研究［D］.鎮(zhèn)江:江蘇大學(xué)，2007.