潘禮正,2，尹澤明，佘世剛，袁崢崢，趙 路

(1.常州大學(xué) 機(jī)械工程學(xué)院，江蘇 常州 213164；2.東南大學(xué) 江蘇省遠(yuǎn)程測量與控制重點實驗室，南京 210096)

0 引言

近年來，情感狀態(tài)識別在健康監(jiān)測、遠(yuǎn)程教育、駕駛員狀態(tài)評估以及人機(jī)交互等領(lǐng)域成為研究的熱點[1-2]。

目前的情緒識別研究主要建立在面部表情、語音、身體姿勢等信號的基礎(chǔ)上[3-4]，但這些信號容易受到人的主觀意志控制。生理學(xué)研究表明，生理信號與人體狀態(tài)密切相關(guān)，由神經(jīng)系統(tǒng)和內(nèi)分泌系統(tǒng)控制，不受人的主觀思想的影響，因此能客觀地反映情緒狀態(tài)，得到了廣泛的研究與應(yīng)用[4-6]。但是目前的研究大多都是通過單模態(tài)的生理信號進(jìn)行情緒識別。例如文獻(xiàn)[7]通過腦電信號進(jìn)行情感識別；文獻(xiàn)[8-9]通過心電信號進(jìn)行情感識別；文獻(xiàn)[10]通過脈搏信號進(jìn)行情感識別；文獻(xiàn)[11]通過皮膚電信號進(jìn)行情感識別；文獻(xiàn)[12]通過肌電信號進(jìn)行情感識別；上述研究都取得了一定的成果，但是存在識別率不高的問題。文獻(xiàn)[13-14]的研究表明，在情感識別過程中，通過將多種模態(tài)的生理信號特征進(jìn)行融合作為分類器的輸入，能夠使識別結(jié)果更加客觀和準(zhǔn)確，但是將多模態(tài)生理信號特征融合會增加特征維度、降低識別效率。

為了提高情緒識別的效率和準(zhǔn)確率，本文提出了一種融合多種生理信號及FCA-ReliefF的情緒識別方法，并在公開的數(shù)據(jù)集進(jìn)行實驗，驗證提出方法的有效性。

1 情感數(shù)據(jù)來源

為了驗證提出方法的有效性，采用德國 Augsburg 大學(xué)建立的公開的情感數(shù)據(jù)庫[15]。數(shù)據(jù)包含被試在4種情緒狀態(tài)(開心、憤怒、傷心、愉悅)下的4種生理信號(心電、肌電、呼吸、皮膚電)。其中心電信號(ECG)的采樣頻率為256Hz，肌電信號(EMG)、呼吸信號(RSP)、皮膚電信號(SC)的采樣頻率均設(shè)置為32 Hz。實驗連續(xù)進(jìn)行25天，每天對被試4種情緒狀態(tài)的4種生理信號進(jìn)行采集。為了方便后續(xù)研究，每種生理信號的數(shù)據(jù)采集長度均保留為2分鐘。最終得到開心、憤怒、傷心、愉悅樣本各25個，共100個樣本。本文情感識別流程圖如圖1所示。

圖1 情緒識別算法流程圖

2 情感生理信號特征提取

特征提取就是從生理信號中提取出能夠反映與情緒相關(guān)的特征參數(shù)。為了提高分類結(jié)果的準(zhǔn)確率，本文分別從信號的時域和頻域兩個維度入手從情感生理數(shù)據(jù)中提取出相應(yīng)的時域特征和頻域特征。

時域特征是從統(tǒng)計學(xué)的角度對生理信號的波形進(jìn)行相應(yīng)的特征提取。首先計算信號在時域中常用統(tǒng)計量，包括最大值、最小值、均值、標(biāo)準(zhǔn)差、方差、中值、極值等7個特征；然后對信號序列分別作一階差分和二階差分后再分別提取上述7個特征，總計得到21個特征。一階差分體現(xiàn)了信號的變化趨勢和變化快慢；二階差分可以用來檢測信號局部的拐點。對每一類信號都提取上述的21個特征，總共84個特征。在時域內(nèi)進(jìn)行特征提取涉及到如下計算公式：

(1)

(2)

(3)

(4)

式中,Xn代表信號的第n個樣本；N表示要分析的數(shù)據(jù)的長度；ux代表平均值；σx代表標(biāo)準(zhǔn)差；σx代表方差；1diff代表一階差分。

利用快速傅立葉變換(FFT)將信號從時域變換到頻域。將信號從時域轉(zhuǎn)換為頻域涉及以下公式：

(5)

(6)

當(dāng)滿足傅立葉積分條件時，式 (5) 稱為f(t)的傅立葉變換；式 (6) 的積分運(yùn)算稱為F(w)的反傅立葉變換；F(w)被稱為f(t)的鏡像函數(shù)；f(t)為原函數(shù)。

將信號從時域轉(zhuǎn)換到頻域后，提取最大值、最小值、均值、標(biāo)準(zhǔn)差、中值和極值等6個特征，從4種信號共獲得24個特征。這樣從時域和頻域總共提取了108個特征，包括心電、肌電、呼吸和皮膚電信號的各27個特征。

3 基于FCA-ReliefF的特征降維

3.1 特征相關(guān)性分析(FCA)

特征相關(guān)性分析(FCA)是指計算各個特征之間的相關(guān)系數(shù)大小，衡量特征之間相關(guān)性，然后設(shè)置閾值刪除兩個相關(guān)性較大的特征中的一個[16]。相關(guān)性分析理論建立在刪除相關(guān)性較大的特征不會降低剩余特征表達(dá)信息的能力[17]。因此，在不降低特征識別精度的前提下，使用FCA對原始的高維特征集進(jìn)行了初步篩選工作，即刪除原始特征集中兩個相關(guān)特征中的一個冗余特征，從而降低特征維度。特征相關(guān)性分析(FCA)步驟如下：

1)利用分類器構(gòu)造情緒識別模型，計算出每個特征的分識別精度，并根據(jù)每個特征的識別精度按照從小到大的順序排列。本研究選取支持向量機(jī)作為分類器。

2)根據(jù)下面的公式計算兩兩特征之間的相關(guān)系數(shù)大小：

(7)

(8)

3)通過步驟2) 的計算，得到以下相關(guān)系數(shù)矩陣：

(9)

上述矩陣是一個對稱矩陣，特征與特征之間的相關(guān)系數(shù)滿足rij=rji。rnn在矩陣的主對角線上，是特征的自相關(guān)系數(shù)，并且滿足rnn=1。

4) 設(shè)置閾值δ(0≤δ≤1)。當(dāng)兩個特征之間的相關(guān)性閾值滿足rij>δ時，參照 (1) 的排序結(jié)果，保留識別率大的特征，剔除識別率小的特征。當(dāng)遇到兩個特征中的一個已經(jīng)被刪除時，另一個特征則保留下來，最終經(jīng)過特征降維后保留下來的特征構(gòu)成一個新的特征子集。再用ReliefF算法對新得到的特征集進(jìn)行特征篩選。

保留的特征數(shù)量取決于設(shè)置的閾值。閾值越小，保留的特征數(shù)量越少，特征之間的相關(guān)性越小。相反，閾值越大，保留的特征數(shù)量越多，特征之間的相關(guān)性越大。根據(jù)分析閾值δ的選擇范圍一般在0.85～0.95。本文經(jīng)過多次實驗發(fā)現(xiàn)，當(dāng)閾值δ設(shè)置為0.90時，效果最好。

3.2 ReliefF二次降維

ReliefF算法是一種在Relief基礎(chǔ)上改進(jìn)的算法。Relief算法基于特征的權(quán)重進(jìn)行特征篩選，其算法步驟是首先根據(jù)特征與所屬類別之間的關(guān)聯(lián)度大小為每個特征分配一個權(quán)重值，然后根據(jù)閾值刪除權(quán)重值小于閾值的特征[18]。Relief算法計算量較小，速度快，但它僅限于二分類問題之間的特征選擇。經(jīng)過改進(jìn)得到的ReliefF算法將二分類問題的特征選擇擴(kuò)展到多分類問題的特征選擇，其在手勢識別、語音識別等領(lǐng)域已經(jīng)取得了較好的實驗結(jié)果[19]。ReliefF算法的主要實現(xiàn)步驟如下：

1)從樣本集S中隨機(jī)選擇任意樣本Si，并從與樣本相同的類別S中選擇k個相鄰樣本。

2)從不同于樣本Si的每個類別中任意選擇k個相鄰的樣本；

3)根據(jù)下面的公式更新每個特征權(quán)重值：

(10)

4)確定閾值進(jìn)行刪除。

本文參考文獻(xiàn)[18-19]，在確定刪除閾值時，分別去除最小權(quán)重的5%、8%、10%、15%、20%、25%、30%、35%和40%的特征量。實驗結(jié)果表明，刪除25%的特征數(shù)量后，得到的識別率最高。因此，本文選擇去除25%的特征量，最終得到包含60個特征的特征集。

4 實驗及結(jié)果分析

本節(jié)主要將提出的方法應(yīng)用到德國Augsburg大學(xué)建立的公開的情感數(shù)據(jù)集上。

實驗結(jié)果主要從以下兩個方面進(jìn)行展示：1) 對比單一生理信號和多種生理信號融合后在進(jìn)行情緒識別時的準(zhǔn)確率，用來展示多種生理信號融合在情緒識別中的優(yōu)勢；2) 將FCA-ReliefF降維算法應(yīng)用到多種生理信號融合后得到的特征空間進(jìn)行特征降維，分析特征空間縮減前后的維度變化以及識別率的變化，并與德國Augsburg大學(xué)提供的實驗結(jié)果進(jìn)行對比，展示提出方法的優(yōu)勢。

基于單一信號特征的四種情緒狀態(tài)的情緒識別精度見表1和表2。

表1展示了基于單一信號特征和使用SVM分類器的情緒識別率。可以看出，肌電信號識別率最高，達(dá)到72.26%；心電信號識別率最低，只有62.12%；4種生理信號的平均識別率為66.17%。

表1 基于支持向量機(jī)的單一生理信號識別精度

基于決策樹分類器的單一生理信號情緒識別率如表2所示。其中肌電信號識別率最高，達(dá)到62.32%。SC信號的識別率最低，只有52.16%。4種情緒狀態(tài)的平均識別率較低，只有56.48%。

表2 基于決策樹的單一生理信號識別精度

通過對表1和表2進(jìn)行分析，可以得出結(jié)論：1)無論是使用支持向量機(jī)還是決策樹分類器，肌電信號都比其他生理信號更容易識別；2)支持向量機(jī)的分類效果優(yōu)于決策樹分類器；3)單一生理信號的識別率普遍較低。

表3和表4展示了分別使用支持向量機(jī)和決策樹進(jìn)行生理信號特征融合后識別的結(jié)果。

表3 基于支持向量機(jī)的多生理信號融合的識別精度

表4 基于決策樹的多生理信號融合的識別精度

結(jié)果顯示憤怒和悲傷的識別率最高，均為98.41%；喜悅和快樂的識別率稍低，均為95.16%。這表明，憤怒和悲傷的、這兩種情緒狀態(tài)比快樂和愉悅的情緒狀態(tài)更容易識別；4種情緒的平均識別率達(dá)到了96.79%。

從表4可以看出憤怒識別率最高，為92.06%，愉悅識別率最低，為85.48%；悲傷和喜悅的識別率分別為90.48%和88.71%；4種情緒狀態(tài)的平均識別率為89.18%。

分析表1、表2、表3和表4，得出如下結(jié)論： 1)無論使用哪種分類器，憤怒的情緒狀態(tài)比其他三種情緒狀態(tài)更容易識別，而快樂的情緒狀態(tài)較難分類；2)使用決策樹進(jìn)行分類得到的結(jié)果低于支持向量機(jī)的識別效果；3)與單一信號特征的識別率相比，生理信號融合后的識別精度得到了顯著改善，識別率遠(yuǎn)高于單一信號情緒識別結(jié)果，這表明多種生理信號特征融合是提高識別率的有效方法。

此外，還將實驗結(jié)果與德國Augsburg大學(xué)的結(jié)果[15]進(jìn)行了比較，如表5所示。與德國Augsburg大學(xué)的實驗結(jié)果對比得到，本文得到的4種不同情緒的平均識別率更高，分別為96.79%和89.18%，進(jìn)一步驗證了特征融合方法的有效性。此外，德國Augsburg大學(xué)和本文的研究結(jié)果都表明，憤怒的情緒更容易識別。

表5 德國Augsburg大學(xué)與本文實驗結(jié)果的對比

*代表本文使用的方法

盡管生理信號特征融合的平均識別率較高，但是特征維度達(dá)到了108維，特征維度較大影響了識別效率。為了有效地減少特征維數(shù)，采用了基于FCA-ReliefF的兩階段特征篩選策略。在進(jìn)行選擇之前，需要將經(jīng)過融合得到的108維特征進(jìn)行從1～108順序編號，不同的數(shù)字代表不同的特征編號。這108個特征已在前文中介紹，包括心電、肌電、呼吸和皮膚電信號的各27個特征。通過使用FCA-ReliefF方法去除的特征分別示于表6和表7中。

表6 使用FCA剔除的特征

表6表示使用FCA進(jìn)行第一階段特征降維刪掉的特征編號，即將原始的108維特征減少到80維特征刪掉的特征編號。包括心電信號的6個特征、肌電信號的8個特征、呼吸信號的7個特征、皮膚電信號的7個維度，總共剔除了20個特征。

接著采用ReliefF算法進(jìn)行第二階段降維，即對剩余的80個特征進(jìn)行二次降維。在此步驟中，又剔除了20維特征，包括心電信號的4個特征、肌電信號的6個特征、呼吸和皮膚電信號各5個特征。被剔除的特征編號如表7所示。

表7 使用ReliefF剔除的特征

將經(jīng)過FCA-ReliefF方法降維后得到的特征集輸入分類器進(jìn)行分類。為了驗證提出方法的有效性，將本文實驗結(jié)果與文獻(xiàn)[20]、[21 ]進(jìn)行對比，結(jié)果如表8所示。

表8 使用不同特征選擇方法的情緒識別精度

*代表本文使用的方法。

實驗結(jié)果表明:1)本文的實驗結(jié)果在未經(jīng)過特征降維時在特征維數(shù)及識別精度方面均優(yōu)于文獻(xiàn)[20-21 ]；2) 為了進(jìn)一步減小特征空間，使用FCA-ReliefF進(jìn)行特征選擇，特征維度從108維減小到60維，識別精度進(jìn)一步提高，達(dá)到了98.40%，驗證了提出方法的有效性。

5 結(jié)束語

本文采用德國Augsburg大學(xué)公開的情感數(shù)據(jù)庫進(jìn)行情緒識別實驗。提出基于特征融合與FCA-ReliefF的方法進(jìn)行情緒識別，結(jié)果表明，特征維數(shù)從108維降到60維，識別率達(dá)到了98.40%，驗證了方法的有效性。在此研究工作基礎(chǔ)上，后續(xù)工作將圍繞相關(guān)指定任務(wù)展開，包括新的特征提取方法、改進(jìn)的分類器，進(jìn)一步提高情緒識別的效率和準(zhǔn)確率。