何國柱，喬曉艷

(山西大學 物理電子工程學院，山西 太原 030006)

0 引 言

情緒識別在人機交互、醫(yī)療健康、智能駕駛以及教育等領域都發(fā)揮著至關重要的作用.因此，非常需要一種利用計算機自動識別人類情感狀態(tài)的方法.目前，自動情緒識別的研究包括生理和非生理信號情緒識別.由于生理信號的情緒識別不易受被試主觀意志的影響，更接近于真實的內在心理感受，因而生理信號情緒識別比非生理信號更加客觀、真實、具有說服力，逐漸成為研究的熱點.情緒識別常用的生理信號包括：腦電、心電、肌電、脈搏、皮膚電反應等.其中，皮膚電反應(Galvanic Skin Response, GSR)是皮膚電導隨皮膚電流大小而產生的變化，屬于人體交感神經系統(tǒng)活動的生理反應[1].研究表明，人體皮膚電導的變化強度與情緒激動程度有關，皮膚電反應可以作為衡量情緒狀態(tài)變化的生理指標.皮膚電反應與腦電、心電相比更易于測量和采集，且不易受其他生理信號干擾，因此在情緒識別領域得到越來越多的研究和應用.

目前，關于皮膚電信號情緒識別研究較多的是基于離散情感模型.Zhang[2]等人提取皮膚電信號時域、頻域的統(tǒng)計特征，對快樂、恐懼、悲傷、憤怒和平靜5種離散情緒，采用基于改進的神經網絡進行情感識別研究，平均識別準確率為84.9%.劉光遠等人[3]用非線性分析方法，提取皮膚電信號的最大Lyapunov指數，關聯(lián)維、近似熵等非線性特征，對高興、悲傷、恐懼3種離散情緒采用K近鄰、線性判別分析 、支持向量機(Support Vector Machine,SVM) 進行情感識別研究，結果顯示SVM具有更好的分類正確率，其中高興情緒識別正確率達到了92.33%.目前，離散情感模型的情緒識別正確率高，但離散情感模型刻畫的情緒種類較單一、描述情緒的模糊性和復雜性較低.基于維度模型的連續(xù)情感較離散情感更能精確細致地刻畫人的復雜情緒狀態(tài)，更符合實際應用，因此越來越多的學者開展維度情感模型的生理信號情緒識別；Sharma[4]等人在DEAP數據集[5]上提取皮膚電信號的時域、頻域統(tǒng)計特征以及小波系數特征，利用主成分分析進行特征降維，基于維度情感模型采用多層感知機(Multilayer Perceptron,MLP)分別在喚醒度、效價和優(yōu)勢度上進行分類，正確率最高分別達到了79%，69.8%和71.2%；Atefeh[6]等人在DEAP數據集中提取脈搏信號和皮膚電信號的最大Lyapunov指數、近似熵等非線性特征，基于維度情感模型采用概率神經網絡(Probabilistic Neural Network,PNN)在喚醒度和效價兩個情感維度上進行分類，識別準確率分別為88.57%和86.8%.

鑒于目前維度情感模型的皮膚電信號情緒識別準確率較低，情感類別標簽劃分不統(tǒng)一，提取的生理信號情感特征不充分，而且實驗中個體差異性較大，導致識別模型泛化能力差.所以，本文在DEAP維度情感生理數據集上，通過皮膚電信號構建情緒識別機器學習模型，對音樂視頻情感誘發(fā)下的皮膚電信號進行多維度特征提取、歸一化處理以及情感標簽分析，在此基礎上采用基于樹模型的決策樹和隨機森林算法實現情緒的有效分類，獲得了較好的分類準確率和泛化能力，為實現生理信號情緒自動分析和機器識別奠定堅實基礎.

1 數據來源和情感標簽選擇

1.1 DEAP數據集

DEAP數據集[5]是Koelstra等人通過實驗采集得到的多通道生理信號情感數據集，成為多數學者研究維度情感模型情緒識別算法的有力工具.該數據集記錄了32名被試者32個通道的腦電信號和8個通道的外周生理信號，其中皮膚電信號為第37通道.

實驗中，每個被試者分別觀看40個不同情感、時長為60 s的音樂視頻，被試者根據喚醒度(Arousal)、效價(Valence)、優(yōu)勢度(Dominance)、喜好度(Liking)和熟悉度(familiarity)對每個音樂視頻分別進行評分.實驗人員利用生理信號測量儀和對應的傳感器或電極記錄了32名被試者觀看情感音樂視頻時的60s生理數據以及觀看視頻之前自然狀態(tài)下的3 s生理數據，同時還錄制了前22名被試者觀看音樂視頻過程中的正面面部表情視頻.

實驗以512 Hz的采樣率記錄腦電信號和外周生理信號，并經過預處理之后，將數據降采樣為 128 Hz.DEAP數據集中每名被試者的數據內容包含了40個不同情感音樂視頻誘發(fā)下的40個通道的生理數據和4個情感維度的情感標簽數據，如表 1 所示.

表 1 DEAP數據集內容

1.2 情感標簽選擇

DEAP數據集中情感標簽是對被試通過觀看不同情感音樂視頻產生的情感體驗進行評價獲得的.被試從喚醒度、效價、優(yōu)勢度、喜好度這4個維度，在自我情緒評定量表(Self-Assessment Manikin, SAM)上對情緒進行量化.效價和喚醒度是目前大多數研究采用的情緒維度模式，效價表示情緒的正負性質，從悲傷、厭惡逐漸過渡到高興、愉悅，對應的是由數字1到9的打分尺度來衡量；喚醒度表示情緒的強度程度，從放松、無聊逐漸過渡到激動、全神關注，對應的也是由數字1到9的打分尺度來衡量.每名被試者需要在每次實驗后選擇代表情緒量化的分值.被試每次觀看不同視頻后產生的情緒，都可以用SAM表的標準來量化，用作后面的識別和分析.

在情緒識別過程中，情感標簽的劃分對于情緒的正確分類至關重要，由于人的情緒不僅有正、負性情緒，還有介于兩者之間的中性情緒；在情緒的強烈程度上，不僅有情緒的強弱之分，還會出現平靜自然的狀態(tài)，因此情緒識別要充分考慮到不同情緒的狀態(tài).只有確定情緒所處的狀態(tài)，機器才能準確地識別情緒.為了探索情緒的模糊性對情感分類結果的影響，本文在喚醒度和效價上分別采用不同的情感標簽閾值進行維度情緒狀態(tài)劃分.第Ⅰ類情況：情感標簽分值大于或等于7作為高效價高喚醒度，小于或等于3作為低效價低喚醒度；第Ⅱ類情況：情感標簽分值大于或等于6作為高效價高喚醒度，小于或等于4作為低效價低喚醒度.通過選取不同的閾值，分析情緒的模糊程度對識別結果的影響.在以上兩種不同情感閾值情況下，DEAP數據集中皮膚電信號對應于效價和喚醒度情感標簽的樣本數量也不同，如表 2 所示.

表 2 喚醒度和效價閾值劃分的樣本數量

2 皮膚電信號特征提取

在生理信號測量過程中，由于每一個被試個體差異性的影響，每一個人的生理信號是不相同的.即使是一個人在不同時間、不同環(huán)境下測量到的生理信號也會不相同，為了研究被試者的生理信號與情感反應的關系，需要去除每一個被試者生理信號的基礎水平差異即個體差異性，才能有效降低由于個體差異造成的影響，得到生理信號與情感變化的內在關系.本文采用的方法是：用每個被試在情緒視頻誘發(fā)下的GSR數據減去平靜狀態(tài)下的GSR數據，然后對GSR信號的差值再進行歸一化處理.

2.1 時域特征提取

本文參照Augsburg大學[7]特征提取的方法，提取了皮膚電信號的22個時域特征，包括原始皮膚電信號經過預處理后的平均值、中位數、標準差、最大值、最小值、最大值比率、最小值比率、最大值最小值之間的差值；一階差分的均值、一階差分的中位數、一階差分的標準差、一階差分的最大值、一階差分的最小值、一階差分的最大值比率、一階差分的最小值比率；二階差分的均值、二階差分的中位數、二階差分的標準差、二階差分的最大值、二階差分的最小值、二階差分的最大值比率、二階差分的最小值比率.

2.2 頻域特征提取

已有研究表明，皮膚電信號的功率譜密度可以衡量人體交感神經系統(tǒng)的生理變化[8].由于皮膚電信號屬于非平穩(wěn)隨機信號，本文利用AR模型功率譜估計方法進行頻域分析和特征提取.

AR模型輸出的功率譜

(1)

式中：σ2為方差；p是AR模型的階數；{ak(i),i=1,2,3…p}為AR模型的參數.

利用Burg算法[9]，可以快速遞推實現AR模型參數的估計，經過仿真測試，模型階數p選擇9.皮膚電信號的功率譜密度如圖 1 所示.

圖 1 皮膚電信號的功率譜密度

2.3 非線性特征提取

小波包變換是一種分析非平穩(wěn)信號更加細致、有效的方法.它將頻帶進行多尺度劃分，對多分辨率分析沒有細分的高頻部分以二叉樹方式分解成等頻帶寬的子空間，并根據被分析信號的特性，自適應地選擇相應頻帶，使之與信號頻譜相匹配，從而提高時頻分辨率[10].

(2)

小波包節(jié)點能量可以有效表示信號分量的能量，是該節(jié)點小波包系數的平方和.小波包節(jié)點能量

(3)

該層節(jié)點的信號總能量為不同頻帶小波包節(jié)點能量之和，即

(4)

則小波包節(jié)點能量占比為

(5)

小波包熵反映了隨機序列的不確定性，小波包熵值越大表明序列無序性越強.皮膚電信號的小波包熵與情緒狀態(tài)密切相關，在不同情緒誘發(fā)下，交感神經元興奮或抑制的狀態(tài)發(fā)生變化，導致皮膚電序列的無序性隨之發(fā)生變化，因此可提取皮膚電信號的小波包熵進行情緒識別，小波包熵計算如式(6)

WEP=-∑pi,jlnpi,j.

(6)

DEAP數據集中GSR信號經過預處理之后采樣頻率為128Hz.采用db5小波基函數對GSR信號進行6尺度小波包分解，分解頻帶寬度為1 Hz，進而得到第6尺度對應頻段小波包系數，計算皮膚電信號的小波包熵.

綜上所述，本文提取皮膚電信號的時域、頻域、非線性共24個特征.如表 3 所示.

表3 提取的皮膚電信號特征數據

3 情緒分類模型

3.1 決策樹算法

決策樹(Decision Tree,DT)是一種通過分支對原數據依靠其屬性進行分類的樹形結構，決策樹由節(jié)點和有向邊組成.葉結點表示最終的分類標簽，非葉結點為評估條件.進行分類或測試時，將輸入的原始數據集與樹形結構的節(jié)點進行匹配，最終找到唯一的葉結點，則該葉結點的類別標簽就是該數據對應的分類類別[11].目前，決策樹的主流算法有ID3，C4.5，CART 等.ID3算法的核心是在決策樹各個節(jié)點上用信息增益準則選擇特征，遞歸構建決策樹；C4.5算法對ID3算法進行了改進，在決策樹生成的過程中，用信息增益比來選擇特征.本文采用分類與回歸樹(Classification and Regression Tree, CART)模型，CART算法利用基尼系數來進行特征選擇.

樣本集合D的基尼系數

(7)

式中：pk是樣本點屬于第k個類的概率；Ck是樣本集合D中屬于第k類樣本子集；K是類的個數.

樣本集合D根據特征A是否取得某一可能值a，將集合D分成D1和D2兩部分，即

D1={(x,y)∈D|A(x)=a},D2=D-D1.

(8)

則集合D的基尼系數為

(9)

基尼系數Gini(D)表示集合D的不確定性，Gini(D,A) 表示經A=a分割后集合D的不確性.CART算法具有選擇最小基尼系數的特性，基尼系數的值越小，樣本的“純凈度”越高，劃分效果越好.為了解決過擬合的問題，提高決策樹泛化性能，需要對生成的決策樹進行后剪枝處理.

3.2 隨機森林算法

隨機森林(Random Forest,RF)是以自舉匯聚法(bagging)為基礎，由多個弱分類器(決策樹)組成的強分類器.首先，通過自助法(bootstrap)放回抽樣并構造子訓練數據集，每個子訓練數據集構造一個決策樹，然后隨機選取特征參數對決策樹進行訓練.每個決策樹互不相干，判決時將多個決策樹分類器的判決結果進行投票，得到最終的結果[12].

設樣本屬性個數為Mm為大于零且小于M的整數，RF算法實現步驟為：

1) 利用Bootstrap方法重采樣，隨機產生T個訓練集S1,S2…,ST.

2) 利用每個訓練集，生成對應的決策樹N1,N2,…,NT；在非葉子節(jié)點(內部節(jié)點)上選擇屬性前，從M個屬性中隨機抽取m個屬性作為當前節(jié)點的分裂屬性集，并以這m個屬性中最好的分裂方式對該節(jié)點進行分裂.保證每棵樹都完整成長，不對其進行剪枝處理.

3) 對于測試集樣本X，利用每個決策樹進行測試，得到對應的類別N1(x),N2(x),…,NT(x).

4) 采用投票的方法，將T個決策樹中輸出最多的類別作為測試樣本X所屬類別.

本文提取了皮膚電信號的時域、頻域以及非線性共24個特征，因此樣本屬性個數M=24.為了保證整個隨機森林算法的分類準確率，需要設置合適的決策樹數量(Ntrees)來解決袋外錯誤率(Out-of Bag Error,OOB Error)過高和不穩(wěn)定的現象.通過仿真實驗，本文決策樹數量設置為500.圖 2 是決策樹數量與袋外錯誤率的關系，可以看出，隨著決策樹數量增加，袋外錯誤率逐漸降低，當決策樹數量為500時誤差較小且穩(wěn)定.

圖2 決策樹數量與袋外錯誤率的關系

本文采用5折交叉驗證的方法對決策樹和隨機森林算法進行檢驗以得到穩(wěn)定可靠的分類模型，即將皮膚電信號的特征樣本數據隨機均勻分成 5份，保留其中1份作為測試集，其余4份作為訓練集，重復5次，并將這5次分類準確率的結果取平均，得到最終的交叉驗證分類準確率.

4 結果與分析

4.1 仿真結果與模型評價指標

4.1.1 模型評價指標

對于二分類問題常用的模型評價指標是分類準確率(Accuracy,Acc)、精確率(Precision,P)、召回率(Recall,R)和F1值以及混淆矩陣.

分類準確率定義為

(10)

精確率定義為

(11)

召回率定義為

(12)

F1值定義為

(13)

式中：TP表示將正類預測為正類數，即真正類；FN表示將正類預測為負類數，即假負類；FP表示將負類預測為正類數，即假正類；TN表示將負類預測為負類數，即真負類.本文將情感標簽為高喚醒度、高效價的樣本記為正類樣本，低喚醒度、低效價的樣本記為負類樣本.

4.1.2 仿真結果

將提取到的皮膚電信號的時域統(tǒng)計特征、頻域特征以及非線性特征，采用決策樹和隨機森林在喚醒度和效價兩個情感維度上進行分類，分類結果的混淆矩陣如圖 3 和圖 4 所示，并利用式(10)～式(13)計算其分類準確率Acc、精確率P、召回率R和F1值.

4.2 結果分析

4.2.1 情感標簽閾值對分類結果的影響

本文在喚醒度和效價兩個情感維度上對情感標簽閾值進行劃分，分為兩大類.通過選取不同的情感標簽閾值來研究其對情緒識別結果的影響，模型評價指標結果如表 4 所示.

表 4 不同情感標簽閾值的分類結果對比

表 4 結果表明，在喚醒度維度上，利用決策樹算法在第Ⅱ類閾值設定下的分類準確率和F1值分別為88.6%和0.901，而第Ⅰ類閾值的結果為80.9%和0.847；利用隨機森林算法在第Ⅱ類閾值設定下的分類準確率和F1值分別達到了92.0% 和0.933，第Ⅰ類閾值的結果為86.8%和0.897.在效價維度亦是如此.由此可知：利用決策樹或隨機森林算法在喚醒度和效價上進行情感分類時，無論是分類準確率Acc、還是精確率P、召回率R和F1值，第Ⅱ類閾值設定的情緒識別分類結果均優(yōu)于第Ⅰ類閾值的結果.原因主要在于第Ⅱ類閾值設定，無論在喚醒度還是效價維度上模型訓練的樣本數量均多于第Ⅰ類閾值設定的樣本量，不會出現欠擬合，可以充分學習到情感豐富的特征，從而有利于情緒的識別.因此，在進行情感標簽閾值劃分時，不僅需要考慮在喚醒度和效價上情緒表現的強烈程度，還需要考慮到樣本數量對于情緒分類的影響.由此表明，選擇合適的情感閾值和訓練樣本數量有利于提高情緒識別準確率.

4.2.2 分類算法對情緒識別結果的影響

本文分別采用了決策樹和隨機森林算法在喚醒度和效價上進行情緒識別，分類結果如表5所示.

表5結果顯示，第Ⅱ類情感標簽閾值情況下，在喚醒度維度采用隨機森林算法分類準確率和F1值分別為92.0%和0.933，高于決策樹算法的88.6% 和0.901.在效價維度上亦是如此.因此，無論是分類準確率Acc，還是精確率P、召回率R和F1值，采用隨機森林算法在喚醒度和效價上進行情感分類的結果均優(yōu)于決策樹算法.由此表明，在皮膚電信號的情緒識別中，隨機森林基于集成學習的組合分類器相比單一的決策樹分類器可以提高分類準確率，并有效減少過擬合現象，提高模型的泛化能力，同時該算法具有速度快、時間開銷少、穩(wěn)健性好等特點.

表 5 決策樹和隨機森林分類結果對比

4.2.3 與其他方法比較

將本文提取皮膚電信號的時域統(tǒng)計特征，功率譜密度最大值和小波包熵特征，采用決策樹和隨機森林算法在喚醒度和效價上進行情感分類，并與其他機器學習方法相比，取得了較好的分類效果.如表 6 所示.

對于維度情感模型而言，采用決策樹和隨機森林算法在喚醒度和效價兩個情感維度上，分類結果均優(yōu)于文獻[4]采用多層感知機達到的分類準確率.其中采用隨機森林算法在喚醒度和效價上的情感分類準確率高于文獻[6]采用概率神經網絡的情緒識別結果.本文采用的維度情感模型與基于離散情感模型的情緒識別相比較，采用隨機森林算法，在喚醒度和效價兩個情感維度上分類準確率分別達到了92.0%和90.9%，接近文獻[3]基于離散情感模型的識別準確率，遠高于文獻[4]維度情感模型的識別準確率.由此可知，皮膚電信號在維度模型進行情緒識別時，通過提取皮膚電信號的時域、頻域和時頻非線性特征，并采用隨機森林集成學習的樹模型算法可以獲得較好的情緒識別結果和性能.

表 6 不同分類方法的分類準確率對比

5 結束語

本文基于DEAP數據集提取皮膚電信號的時域、頻域以及非線性特征，并利用決策樹和隨機森林算法在喚醒度和效價兩個情感維度上進行情緒識別.仿真實驗結果表明：在維度模型上進行情感分類時，選取合適的情感標簽閾值和樣本數量可有效提高機器情緒識別正確率；利用基于集成學習的隨機森林算法在進行情緒分類時獲得比單一決策樹分類器更好的識別效果；采用多特征融合以及GSR信號差值歸一化處理，模型的泛化能力更強.該研究可以應用于智慧醫(yī)療、人機情感交互、教育和娛樂領域.