宋劍橋，王 峰，牛 錦，師澤洲，馬軍輝

(太原理工大學 信息與計算機學院，山西 太原 030024)

情感作為高級智能的一部分，在人類信息溝通中有著重大意義，因此情感計算是實現(xiàn)和諧、自然、人性化的人機交互過程中不可或缺的部分，情感識別與理解技術已經(jīng)成為人機交互應用中的關鍵技術之一。隨著儀器設備的更新與人工智能的發(fā)展日趨成熟，情緒識別可以廣泛應用于醫(yī)療診斷、安檢防范、特殊崗位人員心理情況檢測等各個領域?，F(xiàn)有的情緒識別技術主要集中在對單一模態(tài)的信息進行分析研究而得出識別結果，例如對人臉圖像表情(微表情)識別、對語音信息的情緒識別和提取人體生理信號進行情緒識別。在眾多外在模態(tài)信號中，人臉表情信號包含有較多的情緒信息，人們很容易從一個人的表情判斷其當時的情緒狀態(tài)。雖然表情識別技術看似可以直觀地反映一個人的情緒狀態(tài)，但并不是所有的情感活動都伴隨著表情的變化，而且表情也可以人為控制，進而誤導對其情緒的判斷。相比于外在模態(tài)信號，內(nèi)在生物電信號不會隨主觀意志而改變，因此基于生物電信號的情緒識別更加可靠。但生物電信號的采集往往較為復雜，需要較為精密的儀器，采集的成本往往較高，并不適用于一般環(huán)境。

起初微表情識別問題主要是通過匹配從圖像或視頻中提取的傳統(tǒng)微表情特征描述符來解決的[1-2]。手工設計的基于特征的微表情識別方法早在十年前就開始了。WU等設計了一種定位人臉的自動系統(tǒng)[3]，他們使用Gabor過濾器來提取特征，Gentleboost作為特征選擇器，并在生成的特征上使用支持向量機(Support Vector Machine，SVM)來識別面部微表情，系統(tǒng)識別正確率可達85.42%。LU等提出一種基于運動邊界直方圖融合的新特征[4]，該特征是由運動邊界直方圖(Motion Boundary Histograms，MBH)激發(fā)的光流水平分量和垂直分量相結合產(chǎn)生的，將生成的特征向量輸入支持向量機進行微表情分類。LIU等[5]提出一種用于微表情識別的主方向平均光流(Main Directional Mean Optical-flow，MDMO)特征，首先計算人臉不同子區(qū)域的方向平均光流，然后特征向量輸入支持向量機進行微表情的訓練和識別，得到比其他方法更好的結果。最近，計算機視覺科學家正在努力將深度學習模型應用于微表情識別。隨著深度學習的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network，CNN)逐步被用于輸入為圖像或視頻的計算機視覺問題。LI等[6]使用深度多任務卷積神經(jīng)網(wǎng)絡檢測面部子區(qū)域，利用融合卷積神經(jīng)網(wǎng)絡提取肌肉變化區(qū)域的光流特征并進行修正和細化，最終采用支持向量機實現(xiàn)微表情分類。PENG等[7]對在面部表情數(shù)據(jù)集上預訓練的卷積神經(jīng)網(wǎng)絡進行微調(diào)，用于微表情和宏表情的識別。文獻[8-11]利用兩步深度學習架構對微表情實現(xiàn)分類。在這類典型的兩步模型中，首先利用卷積神經(jīng)網(wǎng)絡對微表情視頻的每一幀進行空間特征提取，然后將空間特征輸入到長短時記憶網(wǎng)絡(Long Short Term Memory，LSTM)，以學習幀間的時間相關性。國內(nèi)外很多學者通過提取生理信號特征來分析人類情緒。FRANTZIDIS等[12]提出一種兩步分類的方法來區(qū)分不同條件刺激下所引起的情緒變化，首先進行喚醒度辨別，然后利用馬氏距離分類器和支持向量機進行情緒識別。KHZRI等[13]提出一種融合多種情緒模式的自適應方法來改善情緒識別系統(tǒng)的性能，通過記錄信號形成幾個分類單元以獨立識別情緒，然后利用自適應加權線性模型對結果進行融合，得到最終結果。多模態(tài)即內(nèi)部存在相互補充的各類反映情緒特征的信號的結合[14]，在1997年由DUC等[15]首次提出，通過提取人面部和語音的特征用于身份識別。BAILENSON等[16]通過提取測量心血管活動、身體活動和皮膚電反應等生理特征，并結合面部特征進行開心和悲傷的二分類實驗，實驗結果證明融合后的雙模態(tài)識別效果較單一模態(tài)效果好。TRIPATHI等[17]首先使用IEMOCAP數(shù)據(jù)集上執(zhí)行多模態(tài)情緒識別，使用來自語音、文本的數(shù)據(jù)，以及來自面部表情、旋轉(zhuǎn)和手部動作的動作捕捉數(shù)據(jù)。所以目前越來越多的學者將研究的重點由單一模態(tài)的識別轉(zhuǎn)向多模態(tài)情緒識別，通過便于采集的人臉特征信息結合不同的生理信號進而實現(xiàn)對人的情緒識別。最近的多模態(tài)情感分析研究主要采用深度學習模型對模態(tài)內(nèi)部信息和模態(tài)之間的交互信息進行建模[18-19]。盡管眾多學者對于多模態(tài)情緒識別研究有很大進展，但現(xiàn)有的多模態(tài)情緒識別技術存在一定的問題，首先是研究年限較短，識別效果并未達到理想狀態(tài)[18]，其次是現(xiàn)有的多模態(tài)情緒識別技術并未簡化情緒識別的復雜度，其采用的生理信號往往還需要較為復雜的過程采集。

為了改進情緒識別的識別效果，筆者提出基于三維卷積神經(jīng)網(wǎng)絡(3D Convolutional neural networks，Conv3D)+長短時記憶卷積神經(jīng)網(wǎng)絡(Long Short Term Memory Convolutional neural networks，ConvLSTM)的時空神經(jīng)網(wǎng)絡，一方面通過Conv3D提取微表情的短時維度特征和空間維度特征，另一方面加入ConvLSTM直接對輸出的特征圖提取長時間維度特征，由此結合二者優(yōu)勢實現(xiàn)對微表情序列的訓練與分類。除此之外，針對多模態(tài)中生理信號提取復雜這一問題，提出融合時空神經(jīng)網(wǎng)絡和人臉脈搏信號的潛在情緒識別，按照雙路架構：一路按照基于色度模型的人臉脈搏信號方法提取人臉脈搏信號及其特征，并訓練反向傳播(Back Propagation，BP)分類器對其分類，得到情緒的分類概率值；另一路通過訓練文中提出的時空神經(jīng)網(wǎng)絡(Spatio Temporal Neural Network，STNN)，實現(xiàn)對微表情的分類，最終通過D-S(Dempster-Shafer)證據(jù)理論，融合兩路結構的決策信息，完成對潛在情緒的識別。

1 脈搏信號的特征提取

1.1 基于色度模型的人臉脈搏信號的提取

筆者采取基于色度模型的脈搏信號提取方法，通過計算紅綠藍(Red，Green，Blue，RGB)三通道的信息差值和比例得到色度模型，可以有效地去除靜態(tài)成分、運動干擾與漫反射干擾?；谏饶Ｐ偷拿}搏信號提取過程如圖1所示。首先用綜合自適應增加(AdaBoost)和VIOLA-JONES[19]方法對視頻進行逐幀人臉檢測，其主要原理是通過積分圖像的方法，計算其哈爾(Haar-like)特征，基于Adaboost原理訓練強分類器用于人臉檢測。選取去除眼睛和嘴巴后的面部區(qū)域作為感興趣區(qū)域(Region Of Interest，ROI)，由此可以避免眼睛眨動和嘴巴動作對脈搏信號提取的影響。

圖1 基于色度模型提取脈搏信號流程圖

根據(jù)色度模型原理，脈搏變化會引起面部皮膚反射光強度的變化，其可以體現(xiàn)在圖像中亮度信息的變化，亮度信息可以通過計算圖片的像素均值得到。為分析這種皮膚反射光的變化，色度模型作出如下描述，對于第i幀，其通道亮度信息變化可表示為

(1)

按下式對通道信息進行歸一化處理以消除Ici的影響：

(2)

其中，Ci表示顏色通道信息，μ(Ci)表示該段時間序列內(nèi)顏色通道亮度信息的均值，Cni為標準化后的信號。然后，計算色度信號為

圖2 基于色度模型的脈搏信號

Xs=2R1(n)-3G1(n) ，

(3)

Ys=1.5R1(n)+G1(n)-1.5B1(n) ，

(4)

其中，R1(n)、G1(n)和B1(n)為標準化后信號。

最后，為消除漫反射及靜態(tài)成分的干擾，對Xs和Ys通過帶通濾波器(0.7～4.0 Hz)得到Xf和Yf，并由下式提取脈搏波信號S：

S=Xf-αYf，

(5)

(6)

其中，σ(?)表示信號的標準差。

基于色度模型的脈搏信號如圖2所示。

1.2 脈搏信號特征提取

對脈搏波提取時域特征，主要包括均值、標準差、一階差分信號的絕對值、均值、二階差分信號的絕對值、均值，以及歸一化差分信號的絕對值、均值，對得到脈搏波進行五點移動平滑濾波并除去異搏，然后檢測上述波形的主波峰，計算相鄰主波峰的時間間隔(峰-峰間隔，即P-P間隔)，剔除時間間隔小于50 ms的脈搏波，將正常P-P間隔繪制得到脈搏變異信號(Pulae Rate Variability，PRV)，對PRV提取均值、標準差等時域特征，統(tǒng)計P-P間隔大于50 ms的個數(shù)，并計算P-P間隔大于50 ms的百分比，計算P-P間隔的差值均方根。對脈搏波提取頻域特征，用典型的1 024點快速傅里葉變換將原始信號(0.7 Hz～4.0 Hz)劃分為6個不重疊的子帶，分別計算每個子帶的功率譜熵：

(7)

p(ωi)由不同子帶的功率譜密度歸一化得到。將6個子帶中前3個子帶作為低頻帶，后3個子帶作為高頻帶，計算高低頻帶功率譜熵比。對PRV進行3次樣條插值，細化脈搏波峰值點，通過去除信號均值保留信號瞬時特性，進行傅里葉變換分析PRV頻域特征，分別計算甚低頻功率a(VLF，0.003 Hz～0.400 Hz)，即

(8)

其中，DPSD(f)為信號功率譜密度，f1和f2分別為起始頻率。同理求得低頻功率(LF，0.40～0.15 Hz)、高頻功率(HF，0.15～0.40 Hz)、總功率、低頻功率與高頻功率比、低頻功率與總功率比、高頻功率與總功率比。

通過學習生物工程等領域的方法，提取生理信號的非線性特征用于情緒識別，包括最大Lyapunov指數(shù)、多尺度熵和Lempel-Ziv復雜度。最大Lyapunov指數(shù)[20]可以用于判斷非線性系統(tǒng)是否處于混沌狀態(tài)，定量刻畫相空間中相鄰軌道收斂或發(fā)散的速率，可以體現(xiàn)出系統(tǒng)的混沌狀態(tài)。多尺度熵[21]為研究不確定時間尺度下的觀察視角，將樣本熵進行多尺度擴展，解決時間序列中不同時間尺度的問題。由于多尺度熵計算不同時間尺度信號的熵，因此對生理信號在不同時間尺度下的復雜度變化有很大作用。Lempel-Ziv復雜度是一種表征時間序列里出現(xiàn)新模式的速率的方法，具有一定的抗干擾能力，可以有效處理一些高度不平穩(wěn)的信號。

2 融合時空神經(jīng)網(wǎng)絡和人臉脈搏信號的潛在情緒識別

筆者提出的融合時空神經(jīng)網(wǎng)絡和人臉脈搏信號的潛在情緒識別，是一種雙路識別結構，如圖3所示。雙路結構的潛在情緒識別，一方面從非接觸式的生理信號入手。鑒于采集生理信號所需要的儀器精密，采集過程復雜，耗時費力，可通過非接觸式的方式基于色度模型采集人臉脈搏信號，簡化生理信號采集過程；對于提取的脈搏信號，提取其時域特征、頻域特征及非線性特征，然后通過反向傳播神經(jīng)網(wǎng)絡分類器得出不同情緒的分類概率。另一方面從微表情著手，采用提出基于深度學習的時空神經(jīng)網(wǎng)絡，如圖3下部分所示。利用時空神經(jīng)網(wǎng)絡提取微表情視頻序列中的時間維度特征和空間維度特征，經(jīng)過全連接后通過多項邏輯斯特(Softmax)得出不同情緒的分類概率。由此可以得到輸入視頻通過雙路結構后出現(xiàn)不同的概率值，最終通過D-S證據(jù)理論進行決策融合，得到最終的潛在情緒識別結果。

圖3 融合時空神經(jīng)網(wǎng)絡和人臉脈搏信號的潛在情緒識別框圖

首先介紹所提出的時空神經(jīng)網(wǎng)絡的網(wǎng)絡架構。該網(wǎng)絡主要由Conv3D+ConvLSTM組成，通過Conv3D提取微表情序列的空間維度特征和短時時間維度特征，通過ConvLSTM對輸出的特征圖提取長時間維度特征，其網(wǎng)絡架構如圖4所示。

圖4 STNN網(wǎng)絡架構

如圖4所示，時空神經(jīng)網(wǎng)絡包括兩個三維卷積層、1個最大池化層、兩個ConvLSTM層、1個平鋪(Flatten)層和兩個全連接層(FC)。該網(wǎng)絡的輸入為w×h×d，其中w和h表示輸入圖片尺寸大小，在文中固定為64，d表示輸入視頻的幀數(shù)，文中為96。與2D卷積只能提取空間特征不同，3D卷積運算可以同時提取視頻序列的短時時間維度特征和空間維度特征。筆者所提出的時空神經(jīng)網(wǎng)絡中，每個Conv3D層有32個卷積核，卷積核的尺寸為3×3×15，其中3×3為接受空間域的大小，15為時間深度，卷積層中填充(padding)設為有效(Valid)模式，步長設置為1×1×1。

時空神經(jīng)網(wǎng)絡的具體網(wǎng)絡參數(shù)設置如表1所示。

表1 時空神經(jīng)網(wǎng)絡具體參數(shù)設置

此外，時空神經(jīng)網(wǎng)絡中采用的丟棄(dropout)優(yōu)化策略以避免網(wǎng)絡過擬合[22]，因為在丟棄率選擇0.5時隨機生成的網(wǎng)絡結構最多，所以丟棄率選為0.5。其中各個卷積層和FC層均采用線性整流函數(shù)(Relu)非線性層激活。采用交叉熵損失函數(shù)和隨機梯度下降對默認學習率進行優(yōu)化。

D-S證據(jù)理論的核心思想是通過證據(jù)積累來減少不確定性。文中的多模態(tài)融合中，共有脈搏信號和時空神經(jīng)網(wǎng)絡情感識別模型2個分類器，其概率賦值函數(shù)(Basic Probability Assignment，BPA)分別為m1(0)、m1(1)、m1(2)、m1(3)和m2(0) 、m2(1)、m2(2)、m2(3)，代表每個分類器對于不同識別結果的可信度。對于每個BPA，首先乘以相應的情感識別率，之后進一步進行融合。利用所有分類器對產(chǎn)生的同一結果A值的BPA函數(shù)進行累乘得到融合之后的結果m12(A)，其和最大的值即為相應的類別。

3 實驗結果分析

3.1 數(shù)據(jù)集

由于潛在情緒的識別需要采集一定時長的脈搏信號信息，而常用的數(shù)據(jù)庫如CK+等不能滿足脈搏信號的提取，故數(shù)據(jù)庫選用中科院CAS(ME)^2數(shù)據(jù)庫和自己建立的大學生潛在情緒數(shù)據(jù)庫(University Student Potential Emotion，USPE)，剔除部分樣本量太少以及不滿足要求的數(shù)據(jù)，最終CAS(ME)^2數(shù)據(jù)庫保留296個樣本用于實驗；USPE潛在情緒數(shù)據(jù)庫使用408個樣本，選取的情緒包括厭惡、悲傷、憤怒和開心4種。當訓練神經(jīng)網(wǎng)絡使用小型訓練數(shù)據(jù)集時，如CAS(ME)^2數(shù)據(jù)庫用100個樣本，USPE潛在情緒數(shù)據(jù)庫使用200個樣本時，模型會過度擬合，訓練集和驗證集的損失函數(shù)如圖5所示。

圖5 少量樣本損失函數(shù)圖

圖6 數(shù)據(jù)擴充后損失函數(shù)圖

表2 實驗數(shù)據(jù)樣本分布

為解決這一問題，常用的方法有水平或垂直鏡像、裁剪、小的旋轉(zhuǎn)等數(shù)據(jù)擴充操作。但大幅度的操作可能會改變微表情的運動信息，故本節(jié)將圖像序列按照{(diào)-7°，-3°，3°，7°}的角度進行旋轉(zhuǎn)，最終得到原始數(shù)據(jù)的5倍數(shù)據(jù)，將數(shù)據(jù)集進行拆分，80%作為訓練集，20%作為測試集，最終用于實驗的數(shù)據(jù)樣本分布如表2所示。由于潛在情緒識別中所需要的數(shù)據(jù)時間較長，故用于時空神經(jīng)網(wǎng)絡訓練的視頻幀選為96幀，同時截取包含該微表情的10 s視頻用于提取非接觸式的脈搏信號及其特征。擴充數(shù)據(jù)集后訓練集和驗證集的損失函數(shù)如圖6所示?；跁r空神經(jīng)網(wǎng)絡的微表情識別使用交叉熵損失函數(shù)和隨機梯度下降(SGD)優(yōu)化技術來實現(xiàn)默認的學習速率調(diào)整。網(wǎng)絡經(jīng)過100個epoch的訓練，其批處理大小為8，輸入尺寸大小為64×64×96。

3.2 對比實驗

3.2.1 基于時空神經(jīng)網(wǎng)絡的微表情識別

網(wǎng)絡模型的性能依賴于網(wǎng)絡的許多超參數(shù)，使用較小的步長可以更好地遍歷整個圖像，更好地采集特征，所以使用1×1×1的步長。另一個重要的超參數(shù)是3D卷積核的尺寸；不同尺寸的3D卷積核提取時空特征的能力不同。筆者通過設置不同尺度的卷積核尺寸，使網(wǎng)絡達到最佳的性能。如表3所示，最優(yōu)的3D卷積核尺寸是3×3×15。實驗結果表明，在空間范圍尺寸較小、時間深度較大時，識別效果最好。

較大核的ConvLSTM能夠捕捉快速的運動，而較小的核則能捕捉較慢的運動。為了選擇最優(yōu)的卷積核尺寸，通過更改其核尺寸進行實驗，實驗結果如表4所示。實驗表明在卷積核尺寸為3×3時，識別效果最好。

表3 不同尺寸3D卷積核下的識別效果

表4 不同尺寸ConvLSTM卷積核下的識別效果

3.2.2 融合時空神經(jīng)網(wǎng)絡和人臉脈搏信號的潛在情緒識別

融合時空神經(jīng)網(wǎng)絡和人臉脈搏信號的潛在情緒識別采用決策融合的方式構建潛在情緒識別系統(tǒng)。該系統(tǒng)結構為雙路結構，分別對各路進行分類，將兩路的分類結果進行融合，得出潛在情緒的識別結果。一路從非接觸式的生理信號入手，實驗結果如表5實驗1所示；另一路從微表情著手，通過時空神經(jīng)網(wǎng)絡模型提取微表情視頻序列中的時間維度特征和空間維度特征，經(jīng)過全連接后通過Softmax得出不同情緒的分類概率實驗結果如表5實驗2所示。最終將得到雙路結構輸出的不同概率值，經(jīng)過D-S證據(jù)決策融合，得到最終的潛在情緒識別結果，實驗結果如表5所示。

表5 融合時空神經(jīng)網(wǎng)絡和人臉脈搏信號的潛在情緒識別結果

分析表5可知，實驗1結果表明，在CAS(ME)^2數(shù)據(jù)庫和USPE數(shù)據(jù)庫的情緒的平均識別率差距不大，表明文中所提出的基于非接觸式人臉脈搏信號的情緒識別對潛在情緒的識別有一定作用。實驗中辨識度較高的情緒識別率較高，例如驚訝和開心，最高可達71.93%和75.96%；相反，辨識度較低或者容易混淆的情緒識別率較低，例如生氣、厭惡和悲傷，最低為57.88%、59.10%和62.90%。實驗2與實驗1相比，對于CAS(ME)^2數(shù)據(jù)庫和USPE數(shù)據(jù)庫的識別率分別提高了12.71%和10.79%，證明微表情在潛在情緒識別中的重要意義，同時也證明文中所提出時空神經(jīng)網(wǎng)絡在微表情識別中的可靠性。實驗3表明，經(jīng)過D-S證據(jù)理論決策融合后的潛在情緒識別的識別率相比于單一模態(tài)的非接觸式生理信號的識別率和微表情的識別率均有提升，在CAS(ME)^2數(shù)據(jù)庫上分別提升了14.28%和1.57%，在USPE數(shù)據(jù)庫上分別提升了12.87%和2.08%。由此可以看出，潛在情緒識別中的非接觸式人臉脈搏信號和微表情互為補充，可更好地表征人當前時刻的潛在情緒狀態(tài)。

3.2.3 不同情緒識別算法的比較

目前已有的一些情緒識別算法在文中所用的兩個數(shù)據(jù)庫上進行比較，最終實驗結果如表6所示。從表中可以看出，文中所提出的融合時空神經(jīng)網(wǎng)絡和人臉脈搏信號的潛在情緒識別網(wǎng)絡在加入生理信號的決策信息之后，相比于目前常用的微表情識別方法，識別效果更好，而在算法復雜度方面較其他算法無明顯提升，表明該算法有一定的優(yōu)越性。

表6 不同情緒識別算法的比較 %

4 結束語

筆者提出基于Conv3D+ConvLSTM的時空神經(jīng)網(wǎng)絡與融合時空神經(jīng)網(wǎng)絡和人臉脈搏信號的潛在情緒識別。實驗在CAS(ME)^2數(shù)據(jù)庫和USPE自建庫上進行實驗，研究雙路結構的潛在情緒識別結果，平均識別率約達78.59%和76.91%，較單一模態(tài)的非接觸式人臉脈搏信號和微表情的識別均有一定提升，證明結合上述二者的潛在情緒更符合人類情緒機制，可以更好地表征人的情緒狀態(tài)。筆者提出的方法對部分類型的情緒識別率較低，未來可以針對這一部分情緒，從情緒檢測的原理和檢測模型的設計方面進行深入研究。