粟立威，陶雪，饒治，李貴文，嵇曉強(qiáng)

（長春理工大學(xué) 生命科學(xué)技術(shù)學(xué)院，長春 130022）

面部表情被廣泛用于情緒識(shí)別中，并且取得了較好的結(jié)果，但在自然環(huán)境中，可靠性不能得到保證［1-2］。其識(shí)別精度除了會(huì)受相機(jī)角度、照明和面部遮擋等因素的影響之外，面部表情也更容易被人為控制或偽造，導(dǎo)致情緒識(shí)別的真實(shí)性和精度下降。因此，使用面部表情來識(shí)別情緒狀態(tài)可能會(huì)導(dǎo)致錯(cuò)誤的分類。有研究通過腦電、心電、肌電、光體積描記等生理信號(hào)來實(shí)現(xiàn)人類情緒的識(shí)別［3-10］。與面部表情相比，使用生理參數(shù)來評估情緒更客觀和可靠，并能夠提供情緒狀態(tài)的有用特征。

生理信號(hào)是量化情緒的可靠數(shù)據(jù)［11］，但依賴于與傳感器的直接接觸。侵入性的傳感器會(huì)干擾受試者并改變其情緒狀態(tài)［12］。此外，這些設(shè)備測量的復(fù)雜性和電極的靈敏度限制了應(yīng)用范圍，如燒傷、創(chuàng)傷、傳染病和嚴(yán)重感染等情況。最近，有研究提出使用IPPG 技術(shù)用于從面部提取生理線索的情緒識(shí)別系統(tǒng)［13-14］。這是一種從PPG（Photoplethysmography）發(fā)展而來的非接觸式的光學(xué)檢測技術(shù)［15］，使用視頻序列測量血容量脈搏引起的光吸收變化，以提取心肺參數(shù)，包括心率、脈搏率變異性（Pulae Rate Variability，PRV）和呼吸率［16-18］。

本文提出了一種基于IPPG 技術(shù)的非接觸式情緒識(shí)別方法，首先從面部視頻中提取IPPG 信號(hào)，并使用小波變換和帶通濾波對信號(hào)去噪，接下來提取有效特征，最后對比四種不同的機(jī)器學(xué)習(xí)算法模型進(jìn)行情緒分類。與基于面部表情的情緒識(shí)別相比，測量結(jié)果更加客觀；與基于接觸式的生理信號(hào)測量相比，測量過程更加簡單，應(yīng)用更加廣泛。

1 方法

1.1 整體框架

本文提出的情緒識(shí)別方法如圖1 所示。人臉面部視頻首先進(jìn)行面部識(shí)別，再進(jìn)行信號(hào)處理，提取到IPPG 信號(hào)，并通過去噪算法提高信號(hào)質(zhì)量，接著從IPPG 信號(hào)中提取心率變異性（Heart Rate Variability，HRV)特征，再使用機(jī)器學(xué)習(xí)對HRV 特征進(jìn)行分類，最后得到基于IPPG 信號(hào)的情緒識(shí)別結(jié)果。

圖1 基于IPPG 信號(hào)的情緒識(shí)別流程

1.2 DEAP 數(shù)據(jù)集

本文使用DEAP 數(shù)據(jù)庫中22 位被測者的正面視頻作為IPPG 信號(hào)的數(shù)據(jù)來源。DEAP 數(shù)據(jù)庫是目前公開最大、最全面的物理信號(hào)情感數(shù)據(jù)集，已被廣泛地應(yīng)用于情感識(shí)別相關(guān)的研究中［19-21］。該數(shù)據(jù)集提供了10 個(gè)通道的數(shù)據(jù)，包括腦電圖信號(hào)、皮膚電反應(yīng)信號(hào)和光電容積脈搏波信號(hào)。32 名被測者（16 名女性，16 名男性）觀看了40 個(gè)音樂時(shí)長均為60 s 的MV 片段，每個(gè)MV 片段表達(dá)著不同的情感，在觀看視頻的同時(shí)采集被測者多種生理信號(hào)，并錄制了60 s 頻率為50 Hz 的面部視頻。同時(shí)，在觀看視頻結(jié)束后進(jìn)行及時(shí)的自我評估，主要是對視頻的喚醒度、效價(jià)度、支配度和喜好度進(jìn)行情感評價(jià)。本文選擇了喚醒和效價(jià)兩種維度。其中，喚醒度表示由平靜狀態(tài)逐漸過渡到興奮狀態(tài)；效價(jià)度表示心情愉悅程度，從消極狀態(tài)逐漸過渡到積極狀態(tài)。

1.3 IPPG 信號(hào)提取

1.3.1 人臉檢測與感興趣區(qū)域選取

DEAP 數(shù)據(jù)庫中的視頻包含不相關(guān)的背景，會(huì)影響到IPPG 信號(hào)的獲取，因此需要對視頻中的背景進(jìn)行去除。Retina Face［22］是自然場景下較為精確且高效的輕量級人臉檢測算法之一，使用Retina Face 人臉檢測算法來定位視頻中的人臉并去除視頻中與人臉無關(guān)的背景。首先將視頻轉(zhuǎn)換成連續(xù)的圖像序列，序列長度為3 000，然后利用Retina Face 人臉檢測算法檢測每一幀的人臉區(qū)域。

在IPPG 信號(hào)的相關(guān)研究中，額頭、眼睛和臉頰是被用來作為感興趣區(qū)域（Region of Interest，ROI）比較多的地方［23］。在DEAP 數(shù)據(jù)庫中，觀察受試者的正面視頻，發(fā)現(xiàn)額頭區(qū)域均未出現(xiàn)大部分的毛發(fā)遮擋。由于人臉肌肉運(yùn)動(dòng)的不確定性會(huì)導(dǎo)致ROI 存在運(yùn)動(dòng)噪聲，如眼球運(yùn)動(dòng)和嘴部運(yùn)動(dòng)等。因此，本文選取額頭作為IPPG 信號(hào)的ROI 進(jìn)行生理信號(hào)提取，如圖2 所示。

1.3.2 信號(hào)采集

將提取到的面部ROI 圖片進(jìn)行顏色通道分離，將其分離為R、G、B 三個(gè)單通道圖像，通過計(jì)算單通道內(nèi)ROI 的像素均值得到IPPG 信號(hào)。皮膚的黑色素會(huì)吸收大量波長較短的波，并且在波長500～600 nm 的可見光波段，入射光大部分會(huì)被血紅蛋白吸收，對應(yīng)可見光的黃綠色區(qū)域，因此綠色通道的信號(hào)更能夠反映心臟的周期性變化。本文選擇綠色通道的信號(hào)作為IPPG 的原始信號(hào)，信號(hào)原始曲線如圖3 所示。

圖3 原始曲線圖

1.4 信號(hào)去噪

原始信號(hào)中混雜著呼吸信號(hào)以及與心臟搏動(dòng)無關(guān)的其他生理信號(hào)。在實(shí)驗(yàn)過程中，存在采集設(shè)備自身干擾、運(yùn)動(dòng)偽跡等噪聲，主要包括高頻噪聲和基線漂移。為了獲取到人體有效脈搏波頻率范圍內(nèi)的信號(hào)，需要設(shè)計(jì)濾波器進(jìn)行濾波處理。實(shí)驗(yàn)使用小波變換和帶通濾波對信號(hào)進(jìn)行濾波處理，信號(hào)去噪如圖4 所示，其中信號(hào)去噪流程如圖4（a）所示。

圖4 信號(hào)去噪

通過心率變異性（Heart Rate Variability，HRV）特征對情緒進(jìn)行識(shí)別，需要計(jì)算心率?；谡Ｈ诵奶l率范圍，IPPG 信號(hào)集中在第三、四層分解信號(hào)中，將這兩層信號(hào)結(jié)果進(jìn)行疊加，作為去除基線漂移后包含心跳頻率范圍的小波重構(gòu)波形，小波變換后的信號(hào)如圖4（b）所示。實(shí)驗(yàn)設(shè)置帶通濾波器，通頻帶設(shè)置為0.9～3 Hz，對應(yīng)心跳頻率為56～180 bmp，可以滿足短時(shí)間內(nèi)人體心跳的變化范圍。將經(jīng)過小波重構(gòu)后的信號(hào)進(jìn)行帶通濾波處理，去噪后的信號(hào)如圖4（c）所示。

為了提取到質(zhì)量更高的IPPG 信號(hào)，并保證設(shè)置的濾波器適用于每一個(gè)樣本的自身有效脈搏波頻率范圍，需要先計(jì)算樣本的心率頻率。將小波重構(gòu)后的信號(hào)進(jìn)行快速傅里葉變換，獲取幅值最大值對應(yīng)的頻率值，即為對應(yīng)的心率頻率，記為amax。依據(jù)獲得的心率頻率amax設(shè)置窄帶濾波器，張弛等人［24］提出的極短時(shí)非接觸式心率變異性分析的結(jié)論0.3 為其經(jīng)驗(yàn)值，本文經(jīng)驗(yàn)值設(shè)置為0.3，包含36 bmp 的心跳波動(dòng)，可以滿足短時(shí)間內(nèi)人體心跳的變化范圍。因此將窄帶濾波器的最大截止頻率設(shè)置為amax+0.3，最小截止頻率設(shè)置為amax-0.3。將上一步驟小波及帶通濾波后的信號(hào)進(jìn)行窄帶濾波，最終得到了質(zhì)量更高的IPPG 信號(hào)，最終IPPG 信號(hào)的結(jié)果如圖4（d）所示。

1.5 特征提取

HRV 與PRV 等價(jià)，可以用來判斷自主神經(jīng)活性，衡量其內(nèi)部交感與迷走神經(jīng)調(diào)節(jié)的均衡程度［25］。對IPPG 信號(hào)進(jìn)行峰值點(diǎn)檢測。HRV 分析首先要獲取RR 間期序列，即相鄰峰值點(diǎn)之間的時(shí)間，為了獲取準(zhǔn)確的特征值，需要去除RR間期序列的離群值，本文設(shè)置最大與最小的RR間隔時(shí)間為400 ms 和1 800 ms，刪除其范圍外的時(shí)間間隔，并采用3 次樣條插值添加新的RR 間期數(shù)值。

研究表明SDNN、RMSSD、PNN50、HF/LF 這些特征值與情緒之間的聯(lián)系更為緊密［26］，本文使用包括上述特征在內(nèi)的時(shí)域、頻域特征共8 個(gè)HRV 參數(shù)，如表1 所示。

表1 HRV 特征

1.6 特征分類

有效分類器的選擇對于識(shí)別情緒的準(zhǔn)確性和效率至關(guān)重要。本文采用了四種分類器，包括SVM［27］、K 近鄰、決策樹和隨機(jī)森林［28］，并比較了它們從IPPG 信號(hào)中提取HRV 特征進(jìn)行情感分類任務(wù)的優(yōu)劣。本文選擇SVM 等傳統(tǒng)分類器的原因有：（1）DEAP 數(shù)據(jù)集中包含了多位被試者的多模態(tài)生理數(shù)據(jù)、心理問卷數(shù)據(jù)和視頻刺激數(shù)據(jù)，SVM 等傳統(tǒng)分類器能夠?qū)@些數(shù)據(jù)進(jìn)行較好分類，可以有效地區(qū)分不同情感狀態(tài)之間的差異；（2）相較于神經(jīng)網(wǎng)絡(luò)等模型，SVM 分類器在分類決策時(shí)所采用的決策函數(shù)具有很強(qiáng)的解釋性，這種特性有助于理解不同生理和心理特征與情感之間的關(guān)系，進(jìn)而提高情感識(shí)別的效果；（3）情緒識(shí)別任務(wù)需要處理大量的視頻數(shù)據(jù)，涉及到高維特征的提取和分類，SVM 等算法具有良好的可擴(kuò)展性，可以處理大規(guī)模的DEAP數(shù)據(jù)集，同時(shí)也適用于高維數(shù)據(jù)的分類；（4）在DEAP 數(shù)據(jù)集中存在著各種噪聲和干擾因素，例如環(huán)境光照和受試者不自主運(yùn)動(dòng)等。SVM 等算法具有較高的魯棒性和穩(wěn)定性，能夠有效地應(yīng)對這些干擾因素，提高情感分類的準(zhǔn)確度。

使用DEAP 數(shù)據(jù)庫中的22 名參與者的面部視頻為數(shù)據(jù)源，樣本數(shù)量為856，并采用5 折交叉驗(yàn)證對SVM、決策樹、隨機(jī)森林和K 近鄰算法進(jìn)行驗(yàn)證以得到效果最佳的分類模型。即將樣本按照7：3 的比例劃分成訓(xùn)練集和測試集，在訓(xùn)練集上使用5 折交叉驗(yàn)證得到最佳的分類模型，并在測試集進(jìn)行測試得到最終的分類結(jié)果，四個(gè)分類模型的參數(shù)如表2 所示。

表2 分類模型參數(shù)

2 結(jié)果與分析

對于情感識(shí)別分類問題，本文使用多個(gè)評價(jià)指標(biāo)，如準(zhǔn)確率（Accuracy，Acc）、精確率（Precision，P）、召回率（Recall，R）和F1 值。這些測量的數(shù)學(xué)表達(dá)式是根據(jù)混淆矩陣參數(shù)定義的，如真正類（TP），表示將正類預(yù)測為正類數(shù)；真負(fù)類（TN），表示將負(fù)類預(yù)測為負(fù)類數(shù)；假正類（FP），表示將負(fù)類預(yù)測為正類數(shù)；假負(fù)類（FN），表示將正類預(yù)測為負(fù)類數(shù)。則：

將提取到的IPPG 信號(hào)的時(shí)域特征和頻域特征采用四種分類器在喚醒和效價(jià)兩個(gè)情感維度上進(jìn)行分類，分類結(jié)果的混淆矩陣如圖5 所示，并利用公式（1）～（4）計(jì)算其分類準(zhǔn)確率Acc、精確率P、召回率R和F1 值。

圖5 四種分類算法的混淆矩陣

使用DEAP 數(shù)據(jù)集進(jìn)行分類訓(xùn)練，對比不同分類器對情緒識(shí)別結(jié)果的影響，模型評價(jià)指標(biāo)結(jié)果如表3 所示。

表3 模型評價(jià)指標(biāo)結(jié)果

在喚醒維度上，SVM 的準(zhǔn)確率、精確率和F1值三個(gè)指標(biāo)都是最高的，分別為61.09%、67.20%、0.701。決策樹的召回率是最高的，其值為83.20%。SVM 的召回率為73.10%，排在第二。在效價(jià)維度上，SVM 的準(zhǔn)確率和精確率最高，分別為53.31%和55.30%。召回率和F1 值最高的是KNN，分別是60.60%和0.572，SVM 的召回率和F1 值分別排在第三和第二。整體來看SVM 模型對喚醒和效價(jià)都有很好的分類性能。

本文的情緒識(shí)別系統(tǒng)在DEAP 數(shù)據(jù)集上與其他算法的比較如表4 所示。本文提出的框架在喚醒方面表現(xiàn)較全連接模型、貝葉斯分類器、決策樹好，SVM 分類器的準(zhǔn)確度為61.09%，效價(jià)方面與全連接模型、決策樹相差不大，但較全連接模型差。這是由于分類器的結(jié)果是從各種外圍信號(hào)生成的，而本文的結(jié)果僅從IPPG 信號(hào)導(dǎo)出。與卷積神經(jīng)網(wǎng)絡(luò)、多波段特征矩陣和CapsNet 相比，本文準(zhǔn)確度在喚醒和效價(jià)表現(xiàn)都一般。其中，卷積神經(jīng)網(wǎng)絡(luò)則結(jié)合了血液容積脈搏波（Blood Volume Pulse，BVP）和皮膚電導(dǎo)率（Skin Conductance，SV）兩種生理參數(shù)，多波段特征矩陣和CapsNet 則通過包含大量情緒信息的EEG（Electroencephalogram）信號(hào)實(shí)現(xiàn)情緒識(shí)別。盡管如此，差異并不大，表明了IPPG 用于情緒識(shí)別的潛力。IPPG 技術(shù)情緒識(shí)別精度目前難以達(dá)到非常高的準(zhǔn)確度，這是由于許多因素會(huì)導(dǎo)致IPPG脈沖失真，包括成像儀器性能差、光源穩(wěn)定性和受試者的狀態(tài)（靜止或運(yùn)動(dòng)）等。其中，與受試者運(yùn)動(dòng)相關(guān)的偽影是最大的挑戰(zhàn)。

表4 情緒識(shí)別結(jié)果對比

3 結(jié)論

本文提出了一種基于IPPG 生理信號(hào)的情緒識(shí)別方法，IPPG 技術(shù)具有操作簡單、成本低、安全、能夠連續(xù)測量等優(yōu)勢。該模型在DEAP 數(shù)據(jù)集上進(jìn)行了測試。其中，在使用SVM 算法下，模型的最高準(zhǔn)確率在喚醒維度為61.09%，在效價(jià)維度為53.31%。結(jié)果表明了IPPG 信號(hào)進(jìn)行情緒識(shí)別的客觀性和可行性。未來在以下幾個(gè)方面可做進(jìn)一步研究：（1）改進(jìn)IPPG 信號(hào)的處理方法，獲得更高質(zhì)量的IPPG 信號(hào)；（2）增加其他模態(tài)的情緒識(shí)別信號(hào)，提高建模精度；（3）改進(jìn)建模手段，用深度學(xué)習(xí)等方法提高建模精度。該研究在遠(yuǎn)程醫(yī)療、人機(jī)交互和情緒監(jiān)測等方面有廣泛的應(yīng)用前景。