黃樹成 羅德廣

(江蘇科技大學(xué)計(jì)算機(jī)學(xué)院 江蘇 鎮(zhèn)江 212003)

0 引 言

面部表情是日常社會(huì)交往的主要方式,也是察覺個(gè)人的情緒和心理狀態(tài)的最重要的外在指標(biāo)之一。隨著心理學(xué)的日益成熟,研究發(fā)現(xiàn)人們可以通過控制自己的面部表情,產(chǎn)生自主的假表情去欺騙觀察者,所以通過表情往往不能反映人的真實(shí)情緒[1],針對(duì)這類現(xiàn)象Haggard等[2]發(fā)現(xiàn)一種新的情緒表達(dá)機(jī)制——微表情。微表情具有持續(xù)時(shí)間短并且出現(xiàn)強(qiáng)度弱的特點(diǎn),但通常能反映出人真實(shí)的情緒,但這種微小的運(yùn)動(dòng)變化和瞬時(shí)性對(duì)人的肉眼來說是巨大的挑戰(zhàn)[3]。微表情出現(xiàn)在高風(fēng)險(xiǎn)的環(huán)境下,試圖去隱藏所在經(jīng)歷的情感時(shí)所流露出的非自主的臉部肌肉運(yùn)動(dòng),微表情由自然狀態(tài)到頂峰狀態(tài)再恢復(fù)到自然狀態(tài)下的時(shí)間少于500 ms[4]。由于微表情的不可欺騙性,微表情檢測(cè)被廣泛應(yīng)用在例如公共安全[5]、刑偵心理學(xué)[6]、政治心理學(xué)[7]、教育心理學(xué)[8]等地方。

為了編碼微表情,人臉動(dòng)作編碼系統(tǒng)(FACS)被廣泛地應(yīng)用到微表情的研究之中,FACS的產(chǎn)生建立了人臉肌肉和情緒表達(dá)之間的關(guān)系,而動(dòng)作單元(AUs)就是FACS中必不可少的組成部分,每一個(gè)AUs代表著局部的人臉肌肉運(yùn)動(dòng)。通過觀察人臉的AUs去判斷微表情(ME)所產(chǎn)生的區(qū)域,大大提高了標(biāo)注的準(zhǔn)確度。

研究微表情需要從可用數(shù)據(jù)集開始,然而可供研究的自發(fā)微表情數(shù)據(jù)集很少,目前可用的自發(fā)性微表情數(shù)據(jù)集有:SMIC[9],CASME[10]、CASME II[11]、CAS(ME)2[12]和SAMM[13]。然而通過AUs標(biāo)注了的數(shù)據(jù)集只有SAMM和CASME數(shù)據(jù)集。

近年來,微表情的研究方向更多的在于微表情識(shí)別方向,而微表情檢測(cè)很少。為了提高檢測(cè)的準(zhǔn)確性,不同的特征被用于來做微表情檢測(cè)任務(wù),從ME的產(chǎn)生開始,人臉的局部運(yùn)動(dòng)變化變得可以捕捉,LBP模式[14]是目前常見的特征分析方法,用于提取局部紋理變化信息。隨著光流的算法被廣泛地利用,光流特征逐漸被用作為微表情檢測(cè)的特征。Liu等[15]提出的主方向平均光流加入了微表情的研究之中。2018年Li等[16]提出了一種視頻微表情檢測(cè)的改進(jìn)光流算法,針對(duì)人為識(shí)別的困難性,提出改進(jìn)光流的HS光流算法,用于自動(dòng)的微表情檢測(cè),取得不錯(cuò)的效果。隨著數(shù)據(jù)集的逐漸完善,一開始Li等[17]提出的LTP-ML方法使得微表情檢測(cè)的準(zhǔn)確度達(dá)到了75%,到Li等[18]提出的一種基于深度學(xué)習(xí)下的微表情時(shí)許檢測(cè)方法,微表情檢測(cè)的準(zhǔn)確率在一直提高。即使ME在被控制的嚴(yán)格環(huán)境下被采集,也還有許多如頭動(dòng)和眨眼等外界因素的干擾,使得微表情檢測(cè)的準(zhǔn)確度受到了影響,所以缺少自發(fā)性帶標(biāo)注的微表情數(shù)據(jù)集成為了微表情檢測(cè)的主要挑戰(zhàn)。為了克服數(shù)據(jù)集標(biāo)注所帶來的阻礙,通過大量的攝像頭來采集實(shí)驗(yàn)場(chǎng)景下的微表情的方法,在采集到微表情后需要標(biāo)注出起始幀、頂峰幀和結(jié)束幀,這就帶來了一個(gè)另外挑戰(zhàn)——因?yàn)闃?biāo)注所帶來的巨大成本。目前為止,標(biāo)注過程都是通過人在低速下觀察每個(gè)采集到的微表情視頻片段進(jìn)行標(biāo)注,然而標(biāo)注者可能在很長(zhǎng)的視頻中標(biāo)注只含有幾個(gè)微表情變化的片段。為了解決這個(gè)問題,需要一種方法能去除長(zhǎng)視頻中不包含微表情變化的片段,因此需要帶有標(biāo)注的長(zhǎng)視頻。

現(xiàn)有的數(shù)據(jù)集中只有CAS(ME)2和SAMM數(shù)據(jù)集包含了這樣的長(zhǎng)視頻,而其他的數(shù)據(jù)集只是帶有一個(gè)微表情片段的預(yù)訓(xùn)練短視頻。如圖1的例子所示。

本文提出一種利用自編碼器學(xué)習(xí)光流特征去識(shí)別微表情長(zhǎng)視頻的方法,提取指定區(qū)域的稠密光流特征,然后傳遞給自編碼器學(xué)習(xí)后再去做檢測(cè)的任務(wù)。相比于用傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型,由于微表情數(shù)據(jù)集的label量大且是人工標(biāo)注,容易導(dǎo)致訓(xùn)練的準(zhǔn)確率不高,自編碼器(Autoencoder)模型特點(diǎn)是無監(jiān)督學(xué)習(xí),不需要標(biāo)簽值,使得網(wǎng)絡(luò)模型學(xué)習(xí)到的特征更加精確。在實(shí)驗(yàn)預(yù)處理中將采集的微表情視頻轉(zhuǎn)換為圖片,再通過Dlib數(shù)據(jù)庫(kù)中的人臉檢測(cè)算法捕捉到人臉,提取出興趣區(qū)域后做人臉對(duì)齊,很大程度上減少了物理干擾。本文所提出的方法最大的貢獻(xiàn)就是在微表情檢測(cè)中引入了自編碼器模型,降低了無標(biāo)簽所帶來的不足。

近年來,深度學(xué)習(xí)成為了研究中必不可少的主要技術(shù),通過深度學(xué)習(xí)的方法提取的特征更加的精確。近兩年中在CV(Computer Vision,CV)方向發(fā)現(xiàn),基本所有的比賽中都加入了如CNN(Convolution Neural Network),RNN(Recurrent Neural Network)等技術(shù),結(jié)果都在往越來越好的趨勢(shì)發(fā)展。本文將結(jié)合自編碼器技術(shù)和光流算法。

1 相關(guān)理論與技術(shù)

1.1 ROIs區(qū)域提取

ROIs(Region Of Interest)區(qū)域的提取是對(duì)微表情預(yù)處理中最常見的方法之一,選取區(qū)域的優(yōu)勢(shì)在于消除了物理因素對(duì)微表情檢測(cè)所帶來的誤差。

ROIs最早是由Liong等[19]所提出用于提取出微表情序列中的頂峰幀,最早提出時(shí)所選擇的區(qū)域?yàn)椤坝已酆陀疫吤济薄白笱酆妥筮吤济薄白彀汀边@三個(gè)區(qū)域,然后由Liong等[20]研究改進(jìn)后發(fā)現(xiàn)在微表情檢測(cè)中眨眼對(duì)檢測(cè)的準(zhǔn)確度有大的影響,所以將眼睛區(qū)域的區(qū)域去掉。

Davison等[21]而后提出了在FACS(Facial Action Coding System,FACS)的基礎(chǔ)上建立提取區(qū)域,這種方法所提取的區(qū)域是根據(jù)人臉的一些特定的AUs(Action Units,AUs)的運(yùn)動(dòng)去提取出檢測(cè)區(qū)域,很大程度上結(jié)合了人臉肌肉運(yùn)動(dòng)與微表情產(chǎn)生之間的聯(lián)系。

1.2 微表情發(fā)現(xiàn)方法

早期Moilanen等[22]引入一種從外觀特征的差異去點(diǎn)注微表情的方法,首次提出了用一個(gè)大小為N的滑動(dòng)窗口去做檢測(cè),其中N的大小為微表情出現(xiàn)的周期,而本文將采用稠密光流場(chǎng)算法去發(fā)現(xiàn)微表情變化。光流(optical flow)法有兩個(gè)基本的假設(shè)條件,一個(gè)是亮度保持基本的不變性,第二就是時(shí)間是連續(xù)的或者運(yùn)動(dòng)是非常小的,其公式如下:

I(x,y,t)=I(x+dx,y+dy,t+dt)

(1)

式中:I表示t時(shí)刻的光流;dx和dy表示t時(shí)間內(nèi),x和y的偏移量。

將式(1)做泰勒展開(ε為二階無窮小,可忽略),得到式(2)。

(2)

結(jié)合式(1)與式(2)可得:

(3)

1.3 自編碼器

隨著深度學(xué)習(xí)應(yīng)用的不斷成熟,從最早的CNN、RNN到現(xiàn)在的自編碼器、GNN,深度學(xué)習(xí)的框架不斷地受到了重視,深度學(xué)習(xí)的學(xué)習(xí)方式包括有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、自監(jiān)督學(xué)習(xí)。所謂的有監(jiān)督學(xué)習(xí)就是在輸入數(shù)據(jù)進(jìn)入模型訓(xùn)練時(shí),每組需要訓(xùn)練的數(shù)據(jù)都有自己的label值,再通過模型產(chǎn)生的預(yù)測(cè)值與訓(xùn)練數(shù)據(jù)的真實(shí)標(biāo)簽進(jìn)行比較,不斷地優(yōu)化過程。而無監(jiān)督學(xué)習(xí)就是在沒有l(wèi)abel的輸入下對(duì)輸入數(shù)據(jù)尋找變化的特征,常見用于對(duì)數(shù)據(jù)的可視化,去噪或者降維下使用。而自監(jiān)督就是監(jiān)督學(xué)習(xí)中的一個(gè)特例,訓(xùn)練過程中沒有人工的標(biāo)注,通?？梢钥醋鳠o人工標(biāo)注下的監(jiān)督學(xué)習(xí)。自編碼器就是采用了自監(jiān)督學(xué)習(xí)的方式,自編碼器最早由Lecun等提出,因?yàn)樽跃幋a器獨(dú)有的特征使得這類網(wǎng)絡(luò)模型受到了大數(shù)的微表情研究者們的喜愛。對(duì)于標(biāo)注數(shù)據(jù)不足的微表情數(shù)據(jù)集而言,采用自編碼器模型大大地減少了對(duì)數(shù)據(jù)集標(biāo)注的依賴。自編碼器分為encoder和decoder層,通常采用自編碼器的encoder層對(duì)輸入的圖片數(shù)據(jù)進(jìn)行訓(xùn)練,對(duì)特征進(jìn)行不斷地學(xué)習(xí),圖2為卷積自編碼器模型圖。

圖2 卷積自編碼器模型圖

2 檢測(cè)方法設(shè)計(jì)

提出的方法主要包括了四個(gè)主要的步驟:圖像預(yù)處理、光流場(chǎng)計(jì)算、自編碼器模型訓(xùn)練、SVM分類檢測(cè)微表情。第一步就是將微表情視頻處理為圖片后,對(duì)圖片進(jìn)行預(yù)處理操作,主要包括了對(duì)圖像的人臉檢測(cè)、裁剪以及對(duì)齊,對(duì)齊之后選取關(guān)鍵的ROIs區(qū)域。第二步就是對(duì)圖像進(jìn)行光流的計(jì)算,得到光流特征,將光流特征作為自編碼器的輸入進(jìn)行訓(xùn)練,截取出encoder層的結(jié)果,通過SVM分類器中做二分類操作。

2.1 預(yù)處理

預(yù)處理中首先通過Dlib[24]庫(kù)中的人臉檢測(cè)器對(duì)人臉進(jìn)行檢測(cè),通過檢測(cè)之后可以得到一個(gè)框出了人臉的矩形框,然后對(duì)人臉進(jìn)行裁剪,如圖3的上半部分所示。第二步,采用了Dlib庫(kù)中的人臉68特征點(diǎn)標(biāo)注的函數(shù)對(duì)人臉進(jìn)行定位,然后通過計(jì)算兩眼的角度,利用opencv[25]中的圖像旋轉(zhuǎn)方法對(duì)圖像進(jìn)行對(duì)齊,使得兩眼處于同一水平線上,對(duì)齊以后再對(duì)圖像進(jìn)行l(wèi)andmarks檢測(cè)與定位,如圖3的下半部分所示。

2.2 光流計(jì)算

通過對(duì)圖片的預(yù)處理部分可以得到經(jīng)過了對(duì)齊以后的人臉圖片,接下來就是提取圖片的稠密光流運(yùn)動(dòng)特征,通過計(jì)算兩圖之間各像素點(diǎn)的運(yùn)動(dòng)信息來保存微表情信息,這部分是實(shí)驗(yàn)中必要的部分,因?yàn)橛?xùn)練自編碼器時(shí),深度學(xué)習(xí)模型從圖片學(xué)習(xí)的特征不定,通過光流處理后,保存的運(yùn)動(dòng)信息可以讓模型更好地學(xué)習(xí)輸入數(shù)據(jù)。如圖4所示,光流特征提取及光流有無累加進(jìn)行了比較。對(duì)齊以后的光流再進(jìn)行了光流累加的效果,使得光流圖特征更加完善。

(b) 直接計(jì)算Deepflow

(4)

(a) (b)

2.3 自編碼器模型

2.3.1編碼層網(wǎng)絡(luò)結(jié)構(gòu)

編碼層中我們主要采用了卷積層、池化層、BN層、激活函數(shù)層。

(1) 卷積層:是由所設(shè)定的卷積層層數(shù)組成,每個(gè)卷積單元的參數(shù)都是通過不斷訓(xùn)練網(wǎng)絡(luò)利用反向傳播算法最佳化所得的,卷積操作的引入目的是提取出網(wǎng)絡(luò)輸入中的不同特征,添加多層的網(wǎng)路能從網(wǎng)絡(luò)中學(xué)習(xí)到更加復(fù)雜的特征。

(2) BN層:訓(xùn)練網(wǎng)絡(luò)時(shí),除了輸入層數(shù)據(jù)進(jìn)行了歸一化的操作保證了輸入數(shù)據(jù)分布一致以外,每層訓(xùn)練中網(wǎng)絡(luò)的輸入數(shù)據(jù)分布不一致,使得網(wǎng)絡(luò)不得不適應(yīng)新的數(shù)據(jù)分布,導(dǎo)致了訓(xùn)練網(wǎng)絡(luò)所花費(fèi)的時(shí)間增加,網(wǎng)絡(luò)收斂速度慢,于是就引入了BN層。和網(wǎng)絡(luò)的激活函數(shù)層、卷積層一樣,BN(Batch Normalization)層也屬于網(wǎng)絡(luò)的結(jié)構(gòu)之一。引入BN層可以改變?cè)紨?shù)據(jù)存在的雜亂無章,使得數(shù)據(jù)分布具有一定的規(guī)律,加快了收斂速度。

(3) 激活函數(shù)層:常見使用線性整流(Rectified Linear Units,ReLU) f(x)=max(0,x)作為神經(jīng)網(wǎng)絡(luò)的激活函數(shù)。常見的激活函數(shù)還包括雙曲正切函數(shù)、Sigmoid函數(shù),但是ReLU激活函數(shù)更受青睞,因?yàn)樵谟?xùn)練過程中使用ReLU激活函數(shù)可以提升模型的訓(xùn)練速度,卻不影響模型的泛化性。

(4) 池化層:池化(Pooling)是卷積網(wǎng)絡(luò)類型一個(gè)重要的操作,它實(shí)際上是一種降采樣的方式,常見的有兩種池化方式:最大池化、平均池化。最大池化就是將輸入圖像劃分為若干個(gè)區(qū)域,選取區(qū)域中的最大值。而平均池化為選取區(qū)域的平均數(shù)。池化過程可以減少數(shù)據(jù)的空間大小,使得訓(xùn)練的參數(shù)以及計(jì)算量下降。

2.3.2解碼層網(wǎng)絡(luò)結(jié)構(gòu)

解碼層中我們首先將編碼層中的圖上采樣為指定大小后利用反卷積操作得到與原圖大小一致的圖片。

3 方法模型設(shè)計(jì)及訓(xùn)練

本文提出的網(wǎng)絡(luò)模型如圖6所示。訓(xùn)練時(shí),選擇batch-size為32,學(xué)習(xí)率為0.025,訓(xùn)練迭代次數(shù)為300次,每層深度模型中加入了Dropout層來防止過擬合,大大提高了模型的泛化性。訓(xùn)練過程中首先對(duì)微表情數(shù)據(jù)集進(jìn)行了裁剪以及對(duì)齊的方法處理微表情視頻幀,得到了N幀源圖,通過稠密光流計(jì)算得到光流圖,將光流特征傳入自編碼器中,自編碼器網(wǎng)絡(luò)模型為:encoder層使用4層卷積,分別為Conv1_1(16個(gè)卷積核大小為3×3,stride為1),Maxpool2D,Activation(主要使用ReLU函數(shù));Conv2_1(32個(gè)大小為3×3卷積核,stride為1),Maxpool2D,Activation;Conv3_1(64個(gè)大小為3×3的卷積核),Maxpool2D,Activation;Conv4_1(128個(gè)大小為3×3的卷積核),Maxpool2D,Activation。從encoder層中出來的特征為(h,w,128)大小的特征數(shù),decoder層使用向上采樣的方式進(jìn)行反卷積操作,使用AdamOptimizer進(jìn)行優(yōu)化。再將學(xué)到的特征扁平到2維,格式如[num_iamge,nums_feature],其中num_image為圖片數(shù),nums_feature為每幅圖的特征數(shù),通過機(jī)器學(xué)習(xí)SVM分類器對(duì)數(shù)據(jù)進(jìn)行標(biāo)簽處理,再與源數(shù)據(jù)的標(biāo)簽進(jìn)行比較計(jì)算準(zhǔn)確率。

圖6 本文提出的網(wǎng)絡(luò)模型

4 實(shí)驗(yàn)結(jié)果與分析

本文的實(shí)驗(yàn)在Windows下,使用TensorFlow深度學(xué)習(xí)框架進(jìn)行的,TensorFlow提供了完善的神經(jīng)網(wǎng)絡(luò)搭建方式,是目前深度學(xué)習(xí)框架最為實(shí)用與簡(jiǎn)便的框架之一。

本文中通過預(yù)處理微表情視頻的圖片,對(duì)有微表情的圖片通過光流計(jì)算以及消除頭部以及眨眼的過程,將所有處理之后的數(shù)據(jù)作為卷積自編碼器的訓(xùn)練數(shù)據(jù)集,設(shè)定了一些超參數(shù)如Batch-size、學(xué)習(xí)率,為了防止過擬合,在訓(xùn)練訓(xùn)練集時(shí)通過dropout算法來處理,迭代300次,圖7為訓(xùn)練的loss曲線。

圖7 訓(xùn)練的loss曲線

通過圖7發(fā)現(xiàn),迭代了300次以后,網(wǎng)絡(luò)模型基本處于穩(wěn)定狀態(tài)。再將特征放入SVM分類器中,通過給每幅特征圖進(jìn)行編入標(biāo)簽(0,1),與原數(shù)據(jù)集中的標(biāo)簽值進(jìn)行比較,達(dá)到了75.58%,如表1所示。相比于LBP-TOP-SVM[11]、VGGNet、RESNET、LEARNET,本文提出的方法得到了優(yōu)化,雖然相比于LEARNET在檢測(cè)的準(zhǔn)確率上不足,但是,從網(wǎng)絡(luò)參數(shù)量、占用資源、運(yùn)行深度模型所需時(shí)間相比減少許多。

表1 方法比較

5 結(jié) 語

本文提出了一種基于傳統(tǒng)光流方法與深度學(xué)習(xí)自編碼器結(jié)合的微表情檢測(cè)算法,在一定程度上克服了傳統(tǒng)方法的不足。使用傳統(tǒng)光流時(shí)做了對(duì)齊以及累加的改進(jìn),使得光流圖效果以及特征更加完善。在深度學(xué)習(xí)方面,本文引入了較為成熟的自編碼器模型,并且在模型中進(jìn)行了改善,加入了歸一化以及Dropout層防止過擬合的出現(xiàn),利用4層卷積操作,解碼層采用上采樣的方式,大大減少了訓(xùn)練所需的時(shí)間,提高了方法的性能。針對(duì)微表情檢測(cè)時(shí)出現(xiàn)的幾種常見的影響因素,分別給出了相應(yīng)的解決辦法。實(shí)驗(yàn)表明,檢測(cè)的準(zhǔn)確率有所提高。

然而,由于采用深度學(xué)習(xí)以及光流方式來研究,微表情出現(xiàn)的微弱以及數(shù)據(jù)量的不足還是導(dǎo)致微表情檢測(cè)率不高的主要因素,加上人工標(biāo)注時(shí)所帶來的誤差使得檢測(cè)準(zhǔn)確率受到了一定程度的影響。在以后的工作中,可以建立更加合理的微表情數(shù)據(jù)集來進(jìn)行操作,促進(jìn)微表情研究的發(fā)展。