李秋宇，張玉明，楊福猛，詹 曙

?

一種視頻微表情檢測的改進(jìn)光流算法

李秋宇1，張玉明2，楊福猛3，詹 曙1

(1. 合肥工業(yè)大學(xué)計算機(jī)與信息學(xué)院，安徽 合肥 230009；2. 蕪湖職業(yè)技術(shù)學(xué)院電氣工程學(xué)院，安徽 蕪湖 241000；3. 安徽信息工程學(xué)院，安徽 蕪湖 241000)

微表情是人們在試圖隱藏自己真實(shí)情感時表現(xiàn)出的不受自主神經(jīng)控制、持續(xù)時間短暫，強(qiáng)度十分微弱的面部表情。由于微表情與謊言識別有著密切的聯(lián)系，其公共安全、偵查訊問、臨床醫(yī)學(xué)等領(lǐng)域有很大的應(yīng)用前景。針對人為識別微表情十分困難的問題，提出一種基于Horn-Schunck (HS)光流法改進(jìn)并應(yīng)用于微表情自動檢測的方法。使用預(yù)條件Gauss-Seidel迭代方法改進(jìn)了HS光流法，加快了收斂速度。通過在自發(fā)微表情數(shù)據(jù)庫CASME中進(jìn)行實(shí)驗(yàn)，該驗(yàn)證方法在微表情檢測中有很好的效果。

微表情檢測；光流法；預(yù)條件迭代

面部表情是人與人之間重要的傳遞信息的方式，人類的非語言交流大部分是通過面部表情來進(jìn)行的。心理學(xué)表明，人類可以通過面部表情的自我控制，有意識地產(chǎn)生表情來達(dá)到欺詐的效果。但心理學(xué)研究表明人們在試圖掩蓋自己真實(shí)情感時，會流露不能自主神經(jīng)控制的微表情[1]。近年來，微表情的研究受到了越來越多的關(guān)注。與普通表情不同，微表情有持續(xù)時間短、強(qiáng)度微弱和難以隱藏等特點(diǎn)。正是由于這些特征，微表情與謊言檢測有著密切的聯(lián)系，能夠在公共安全、訊問測謊、臨床醫(yī)學(xué)等領(lǐng)域有廣泛的應(yīng)用[2]。彭玉偉[3]提出微表情的分析技術(shù)在偵訊中有確定嫌疑程度、掌控應(yīng)訊心理、識別口供真?zhèn)?、審核證據(jù)材料和擴(kuò)大取證線索等應(yīng)用。HAGGARD和ISAACS[4]首先發(fā)現(xiàn)一種不易察覺的瞬時表情，認(rèn)為其與自我防御機(jī)制有關(guān)。EKMAN和FRIESEN[5]在仔細(xì)觀看一個病人的視頻錄像時，也發(fā)現(xiàn)了這種表情，他們將其定義為微表情。微表情強(qiáng)度很弱，持續(xù)時間約為1/25~1/3 s[6]，通過肉眼很難注意與觀察。為此，EKMAN[7]提出了微表情識別訓(xùn)練工具(micro expression training tool, METT)用于幫助人們提高對微表情的識別檢測能力。肉眼觀察出微表情還是十分困難，只有大約40%的準(zhǔn)確率。為了解決這個問題，計算機(jī)視覺技術(shù)開始被用于自動檢測微表情并達(dá)到了更好的效果。

POLIKOVSKY等[8]使用三維梯度向量描述子來檢測微表情。PFISTER等[9]使用了在3個正交平面上的局部二值模式(local binary patterns on three orthogonal planes，LBP-TOP)[10]作為描述子來提取人臉微表情的紋理特征來識別微表情。WANG等[11]提出了在LBP-TOP的基礎(chǔ)上減少冗余特征，提高計算效率的在6個交點(diǎn)上的局部二值模式(LBP-six intersection points，SIP)方法用于微表情識別。WANG等[12]提出一種新的張量獨(dú)立的色彩空間，并結(jié)合使用LBP-TOP提取特征識別微表情，得到了很好的效果。LIU等[13]提出了使用一種主運(yùn)動方向的平均光流特征來進(jìn)行微表情的識別，這種光流特征在選定的人臉區(qū)域中光流特征的主要運(yùn)動方向。PATEL等[14]提出了使用一個基于人臉表情數(shù)據(jù)來進(jìn)行訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)對微表情進(jìn)行識別。BEN等[15]利用張量表示的最大邊界投影方法來識別微表情。HUANG等[16]提出了完整的時空局部量化模式作為描述子進(jìn)行微表情分析，并且實(shí)驗(yàn)效果相較于LBP-TOP方法提高了很多。

本文提出一種基于光流法改進(jìn)的檢測自發(fā)微表情方法。光流法是利用圖像序列中像素的時域變化和相應(yīng)性來確定各自像素位置的運(yùn)動[17]。光流法十分適用對于微表情產(chǎn)生時肌肉變化的描述。光流法在運(yùn)動目標(biāo)的檢測與跟蹤以及對于物體運(yùn)動的分析方面有很大地應(yīng)用。如孫正等[18]使用光流法對冠狀動脈造影圖像序列中的血管運(yùn)動進(jìn)行分析。湯石晨和陳鍛生[19]將光流法運(yùn)用監(jiān)控中的人數(shù)統(tǒng)計中，取得了很好的效果。本文使用Horn-Schunck(HS)光流法[20]對于微表情視頻中的圖像幀提取光流特征，并且對于HS光流法中采用的Gauss-Seidel迭代方法進(jìn)行改進(jìn)，使用預(yù)條件Gauss-Seidel迭代方法進(jìn)行迭代計算。預(yù)條件Gauss-Seidel迭代方法相比于原本的Gauss-Seidel迭代方法有著更快的收斂速度，更好的收斂性等優(yōu)點(diǎn)。很多研究者提出了不同的預(yù)條件Gauss-Seidel迭代方法，并且都對其所提出方法的優(yōu)越性進(jìn)行了說明[21-23]。本文采用的方法首先將人臉裁剪成等大小的正方形，之后使用改進(jìn)后的HS光流法對于人臉提取稠密的光流特征，再使用支持向量機(jī)(support vector machine, SVM)對于提取的光流特征進(jìn)行分類進(jìn)而檢測微表情。最后，使用本文所提出的方法在自發(fā)微表情數(shù)據(jù)庫CASME[2]中進(jìn)行實(shí)驗(yàn)并得到很好的效果。

1 改進(jìn)的HS光流法

1.1 約束假設(shè)

HS光流法包含了2點(diǎn)約束性假設(shè)：

(1) 光照不變性條件，即假設(shè)在任意一點(diǎn)處的光照強(qiáng)度不隨時間變化而變化。圖像中(,)點(diǎn)處在時間的光照強(qiáng)度用(,,)來表示，則有

由鏈?zhǔn)椒▌t得

則式(2)可以表示為

其中，EEE分別為光照強(qiáng)度分別對、、的偏導(dǎo)。和分別為橫、縱坐標(biāo)軸方向的像素運(yùn)動的速率，即為所求的在橫縱坐標(biāo)軸上的光流。

(2) 光照平滑約束條件，即假設(shè)在圖像中的任意一點(diǎn)與其相鄰點(diǎn)處的光照強(qiáng)度的變化是平滑的，表達(dá)式則為

1.2 HS光流法模型建立

2個表達(dá)式表示之前兩點(diǎn)假設(shè)，即

為了求出合適的光流和值，最小化能量函數(shù)，即

其中，為一個權(quán)值參數(shù)，作用是為了避免噪聲對于光流速率出現(xiàn)偶然性的變化，可以根據(jù)不同的情況調(diào)節(jié)大小。

將變分法運(yùn)用到式(8)中進(jìn)行計算得到

其中，、分別為像素所在的空間位置；位像素所在的圖像幀數(shù)。

將式(10)帶入式(9)中化簡得

進(jìn)一步化簡式(12)，得到以下迭代式

其中，為迭代次數(shù)。使用Gauss-Seidel迭代進(jìn)行計算，在實(shí)現(xiàn)最小化能量函數(shù)的過程中，使用圖像關(guān)于灰度梯度和時間偏導(dǎo)數(shù)的方法計算，即

經(jīng)過上述步驟反復(fù)迭代計算后，得到所求的光流特征。

1.3 改進(jìn)光流法

HS光流法采用的迭代方式是使用Gauss-Seidel迭代方法最小化能量函數(shù)，本文對于迭代算法進(jìn)行改進(jìn)，使用預(yù)條件Gauss-Seidel迭代方法來加快迭代的收斂速度，使得比原有的HS光流法的計算速度更快。

線性方程組一般表示為

其中，非奇異矩陣被稱為預(yù)條件矩陣。預(yù)條件矩陣很多，本文采用MILASZEWICZ[24]提出預(yù)條件矩陣

其中，為單位矩陣；為基于矩陣中元素所添加的矩陣。

不失一般性的，設(shè)：

其中，為含有單位對角元素的非奇異矩陣；和分別為的嚴(yán)格下三角矩陣和嚴(yán)格上三角矩陣。則有

之后，使用式(20)的預(yù)條件Gauss-Seidel迭代矩陣對于上一部分使用Gauss-Seidel迭代方法的部分進(jìn)行迭代計算，即對于式(12)的等式兩邊左乘矩陣，之后進(jìn)一步化簡與迭代計算，得到所求的光流特征。相鄰兩幀圖像的光流特征如圖1所示，其中圖1(a)、(b)是視頻中經(jīng)過灰度化后相鄰兩幀的圖像，圖1(c)中左右兩邊圖像分別為所得到的光流特征和，其中紅色表示正值，藍(lán)色表示負(fù)值，通過色度表示值的大小。

圖1 CASME數(shù)據(jù)庫中“sub02”對象的“EP03_2”視頻中相鄰兩幀圖像提取的光流特征

使用上述步驟進(jìn)行光流特征提取后，本文使用SVM進(jìn)行分類，用于檢測微表情視頻中出現(xiàn)的圖像幀。

2 實(shí)驗(yàn)與結(jié)果

本文僅著重于對于微表情的檢測，進(jìn)行實(shí)驗(yàn)的電腦配置為：Intel Corei7-6700K 4.0 GHz CPU，16 GB RAM。本文采用CASME自發(fā)微表情數(shù)據(jù)庫中20個實(shí)驗(yàn)對象的195個微表情視頻片段進(jìn)行實(shí)驗(yàn)。微表情視頻片段的采集使用幀率為60 fps的攝像機(jī)拍攝。CASME數(shù)據(jù)庫包括2個子集，其中子集A中的視頻分辨率為1280×720像素，采集于自然光照條件下，子集B中視頻分辨率為640×480像素，采集于LED光照條件下。在實(shí)驗(yàn)中本文使用SVM的線性核函數(shù)進(jìn)行留一視頻交叉驗(yàn)證方法進(jìn)行實(shí)驗(yàn)，即對同一對象不同視頻的實(shí)驗(yàn)中，選取一個視頻作為測試集，剩下視頻作為訓(xùn)練集進(jìn)行實(shí)驗(yàn)，之后重復(fù)此過程直到每個視頻都被作為測試集一次，最后求出檢測結(jié)果的平均值。在實(shí)驗(yàn)中，本文進(jìn)行了對于光流法計算中迭代次數(shù)的分析實(shí)驗(yàn)，這里采用部分實(shí)驗(yàn)對象的數(shù)據(jù)進(jìn)行迭代次數(shù)分析實(shí)驗(yàn)。

圖2 部分實(shí)驗(yàn)對象的迭代次數(shù)與檢測準(zhǔn)確率關(guān)系圖

圖2展現(xiàn)了部分實(shí)驗(yàn)對象在不同光流迭代次數(shù)下的檢測準(zhǔn)確率結(jié)果。從圖中可以看出，從100次至5 000次光流迭代計算中，檢測結(jié)果的準(zhǔn)確率是波動上升的。而超過5 000次光流迭代計算后，準(zhǔn)確率變化不大且有所下降。另光流迭代次數(shù)越多，其計算所需的時間也越長。所以結(jié)合兩方面考慮，本文方法選擇光流迭代次數(shù)為5 000次比較合適。

表1中對比了3種方法對于不同尺寸的圖片計算特征時所需的時間，對于LBP-TOP方法，采用了相鄰的比較點(diǎn)個數(shù)為4的參數(shù)進(jìn)行實(shí)驗(yàn)?？梢钥闯?，對于不同尺寸的圖片相比于原來的HS光流法，改進(jìn)的HS光流法加快了收斂速度，減少了特征計算所需的時間。雖然相比于LBP-TOP方法，光流法耗時要多一些，但從最后微表情檢測準(zhǔn)確率的結(jié)果來看，改進(jìn)的光流法能提取到更加有效、更加利于分類的特征。

表1 3種方法計算不同尺寸圖片的特征所需要時間的比較(s)

表2 在CASME數(shù)據(jù)庫中微表情檢測準(zhǔn)確率實(shí)驗(yàn)結(jié)果與比較

3 結(jié)束語

本文提出一種視頻微表情檢測的HS光流改進(jìn)算法。由于光流可以描述微弱強(qiáng)度運(yùn)動，對于流露微表情時伴隨的臉部肌肉的細(xì)微變化比較適用，使得本研究將光流法使用在人臉微表情的特征提取中，并且使用預(yù)條件Gauss-Seidel迭代對原HS光流法進(jìn)行改進(jìn)，加快了迭代收斂速度。之后結(jié)合 SVM對于微表情視頻片段進(jìn)行檢測，并且在自發(fā)微表情數(shù)據(jù)庫CASME中得到的檢測效果相比于傳統(tǒng)的LBP-TOP的檢測方法效果好。本方法未來的研究會著重于使用其他光流法對于微表情進(jìn)行檢測分析，并且希望未來能將深度神經(jīng)網(wǎng)絡(luò)運(yùn)用到微表情檢測中去，還將目前僅對于微表情視頻片段的檢測工作進(jìn)一步擴(kuò)展到對于長視頻中微表情的檢測中去，加大研究的深度與層次。

[1] EKMAN P. Telling lies: clues to deceit in the marketplace, politics, and marriage [M]. New York: WW Norton & Company, 2009: 16-18.

[2] YAN W J, WU Q, LIU Y J, et al. CASME database: a dataset of spontaneous micro-expressions collected from neutralized faces [C]//2013 10thIEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG). New York: IEEE Press, 2013: 1-7.

[3] 彭玉偉. 微表情分析技術(shù)在偵查訊問工作中的應(yīng)用研究[J]. 中國刑事法雜志, 2015(2): 95-103.

[4] HAGGARD E A, ISAACS K S. Micromomentary facial expressions as indicators of ego mechanisms in psychotherapy [M]//GOTTSCHALK L A, AUERBACH A H. Methods of research in psychotherapy. Berlin：Springer, 1966: 154-165.

[5] EKMAN P, FRIESEN W V. Nonverbal leakage and clues to deception [J]. Psychiatry-Interpersonal & Biological Processes, 1969, 32(1): 88-106.

[6] EKMAN P. Lie catching and microexpressions [EB/OL]. [2016-12-13]. https://www.researchgate.net/publication/ 280300677_Lie_Catching_and_Microexpressions.

[7] EKMAN P. Micro expression training tool (METT) [EB/OL]. [2016-12-20]. https://www. paulekman.com.

[8] POLIKOVSKY S, KAMEDA Y, OHTA Y. Facial micro-expressions recognition using high speed camera and 3D-gradient descriptor [C]//3rdInternational Conference on Imaging for Detection and Prevention (ICDP 2009). London：IET Press, 2009: 1-6.

[9] PFISTER T, LI X B, ZHAO G Y, et al. Recognising spontaneous facial micro-expressions [C]//2011 IEEE International Conference on Computer Vision (ICCV), New York：IEEE Press, 2011: 1449-1456.

[10] ZHAO G Y, PIETIK?NINEN M. Dynamic texture recognition using local binary patterns with an application to facial expressions [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(6): 915-928.

[11] WANG Y, SEE J, PHAN R C, et al. Efficient spatio-temporal local binary patterns for spontaneous facial micro-expression recognition [EB/OL]. [2016-12-15]. http://journals.plos.org/plosone/article? id=10.1371/journal.pone.0124674

[12] WANG S J, YAN W J, LI X B, et al. Micro-expression recognition using dynamic textures on tensor independent color space [C]//2014 22ndInternational Conference on Pattern Recognition (ICPR). Los Alamitos: IEEE Computer Society Press, 2014: 4678-4683.

[13] LIU Y J, ZHANG J K, YAN W J, et al. A main directional mean optical flow feature for spontaneous micro-expression recognition [J]. IEEE Transactions on Affective Computing, 2016, 7(4): 299-310.

[14] PATEL D, HONG X P, ZHAO G Y. Selective deep features for micro-expression recognition[C]//2016 23rdInternational Conference on Pattern Recognition. New York：IEEE Press, 2017: 2258-2263.

[15] BEN X Y, ZHANG P, YAN R, et al. Gait recognition and micro-expression recognition based on maximum margin projection with tensor representation [J]. Neural Computing & Applications, 2015, 27(8): 1-18.

[16] HUANG X H, ZHAO G Y, HONG X P, et al. Spontaneous facial micro-expression analysis using Spatiotemporal Completed Local Quantized Patterns [J]. Neurocomputing, 2016, 175: 564-578.

[17] 陳至坤, 曾凱, RAMAN Paranjape, 等. 一種改進(jìn)的HS光流法在機(jī)器人避障系統(tǒng)中的應(yīng)用[J]. 科學(xué)技術(shù)與工程, 2017(4): 234-238.

[18] 孫正, 郁道銀, 陳曉冬, 等. 基于光流法的冠狀動脈造影圖像序列中血管運(yùn)動的估計[J]. 工程圖學(xué)學(xué)報, 2003, 24(3): 83-88.

[19] 湯石晨, 陳鍛生. 基于光流法和行人面積特征的人數(shù)統(tǒng)計方法研究[J]. 圖學(xué)學(xué)報, 2013, 34 (1): 139-144.

[20] HORN B K P, Schunck B G. Determining optical flow [J]. Artificial Intelligence, 1981, 17(1-3): 185-203.

[21] 薄利艷, 楊晉. 新預(yù)條件Gauss-Seidel迭代法及收斂性比較[J]. 中北大學(xué)學(xué)報: 自然科學(xué)版, 2012(1): 63-65,69.

[22] 劉慶兵, 周成林. 預(yù)條件AOR迭代法的比較定理[J]. 浙江萬里學(xué)院學(xué)報, 2006(2): 5-10.

[23] NIKI H, KOHNO T, MORIMOTO M. The preconditioned Gauss–Seidel method faster than the SOR method [J]. Journal of Computational and Applied Mathematics, 2008, 219(1): 59-71.

[24] MILASZEWICZ J P. Improving jacobi and gauss-seidel iterations [J]. Linear Algebra and Its Applications, 1987, 93: 161-170.

An Improved Optical Flow Algorithm for Micro Expression Detection in the Video Sequence

LI Qiuyu1, ZHANG Yuming2, YANG Fumeng3, ZHAN Shu1

(1. School of Computer and Information, Hefei University of Technology, Hefei Anhui 230009, China;2. School of Electrical Engineering, Wuhu Institute of Technology, Wuhu Anhui 241000, China; 3. Anhui Institute of Information Technology, Wuhu Anhui 241000, China)

Micro-expression is a kind of short-duration subtle expression which is not controlled by the autonomic nervous system. Micro-expression appears when a person is attempting to conceal his true emotion. Micro-expression detection boasts great application prospects in many fields, such as public security, investigation and interrogation as well as clinical medicine due to its close relationship with lie detection. Automatic detection of micro-expressions has come to the fore in research, because it is of great difficulty to artificially identify micro-expression . This paper proposes an improved algorithm based on the Horn-Schunck (HS) optical flow for automatic micro-expression detection. In this study, the pre-conditioned Gauss-Seidel iterative method is employed to improve the HS optical flow method, which accelerates the convergence rate. Experiments in the spontaneous micro-expression database CASME show that the propounded method exerts an excellent effect on the detection of micro-expression.

micro-expression detection; optical flow; preconditioned iteration

TP 391

10.11996/JG.j.2095-302X.2018030448

A

2095-302X(2018)03-0448-05

2017-01-14；

2017-05-11

國家自然科學(xué)基金面上項目(61371156)

李秋宇(1993-)，男，安徽霍邱人，碩士研究生。主要研究方向?yàn)橛嬎銠C(jī)視覺、深度學(xué)習(xí)。E-mail：lqy@mail.hfut.edu.cn

詹 曙(1968-)，男，安徽合肥人，教授，博士。主要研究方向?yàn)槿S人臉圖像分析和識別、醫(yī)學(xué)影像分析和醫(yī)學(xué)成像系統(tǒng)。E-mail：shu_zhan@hfut.edu.cn