摘要：微表情的微妙和微表情數(shù)據(jù)集的通病，對(duì)人臉微表情識(shí)別任務(wù)提出了巨大挑戰(zhàn)，同時(shí)也使得該課題具有旺盛的生命力和極高的研究價(jià)值。文章闡述了人臉微表情識(shí)別的定義，介紹了主流的微表情數(shù)據(jù)集，并總結(jié)了微表情識(shí)別領(lǐng)域中基于三個(gè)正交平面局部二值模型的經(jīng)典方法和基于深度學(xué)習(xí)的最新技術(shù)。

關(guān)鍵詞：微表情識(shí)別;微表情數(shù)據(jù)集;深度學(xué)習(xí);面部動(dòng)作編碼系統(tǒng);三個(gè)正交平面局部二值模型

中圖分類號(hào)：TP391.4

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1006-8228（2020）09-17-03

A survey of micro-expression recognition

Cheng Cun

（school of MathematicsandStatistics， Beijing Technology and Business Unirersity， Beijing 100048. China）

Abstract： Facial micro-expression recognition is faced with an enormous challenge because facial micro-expression is subtle andmicro-expression databases are limited. but in the meantime the significance of micro-expression recognition has posed a hugeattraction to researchers. In this paper， the definition of facial micro-expression recognition is introduced， the commonly used micro-expression databases are summarized， and the classic handcrafted method based on Local Binary Pattern From Three OrthogonalPlanes and the recent techniques based on deep learning in micro-expression recognition are elaborated.

Key words： micro-expression recognition; micro-expression database; deep learning; facial action coding system; Local Binary

Pattern From Three Orthogonal Planes

0引言

人臉表情識(shí)別（Facial Expression Recognition）是計(jì)算機(jī)視覺的一個(gè)重要研究課題。隨著深度學(xué)習(xí)技術(shù)的高速發(fā)展，近年來人臉表情識(shí)別技術(shù)取得了令人矚目的成果，但是本文探討的人臉微表情識(shí)別（Microexpression Recognition）不同于常規(guī)的人臉表情識(shí)別。微表情是一種自發(fā)式的表情，不同于普通表情，微表情不能隱藏和作假。因此，人臉微表情識(shí)別是判斷人主觀情緒的有效手段之一，在公共安全、司法系統(tǒng)、情感分析、心理治療等領(lǐng)域具有重要的應(yīng)用價(jià)值，是智能識(shí)別任務(wù)中的一個(gè)新的研究熱點(diǎn)。

本文闡述了人臉微表情識(shí)別的定義，介紹主要的微表情數(shù)據(jù)集，并綜述了人臉微表情識(shí)別領(lǐng)域中基于三個(gè)正交平面局部二值模型的經(jīng)典方法和基于深度學(xué)習(xí)的最新技術(shù)。

1微表情識(shí)別的定義

1.1宏表情與微表情

人臉表情可分類為宏表情和微表情。宏表情是人在日常生活中表現(xiàn)出來的或偽裝出來的表情，而微表情是一種自發(fā)式的表情，在人試圖掩蓋內(nèi)在情緒時(shí)產(chǎn)生，既無法偽造也無法抑制[1]。不同于宏表情，微表情的幅度很小且持續(xù)時(shí)間很短，僅為1/25秒至1/5秒[2]。因此，僅憑肉眼識(shí)別微表情具有相當(dāng)大的難度，借助計(jì)算機(jī)智能識(shí)別微表情的要求越來越高。

1.2微表情的分類標(biāo)準(zhǔn)

微表情識(shí)別任務(wù)是從一段人臉圖像序列中檢測(cè)出微表情，并對(duì)檢測(cè)出的微表情進(jìn)行分類。微表情的分類有兩種標(biāo)準(zhǔn)：基于情緒的分類和基于面部動(dòng)作編碼系統(tǒng)（Facial Action Coding System）的分類。

人類的面部表情7類基礎(chǔ)表情分類包括：生氣、厭惡、恐懼、開心、悲傷、驚喜（驚訝）和中立?；谇榫w的微表情分類，在7類基礎(chǔ)表情分類的基礎(chǔ)上對(duì)表情細(xì)分，通過將單一的基礎(chǔ)表情類別映射到二維空間，其橫軸為情感的正負(fù)程度，縱軸為情感的激烈程度，可以細(xì)分得到更多的表情類別。

另一種微表情分類的標(biāo)準(zhǔn)是用FACS（Facial ActionCoding System）對(duì)微表情進(jìn)行編碼。FACS是一個(gè)面部動(dòng)作的標(biāo)注系統(tǒng)，由一系列編碼組成，每個(gè)編碼是一個(gè)動(dòng)作單元（Action Unit， AU）[]。由于面部動(dòng)作編碼系統(tǒng)用一個(gè)或多個(gè)動(dòng)作單元描述一個(gè)表情，從而可以將微表情的分類任務(wù)轉(zhuǎn)換為動(dòng)作單元的識(shí)別。2微表情數(shù)據(jù)集

有效的人臉微表情識(shí)別模型的建立依賴于高質(zhì)量的微表情數(shù)據(jù)集。目前主要有三個(gè)微表情數(shù)據(jù)集：SMICHl、CASMEIIm和SAMM[6】。

SMIC數(shù)據(jù)集是這三個(gè)數(shù)據(jù)集中最早發(fā)布的，由于SMIC數(shù)據(jù)集對(duì)每個(gè)微表情只使用了三種情緒分類進(jìn)行標(biāo)注，即正面表情、驚喜（驚訝）表情和負(fù)面表情，沒有標(biāo)注FACS編碼，所以相比于CASMEII和SAMM數(shù)據(jù)集，SMIC數(shù)據(jù)集使用價(jià)值不高。而且SMIC數(shù)據(jù)集使用的是100幀/秒的攝像機(jī)，而CASMEII和SAMM數(shù)據(jù)集使用的是200幀/秒的高速攝像機(jī)，所以SMIC數(shù)據(jù)集的面部分辨率偏低。

CASMEII數(shù)據(jù)集在人臉微表情識(shí)別領(lǐng)域被廣泛使用。CASMEII數(shù)據(jù)集對(duì)每個(gè)微表情既使用了5種情緒分類進(jìn)行標(biāo)注：開心、厭惡、驚喜（驚訝）、壓抑和其他，也有標(biāo)注FACS編碼，可信度較高。而且，由于CASMEII數(shù)據(jù)集使用的是200幀/秒的高速攝像機(jī)，面部分辨率可以達(dá)到280*340。但是，CASMEII數(shù)據(jù)集存在一個(gè)問題：由于被測(cè)試者都是中科院的學(xué)生，這導(dǎo)致年齡分布不均衡，并且只涉及一個(gè)種族。

SAMM數(shù)據(jù)集優(yōu)于前面兩個(gè)數(shù)據(jù)集，它的面部分辨率達(dá)到了400*400，對(duì)每個(gè)微表情不僅使用了7種基礎(chǔ)情緒分類進(jìn)行標(biāo)注：生氣、厭惡、恐懼、開心、悲傷、驚喜（驚訝）和輕蔑（取代中立），而且標(biāo)注FACS編碼。SAMM數(shù)據(jù)集還有一個(gè)優(yōu)點(diǎn)：被測(cè)試者年齡分布均勻，種族分布廣泛，涉及到13個(gè)種族。雖然SAMM數(shù)據(jù)集的使用價(jià)值很高，但是它仍不可避免的存在微表情數(shù)據(jù)集的通?。簶颖玖坎蛔愫蜆颖痉植疾痪?。樣本量不足導(dǎo)致學(xué)習(xí)的分類模型欠擬合，樣本分布不均導(dǎo)致數(shù)據(jù)量多的標(biāo)簽識(shí)別率明顯高于數(shù)據(jù)量少的標(biāo)簽。

3微表情的識(shí)別方法

3.1基于LBP-TOP（Local Binary Pattern FromThree Orthogonal Planes）的經(jīng)典方法[7]

近年來，人臉微表情的識(shí)別已經(jīng)成為了學(xué)界的熱點(diǎn)問題之一，研究人員提出了很多方法解決微表情的識(shí)別問題，其中基于LBP-TOP（Local Binary PatternFrom Three Orthogonal Planes）的方法極具代表性，這種具有三個(gè)正交平面的局部二值模型是對(duì)傳統(tǒng)的LBP算法的時(shí)空擴(kuò)展。早期的人臉微表情識(shí)別方法是提取單幀人臉圖像的LBP特征去識(shí)別微表情，LBP-TOP算法創(chuàng)新性地提出了對(duì)連續(xù)人臉圖像視頻的微表情識(shí)別，試圖從運(yùn)動(dòng)的角度描述人臉微表情。

在LBP-TOP算法中，引入時(shí)間軸T軸，從而得到水平時(shí)域平面XT和垂直時(shí)域平面YT，分別對(duì)XY平面（單幀人臉圖像）、XT平面和YT平面提取LBP特征，再拼接起來得到LBP-TOP特征。由于LBP-TOP特征記錄了微表情的動(dòng)態(tài)紋理，從而可以更好地捕捉微表情的變化，比傳統(tǒng)的LBP特征有更強(qiáng)的描述能力。

3.2基于深度學(xué)習(xí)的最新方法

最新的微表情識(shí)別方法是將深度學(xué)習(xí)技術(shù)應(yīng)用到微表情的識(shí)別任務(wù)中，主要有兩種方式：①傳統(tǒng)方法與深度學(xué)習(xí)相結(jié)合，提取人工特征，利用深度學(xué)習(xí)技術(shù)學(xué)習(xí)分類模型;②純深度學(xué)習(xí)的方法，學(xué)習(xí)深度特征，訓(xùn)練分類網(wǎng)絡(luò)。

STSTNet（Shallow Triple Stream Three-dimensionalCNN） for Microexpression Recognition[3]是將傳統(tǒng)方法與深度學(xué)習(xí)結(jié)合的較優(yōu)秀的工作。該算法先用光流法對(duì)人臉視頻序列提取特征，然后用添加了時(shí)間維度的3DCNN訓(xùn)練特征學(xué)習(xí)分類器。人工特征提取與深度學(xué)習(xí)技術(shù)相結(jié)合在理論上可以取長補(bǔ)短，但是受到光流法的影響，STSTNet不能應(yīng)用于現(xiàn)實(shí)場景。光流法是計(jì)算相鄰幀之間物體運(yùn)動(dòng)信息的一種方法，該方法有兩個(gè)前提假設(shè)：①相鄰幀之間對(duì)應(yīng)像素點(diǎn)的灰度值不變;②相鄰幀之間物體的運(yùn)動(dòng)微小。由于這兩個(gè)要求在真實(shí)場景下不能滿足，導(dǎo)致STSTNet模型的可靠性較差。

由于采集高質(zhì)量的微表情數(shù)據(jù)集相當(dāng)困難，應(yīng)用深度學(xué)習(xí)技術(shù)識(shí)別人臉微表情時(shí)，為了從一定程度上解決數(shù)據(jù)量不足的問題，通常將數(shù)據(jù)集CASMEII、SMIC和SAMM整合在一起。并且，為了提高人臉微表情識(shí)別率，通常將復(fù)雜的人臉微表情識(shí)別任務(wù)簡化為3分類任務(wù)：正面、負(fù)面、驚喜或驚訝。論文Micrex-pression Action Unit Detection with Spatio-temporalAdaptive Pooling[9]是在基于深度學(xué)習(xí)的人臉微表情識(shí)別領(lǐng)域中極具開創(chuàng)性的工作，作者提出了通過檢測(cè)構(gòu)成微表情的AUs去識(shí)別人臉微表情的方法?；贏Us檢測(cè)的情緒識(shí)別在宏表情識(shí)別領(lǐng)域廣泛流行，但是在微表情識(shí)別領(lǐng)域面臨巨大挑戰(zhàn)。雖然使用AUs而不是情緒標(biāo)簽可以更加精準(zhǔn)地描述微表情，但是基于AUs的人臉微表情識(shí)別主要困難如下：①微表情中的AUs微小且持續(xù)時(shí)間短，導(dǎo)致區(qū)別度過低;②微表情數(shù)據(jù)集中的AUs類別不平衡，導(dǎo)致學(xué)習(xí)的分類模型存在無法回避的誤差。在文獻(xiàn)[9]中，作者通過在時(shí)域上的adaptive pooling在一定程度上解決了人臉微表情AUs區(qū)別度過低的問題。并且，作者通過使用Fo-cal Loss[10]試圖解決樣本分布不均的問題。

Focal Loss是何凱明團(tuán)隊(duì)在2018年提出了一種新的損失函數(shù)。

在二分類問題，正樣本xp的類別向量是（1，0），負(fù)樣本xn的類別向量是（1，0），網(wǎng)絡(luò)預(yù)測(cè)的分類結(jié)果是，（p，1-p）其中p是預(yù)測(cè)為正樣本的概率，1-p是預(yù)測(cè)為負(fù)樣本的概率。

對(duì)于正樣本xp，其交叉熵Loss為：

CE（xp）=一[1×log（p）+0×log（1-p）]=-log（p）（1）

對(duì)于負(fù)樣本xn，其交叉熵Loss為：

CE（xn）=-[0×log（p）+1×log（1-p）]=-log（1-p）（2）

所以，有

（3）其中y=l表示y是正樣本。

為方便起見，定義

（5）

現(xiàn)在，對(duì)交叉熵Loss添加一個(gè)調(diào)節(jié)因子（1一pt）γ，其中γ≥0，得到Focal Loss：

FL（pt）=-（1-pt）γlog（pt）

（6）

Focal Loss在交叉熵Loss的基礎(chǔ)上添加調(diào)節(jié)因子，是希望在Loss函數(shù)里，對(duì)分類清晰的樣本給一個(gè)小的權(quán)重，而對(duì)分類困難的樣本給一個(gè)大的權(quán)重，以使模型更加集中于困難的錯(cuò)誤分類的樣本。在文獻(xiàn)[9]中，作者通過使用Focal Loss自適應(yīng)地降低樣本數(shù)多的AU標(biāo)簽的權(quán)重，從而注重樣本數(shù)低的AU標(biāo)簽，從一定程度上解決了樣本分布不均的問題。

4結(jié)束語

在人臉微表情識(shí)別領(lǐng)域，傳統(tǒng)的方法已經(jīng)取得了良好的性能，但是需要復(fù)雜的實(shí)驗(yàn)設(shè)計(jì)和繁瑣的參數(shù)調(diào)整才能獲得理想的結(jié)果，所以這些傳統(tǒng)算法并不適用于脫離實(shí)驗(yàn)室場景下的微表情識(shí)別任務(wù)。近年來，人臉微表情識(shí)別領(lǐng)域中的一個(gè)研究熱點(diǎn)是應(yīng)用深度學(xué)習(xí)進(jìn)一步提高微表情識(shí)別的準(zhǔn)確性，并嘗試將微表情識(shí)別應(yīng)用于真實(shí)場景。但是，微表情數(shù)據(jù)集的樣本量不足和樣本分布不均對(duì)基于深度學(xué)習(xí)的人臉微表情識(shí)別算法提出了巨大挑戰(zhàn)。

參考文獻(xiàn)（References）：

[1]Ekman P.Darwin. Deception and Fical Expression. Annalsof the New York Academy of Sciences， 2003.1000：205-221

[2]Yan W J，Wu Q，Liang J，Chen Y H，F(xiàn)u X L.How fast arethe leaked facial expressions：the duration of microex-pressions. Journal of Nonverbal Behavior， 2013.37（4）：217-230

[3]Ekman P，F(xiàn)riesen W V.Facial Action Coding System. PaloAlto： Consulting Psychologists Press， 1977

[4]Li X B，Pfister T，Huang X H，Zhao G Y，Pietikainen M.Aspontaneous micro-expression database： inducementcollection and baseline. In： Proceedings of the lOthIEEE International Conference and Workshops onAutomatic Face and Gesture Recognition. Shanghai，China： IEEE.2013：1-6

[5]Yan W J，Li X B，Wang S J，Zhao G Y，Liu Y J，Chen Y H，F(xiàn)u X L.CASMEII： An improved spontaneous microex-pression database and the baseline evaluation. PLoSOne， 2014.9（1）：e86041

[6]Adrian K.Davison， Cliff Lansley， Nicholas Costen. KevinTan， MoinHoon Yap. SAMM：A spontaneous micro-facial movement dataset，IEEE Transactions on AffectiveComputing，2016.

[7]Zhao G Y，Pietikainen M.Dynamic texture recognitionusing local binay patterns with an application to facialexpressions. IEEE Transactions on Pattern Analysisand Machine Intelligence，2007.29（6）：915-928

[8]Sze-Teng Liong，Y.S.Gan， John See， Huai-Qian Kher，Yen-Chang. Shallow Triple Stream Three-dimensionalCNN （STSTNet） for Micro-expression Recognition，arXiv： 1902.03634v2，2019.

[9] Yante Li， Xiaohua Huang， Guoying Zhao. Micro-expressionAction Unit Detection with Spatio-temporal AdaptivePooling， arXiv： 1907.05023v1，2019.

[10] Tsung-Yi Lin， Priya Goyal Ross Girshick， Kaiming He.Focal loss for dense object detection. arXiv：1708.02002v2，2018.

收稿日期：2020-05-27

作者簡介：程村（1977-），女，湖北安陸人，博士，講師，主要研究方向：圖像識(shí)別，高等數(shù)學(xué)教學(xué)研究。