梅英, 譚冠政, 劉振燾

基于視頻圖像的面部表情識別研究綜述

梅英1, 2, 譚冠政2, 劉振燾3

(1. 湖南文理學(xué)院 電氣與信息工程學(xué)院, 湖南 常德, 415000; 2. 中南大學(xué) 信息科學(xué)與工程學(xué)院, 湖南 長沙, 410083; 3. 中國地質(zhì)大學(xué) 自動化學(xué)院, 湖北 武漢, 430074)

面部表情識別是機器理解人類情感的前提, 是改善人機交互關(guān)系的關(guān)鍵。首先, 按照視頻圖像中面部表情識別的流程, 綜述了表情識別的 3個階段: 人臉檢測、表情特征提取、表情分類。重點介紹了表情特征提取和表情分類中所采用算法的原理、優(yōu)缺點及應(yīng)用場合, 并給出了部分算法的識別率對比結(jié)果。其次, 對人機交互中的微表情識別及表情識別的魯棒性研究也做了介紹。最后總結(jié)了面部表情識別研究中存在的問題及難點, 探討了該領(lǐng)域值得進(jìn)一步研究的問題。

表情識別; 特征提取; 表情分類; 微表情; 魯棒性

隨著機器視覺研究的不斷深入, 面部表情識別從靜態(tài)圖像中的表情識別逐步轉(zhuǎn)向了動態(tài)圖像中的表情識別; 從基本表情識別逐步轉(zhuǎn)向了自然場景下復(fù)雜表情的識別。本文綜述了近幾年針對視頻圖像序列的表情識別研究成果, 重點介紹了表情特征提取、表情分類中所用主流算法的基本原理、優(yōu)缺點及應(yīng)用場合。對當(dāng)今流行的微表情識別和表情識別的魯棒性研究也做了介紹, 最后指出了當(dāng)前表情識別研究存在的問題, 并總結(jié)了進(jìn)一步的研究方向。

1　面部表情識別

針對視頻圖像的表情識別技術(shù)基礎(chǔ)包括多媒體視頻技術(shù)、圖像處理技術(shù)、模式識別技術(shù)等。視頻圖像中面部表情識別一般包含3個主要步驟:首先判斷視頻中是否存在人臉, 如果存在,則定位出人臉, 然后提取表情特征, 最后確定表情特征所屬的分類[3]。面部表情識別流程見圖1。

圖1　面部表情識別流程

1.1人臉檢測

人臉檢測是指在圖像中定位出人臉, 人臉檢測是進(jìn)一步分析和理解面部表情和行為的基礎(chǔ)。為了減少外部影響, 還增加了圖像預(yù)處理環(huán)節(jié)。現(xiàn)有的人臉檢測方法可以分為基于特征和基于圖像2大類[4]?；谀w色特征的方法是將輸入圖像經(jīng)過預(yù)處理后, 在多個色彩空間中利用膚色特征比對后即可得到膚色的區(qū)域, 從而實現(xiàn)人臉區(qū)域的精確定位。該方法的優(yōu)點是處理速度快, 但當(dāng)背景中存在與膚色相近的景物時, 可能會產(chǎn)生誤判的結(jié)果[5]; 基于圖像的方法[6]首先選取面部樣本與非面部樣本, 通過訓(xùn)練生成分類器進(jìn)行面部與非面部的區(qū)分, 實現(xiàn)面部檢測。目前, 人臉檢測技術(shù)已經(jīng)成熟, 在智能手機、電子考勤上應(yīng)用廣泛。

1.2表情特征提取

面部表情特征提取是從檢測出的人臉圖像中提取有效的表情特征信息, 特征提取的有效程度直接關(guān)系到表情分類的準(zhǔn)確程度, 因此, 表情特征提取是表情識別中至關(guān)重要的一步。目前, 基于視頻圖像的特征提取方法有光流法、主動外觀模型法(Active Appearance Model, AAM)及差分圖像法等。

(1) 光流法。光流法是目前運動圖像分析的重要方法之一。光流是運動物體在觀測成像平面上的像素運動的“瞬時速度”, 根據(jù)光流可以衡量2幀圖像之間的變化。表情變化是一個面部肌肉運動的過程,通過計算視頻圖像中嘴巴、眼睛、眉毛等表情特征點上的光流, 然后根據(jù)特征區(qū)域的運動方向變化, 計算出對應(yīng)的表情[7]。文獻(xiàn)[8]采用光流法與差分圖像法相結(jié)合的方法, 首先計算出差分圖像絕對值并檢測出運動區(qū)域, 再在已確定的運動區(qū)域內(nèi)計算光流場, 最后計算出面部表情對應(yīng)的運動信息, 圖2所示的是吃驚表情序列光流場。文獻(xiàn)[9]提出了采用直方圖和光流法提取面部表情的時空信息, 在CK+數(shù)據(jù)集上的實驗效果良好。

圖2　“吃驚”表情序列光流場

光流法具有突出面部形變和反映面部運動趨勢的優(yōu)點, 但是, 該算法成立的前提是灰度守恒假設(shè)和光流場平滑性假設(shè)。當(dāng)動態(tài)圖像不滿足上述條件時, 光流法的效果就會受到很大影響, 在光源有變化或面部有遮擋時, 會導(dǎo)致光流計算不準(zhǔn)確而影響識別率。而且, 光流法計算量較大不利于實時處理, 所以一般采用與其它方法相結(jié)合的方法。

(2) 主動外觀模型法。主動外觀模型法是在主動形狀模型(Active Shape Model, 簡稱ASM)的基礎(chǔ)上引入紋理模型發(fā)展而來的。因此, 基于AAM的方法不但能精確地描述人臉輪廓特征還能描述人臉的紋理特征[10]。近年來, AAM 廣泛應(yīng)用于模式識別領(lǐng)域的特征點提取方法。文獻(xiàn)[11]采用主動外觀模型(AAM) 定位圖像序列中各幅人臉圖像的 68個特征點, 然后計算圖像序列中表情幀和中性幀的表情關(guān)鍵點的坐標(biāo)差, 從而提取出表情特征, 圖3是AAM特征提取結(jié)果。文獻(xiàn)[12]利用主動形狀模型對人臉圖像進(jìn)行特征點檢測, 然后將圖像比例特征與面部動畫參數(shù)作為支持向量機的輸入, 最后獲得理想的識別效果。文獻(xiàn)[13]提出了基于 AAM提取面部區(qū)域特征的方法, 通過支持向量機分類, 實驗結(jié)果證明了該方法可以適應(yīng)多種頭部姿勢和光照條件下的表情識別。

圖3　AAM特征提取結(jié)果

AAM 方法將面部形狀和紋理等信息進(jìn)行統(tǒng)計建模, 可以很好地匹配不同形狀、大小的人臉, 通用性強。但是, 在一般情況下, 基于模型的方法需要依靠人工標(biāo)注的方式實現(xiàn)面部特征點的初始化, 從而在一定程度上影響了算法的自動化程度。

(3) 差分圖像法。差分圖像法是將圖像序列中的被測幀與標(biāo)準(zhǔn)幀做差分運算, 保留2幀間存在變化的特征。在進(jìn)行表情識別時, 在相同背景條件下, 將表情幀和中性表情幀進(jìn)行差分運算, 最后得到反映表情特征的關(guān)鍵幀, 通過分析關(guān)鍵幀就可以識別人臉表情。圖4是JAFFE庫中人臉圖像及對應(yīng)的差分圖像[14]。文獻(xiàn)[15]提出了一種基于差分的AAM模型, 即差分主動外觀模型, 用來識別一組動態(tài)的人臉面部表情序列。首先, 通過輸入人臉表情圖像和中性表情圖像參數(shù)的差分來計算差分主動表觀模型, 然后運用流形學(xué)習(xí)對差分主動外觀模型進(jìn)行平滑圖像以及降維, 最終實驗表明基于差分主動外觀模型在表情識別率上比傳統(tǒng)AAM模型提高了20%。

圖4　人臉表情圖像及其差分圖像

差分圖像法能夠大幅度地減少計算量, 但需要作差的2幀圖像必須保證像素點嚴(yán)格對應(yīng), 否則不能反應(yīng)真實的表情變化。

1.3表情分類

表情分類即判斷表情特征所對應(yīng)的表情類別?，F(xiàn)有 2種分類方式: 一種是按照面部動作分類[16](Facial Action Coding System, FACS), 即將面部表情動作分類到44個動作單元AU(Action Units), 每種表情對應(yīng)幾個動作單元的組合; 另一種分類是按照美國著名心理學(xué)家Ekman[17]劃分的6種基本表情(恐懼、悲傷、憤怒、高興、驚訝和厭惡)來分類。近年來, 人工神經(jīng)網(wǎng)絡(luò)、Adaboost算法、支持向量機、隱馬爾可夫模、K近鄰分類器等成為主流的表情分類方法。

(1) 人工神經(jīng)網(wǎng)絡(luò)分類。由于面部表情的變化規(guī)律難以顯性描述, 但能通過人工神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)功能, 可以隱性表達(dá)表情的規(guī)律。因此, 將提取的表情特征通過人工神經(jīng)網(wǎng)絡(luò)分類是目前有效地使用方法[18-19]。文獻(xiàn)[20]采用前饋神經(jīng)網(wǎng)絡(luò)作為表情分類器, 實驗效果表明, 前饋神經(jīng)網(wǎng)絡(luò)比采用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的識別效果好。文獻(xiàn)[21]將所選是Gabor特征送入一個三層神經(jīng)網(wǎng)絡(luò)中, 通過反向傳播算法訓(xùn)練分類器, 實驗結(jié)果表明: 在JAFFE和Yale數(shù)據(jù)庫平均識別率分別為96.8%和92.2%。

人工神經(jīng)網(wǎng)絡(luò)具有較強的自學(xué)習(xí)、自組織能力, 但是, 當(dāng)輸入樣本維數(shù)過高或訓(xùn)練樣本過多時, 會導(dǎo)致算法收斂緩慢而出現(xiàn)過學(xué)習(xí)問題[22]。

(2) Adaboost算法分類。Adaboost算法的核心思想是針對同一個訓(xùn)練集訓(xùn)練不同的分類器(弱分類器), 然后把這些弱分類器集合起來組成一個分類能力更強的強分類器[23]。Ghimire等[24]采用多級Adaboost和支持向量機相結(jié)合的方法將表情的幾何特征分類, 實驗結(jié)果表明, 在CK+面部表情數(shù)據(jù)庫中的識別率為95.17%。Owusu[25]采用Adaboost算法與SVM相結(jié)合的方法, 形成分類器進(jìn)行訓(xùn)練,利用JAFFE和耶魯大學(xué)的Yale數(shù)據(jù)庫分別測試, 結(jié)果表明平均識別率分別為97.57%和92.33%, 執(zhí)行時間也明顯縮短。圖5是采用Adaboost分類器的表情識別結(jié)果。

圖5　表情識別結(jié)果

Adaboost 算法中權(quán)值的確定可以根據(jù)弱學(xué)習(xí)器預(yù)測的正確率來設(shè)定, 從而避免人工神經(jīng)網(wǎng)絡(luò)中容易出現(xiàn)的過學(xué)習(xí)現(xiàn)象, 但在小樣本情況下, Adaboost方法的性能并不好。

(3) 支持向量機分類。支持向量機(Support Vector Machines, SVM)在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢。支持向量機方法是建立在統(tǒng)計學(xué)習(xí)理論和結(jié)構(gòu)風(fēng)險最小原理基礎(chǔ)上的, 根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳匹配, 以求獲得最好的推廣能力。使用SVM的關(guān)鍵在于核函數(shù)的選擇, 只要選用適當(dāng)?shù)暮撕瘮?shù), 就可以得到高維空間的分類函數(shù)。文獻(xiàn)[26]提出了一種基于SVM模型的方法用于表情識別, 通過與Adboost方法比較, 證明SVM模型具有較高的識別率。文獻(xiàn)[27]使用主動形狀模型與 SVM相結(jié)合的方法進(jìn)行表情識別, 取得較好的識別結(jié)果, 可以適應(yīng)頭部偏轉(zhuǎn)和光照不均條件下的表情識別。

SVM的優(yōu)點是算法具有堅實的理論基礎(chǔ), 尤其適合小樣本數(shù)據(jù)的分類。但經(jīng)典的SVM算法是二類分類算法, 在解決多分類和大規(guī)模樣本運算上, SVM 算法需要結(jié)合其它算法來解決問題。

(4) 隱馬爾可夫模型分類。隱馬爾可夫模型(Hiding Markov Model, HMM)是一種統(tǒng)計分析模型, 用于描述隨機過程信號統(tǒng)計特性, HMM具有很強的動態(tài)時間序列建模能力, 因此可用于針對視頻圖像序列的表情識別。文獻(xiàn)[28]采用HMM模型與K近鄰相結(jié)合的方法組成分類器, 實現(xiàn)了針對6種基本表情的識別。

(5) 稀疏表示分類法。稀疏采樣(Sparse Sampling)是一個新的采樣理論, 它的原理是采用隨機采樣的方法獲取信號中的離散樣本, 最后采用非線性重建算法來恢復(fù)信號的原樣。文獻(xiàn)[29]提出了一種基于稀疏表示的遮擋人臉表情識別方法, 通過稀疏分解求得待測圖像的稀疏表示系數(shù)實現(xiàn)表情識別, 在Cohn-Kanade 和JAFFE 人臉庫上的實驗表明稀疏分類法具有較強的魯棒性。

近些年來, 一些新的分類算法不斷提出,如深度學(xué)習(xí)[30]、隨機森林[31]等, 表1列出了部分算法的識別結(jié)果。

從表 1可以看出, 針對動態(tài)視頻圖像的面部表情識別率有待提高, 且每種算法都是在特定約束條件下, 針對基本表情識別提出的解決方法。在人機交互過程中, 人的表情變化是極其微妙的, 背景也相對復(fù)雜。因此,對于微表情和表情識別的魯棒性研究, 還有待進(jìn)一步深入。

表1　部分算法的表情識別結(jié)果對比

2　微表情及表情的魯棒性識別

2.1微表情識別

微表情是指持續(xù)時間僅為 1/25～1/5 s的快速的表情, 表達(dá)了人們試圖壓抑或隱藏的真正情感, 因此, 心理學(xué)家Ekman發(fā)現(xiàn)50%的人在撒謊時會出現(xiàn)微表情, 于是Ekman認(rèn)為微表情可以用于測謊[35]。文獻(xiàn)[36]指出微表情應(yīng)用于職務(wù)犯罪偵查具有識別犯罪嫌疑人真實情緒從而擴大案件線索的作用, 在職務(wù)犯罪偵查中具有可操作性。文獻(xiàn)[37]提出了基于差分切片能量圖和 Gabor變換的微表情識別算法,通過Gabor變換和線性判別分析提取差分切片能量圖向量判別特征, 并運用SVM分類器實現(xiàn)微表情識別, 實驗表明該方法具有較高的識別性能。文獻(xiàn)[38]使用極限學(xué)習(xí)機實現(xiàn)微表情自動識別, 在ORL、Yale和CASME 微表情數(shù)據(jù)庫中的實驗取得了一定的效果。

微表情不僅持續(xù)時間短而且出現(xiàn)頻率低, 對于微表情的自動識別難度很大, 目前研究尚不成熟。但微表情識別可以作為一種有效的偵查輔助手段在刑偵中發(fā)揮重要作用。因此, 微表情識別研究具有實用價值。

2.2表情的魯棒性識別

在人機交互過程中, 局部遮擋、光照不均、頭部偏轉(zhuǎn)的情況時有發(fā)生, 如圖6所示。為了解決局部遮擋的問題, 文獻(xiàn)[39]提出了一種基于流形學(xué)習(xí)的遮擋人臉表情識別方法;為了解決光照和頭部偏轉(zhuǎn)的問題, 文獻(xiàn)[40]通過AAM和K近鄰算法, 實現(xiàn)了面部表情的魯棒性識別。

圖6　自然交互場景中的人臉

為了能更好地解決光照不均、遮擋等問題。近些年三維人臉表情識別逐步興起。面部三維信息比二維圖像具有更多的人臉信息, 以人臉表情的三維數(shù)據(jù)為載體, 最大程度地利用面部幾何特征, 文獻(xiàn)[41]使用面部等高曲線的方法, 在BU-4DFE數(shù)據(jù)庫上的識別率為92.2%。但是, 目前三維人臉表情識別技術(shù)的研究致力于識別率的提高, 在特征提取上過多依賴特征點, 計算量較大, 難以滿足實時性要求。

3　表情識別存在的問題及難點

3.1存在的問題

(1) 缺乏真實表情研究。近些年的表情識別研究主要針對基本表情識別, 盡管取得了一定的識別效果, 但需要實驗對象呈現(xiàn)夸張的臉部表情, 因而很難將它應(yīng)用到真實的表情交互系統(tǒng)中去, 且在識別率和實時性上不夠理想。

(2) 研究場景局限于實驗室。盡管一些文獻(xiàn)中的表情識別率較高, 但大多都是基于實驗室理想條件下測試的。在自然真實環(huán)境下, 由于光照、姿勢、遮擋等對面部表情識別有較大影響, 如何在復(fù)雜環(huán)境下進(jìn)行面部表情識別是當(dāng)前研究的一個關(guān)鍵問題。

(3) 面部表情數(shù)據(jù)不足。目前已有的面部表情數(shù)據(jù)庫(如:JAFFE, CK+, Yale)一般都比較小, 而且?guī)в兄饔^性質(zhì), 表情流露不自然, 難以為科學(xué)研究提供十分精確有效的數(shù)據(jù), 且動態(tài)序列圖像數(shù)據(jù)庫更是缺乏。

3.2表情識別的難點

(1) 表情的模糊性。人類表情本身具有模糊性, 并不是每種表情之間都有很明顯的區(qū)別, 如: 睜大眼睛有可能代表驚奇, 也有可能代表恐懼等。而且, 同種表情由于民族、年齡、性別等因素也會存在表達(dá)上的差異。

(2) 人臉的非剛性。人臉受年齡、性別、種族等因素的影響, 表現(xiàn)出明顯的個體差異, 導(dǎo)致人臉很難用統(tǒng)一的模型來描述, 因而增加了識別難度。

(3) 表情識別的學(xué)科交叉性。表情識別研究涉及多門學(xué)科, 如: 模式識別、機器學(xué)習(xí)、心理學(xué)等, 有些學(xué)科本身在理論和方法上有待完善。

4　表情識別的研究方向

(1) 尋求新的理論和研究思路。結(jié)合機器學(xué)習(xí)理論, 根據(jù)表情的圖像特征和幾何特征之間的相關(guān)性,有效融合表情的全局和局部信息[42], 或結(jié)合語音、行為等因素進(jìn)行多模態(tài)情感識別[43], 將有利于提高表情識別效果。同時, 應(yīng)借鑒心理學(xué)、神經(jīng)科學(xué)的研究成果, 多方面尋找新的研究思路。

(2) 加強三維面部表情識別。相對于二維信息而言, 面部三維信息能包含更多的人臉信息, 結(jié)合三維信息能很好地解決光照不均、遮擋等問題[44]。然而, 采用三維數(shù)據(jù)會隨著運算量的增大導(dǎo)致系統(tǒng)實時性不足的問題, 如何提取更有效的三維特征來提高表情的識別率與實時性, 是一個值得深入思考的問題。

(3) 建立完善的表情數(shù)據(jù)庫。表情數(shù)據(jù)庫是表情識別的基礎(chǔ), 目前缺乏標(biāo)準(zhǔn)化的大型數(shù)據(jù)庫, 無法比較各種算法之間的優(yōu)劣。所以, 建立以自然場景為背景的、標(biāo)準(zhǔn)的、公開的動態(tài)表情數(shù)據(jù)庫是一項非常迫切的研究工作。

5　結(jié)束語

面部表情作為主要的信息載體將成為下一代人機交互模式的重要組成部分, 面部表情識別將在服務(wù)機器人、教育、娛樂、智能家居等領(lǐng)域具有廣闊的應(yīng)用前景。目前, 面部表情識別技術(shù)在理論方法和實用技術(shù)上得到了迅速發(fā)展, 并在服務(wù)機器人、智能手機上得到了初步應(yīng)用, 但在識別率、實時性及魯棒性等方面尚不夠理想。加強真實環(huán)境下自然表情的識別有利于改善人機交互模式, 讓計算機能夠真正了解人類的意圖從而更好地服務(wù)人類, 同時也有助于人工智能的發(fā)展。因此, 面部表情識別研究具有重要的理論意義與實際應(yīng)用價值。

[1] Picard R W. Affective computing [M]. USA: MIT Press, 1997: 2–10.

[2] Mehrabian A. Communication without words [J]. Psychology Today, 1968, 2(4): 53–56.

[3] Fang H, Mac Parthaláin N, Aubrey A J, et al. Facial expression recognition in dynamic sequences: An integrated approach [J]. Pattern Recognition, 2014, 47(3): 1271–1281.

[4] Wechsler H, Phillips P J, Bruce V. Face recognition from theory to applications [M]. Berlin: Springer International Publishing, 2012: 23–35.

[5] Mahdi I, Hamed S H. A novel fuzzy facial expression recognition system based on facial feature extraction from color face images [J]. Engineering Applications of Artificial Intelligence, 2012, 25(1): 130–146.

[6] Connolly J F, Granger E, Sabourin R. An adaptive classification system for video-based face recognition [J]. Information Sciences, 2012, 192(6): 50–70.

[7] Fan X, Tjahjadi T. A spatial-temporal framework based on histogram of gradients and optical flow for facial expression recognition in video sequences [J]. Pattern Recognition, 2015, 48(11): 3 407–3 416.

[8] 王宇緯. 基于改進(jìn)光流和HMM的人臉表情識別研究[D]. 天津: 天津大學(xué), 2009.

[9] Fan X, Tjahjadi T. A spatial-temporal framework based on histogram of gradients and optical flow for facial expression recognition in video sequences [J]. Pattern Recognition, 2015, 32(2): 68–75.

[10] Member F R, Zhong N M. Facial expression recognition based on AAM–SIFT and adaptive regional weighting [J]. IEEE Transactions on Electrical & Electronic Engineering, 2015, 10(6): 713–722.

[11] 施毅. 基于主動外觀模型的人臉表情識別研究[D]. 上海: 上海交通大學(xué), 2012.

[12] Song M L, Tao D C, Liu Z C. Image ratio features for facial expression recognition application [J]. IEEE Transactions on Systems, Man and Cybernetics, 2010, 40(3): 779–788.

[13] Wang L, Li R, Wang K. A novel automatic facial expression recognition method based on AAM [J]. Journal of Computers, 2014, 9(3): 608–617.

[14] 萬川. 基于動態(tài)序列圖像的面部表情識別系統(tǒng)理論與方法研究[D]. 長春: 吉林大學(xué), 2013.

[15] Cheon Y, Kim D. Natural facial expression recognition using differential-AAM and manifold learning [J]. Pattern Recognition, 2009, 42(7): 1 340–1 350.

[16] Sumathi C P, Santhanam T, Mahadevi M. Automatic facial expression analysis a survey [J]. International Journal of Computer Science & Engineering Survey, 2013, 3(6): 47–59.

[17] Ekman P, Friesen W. Constants across cultures in the face and emotion [J]. Journal of Personality and Social Psychology, 1971, 17(2): 124–129.

[18] Taormina R, Chau K W, Sethi R. Artificial neural network simulation of hourly groundwater levels in a coastal aquifer system of the venice lagoon [J]. Engineering Applications of Artificial Intelligence, 2012, 25(8): 1 670–1 676.

[19] Saudagare P V, Chaudhari D S. Facial expression recognition using neural network–an overview [J]. International Journal of Soft Computing and Engineering, 2012, 2(1): 224–227.

[20] Perveen N, Gupta S, Verma K. Facial expression recognition system using statistical feature and neural network [J]. International Journal of Computer Applications, 2012, 48(18): 17–23.

[21] Owusu E, Zhan Y, Mao Q R. A neural-AdaBoost based facial expression recognition system [J]. Expert Systems with Applications, 2014, 41(7): 3 383–3 390.

[22] 王賽. 基于動態(tài)模糊神經(jīng)網(wǎng)絡(luò)的人臉表情識別算法研究[D]. 重慶: 西南大學(xué), 2012.

[23] Hu W, Gao J, Wang Y, et al. Online adaboost-based parameterized methods for dynamic distributed network intrusion detection [J]. IEEE Transactions on Cybernetics, 2014, 44(1): 66–82.

[24] Ghimire D, Lee J. Geometric feature-based facial expression recognition in image sequences using multi-class AdaBoost and support vector machines [J]. Sensors, 2013, 13(6): 7 714–7 734.

[25] Owusu E, Zhan Y, Mao Q R. An SVM-AdaBoost facial expression recognition system [J]. Applied Intelligence, 2014,40(3): 2 427–2 432.

[26] Prabhakar S, Sharma J, Gupta S. Facial expression recognition in video using adaboost and SVM [J]. International Journal of Computer Applications, 2014, 104(2): 1–4.

[27] Lozano-Monasor E, López M T, Fernández-Caballero A, et al. Facial expression recognition from webcam based on active shape models and support vector machines [M]. Berlin: Springer International Publishing, 2014: 147–154.

[28] Vijayalakshmi M, Senthil T. Automatic human facial expression recognition using Hidden Markov Model [C] // IEEE International Conference on Electronics and Communication Systems, Sanya, 2014: 1–4.

[29] 朱明旱, 李樹濤, 葉華. 基于稀疏表示的遮擋人臉表情識別方法[J]. 模式識別與人工智能, 2014, 27(8): 708–712.

[30] Song I, Kim H J, Jeon P B. Deep learning for real-time robust facial expression recognition on a smartphone [C] // IEEE International Conference on Consumer Electronics, Sanya, 2014: 564–567.

[31] Pu X, Fan K, Chen X, et al. Facial expression recognition from image sequences using twofold random forest classifier [J]. Neurocomputing, 2015, 168: 1 173–1 180.

[32] Lajevardi S M, Hussain Z M. Higher order orthogonal moments for invariant facial expression recognition [J]. Digital Signal Processing, 2010, 20(6): 1 771–1 779.

[33] Fanelli G, Yao A, Noel P L, et al. Hough forest-based facial expression recognition from video sequences [M]. Berlin: Springer International Publishing, 2012: 195–206.

[34] Li Y, Wang S, Zhao Y, et al. Simultaneous facial feature tracking and facial expression recognition [J]. IEEE Transactions on Image Processing, 2013, 22(7): 2 559–2 573.

[35] Ekman P, Telling lies. Clues to deceit in the marketplace, politics, and marriage [M]. 2nd Ed. New York: Norton, 2001.

[36] 胡明銀, 孟凡民. 微表情識別的偵查實用性探析[J]. 江西警察學(xué)院學(xué)報, 2011(3): 35–37.

[37] Zhang P, Ben X Y, Yang M Q. Algorithm of micro-expression recognition based on differential slices energy diagram and the Gabor transform [EB/OL]. http://www.paper.edu.cn/releasepaper/content/201312-994, 2013–12–27.

[38] Wang S J, Chen H L, Yan W J, et al. Face recognition and micro-expression recognition based on discriminant tensor subspace analysis plus extreme learning machine [J]. Neural processing letters, 2014, 39(1): 25–43.

[39] 朱明旱, 陳日新, 羅大庸. 基于流形學(xué)習(xí)的遮擋條件下表情識別方法[J]. 光電子: 激光, 2012, 10(23): 2 003–2 008.

[40] Lee Y H, Han W, Kim Y, et al. Robust emotion recognition algorithm for ambiguous facial expression using optimized AAM and k-NN [J]. International Journal of Security and Its Applications, 2014, 8(5): 203–212.

[41] Le V, Tang H, Huang T S. Expression recognition from 3D dynamic faces using robust spatio-temporal shape features [C] // IEEE International Conference on Automatic Face & Gesture Recognition, California, 2011: 414–421.

[42] Meng H, Bianchi-Berthouze N. Affective state level recognition in naturalistic facial and vocal expressions cybernetics [J]. IEEE Transactions on Cybernetics, 2014, 44(3): 315–328.

[43] Chao Xu, Qinghua Hu, Guangquan Xu, et al. An approach to facial expression analysis with multi-model interactions [J]. International Journal of Computer Mathematics, 2013, 91(11): 2 329–2 340.

[44] Li H, Ding H, Huang D, et al. An efficient multimodal 2D+3D feature-based approach to automatic facial expression recognition [J]. Computer Vision & Image Understanding, 2015, 140: 83–92.

(責(zé)任編校: 劉曉霞)

Review on facial expression recognition based on video image

Mei Ying1, 2, Tan Guanzheng2, Liu Zhentao3
(1. College of Electrical and Information Engineering, Hunan University of Arts and Science, Changde 415000, China; 2. School of Information Science and Engineering, Central South University, Changsha 410083, China)

Facial expression recognition is the precondition for the computer understanding human emotion, and it is the key to improve human-computer interaction. Firstly, a survey facial expression recognition in video is provided according to the three steps: face detection, facial feature extraction, expression classification. Algorithms applied in feature extraction and expression classification are mainly summarized, including their principles, advantages and disadvantages, applications, as well as the accuracy comparisons of some algorithms. Secondly, some issues about micro-expression recognition and robustness research are described in the human-computer interaction. Finally, the existing problems and the difficulties of facial expression recognition, as well as the issues worthy of further study are concluded.

Facial expression recognition; feature extraction; expression classification; micro-expression; robustness

TP 391

1672–6146(2016)03–0019–07

10.3969/j.issn.1672–6146.2016.03.005

梅英, 63641214@qq.com。

2016-06-05

國家自然科學(xué)基金青年科學(xué)基金項目(61403422)。樂等領(lǐng)域均有廣泛地應(yīng)用。

面部表情識別是近些年逐步興起的情感計算的重要組成部分。美國麻省理工學(xué)院的 Picard教授[1]曾在《Affective Computing》中指出“情感是未來計算機能夠有效工作的必要條件之一, 希望通過賦予計算機識別用戶情感的能力, 以便更好地服務(wù)人類?！比祟惖那楦谐３Ｍㄟ^面部表情、語音、姿態(tài)等來表達(dá), 但是, 它們所傳遞的信息量有差別。美國心理學(xué)家 Mehrabian[2]提出“人們在交流的過程中, 面部表情能傳遞55%的信息量, 38%的信息量通過語調(diào)表現(xiàn)出來, 而語言本身傳遞的信息量只占7%?！?因此, 面部表情這一重要的信息載體將成為下一代人機交互模式的重要組成部分, 面部表情識別將是人機交互研究的重要內(nèi)容。在服務(wù)機器人領(lǐng)域, 機器人通過識別人類的面部表情可以更好地服務(wù)人類; 在遠(yuǎn)程教育領(lǐng)域, 計算機通過監(jiān)測學(xué)生在學(xué)習(xí)過程中的表情, 實時地調(diào)節(jié)教育資源; 此外, 表情識別在醫(yī)療、娛