徐琳琳，張樹美，趙俊莉

(青島大學(xué) 數(shù)據(jù)科學(xué)與軟件工程學(xué)院，山東 青島 266071)

基于圖像的面部表情識別方法綜述

徐琳琳，張樹美*，趙俊莉

(青島大學(xué) 數(shù)據(jù)科學(xué)與軟件工程學(xué)院，山東 青島 266071)

近年來，面部表情識別在教育、醫(yī)學(xué)、心理分析以及商業(yè)領(lǐng)域得到了廣泛關(guān)注。針對目前表情識別方法不夠系統(tǒng)、概念模糊的問題，對面部表情識別的步驟及其方法進(jìn)行了綜述探討。首先，介紹了目前常用的人臉表情數(shù)據(jù)集，并回顧了面部表情識別的發(fā)展歷程；然后，介紹了人臉表情識別的面部表情編碼和面部表情識別過程這兩個方面，歸納了人臉面部表情識別的四個過程，重點總結(jié)了特征提取和表情分類兩個過程中的經(jīng)典算法以及這些算法的基本原理和優(yōu)劣比較；最后，指出了目前面部表情識別存在的問題和未來可能的發(fā)展趨勢。

表情識別；表情數(shù)據(jù)集；表情編碼；特征提取；表情分類

0 引言

面部表情是指通過臉部肌肉、眼部肌肉和口部肌肉的變化而表現(xiàn)出的各種情緒，其中，眼部和口部附近的肌肉群是構(gòu)成面部表情最豐富的部分。面部表情通過這三部分肌肉的變化傳遞人的情緒狀態(tài)，與聲音、語言和人體姿勢等一起組成了社會中人的交流系統(tǒng)。人臉部的表情識別是一個橫跨人工智能、神經(jīng)學(xué)、計算機科學(xué)等領(lǐng)域的交叉學(xué)科，在心理分析、臨床醫(yī)學(xué)、車輛監(jiān)控以及商業(yè)領(lǐng)域都有很廣泛的應(yīng)用。例如，通過人的面部表情推測抑郁癥等心理狀態(tài)[1]，根據(jù)疼痛測試來檢測病人在臨床上的進(jìn)展[2-3]，以及Emotient、Affectiva、RealEyes和Kairos等公司通過觀眾的面部表情，使用情緒識別技術(shù)來預(yù)測其購買行為等。

在20世紀(jì)70年代，著名的國際心理學(xué)家Ekman[4]將人臉部表情劃分為六類：高興(Happy)、悲傷(Sad)、恐懼(Fear)、憤怒(Angry)、厭惡(Disgust)和驚訝(Surprise)。該研究將表情用公式化方式傳達(dá)人的一些生存信息，例如恐懼是看到令人害怕的事情或者聽到不好的消息，一般會通過緊蹙眉頭、微瞇眼睛、張開嘴巴來表達(dá)。悲傷則表示想要尋求安慰，最明顯的一點是眼角和嘴角下拉。面部表情產(chǎn)生是由情緒的波動導(dǎo)致的，表達(dá)了個人的心理狀態(tài)、交際意圖、個性差異等。后來隨著對面部表情研究的深入，基于運動單元 (Action Unit, AU)的面部動作編碼系統(tǒng) (Facial Action Coding System, FACS)被提出，它通過分析這些運動單元的運動特征及區(qū)域來說明與之聯(lián)系的相關(guān)表情。

1 表情數(shù)據(jù)集

目前的人臉表情識別都是在表情數(shù)據(jù)集所提供的圖片或視頻上進(jìn)行測試，例如圖1所提供的六種基本表情(選自JAFFE表情數(shù)據(jù)集)圖片。下面介紹幾種常用的表情數(shù)據(jù)集。

1)JAFFE數(shù)據(jù)集。

日本女性面部表情數(shù)據(jù)集(the JApanese Female Facial Expression, JAFFE)[5]是研究亞洲人表情的重要測試庫，它是1998年由日本九州大學(xué)心理系建立的。該數(shù)據(jù)集規(guī)模較小，每種表情3～4張，共有213張表情。它主要用于初期的表情識別研究，目前的表情識別技術(shù)在該數(shù)據(jù)集上獲得了很高的識別率。

圖1 六種基本表情Fig. 1 Six basic expressions

2)CK+數(shù)據(jù)集。

Cohn-Kanade擴展數(shù)據(jù)集(the extended Cohn-Kanade, CK+)[6]是目前比較通用的人臉表情數(shù)據(jù)集，適合于人臉表情識別的研究。它是2010年在Cohn-Kanda數(shù)據(jù)集的基礎(chǔ)上擴展得來的，包含123名參與者、593個圖片序列。CK+與CK數(shù)據(jù)集的區(qū)別為CK數(shù)據(jù)集只有靜態(tài)圖片，CK+數(shù)據(jù)集中還包括動態(tài)視頻，兩者都含有情緒標(biāo)簽，指出了參與者的表情。

3)MMI數(shù)據(jù)集。

MMI面部表情數(shù)據(jù)集(MMI-facial expression database, MMI)[7]是一個由視頻誘發(fā)生成的數(shù)據(jù)集。它包含兩個部分，自發(fā)表情和誘發(fā)表情，共有2 900多個視頻，數(shù)據(jù)集中含有表情的AU標(biāo)簽。

4)BHU數(shù)據(jù)集。

北京航空航天大學(xué)數(shù)據(jù)集(BeiHang University, BHU)[8]

是北京航空航天大學(xué)毛峽教授在2007年發(fā)表的。該表情數(shù)據(jù)集是在實驗室中受日光燈和自然光的照射下拍攝的，包含正面照和側(cè)面照，側(cè)面照是正面照旋轉(zhuǎn)30°得到的。數(shù)據(jù)集共有800個動態(tài)視頻，具有在其他人臉數(shù)據(jù)集中曾未出現(xiàn)的情感表情，對世界人臉表情數(shù)據(jù)集進(jìn)行了有益的補充。

5)USTC-NVIE數(shù)據(jù)集。

自然可見和紅外面部表情數(shù)據(jù)集(Natural Visible and Infrared facial Expression, USTC-NVIE)[9]是目前世界較為全面的人臉數(shù)據(jù)集，它是2010年由中國科技大學(xué)安徽省計算與通信軟件重點實驗室建立的。數(shù)據(jù)集含有自發(fā)和誘發(fā)的6種基本表情，都為靜態(tài)照片。

6)AFEW數(shù)據(jù)集。

野外動態(tài)面部表情數(shù)據(jù)集(Acted Facial Expressions in the Wild, AFEW)[10]數(shù)據(jù)集為視頻情感識別大賽(Emotion recognition in the Wild challenge, EmotiW)系列感情識別挑戰(zhàn)賽使用的數(shù)據(jù)集，該比賽自2013年開始每年舉辦一次。AFEW數(shù)據(jù)集的內(nèi)容是從電影中獲取的表情，所以在人臉的檢測和特征提取方面有一定的困難。

7)SFEW數(shù)據(jù)集。

野外靜態(tài)面部表情數(shù)據(jù)集(Static Facial Expressions in the Wild, SFEW)[11]是從AFEW數(shù)據(jù)集中截取的含有表情的靜態(tài)幀。

表1根據(jù)表情數(shù)據(jù)集的屬性，從內(nèi)容、獲取方式和參與者三個主要方面對以上介紹的數(shù)據(jù)集進(jìn)行了總結(jié)。

表1 表情數(shù)據(jù)集及其簡介Tab. 1 Expression databases and their brief introduction

2 表情識別的發(fā)展

關(guān)于自動面部表情識別的最早的研究是在20世紀(jì)70年代，通過跟蹤20個點的移動對其外表作了一個預(yù)先實驗。但由于面部檢測和面部配準(zhǔn)算法較差以及計算能力有限，該研究在接下來的十年中幾乎沒有受到關(guān)注。Mase等[12]使用光流法實現(xiàn)自動提取特征的研究以及對面部表情的理解的研究標(biāo)志著這個研究主題在20世紀(jì)90年代初開始復(fù)興。

在2001年，Tian等[13]將AU用于面部識別分析的研究標(biāo)志著現(xiàn)代自動面部表情識別的開始。這些早期的研究大多使用幾何表示描述面部運動的矢量[14]，以及嘴和眉毛形狀的動態(tài)輪廓[15]或可變形的二維網(wǎng)格模型[16]等。也有些學(xué)者關(guān)注于外觀表示，像Gabor濾波器[17]、光流法和局部二值模式(Local Binary Pattern, LBP)[18]或兩者之間的組合[14]。BU-3DFE數(shù)據(jù)集[19]的發(fā)布推動了RGB面部表情識別進(jìn)入3D的識別研究。3D面部識別方法中有一些方法需要在訓(xùn)練和測試期間手動標(biāo)記基準(zhǔn)頂點[20]，也有一些方法是完全自動地標(biāo)記[21]。

近些年來，除了提高對面部表情和動作單元識別的擴展研究外，還有對處于更復(fù)雜環(huán)境中表情識別的研究。自發(fā)面部表情檢測、復(fù)雜精神狀態(tài)分析、疲勞檢測、挫折、疼痛、抑郁癥的嚴(yán)重程度和心理壓力分析，以及智能虛擬代理中的自動面部表情識別能力等的研究，在自動面部表情識別研究中開辟了新的領(lǐng)域。

自動面部表情識別(Automatic Facial Expression Recognition, AFER)的研究始于20世紀(jì)70年代末，但是十多年來進(jìn)展緩慢，主要是由于面部檢測和面部配準(zhǔn)算法的限制以及缺乏足夠的計算能力。從提出人為表情的RGB靜態(tài)表示,進(jìn)展到動態(tài)表示，后來發(fā)展到自然表情的表示，在這期間為了應(yīng)對由大的姿勢變化、照明條件的多樣性和微妙的面部行為檢測提出的挑戰(zhàn)，很多學(xué)者提出了新的替代方式，如3D和熱模式[22]。目前大多數(shù)面部表情識別研究主要集中在面部表情和動作單元上，疼痛、疲勞、挫折或認(rèn)知狀態(tài)等方面的檢測開拓了表情識別研究的新方向。

3 表情識別介紹

表情識別包括面部表情的編碼和面部表情的識別兩個方面。面部表情的編碼包括描述性的編碼和判斷性的編碼兩種形式，面部表情的識別包括四個過程：人臉檢測、人臉配準(zhǔn)、特征提取以及表情分類。上述表情識別的分類如圖2所示。

圖2 面部表情識別Fig. 2 Facial expression recognition

3.1 面部表情編碼

面部表情編碼分為描述性編碼和判斷性編碼兩種形式。描述性編碼是將各種面部動作進(jìn)行分解，用自然語言對分解出的動作單元進(jìn)行描述，例如關(guān)于眼睛的部位，會有眨眼、閉眼等十余種描述。判斷性編碼是在描述性編碼的基礎(chǔ)上對分解出的動作單元加上情緒標(biāo)簽，以幫助研究者們更好地理解。以上兩種編碼都是用來描述面部表情的，區(qū)別是描述性編碼的主要依據(jù)是臉部表面的動作，而判斷性編碼的主要依據(jù)是潛在的情緒以及情緒可能產(chǎn)生的影響。

在描述性編碼的方法中，面部行為編碼系統(tǒng)FACS和臉部動畫參數(shù)(Facial Animation Parameter, FAP)是應(yīng)用最多的。FACS是Ekman根據(jù)人臉解剖學(xué)的特點，將臉部肌肉劃分為若干個既相互獨立又相互聯(lián)系的運動單元AU，描繪出了不同的臉部肌肉動作和不同表情的對應(yīng)關(guān)系。FACS對大量現(xiàn)實生活中人類的表情進(jìn)行分類，用面部動作描述了幾乎所有可能的面部表情，是目前面部表情肌肉運動的權(quán)威參照標(biāo)準(zhǔn)。臉部動畫參數(shù)FAP用于三維面部表情識別[23]，是MPEG-4標(biāo)準(zhǔn)(MPEG-4是一種基于內(nèi)容的通用的多媒體編碼標(biāo)準(zhǔn))的一套參數(shù)，用來合成虛擬人臉表情動畫，它的編碼方案是基于在臉部的模型網(wǎng)格中人臉關(guān)鍵特征點位置的。FAP是一個完整的臉部基本運動集合，與肌肉運動聯(lián)系緊密，在描述自然面部表情時有很好的效果。最大限度辨別面部肌肉運動編碼系統(tǒng)(MAXimally discriminative facial movement coding system, MAX)同樣是以面部肌肉運動為單位，用來測量局部面部肌肉的運動。它將面孔分為額眉-鼻根區(qū)、眼-鼻-頰區(qū)、口唇-下巴區(qū)三個部位，對列出的29個面部運動單元分別編碼，每一號碼代表面孔某一區(qū)域的一種活動，面部表情就是由這三個區(qū)域的肌肉運動的各種組合而成。MAX是一個以符號為基礎(chǔ)的方法，與FACS相比，它不夠全面，不存在對潛在情緒的推導(dǎo)。

單一的情緒可能會導(dǎo)致一或多個面部表情，多種表情的組合可能會導(dǎo)致多種情緒的混合，臉部動作和情緒之間并沒有一對一的對應(yīng)關(guān)系，因此提出了通過特定的符號來描述面部表情的方法。例如情感的面部動作編碼系統(tǒng)(EMotional Facial Action Coding System, EMFACS)和表情辨別整體判斷系統(tǒng)(system for Identidying AFFect EXpression by holistic judgement, AFFEX)。EMFACS是FACS的簡化版本，它并不關(guān)注于全部的面部動作，只分析具有表情含義的部分，這能夠極大地縮短編碼的時間，但它由于忽略了很多面部動作，所以只適合于對簡單的情緒進(jìn)行分析。AFFEX是Izard提出一個表情分析系統(tǒng)，它通過整體判斷來對情緒表達(dá)進(jìn)行識別，對表情進(jìn)行分類，這能夠保證有效性的客觀分析，但沒有對情緒的表達(dá)強度或者動態(tài)屬性進(jìn)行編碼。

3.2 表情識別過程

表情識別的過程為首先獲取人臉圖像庫，進(jìn)行人臉檢測和人臉配準(zhǔn)，這兩個方法為表情識別的預(yù)處理步驟，然后進(jìn)行特征提取和表情分類，這是表情識別的關(guān)鍵步驟。目前表情識別的研究大多集中在這兩個部分，最后確定表情的所屬類別。圖3給出了表情識別的具體過程。

圖 3 表情識別過程Fig. 3 Process of expression recognition

3.2.1 人臉檢測

人臉檢測是在人臉圖像中找到并框出人臉部分。目前的人臉檢測方法有基于傳統(tǒng)知識的算法、基于幾何特征的算法、基于AdaBoost算法以及基于神經(jīng)網(wǎng)絡(luò)的算法等。下面介紹兩種經(jīng)典算法。

1)基于AdaBoost算法。

AdaBoost算法是經(jīng)典的機器學(xué)習(xí)類算法，是Freund等[24]在Boosting算法的基礎(chǔ)上提出的，后來有學(xué)者將AdaBoost算法應(yīng)用在人臉檢測中，取得了很好的檢測效果。

AdaBoost算法的核心思想是針對同一個訓(xùn)練集訓(xùn)練不同的分類器(弱分類器)，弱分類器要經(jīng)過多次迭代，每次迭代后都會對訓(xùn)練進(jìn)行反饋，讓下一輪迭代過程更加注重上次迭代中無法分類的樣本，最終把這些弱分類器集合起來構(gòu)成一個更強的最終分類器(強分類器)，可以達(dá)到很高的檢測率。這種算法主要有三種優(yōu)勢：第一它引入了“積分圖像”這一概念，能夠快速地計算檢測器使用的特征。第二是基于Adaboost學(xué)習(xí)算法，從較大的集合中選擇少量的關(guān)鍵視覺特征，產(chǎn)生了非常高效的分類器。第三是在“級聯(lián)”中組合使用復(fù)雜的分類器方法，能夠快速地區(qū)分背景。

Viola-Jones算法具有檢測速度快、檢測率高等優(yōu)點，但需要大量的訓(xùn)練樣本，特別是負(fù)樣本，并且存在閉塞和大姿態(tài)變化的問題，后期有學(xué)者提出并改進(jìn)了該算法。王建[25]提出了Gentle AdaBoost算法，在構(gòu)造弱分類器的方法上進(jìn)行了優(yōu)化，使算法更具有魯棒性和穩(wěn)定性。Nakamura等[26]提出BAdaBoost算法，設(shè)置困難樣本的權(quán)值上限，減緩過學(xué)習(xí)的問題。Zhang等[27]提出FloatBoost算法，設(shè)計出一個高性價比的分類器，將效果不好的弱分類器替換，使得強分類器使用的特征數(shù)明顯減少。

2)基于卷積神經(jīng)網(wǎng)絡(luò)算法。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)是深度學(xué)習(xí)和人工神經(jīng)網(wǎng)絡(luò)相結(jié)合的一種算法，1989年Lecun等[28]首次提出了它的思想，并于1998年完整地提出了卷積神經(jīng)網(wǎng)絡(luò)的算法[29]。

CNN訓(xùn)練算法包括兩個方向：前向傳播和反向傳播。前向傳播的過程為首先從輸入層中輸入圖像樣本，然后由卷積層進(jìn)行卷積操作，通過局部感知野和權(quán)值共享的方法來提取初級特征，再傳遞到池化層進(jìn)行采樣。在這個過程中，經(jīng)過多次卷積采樣向下傳遞到輸出層。但實際得到的輸出值與理想輸出值誤差較大，通過反向傳播使用梯度下降法來減少誤差。首先計算出兩者之間的誤差來調(diào)整神經(jīng)元的連接權(quán)值，再逐層向前調(diào)整其他層的誤差，不斷調(diào)整直至誤差達(dá)到預(yù)期的效果。CNN的優(yōu)點主要有兩個：第一是采用了局部感知野，根據(jù)圖像空間的聯(lián)系是局部的這一特點，令每一個神經(jīng)元只感受局部的圖像區(qū)域，而非感受全局圖像。第二是采用了權(quán)值共享，根據(jù)神經(jīng)元之間是局部連接的這一特點，令每個神經(jīng)元采用相同的卷積核對圖像做卷積，再根據(jù)不同的圖像特征采取不同的卷積核。這兩種方法大大減少了網(wǎng)絡(luò)訓(xùn)練的參數(shù)數(shù)量[30]，降低了網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜度。

CNN在處理大的圖像上具有絕對的優(yōu)勢，但會受到數(shù)據(jù)在空間上多樣性的影響，且學(xué)習(xí)到的特征不具有旋轉(zhuǎn)不變性，根據(jù)以上問題，有學(xué)者提出了改進(jìn)算法。Jaderberg等[31]提出了空間變換網(wǎng)絡(luò)，它能夠自適應(yīng)對數(shù)據(jù)進(jìn)行空間變換和對齊，而且計算速度很快。Zhao等[32]提出了一個新的SWWAE(Stacked What-Where Auto-Encoders)結(jié)構(gòu)，由卷積結(jié)構(gòu)和反卷積結(jié)構(gòu)組成，其中卷積結(jié)構(gòu)用來對輸入進(jìn)行編碼，反卷積結(jié)構(gòu)用來進(jìn)行重組。該結(jié)構(gòu)適用于具有大量無標(biāo)注類數(shù)據(jù)集的情況。李輝等[33]提出了一種優(yōu)化改進(jìn)的CNN人臉識別算法，構(gòu)造一個稀疏自動編碼器對CNN濾波器進(jìn)行非監(jiān)督預(yù)訓(xùn)練，對誤差進(jìn)行最小化重構(gòu)，再用支持向量機(Support Vector Machine, SVM)代替Softmax分類器，與傳統(tǒng)CNN相比，速度和識別率都有所提升。

3.2.2 人臉配準(zhǔn)

人臉配準(zhǔn)是在人臉檢測的基礎(chǔ)上去除旋轉(zhuǎn)、遮擋等因素的影響，準(zhǔn)確定位人臉特征點的方法。目前人臉配準(zhǔn)的算法主要有基于參數(shù)化模型的算法和基于回歸的算法。

1)基于參數(shù)化模型的算法。

基于參數(shù)化模型的算法主要有活動形狀模型(Active Shape Model, ASM)[34]、活動外觀模型(Active Appearance Model, AAM)[35]、受約束局部模型(Constrained Local Model, CLM)[36]等。

1995年，Cootes等[34]在Snake模型的基礎(chǔ)上提出了基于統(tǒng)計模型的ASM算法，它主要有兩個部分：模型建立和圖像擬合。模型建立主要是訓(xùn)練圖像數(shù)據(jù)，對人臉輪廓手工標(biāo)定特征點，計算模型中各個參數(shù)的統(tǒng)計數(shù)據(jù)。圖像擬合是匹配圖像的過程，根據(jù)模型上點的局部灰度信息確定匹配度，最后利用形狀模型進(jìn)行擬合。AAM是Cootes等[35]在2001年提出的ASM改進(jìn)算法，在ASM基礎(chǔ)上進(jìn)一步對紋理進(jìn)行建模，使用形狀和紋理相融合的統(tǒng)計模型。AAM和ASM可以保持形變也能保證只按照人臉合理的方式變化，大大提高了圖像表示的有效性和魯棒性。CLM類似于Snake模型，不同的是目標(biāo)形狀是受約束的，它主要由三部分組成：形狀模型、局部外觀模型、擬合優(yōu)化策略?；舅悸窞槔镁植磕Ｐ驮谔卣鼽c附近搜索確定每個特征點的位置，并結(jié)合形狀擬合自動準(zhǔn)確對圖像進(jìn)行校正。文獻(xiàn)[36]中提出了參數(shù)PCA-based和非參數(shù)exemplar-based受限局部模型，并在擬合精度、擬合效率上進(jìn)行了比較，基于PCA的參數(shù)模型擬合速度更快，而基于exemplar的非參數(shù)模型精度更高。

2)基于回歸的算法。

基于回歸的算法主要有基于深度卷積神經(jīng)網(wǎng)絡(luò)的回歸算法[37]和基于級聯(lián)回歸的算法。

基于深度卷積神經(jīng)網(wǎng)絡(luò)回歸算法的基本思想是裁剪出人臉圖像中的人臉部分，利用CNN進(jìn)行粗定位和精定位。粗定位是針對整個人臉區(qū)域，精定位是針對粗定位后得到的局部人臉區(qū)域。卷積神經(jīng)網(wǎng)絡(luò)具有層級抽象的能力，能夠利用全局信息進(jìn)行學(xué)習(xí)，用在人臉配準(zhǔn)上能夠取得很好的效果?；诩壜?lián)回歸算法是一個不斷迭代更新的算法，前提是需要知道臉部初始形狀，然后通過多個弱回歸級聯(lián)器不斷擬合得到臉部真實形狀。Cao等[38]提出的線性形狀回歸(Explicit Shape Regression, ESR)算法可以通過訓(xùn)練數(shù)據(jù)最小化對齊錯誤函數(shù)，學(xué)習(xí)一個向量回歸函數(shù)直接能推斷整個面部形狀。Ren等[39]提出的局部二值特征回歸(regressing Local Binary Ferture, LBF)算法是基于樹的方法，學(xué)習(xí)每個人臉關(guān)鍵點的局部二值特征，結(jié)合起來，使用線性回歸來檢測特征點，取得了很好的效果。

3.2.3 特征提取

特征提取是提取圖像上的特征點，判斷該點是否屬于某一類特征。特征提取目前比較經(jīng)典的算法是Calder等[40]在2001年提出的主成分分析法(Principal Component Analysis, PCA)和Ahonen等[41]在2004年提出的局部二值模式(LBP)。

1)主成分分析法(PCA)。

PCA主要用于數(shù)據(jù)降維，對于一系列特征組成的多維向量，多維向量里的某些元素本身沒有區(qū)別，用這些元素作特征來區(qū)分，貢獻(xiàn)會非常小。PCA就是利用協(xié)方差矩陣來分析元素之間的相關(guān)性，選出圖像的主成分排除其他的冗余信息，形成一個變換矩陣，通過這個變換矩陣實現(xiàn)正交變換，對原有的高維圖像進(jìn)行降維。

具體的操作步驟為：第一步，選取合適的訓(xùn)練集，由N幅人臉圖片組成一個訓(xùn)練集X，其中每幅圖片的矩陣組成都是M×N，則訓(xùn)練集X組成的矩陣為T×N，其中T=M×N。第二步，特征中心化，計算數(shù)據(jù)的平均值，用原數(shù)據(jù)減去求出的平均值。第三步，計算元素之間的相關(guān)性，首先計算出協(xié)方差矩陣的特征值，按照從大到小的順序排列，選取其中前M個特征值計算其相應(yīng)的特征向量，將特征向量組成的變換矩陣P進(jìn)行線性轉(zhuǎn)換，根據(jù)矩陣P中的元素對人臉表情識別貢獻(xiàn)率大的屬性賦予較重的權(quán)值。第三步，實現(xiàn)降維，利用正交變換進(jìn)行降維，其中：P是M×T的矩陣，X是T×N的矩陣，則正交變換后的矩陣Y為M×N的矩陣，M

但PCA對存儲空間有很大的要求且計算復(fù)雜度較高，所以后期有很多學(xué)者提出了改進(jìn)算法。Le等[42]提出了2DPCA(two-Dimensional PCA)算法，可以直接對圖像矩陣進(jìn)行轉(zhuǎn)換，不再需要將圖片矩陣轉(zhuǎn)換成向量之后再進(jìn)行轉(zhuǎn)換，避免出現(xiàn)維數(shù)過高的情況，與PCA比較表現(xiàn)力和速度都有所提升。葉學(xué)義等[43]在此基礎(chǔ)上提出了Tensor PCA算法，引入三階張量，采用張量的投影方式將人臉圖像張量投影到低維的張量子空間中，并改進(jìn)傳統(tǒng)PCA中協(xié)方差矩陣最大化準(zhǔn)則，其準(zhǔn)確率優(yōu)于2DPCA算法。

2)局部二值模式(LBP)。

LBP算法是首先通過計算圖像中所包含的每個像素與其8-鄰域的點的灰度值的關(guān)系，形成一個二進(jìn)制編碼，其中中心點為閾值，鄰域內(nèi)的值大于該閾值的部分標(biāo)1，小于的標(biāo)0，最后采用多區(qū)域直方圖作為圖像的特征描述，根據(jù)計算兩個圖像LBP直方圖的距離來判斷兩者的相似性。

圖4 像素點LBP處理Fig. 4 LBP processing of pixel points

二值化處理如圖4所示，從左上角第一個值開始順時針形成的二進(jìn)制編碼為11011010。對應(yīng)的LBP值為：107+106+104+103+101，中間的值就用LBP代替，計算LBP的值并沒有開始順序的規(guī)定，只是要求在同一處理中保持相同順序，下面是計算LBP的公式，其中：n為像素點的個數(shù)，中心像素位置gc(xc,yc)，相鄰8-鄰域的點為g0,g1,…,g7：

(1)

其中：

(2)

LBP對光照具有不變性，復(fù)雜度低，消耗內(nèi)存小，而且算法簡單；但是LBP無法區(qū)分鄰域像素點與中心像素點相等時的情況，并且原始的LBP算子是灰度不變的，但卻不是旋轉(zhuǎn)不變的，圖像經(jīng)過旋轉(zhuǎn)后就會得到不同的灰度值，后期有學(xué)者針對以上問題提出了改進(jìn)算法。Fang等[44]提出了旋轉(zhuǎn)不變LBP算法，將其矩形的圖像優(yōu)化為以中心點為圓心的一個圈，按位平移計算LBP值，能夠保證圖像在發(fā)生一定傾斜時也能得到同樣的效果。李春利等[45]提出一種改進(jìn)LBP算子的紋理圖像識別算法，將紋理圖像均勻分塊，獲得LBP直方圖，根據(jù)得到的訓(xùn)練模型決定測試樣本的特征留取，該算法減輕了對樣本的依賴，具有更高的穩(wěn)定性。

3)其他算法。

除了以上兩種經(jīng)典算法外，還有很多學(xué)者提出了其他算法。根據(jù)提取對象的不同，可以分為靜態(tài)方法和動態(tài)方法。前者用于無變化的靜止圖片，后者用于動態(tài)的圖像序列。常用的其他方法有幾何特征提取方法，包括ASM、AAM、尺度不變特征轉(zhuǎn)換(Scale-Invariant Feature Transform, SIFT)，外貌特征提取方法，包括Gabor濾波器[46]、PCA、LBP。動態(tài)的圖像序列反映了人臉表情的一個動態(tài)變化過程，主要的特征提取方法有光流法[47]、特征點跟蹤法[48]、模型跟蹤法[49]、彈性圖匹配法[50]等。以上方法的介紹如表2所示。

表2 特征提取方法Tab. 2 Methods of feature extraction

3.2.4 表情分類

表情分類是根據(jù)提取的圖像特征判斷該表情所屬的類別。具體歸屬的類別可以是根據(jù)FACS劃分的AU單元，也可以是目前通用的六種基本表情，還可以是根據(jù)時間信息劃分的類別等。下面介紹幾種常用的方法。

1)隱馬爾可夫模型算法。

隱馬爾可夫模型(Hidden Markov Model, HMM)算法是一種統(tǒng)計模型，用來描述一個含有隱含未知參數(shù)的馬爾可夫過程[15]。它的狀態(tài)不能直接觀測到，但可以由觀測向量序列觀察到，而每一個觀測向量是由一個具有相應(yīng)概率密度分布的序列產(chǎn)生。所以，隱馬爾可夫模型是一個雙重隨機過程，一個是馬爾可夫鏈，用來輸出狀態(tài)序列，另一個是隨機過程，輸出觀測向量序列。HMM能夠保證在面部表情和頭部位置發(fā)生較大變動時仍可以得到較高的識別率，但實現(xiàn)復(fù)雜度較高，而且需要的存儲空間很大。

2)k最近鄰算法。

k最近鄰(k-Nearest Neighbor,kNN)算法是一種lazy-learning算法[51]，分類器不需要使用訓(xùn)練集進(jìn)行訓(xùn)練。它的基本思路為：隨機將所有樣本劃分為k類，計算每一類的平均值，將所有樣本與求出的平均值進(jìn)行比較，依據(jù)距離重新劃分，不斷迭代更新，直至劃分的類中樣本不再發(fā)生變化。劃分的標(biāo)準(zhǔn)為一維的使用兩點之間的距離公式，二維的使用歐氏距離，n維的使用明氏距離。kNN主要依靠周圍有限的鄰近樣本，而不是依靠判別類域的方法來確定所屬類別，對于類域的交叉或重疊過多的待分樣本集來說比較適合。

3)其他算法.

表情分類方法可分為靜態(tài)和動態(tài)的，靜態(tài)模型有貝葉斯網(wǎng)絡(luò)分類器(Bayesian Network Classifier, BNC)[52]、神經(jīng)網(wǎng)絡(luò)(Neural Network, NN)[53]、支持向量機(SVM)[54]、卷積神經(jīng)網(wǎng)絡(luò)(CNN)[55]等。動態(tài)模型有可變狀態(tài)潛在條件隨機場(Variable-state Latent Conditional Random Field, VSL-CRF)[56]和使用多層反饋神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)架構(gòu)的長期短期內(nèi)存網(wǎng)絡(luò)(Long Short Term Memory Network, LSTM)[57]等。以上方法的介紹如表3所示。

表3 表情分類方法Tab. 3 Methods of expression classification

4 部分算法實驗分析

4.1 特征提取實驗

1)LBP實驗。

選擇一張原始的人臉圖像，首先將其轉(zhuǎn)化為灰度圖像，根據(jù)灰度圖像可以得到LBP圖像，再統(tǒng)計出每一個區(qū)間內(nèi)的LBP值的個數(shù)，就可以得到人臉LBP直方圖,如圖5所示。

圖5 人臉LBP圖像Fig. 5 LBP image of human face

如圖5所示，LBP算子的灰度不變性和旋轉(zhuǎn)不變性使其在紋理分割、紋理分類等取得了良好的實驗效果,但是高精度的特征提取會增大內(nèi)存占用且減慢速度。

2)PCA實驗。

在CK+數(shù)據(jù)集中選取了部分人臉圖像進(jìn)行PCA處理,得到的特征臉圖像如圖6所示。根據(jù)特征臉可以構(gòu)造特征空間，根據(jù)訓(xùn)練樣本和測試樣本在特征空間上的投影距離可以判斷表情類別。

圖6 特征臉圖像Fig. 6 Images of feature face

由圖6可知，PCA算法可以將人臉圖像表示為一維的向量，選擇相關(guān)性大的特征向量而剔除冗余的特征向量，可以很好地表示人臉特征并且達(dá)到降維的目的。

4.2 表情分類實驗

1)SVM實驗。

在CK+人臉表情數(shù)據(jù)集中選擇了1 435張人臉圖像進(jìn)行訓(xùn)練，并選擇了140張圖像進(jìn)行測試，其識別率如表4所示。

表 4 SVM分類結(jié)果Tab. 4 SVM classification results

根據(jù)表4可知，SVM在JAFFE上的識別率達(dá)到了平均87.14%。SVM能夠?qū)崿F(xiàn)訓(xùn)練樣本到測試樣本的推力轉(zhuǎn)換，提高了分類識別率并具有良好的魯棒性，但對于小樣本數(shù)據(jù)的分類情況較為良好，不適用于大樣本。

2)CNN實驗。

在CK+人臉表情數(shù)據(jù)集中挑選了2 800張人臉圖像分別使用AlexNet和CaffeNet網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，并選擇了140張圖像進(jìn)行測試，得出其識別率。根據(jù)識別率可知，CNN在CK+表情數(shù)據(jù)集上分別使用AlexNet和CaffeNet模型訓(xùn)練和測試，識別率分別達(dá)到了88.57%和85.45%。CNN自我學(xué)習(xí)能力較強，速度快，但依賴于大量的訓(xùn)練樣本才能夠達(dá)到較高的識別率，且對圖像的前期處理要求較高。

5 存在的問題及未來的發(fā)展

5.1 存在的問題

通過查看人臉面部提取的信息，來識別并判斷出人的心理狀態(tài)有助于未來的教育、醫(yī)療、商業(yè)等服務(wù)的發(fā)展。目前面部表情識別技術(shù)雖然目前已經(jīng)取得了極大的進(jìn)展，但是仍存在很多亟須解決以及優(yōu)化的問題，例如大范圍的轉(zhuǎn)變頭部姿態(tài)、改變光照背景等對表情識別影響很大等，對目前表情識別存在的問題進(jìn)行總結(jié)如下：

1)表情的分類過于局限，人類表情并非只有六種基本表情，還存在很多復(fù)雜和疊加的表情。

2)目前的算法都需要將人臉圖片進(jìn)行預(yù)處理后才能進(jìn)行運算，處理較為繁瑣，實用性不是很大。

3)動態(tài)圖像中的人臉表情和三維現(xiàn)實生活中的人臉表情容易受到光照、遮擋物的影響，魯棒性較差，識別算法的有效性仍有待改進(jìn)。

4)大多數(shù)論文的算法研究都是在已有的算法基礎(chǔ)上進(jìn)行改進(jìn)形成的，缺少從新的角度提出實用高效的新算法。

5)大部分表情識別算法需要大量的訓(xùn)練樣本數(shù)據(jù)才能夠得到較好的識別效果，識別效率對訓(xùn)練樣本的依賴程度較大。

5.2 未來的發(fā)展

隨著大數(shù)據(jù)時代的到來，使得實時處理面部表情的需求量急劇增加，面部表情識別技術(shù)的應(yīng)用具有更加廣闊的發(fā)展空間和利用價值。對表情識別未來的發(fā)展總結(jié)如下：

1)考慮時間變化。加入時間變化所提供的信息，可以幫助識別微妙表情和區(qū)分自發(fā)表情[58]；且與表情的空間變化相比，表情的時間變化受到身份偏差的影響要小得多。目前的表情識別技術(shù)以獨立于相鄰幀的順序配準(zhǔn)每個幀，未來發(fā)展的新配準(zhǔn)技術(shù)是通過考慮后續(xù)幀之間配準(zhǔn)的一致性來對齊幀，該技術(shù)可以支持時空表示。

2)納入深度信息。目前大多數(shù)表情識別設(shè)備都依賴于2D圖像作為輸入，在克服了頭部姿勢和照明變化相關(guān)的挑戰(zhàn)之后，基于深度的成像技術(shù)得到快速發(fā)展，該技術(shù)支持3D臉部分析，且深度變化的分析有助于識別2D外觀不能察覺的表情。

3)融入非視覺形式。單從視覺形式即提取面部信息來判斷表情具有一定的局限，未來可以通過整合熱、聲音、環(huán)境等因素來幫助判斷面部表情。如通過熱成像捕獲不同面部區(qū)域的輻射，根據(jù)血液的流動變化來判斷面部表情。聲音可以通過聲學(xué)屬性來提供特定情緒的指示。根據(jù)環(huán)境中相互作用的人、地點等也可以改善情緒推理。

6 結(jié)語

表情識別是目前研究的熱門領(lǐng)域，具有廣闊的研究前景。本文對表情識別的常用數(shù)據(jù)集和發(fā)展歷程進(jìn)行了簡要的介紹，總結(jié)了表情識別四個過程即人臉檢測、人臉配準(zhǔn)、特征提取和表情分類的經(jīng)典算法，并且對特征提取和表情分類兩個重要過程給出了實驗對比分析其每個算法的性能，最后對表情識別存在的問題和未來的發(fā)展作出了總結(jié)。

References)

[1] GIRARD J M, COHN J F, MAHOOR M H, et al. Nonverbal social withdrawal in depression: evidence from manual and automatic analyses [J]. Image and Vision Computing, 2014, 32(10):641-647.

[2] LUCEY P, COHN J F, MATTHEWS I, et al. Automatically detecting pain in video through facial action units [J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics, 2011, 41(3): 664-674.

[3] IRANI R, NASROLLAHI K, SIMON M O, et al. Spatiotemporal analysis of RGB-D-T facial images for multimodal pain level recognition [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ: IEEE, 2015: 88-95.

[4] EKMAN P. Universal and cultural differences in facial expression of emotion [J]. Nebraska Symposium on Motivation, 1972, 19: 207-284.

[5] LYONS M, AKAMATSU S, KAMACHI M, et al. Coding facial expressions with Gabor wavelets [C]// Proceedings of the 1998 IEEE International Conference on Automatic Face and Gesture Recognition. Piscataway, NJ: IEEE, 1998: 200-205.

[6] LUCEY P, COHN J F, KANADE T, et al. The extended Cohn-Kanade dataset (CK+): a complete dataset for action unit and emotion-specified expression [C]// Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ: IEEE, 2010: 94-101.

[7] VALSTAR M F, PANTIC M. Induced disgust, happiness and surprise: an addition to the mmi facial expression database [EB/OL]. [2017- 04- 16]. https://ibug.doc.ic.ac.uk/media/uploads/documents/EMOTION-2010-ValstarPantic-CAMERA.pdf.

[8] 薛雨麗,毛峽,張帆.BHU人臉表情數(shù)據(jù)庫的設(shè)計與實現(xiàn)[J].北京航空航天大學(xué)學(xué)報,2007,33(2):224-228.(XUE Y L, MAO X, ZHANG F. Design and realization of BHU facial expression database [J]. Journal of Beijing University of Aeronautics and Astronautics, 2007, 33(2): 224-228.)

[9] WANG S F, LIU Z L, LYU S L, et al. A natural visible and infrared facial expression database for expression recognition and emotion Inference [J]. IEEE Transactions on Multimedia, 2010, 12(7): 682-691.

[10] DHALL A, GOECKE R, LUCEY S, et al. Collecting large, richly annotated facial-expression databases from movies [J]. IEEE Multimedia, 2012, 19(3): 34-41.

[11] DHALL A, GOECKE R, LUCEY S, et al. Static facial expression analysis in tough conditions: data, evaluation protocol and benchmark [C]// Proceedings of the 2011 IEEE International Conference on Computer Vision Workshops. Piscataway, NJ: IEEE, 2011: 2106-2112.

[12] MASE K, PENTLAND A. Automatic lipreading by optical-flow analysis [J]. Systems & Computers in Japan, 2015, 22(6): 67-76.

[13] TIAN Y L, KANADE T, COHN J F. Recognizing action units for facial expression analysis [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2001, 23(2): 97-115.

[14] COHEN I, SEBE N, GARG A, et al. Facial expression recognition from video sequences: temporal and static modeling [J]. Computer Vision & Image Understanding, 2003, 91(1/2): 160-187.

[15] ALEKSIC P S, KATSAGGELOS A K. Automatic facial expression recognition using facial animation parameters and multi-stream hmms [J]. IEEE Transactions on Information Forensics & Security, 2006, 1(1): 3-11.

[16] KOTSIA I, PITAS I. Facial expression recognition in image sequences using geometric deformation features and support vector machines [J]. IEEE Transactions on Image Processing, 2007, 16(1): 172-187.

[17] LITTLEWORT G, BARTLETT M S, FASEL I, et al. Dynamics of facial expression extracted automatically from video [J]. Image & Vision Computing, 2006, 24(6):615-625.

[18] SHAN C F, GONG S G, MCOWAN P W. Facial expression recognition based on local binary patterns: a comprehensive study [J]. Image and Vision Computing, 2009, 27(6): 803-816.

[19] YIN L J, WEI X Z, SUN Y, et al. A 3D facial expression database for facial behavior research [C]// Proceedings of the 2006 7th International Conference on Automatic Face and Gesture Recognition. Piscataway, NJ: IEEE, 2006: 211-216.

[20] TANG H, HUANG T S. 3D facial expression recognition based on automatically selected features [C]// CVPRW 2008: Proceedings of the 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ: IEEE, 2008: 1-8.

[21] VRETOS N, NIKOLAIDIS N, PITAS I. 3D facial expression recognition using Zernike moments on depth images [C]// Proceedings of the 2011 18th IEEE International Conference on Image Processing. Piscataway, NJ: IEEE, 2011: 773-776.

[22] KONG S G, HEO J, ABIDI B R, et al. Recent advances in visual and infrared face recognition — a review [J]. Computer Vision & Image Understanding, 2005, 97(1): 103-135.

[23] 王國胤,龔勛.人臉感知:從二維到三維[M].北京:科學(xué)出版社,2011:10-30.(WANG G Y, GONG X. Human Face Perception: from 2D to 3D [M]. Beijing: Science Press, 2011: 10-30.)

[24] FREUND Y, SCHAPIRE R E. A decision-theoretic generalization of on-line learning and an application to boosting [C]// Proceedings of the 1995 European Conference on Computational Learning Theory, LNCS 904. Berlin: Springer, 1995: 23-37.

[25] 王建.基于Gentle AdaBoost算法的人臉檢測研究[D].成都:電子科技大學(xué),2011:24-38.(WANG J. Research on face detection based on Gentle AdaBoost algorithm [D]. Chengdu: University of Electronic Science and Technology of China, 2011: 24-38.)

[26] NAKAMURA M, NOMUYA H, UEHARA K. Improvement of boosting algorithm by modifying weighting rule [J]. Annals of Mathematics & Artificial Intelligence, 2004, 41(1): 95-109.

[27] ZHANG Z Q, LI M J, LI S Z, et al. Multi-view face detection with FloatBoost [C]// Proceedings of the 2002 IEEE Workshop on Applications of Computer Vision. Washington, DC: IEEE Computer Society, 2002: 184.

[28] LECUN Y, BOSER B, DENKER J S, et al. Backpropagation applied to handwritten zip code recognition[J]. Neural Computation, 1989, 1(4): 541-551.

[29] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition [J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[30] 汪濟(jì)民.基于卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測和性別識別研究[D].南京：南京理工大學(xué),2015:42-47.(WANG J M. Research on face detection and gender recognition based on convolution neural network [D]. Nanjing: Nanjing University of Science and Technology, 2015: 42-47.)

[31] JADERBERG M, SIMONYAN K, ZISSERMAN A, et al. Spatial transformer networks [C]// NIPS 2015: Proceedings of the 2015 28th International Conference on Neural Information Processing Systems. Cambridge, MA: MIT Press, 2015: 2017-2025.

[32] ZHAO J B, MATHIEU M, GOROSHIN R, et al. Stacked what-where auto-encoders [EB/OL]. [2017- 04- 10]. http://xueshu.baidu.com/s?wd=paperuri%3A%28c2e4cc91c19dc2d85fe0c72fcf535763%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Farxiv.org%2Fpdf%2F1506.02351.pdf&ie=utf-8&sc_us=5921033091152195876.

[33] 李輝,石波.基于卷積神經(jīng)網(wǎng)絡(luò)的人臉識別算法[J].軟件導(dǎo)刊,2017,16(3):26-29.(LI H, SHI B. Face recognition algorithm based on convolution neural network [J]. Software Guide, 2017, 16(3): 26-29.)

[34] COOTES T F, TAYLOR C J, COOPER D H, et al. Active shape models — their training and application [J]. Computer Vision & Image Understanding, 1995, 61(1): 38-59.

[35] COOTES T F, EDWARDS G J, TAYLOR C J. Active appearance models [C]// Proceedings of the 1998 European Conference on Computer Vision, LNCS 1407. Berlin: Springer, 1998: 484-498.

[36] 金鑫,譚曉陽.受限局部模型在人臉特征點定位中應(yīng)用綜述[J].小型微型計算機系統(tǒng),2017,38(2):371-375.(JIN X, TAN X Y. Facial feature point detection with constrained local models: a survey [J]. Journal of Chinese Computer Systems, 2017, 38(2): 371-375)

[37] SUN Y, WANG X G, TANG X O. Deep convolutional network cascade for facial point detection [C]// CVPR 2013: Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2013: 3476-3483.

[38] CAO X D, WEI Y C, WEN F, et al. Face alignment by explicit shape regression [J]. International Journal of Computer Vision, 2014, 107(2): 177-190.

[39] REN S Q, CAO X D, WEI Y C, et al. Face alignment at 3000 FPS via regressing local binary features [C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2014: 1685-1692.

[40] CALDER A J, BURTON A M, MILLER P, et al. A principal component analysis of facial expressions [J]. Vision Research, 2001, 41(9): 1179-1208.

[41] AHONEN T, HADID A, PIETIKAINEN M. Face recognition with local binary patterns[C]// Proceedings of the 2004 European Conference on Computer Vision, LNCS 3021. Berlin: Springer, 2004: 469-481.

[42] LE H T, HA D T T. Facial expression representation and classification using 2DPCA [C]// Proceedings of the 2012 International Conference on Control, Automation and Information Sciences. Piscataway, NJ: IEEE, 2012: 42-47.

[43] 葉學(xué)義,王大安,宦天樞,等.基于張量的2D-PCA人臉識別算法[J].計算機工程與應(yīng)用,2017,53(6):1-6.(YE X Y, WANG D A, HUAN T S, et al. Novel 2D-PCA face recognition based on tensor [J]. Computer Engineering and Applications, 2017, 53(6):1-6.)

[44] FANG Y C, LUO J, LOU C S. Fusion of multi-directional rotation invariant uniform LBP features for face recognition [C]// IITA 2009: Proceedings of the 2009 Third International Symposium on Intelligent Information Technology Application. Piscataway, NJ: IEEE, 2009: 332-335.

[45] 李春利,沈魯娟.基于改進(jìn)LBP算子的紋理圖像分類方法[J].計算機工程與設(shè)計,2016,37(1):232-236.(LI C L,SHEN L J. Texture image classification method based on improved LBP operator [J]. Computer Engineering and Design, 2016, 37(1): 232-236.)

[46] LIU C, WECHSLER H. Gabor feature based classification using the enhanced Fisher linear discriminant model for face recognition [J]. IEEE Transactions on Image Processing, 2002, 11(4): 467-476.

[47] 孔健.基于MLBP-TOP與光流多特征的人臉表情融合識別研究[D].鎮(zhèn)江:江蘇大學(xué),2009:40-44.(KONG J. Research on face expression fusion recognition based on MLBP-TOP and optical flow multi-feature [D]. Zhenjiang: Jiangsu University, 2009: 40-44.)

[48] BOUREL F, CHIBELUSHI C C, LOW A A. Robust facial expression recognition using a state-based model of spatially-localised facial dynamics [C]// Proceedings of the 2002 Fifth IEEE International Conference on Automatic Face and Gesture Recognition. Piscataway, NJ: IEEE, 2002: 106-111.

[49] TIE Y, GUAN L. A deformable 3D facial expression model for dynamic human emotional state recognition [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2013, 23(1): 142-157.

[50] WISKOTT L, FELLOUS J M， KRüGER N, et al. Face recognition by elastic bunch graph matching [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1997, 19(7): 775-779.

[51] VOGL T P, MANGIS J K, RIGLER A K, et al. Accelerating the convergence of the back-propagation method [J].Biological Cybernetics,1988, 59(4/5): 257-263.

[52] HASTIE T, TIBSHIRANI R. Discriminant adaptive nearest neighbor classification [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1996, 18(6): 607-616.

[53] SEBE N, LEW M S, SUN Y, et al. Authentic facial expression analysis [J]. Image & Vision Computing, 2007, 25(12): 1856-1863.

[54] YOSHITOMI Y, MIYAWAKI N, TOMITA S, et al. Facial expression recognition using thermal image processing and neural network [C]// Proceedings of the 1997 6th IEEE International Workshop on Robot and Human Communication. Piscataway, NJ: IEEE, 1997: 380-385.

[56] RANZATO M, SUSSKIND J, MNIH V, et al. On deep generative models with applications to recognition [C]// Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2011: 2857-2864.

[57] WALECKI R, RUDOVIC O, PAVLOVIC V, et al. Variable-state latent conditional random fields for facial expression recognition and action unit detection [C]// Proceedings of the 2015 11th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition. Piscataway, NJ: IEEE, 2015: 1-8.

[58] AMBADAR Z, SCHOOLER J W, COHN J F. Deciphering the enigmatic face: the importance of facial dynamics in interpreting subtle facial expressions [J]. Psychological Science, 2005, 16(5): 403-410.

This work is partially supported by the National Natural Science Foundation of China (61702293, 41506198), the Open Research Fund of the Ministry of Education for Engineering Research Center of Virtual Reality Application (MEOBNUEVRA201601).

XULinlin, born in 1992, M. S. candidate. Her research interests include image recognition and processing, deep learning.

ZHANGShumei, born in 1964, Ph. D., professor. Her research interests include analysis and control of time-delay and nonlinear system, image recognition and processing.

ZHAOJunli, born in 1977, Ph. D., assistant professor. Her research interests include computer vision, computer graphics, virtual reality.

Summaryoffacialexpressionrecognitionmethodsbasedonimage

XU Linlin, ZHANG Shumei*, ZHAO Junli

(SchoolofDataScienceandSoftwareEngineering,QingdaoUniversity,QingdaoShandong266071,China)

In recent years, facial expression recognition has

extensive attention in education, medicine, psychoanalysis and business. Aiming at the problems of not systematic enough and fuzzy concept of facial expression recognition method, the steps and methods of facial expression recognition were reviewed and discussed. Firstly, the commonly used facial expression databases were introduced and the development of facial expression recognition was reviewed. Then, two aspects of facial expression recognition were introduced, such as facial expression coding and facial expression recognition. The four processes of face facial expression recognition were summarized. The classical algorithms, the basic principles of these algorithms and the comparisons of their advantages and disadvantages were summarized emphatically in the two processes of feature extraction and facial expression classification. Finally, the existing problems and possible development trends in the future of the current facial expression recognition were pointed out.

expression recognition; expression database; expression coding; feature extraction; expression classification

2017- 06- 26;

2017- 09- 18。

國家自然科學(xué)基金資助項目(61702293,41506198)；虛擬現(xiàn)實應(yīng)用教育部工程研究中心開放基金課題(MEOBNUEVRA201601)。

徐琳琳(1992—)，女，山東萊蕪人，碩士研究生，主要研究方向：圖像識別與處理、深度學(xué)習(xí)； 張樹美(1964—)，女，山東萊西人，教授，博士，主要研究方向：時滯非線性系統(tǒng)的分析與控制、圖像識別與處理； 趙俊莉(1977—)，山西新絳人，助理教授，博士，CCF會員，主要研究方向：計算機視覺、計算機圖形學(xué)、虛擬現(xiàn)實。

1001- 9081(2017)12- 3509- 08

10.11772/j.issn.1001- 9081.2017.12.3509

(*通信作者電子郵箱shumeiz@163.com)

TP391.41

A