楊曉龍　閆河　張楊

摘要：人臉表情識(shí)別是機(jī)器視覺(jué)、模式識(shí)別和人工智能等眾多領(lǐng)域的重點(diǎn)研究方向，目前已成為眾多學(xué)者和專(zhuān)家的研究熱點(diǎn)。本文介紹了人臉表情識(shí)別理論框架，概括性的介紹了人臉檢測(cè)、表情特征提取和表情識(shí)別的常用方法，并介紹了相關(guān)改進(jìn)方法和一些新的方法，同時(shí)分析了各方法的優(yōu)缺點(diǎn)。最后，對(duì)人臉表情識(shí)別的發(fā)展和進(jìn)一步改進(jìn)指明了方向。

關(guān)鍵詞：人臉表情識(shí)別；人臉檢測(cè)；表情特征提??；表情識(shí)別

中圖分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2018）02-0213-02

1 引言

在日常生活中，人臉表情是人際交往中的一種方式，是一種非肢體、非語(yǔ)言交流方式。心理學(xué)家Mehrabian[1]指出：感情表達(dá)=7%的言語(yǔ)+38%的聲音+55%的人臉表情。在日常生活與交流中，人們可以通過(guò)面部表情間接的表達(dá)自己的感情和想法，讓對(duì)方感受到自己直觀的態(tài)度。同時(shí)，人們也可以通過(guò)對(duì)方的面部表情，辨別出對(duì)方的情緒和真正的意圖，可見(jiàn)，面部表情在日常人際交流中十分重要。隨著科學(xué)技術(shù)的不斷發(fā)展和人工智能的快速崛起，人機(jī)交互（Human-Computer Interaction，HCI）也成為了較多領(lǐng)域的研究熱點(diǎn)，如何實(shí)現(xiàn)人與計(jì)算機(jī)有感情的交流也成為了當(dāng)前的研究趨勢(shì)。同時(shí)，眾多科學(xué)家渴望人與計(jì)算機(jī)人性化、智能化的交流，計(jì)算機(jī)可以像人一樣感知周邊環(huán)境和世界的變化，這也是人機(jī)交互的終極目標(biāo)。

2 人臉表情識(shí)別理論框架

基于計(jì)算機(jī)的人臉表情識(shí)別是指：首先在視頻或圖像中檢測(cè)出人臉，然后對(duì)人臉的表情信息進(jìn)行特征提取，最后通過(guò)訓(xùn)練分類(lèi)器進(jìn)行表情分類(lèi)識(shí)別。

如圖1所示，人臉表情識(shí)別理論框架大致包括人臉檢測(cè)、表情特征提取和表情識(shí)別三個(gè)部分。

通常要進(jìn)行人臉表情識(shí)別視頻或圖像中不僅包含人臉，還包含其他干擾物體和背景區(qū)域，因此，需要將人臉檢測(cè)并分割出來(lái)。對(duì)于整個(gè)人臉表情識(shí)別過(guò)程中，人臉檢測(cè)相當(dāng)于對(duì)圖像進(jìn)行預(yù)處理，減少圖像中干擾對(duì)表情識(shí)別的影響。人臉檢測(cè)主要通過(guò)分析人臉?biāo)赜械奶卣?，然后從待檢測(cè)的圖像中搜索、判定可能存在的人臉區(qū)域，進(jìn)一步計(jì)算確認(rèn)如果確實(shí)存在人臉，則定位、分割出圖像中人臉?biāo)诘膮^(qū)域，最后計(jì)算得出人臉的坐標(biāo)位置等信息，目前，人臉檢測(cè)技術(shù)已經(jīng)取得了快速的發(fā)展[2-5]。

人臉檢測(cè)后，然后對(duì)人臉表情信息進(jìn)行特征提取。有效的表情特征提取能夠提高識(shí)別的準(zhǔn)確率，特征的提取方法有幾何特征提取、紋理特征提取和深度學(xué)習(xí)內(nèi)部對(duì)特征學(xué)習(xí)的方法。

將測(cè)試集提取到表情特征作為輸入，用來(lái)訓(xùn)練分類(lèi)器，將提取到的人臉表情特征數(shù)據(jù)按照一定的評(píng)判規(guī)則劃分到相應(yīng)的類(lèi)別，判斷和歸類(lèi)人臉表情。根據(jù)不同表情特征提取方式，選取適當(dāng)?shù)姆诸?lèi)器，最終訓(xùn)練得到分類(lèi)準(zhǔn)確、泛化能力強(qiáng)的分類(lèi)器是該步驟的核心內(nèi)容。

2.1 人臉檢測(cè)

日常生活中，由于人臉是非剛性的，會(huì)存在表情、姿態(tài)等變化，同時(shí)受外界環(huán)境影響，人臉也會(huì)受到遮擋、光照變化等影響，這些因素給人臉檢測(cè)帶來(lái)了諸多困難。在理論和實(shí)驗(yàn)的基礎(chǔ)上，發(fā)現(xiàn)人臉檢測(cè)的問(wèn)題其實(shí)就是判定人臉和非人臉二分類(lèi)問(wèn)題，因此，人臉檢測(cè)的目的就是選取出一幅圖像中人臉區(qū)域，并對(duì)其進(jìn)行預(yù)處理。目前，人臉檢測(cè)的常用方法有基于膚色模型的方法和基于統(tǒng)計(jì)理論的方法。

在通常情況下，利用膚色特征進(jìn)行人臉檢測(cè)是一種有效的方法，原因在于：人臉區(qū)域的膚色都明顯區(qū)別于其他背景區(qū)域。研究發(fā)現(xiàn)：不同種族人的膚色在顏色空間聚集在一個(gè)很小的范圍之內(nèi)，有著較強(qiáng)較強(qiáng)的聚類(lèi)特性。Hsu RL等[6]采用改進(jìn)的光照補(bǔ)償方法與非線性顏色變換定位出圖像中全部膚色區(qū)域，然后通過(guò)面部器官的輪廓特征精確定位處人臉區(qū)域；Kherchaoui S等[7]將膚色與模板相結(jié)合，首先利用膚色模型分割出人臉候選區(qū)域，然后運(yùn)用模板匹配精確定位到人臉區(qū)域。

基于膚色模型的人臉檢測(cè)方法檢測(cè)速度相對(duì)較快，在頭部姿態(tài)變化和和部分遮擋情況下仍具有較高的檢測(cè)準(zhǔn)確率，但在背景環(huán)境顏色與膚色相近的情況下，檢測(cè)準(zhǔn)確率相對(duì)較差。

基于圖像統(tǒng)計(jì)特征的方法結(jié)合機(jī)器學(xué)習(xí)和統(tǒng)計(jì)分二者的優(yōu)勢(shì)，通過(guò)對(duì)大量的人臉樣本與非人臉樣本進(jìn)行訓(xùn)練學(xué)習(xí)，從而獲得兩類(lèi)樣本的最佳分類(lèi)界面，以此作為區(qū)分來(lái)實(shí)現(xiàn)人臉檢測(cè)?；趫D像統(tǒng)計(jì)特征的方法主要有支持向量機(jī)（Support Vector Machine，SVM）]和AdaBoost方法[8]等。

其中，AdaBoost方法是目前人臉檢測(cè)效果最好的算法之一，具有快速的檢測(cè)速度，同時(shí)還具有較高的檢測(cè)精度。

2.2 表情特征提取

在檢測(cè)到人臉區(qū)域后，對(duì)人臉表情特征信息進(jìn)行有效地分析，針對(duì)不同的表情選取合適的特征提取方法。下面將分別從幾何特征提取和紋理特征提取兩個(gè)方面進(jìn)行詳細(xì)的描述。

幾何特征提取方法主要通過(guò)提取人臉的特征點(diǎn)，然后分析不同區(qū)域特征點(diǎn)之間的幾何關(guān)系，比如眼睛區(qū)域和嘴巴區(qū)域等，實(shí)現(xiàn)對(duì)表情的分類(lèi)識(shí)別，該類(lèi)特征提取方法主要適用于面部疲勞別情的識(shí)別。

1995年Coots等提出了主動(dòng)形狀模型，該方法是一種基于統(tǒng)計(jì)模型的特征提取方法，主要用于提取面部器官輪廓和人臉輪廓的特征點(diǎn)，該模型首先通過(guò)大量的訓(xùn)練得到初始人臉形狀，然后通過(guò)對(duì)齊操作得到較為準(zhǔn)確的人臉的輪廓特征。最終結(jié)果的準(zhǔn)確性會(huì)受到人臉初始定位、光照等因素的影響。Peng等[9]提出一種基于局部紋理模型的改進(jìn)ASM算法，在表情識(shí)別中具有很好的應(yīng)用。侯婕[10]基于經(jīng)典ASM算法提出了針對(duì)人臉左右眉毛、左右眼睛、鼻子和嘴巴部分提取出118個(gè)特征點(diǎn)，形成各部分的輪廓形狀數(shù)據(jù)信息，以此為基礎(chǔ)實(shí)現(xiàn)了對(duì)6種基本表情的識(shí)別。

紋理特征反映了人臉表情圖像的底層信息，突出體現(xiàn)了局部表情的變化。紋理特征提取方法典型的方法有局部二值模式。

LBP通過(guò)圖像的局部灰度信息變化來(lái)表達(dá)局部紋理特征，通過(guò)LBP特征值用來(lái)描述圖像局部紋理特征。LBP算子對(duì)圖像尺度變換、旋轉(zhuǎn)和光照變化具有很好的魯棒性，能夠有效地描述圖像的紋理信息。Guo等[11]又先后提出了（FCL-LBP）算法和（disCLBP）算法，其通過(guò)選取最大類(lèi)間距于最小類(lèi)內(nèi)間距，選取出的紋理特征具有更好的魯棒性。周宇旋等[12]通過(guò)改進(jìn)disLBP得到更有辨別性的表情特征，更有利于表情識(shí)別。

2.3 表情識(shí)別

表情識(shí)別是整個(gè)人臉表情識(shí)別流程的最后一步，也是最終目標(biāo)，選取合適的分類(lèi)器對(duì)表情識(shí)別十分重要。常用的表情分類(lèi)方法有支持向量機(jī)（Support Vector Machine，SVM）和深度學(xué)習(xí)的方法。

SVM是統(tǒng)計(jì)學(xué)中常用于分類(lèi)的一種方法，該方法具備特有的學(xué)習(xí)能力，可以有效地處理非線性、小樣本和高維數(shù)據(jù)等問(wèn)題。徐文暉等[13]對(duì)此提出了可從連續(xù)的視頻序列中識(shí)別表情的SVM分類(lèi)器。但是在大樣本的情況下，矩陣計(jì)算需要耗費(fèi)大量的時(shí)間和運(yùn)行內(nèi)存，從而影響了整體的識(shí)別效率。

研究發(fā)現(xiàn)，人的視覺(jué)系統(tǒng)對(duì)信息的處理是分級(jí)的。所有物體都是由像素點(diǎn)構(gòu)成，像素點(diǎn)組成特征邊緣，特征邊緣組成目標(biāo)物體的部分區(qū)域，最后目標(biāo)物體的部分區(qū)域組成整個(gè)目標(biāo)物體。深度學(xué)習(xí)模仿人類(lèi)對(duì)物體的認(rèn)知過(guò)程，在分類(lèi)識(shí)別物體時(shí)直接把需要識(shí)別的對(duì)象進(jìn)行訓(xùn)練，然后進(jìn)行分類(lèi)識(shí)別[14，15]。與傳統(tǒng)手工標(biāo)定進(jìn)行特征提取的方法相比，其最大的特點(diǎn)就是可以對(duì)識(shí)別對(duì)象進(jìn)行自學(xué)習(xí)，學(xué)習(xí)到最能表達(dá)物體的特征，最終進(jìn)行分類(lèi)識(shí)別。

3 結(jié)語(yǔ)

綜上所述，在實(shí)際應(yīng)用中，要實(shí)現(xiàn)快速的、準(zhǔn)確的和穩(wěn)定的人臉表情識(shí)別，需要從以下三個(gè)方面因素進(jìn)行整體考慮：第一，人臉檢測(cè)的準(zhǔn)確性。在實(shí)驗(yàn)室研究階段，為滿足最后人臉表情識(shí)別系統(tǒng)的實(shí)現(xiàn)，要先對(duì)實(shí)際環(huán)境中場(chǎng)景進(jìn)行分析，分析場(chǎng)景中人臉檢測(cè)是受光照變化、姿態(tài)變化、遮擋等因素的影響的情況；第二，依據(jù)不同類(lèi)型表情，選擇合適的特征提取方法；大量文獻(xiàn)研究表明，幾何特征模型對(duì)面部疲勞表情識(shí)別具有較高的識(shí)別率以及較強(qiáng)的魯棒性，面部器官多個(gè)特征點(diǎn)通過(guò)幾何關(guān)系計(jì)算并判斷嘴巴和眼睛的實(shí)時(shí)狀態(tài)，綜合判斷出面部不同的疲勞狀態(tài)；紋理特征模型在人臉識(shí)別和人臉表情識(shí)別中有著較強(qiáng)的適用性，通過(guò)提取人臉紋理特征，以矩陣的形式輸入分類(lèi)器中，進(jìn)行分類(lèi)識(shí)別。因此，尋求多種特征提取方法，分析其適用領(lǐng)域，針對(duì)不同類(lèi)型表情識(shí)別選取合適的特征提取方法來(lái)提升表情識(shí)別的準(zhǔn)確性和穩(wěn)定性；第三，特征提取后，合適的分類(lèi)器選取對(duì)最終的分類(lèi)識(shí)別效果有著決定性的應(yīng)用。目前，深度學(xué)習(xí)的分類(lèi)識(shí)別方法被廣泛使用，閱讀大量文獻(xiàn)發(fā)現(xiàn)，人臉識(shí)別和人臉表情識(shí)別不同于其他類(lèi)似于汽車(chē)、貓、狗等分類(lèi)，只針對(duì)于人臉進(jìn)行研究，通過(guò)人臉圖像預(yù)處理可以大大節(jié)約訓(xùn)練時(shí)間，手動(dòng)的進(jìn)行特征提取可以進(jìn)一步的排除背景所帶來(lái)的干擾，通過(guò)這兩步，提取較為純凈和有區(qū)分能力的特征作為輸入，輸入到深度網(wǎng)絡(luò)中進(jìn)行分類(lèi)識(shí)別。

參考文獻(xiàn)

[1]A.Mehrabian. Communication without words. Psychology Today，1968，2（4）：53-56.

[2]李瑞淇.基于膚色和改進(jìn)的AdaBoost人臉檢測(cè)算法研究[D].西安電子科技大學(xué)，2014.

[3]王琳琳.基于膚色模型和AdaBoost算法的人臉檢測(cè)研究D].長(zhǎng)安大學(xué)，2014.

[4]楊新權(quán).基于膚色分割及連續(xù)Adaboost算法的人臉檢測(cè)研究[D].電子科技大學(xué)，2010.

[5]閆斌.基于改進(jìn)的膚色模型和CPSO_AdaBoost算法的人臉檢測(cè)[D].新疆大學(xué)，2014.

[6]Hsu R-L， Jain A K. Face Detection in color image [J]. Pattern Analysis and Machine Intelligence， IEEE Transactions on， 2012， 24（5）： 696-706.

[7]Kherchaoui S， Houacine A. Face detection based on a model of the skin color with constrainsand template matching[J].Proceeding of the 2010 International Conference on Machine and Web Intelligence （ICMWI），2010：469-472.

[8]Viola P， Jones M.Rapid object detection using a boosted cascade of simple feature[C]. Proceeding of the 2011 IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR 2001），2011：511-518.

[9]Peng Cheng，Wan Chuan.An active shape model for facial expression recognition based on a local texture model[C].CAAI Transactions on Intelligent Systems，2011，6（3）.

[10]侯婕，人臉表情計(jì)算研究技術(shù)[D].蘇州大學(xué)，2014.

[11]Guo Y，Zhao G.Discriminative features for texture description[J].Pattern Recognition，2012，45（10）：3834-3843.

[12]周宇旋，吳秦，梁久禎，等.判別性完全局部二值模式人臉表情識(shí)別[J].計(jì)算機(jī)工程與應(yīng)用，201753（4）：：163-169.

[13]徐文暉.面向視頻序列表情分類(lèi)的LSVM算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2009，21（4）：542-548.

[14]趙艷.基于深度學(xué)習(xí)的表情識(shí)別研究[D].重慶郵電大學(xué)，2016.

[15]羅翔云.基于深度學(xué)習(xí)的人臉表情識(shí)別[D].杭州電子科技大學(xué)，2017.