魏為民, 孟繁星, 才 智, 劉 暢

(上海電力大學 計算機科學與技術(shù)學院, 上海 200090)

人臉識別技術(shù)作為生物特征識別技術(shù)的一種,以其安全便捷的特性得到了廣泛應用。但是各種各樣的類內(nèi)干擾(如光照、年齡和表情等)使得人臉識別面臨著非常大的挑戰(zhàn)。人臉識別技術(shù)需要用戶在未配合的狀態(tài)下進行身份識別認證,就涉及到不同表情的干擾問題。近年來,越來越多的研究機構(gòu)關(guān)注到了在表情干擾情況下的人臉識別技術(shù),不僅在理論層面推動人臉識別技術(shù)的研究,也在應用層面推動人臉識別技術(shù)的普及推廣。

自從20世紀60年代最早的人臉識別系統(tǒng)創(chuàng)建以來,人臉識別已經(jīng)有將近60年的研究歷史。文獻[1]提出人臉識別發(fā)展主要經(jīng)歷了4個階段。第1階段主要包括基于幾何結(jié)構(gòu)的算法、基于模板匹配的算法等;第2階段主要包括Eigenfaces特征法、隱馬爾克夫法、奇異值分解法等;第3階段包括基于局部二值模式(Local Binary Patterns,LBP)[2-3]、方向梯度直方圖(Histogram of Oriented Gradient,HOG)[4]、尺度不變特征變換(Scale-invariant Feature Transfrom,SIFT)、支持向量機(Support Vector Machines,SVM)、稀疏表示法;第4階段包括卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)、三元組損失函數(shù)和DeepID等。1971年,EKMAN P等人[5-6]對表情做了6種基本的分類,包括憤怒、驚訝、快樂、悲傷、厭惡和恐懼。傳統(tǒng)的表情識別方法(例如HOG和LBP)主要采用手工提取特征的方法,然而手工提取特征的方法受到人為規(guī)則的約束,在某種程度上其識別的精度會受到影響。隨著機器學習的發(fā)展,基于深度CNN的特征提取越來越受到人們的關(guān)注。通過深度CNN提取到的特征,信息表達更豐富,可以解決傳統(tǒng)手工提取的弊端。深度學習已經(jīng)成為人臉識別領(lǐng)域的熱點,越來越多的新方法在性能上也逐漸超過傳統(tǒng)的人臉識別方法。

1 人臉表情識別技術(shù)

文獻[7]提出表情識別主要包括人臉圖像、檢測與定位、圖像預處理、特征處理和人臉識別等步驟。圖1是表情識別的主要流程。

圖1 人臉識別流程

人臉表情識別的第1步是進行圖像采集,其中圖像采集又包括動態(tài)采集和靜態(tài)采集。動態(tài)采集主要是監(jiān)控攝影機等拍攝的視頻鏡頭,這種視頻鏡頭獲得的人臉圖像相對更加完整;靜態(tài)采集主要是通過照相機、掃描儀的方式獲取人臉圖像,這種圖像相較于動態(tài)采集,質(zhì)量較差。第2步是檢測與定位,人臉的檢測與定位是指在輸入的圖像中是否存在人臉圖像以及人臉圖像的數(shù)量等,如果存在人臉圖像,那么就要對該圖片進行人臉的定位,給出每個圖片中人臉的具體位置、姿態(tài)以及大小等要素。第3步是對圖像進行預處理,原始圖像總會引入一些不可避免的噪聲,預處理的目的就是將這些噪聲盡可能地降低。第4步是特征提取出和人臉識別,通過特定的算法對預處理的圖片提取關(guān)鍵的特征,然后對其進行分析。不同的人臉表征方法會提取出不同的人臉信息,例如基于幾何特征的人臉識別算法會提取出人臉重要部位的幾何關(guān)系作為特征點[8]。

2 常用表情數(shù)據(jù)庫

在人臉表情識別中所有提出的新方法和技術(shù)都需要在表情數(shù)據(jù)集上進行實驗驗證,已經(jīng)有許多數(shù)據(jù)集用于實驗和比較。傳統(tǒng)方法上,用2D靜態(tài)圖像或2D視頻序列進行人臉表情的研究?，F(xiàn)在表情識別研究成為了該領(lǐng)域的熱點問題[9],對3D人臉圖像的表情進行分析更有利于理解表情識別中的細微變化[10]。下面對應用于人臉表情識別的主流數(shù)據(jù)庫進行總結(jié)。

2.1 JAFFE數(shù)據(jù)庫

日本女性人臉表情數(shù)據(jù)庫由213張女性表情組成,都是灰度圖像。分為7種面部表情,包括6種基本的面部表情和1種中性面部表情。每張圖片的原始尺寸都是256×256像素。該數(shù)據(jù)集的缺點是圖片數(shù)量太少,不能用于要求較高的實驗技術(shù)中,優(yōu)點是囊括了人類的所有表情,即表情種類比較豐富。表1是 JAFFE數(shù)據(jù)庫中各表情的數(shù)目分布情況。圖2是JAFFE各表情部分樣例展示。

表1 JAFFE數(shù)據(jù)庫各表情的數(shù)目分布情況

圖2 JAFFE各類表情展示

2.2 CK+人臉表情數(shù)據(jù)庫

CK+人臉表情數(shù)據(jù)庫[11]是由123名參與者的593張圖片序列組成。這些參與者的年齡18至30歲,大都為女性,其中包括81%的歐美人種,13%的非裔美國人種,6%的其他人種。這593張圖片序列每個都包含動作單元標簽。其中有327張帶有表情標簽,包括自發(fā)表情和擺拍表情。這些圖片的大小有兩種,分別是640×480像素和640×490像素。

2.3 FER2013人臉表情數(shù)據(jù)庫

FER2013人臉表情數(shù)據(jù)庫[12]是Kaggle網(wǎng)站在2013年的人臉表情大賽中發(fā)布的人臉表情數(shù)據(jù)庫。該數(shù)據(jù)庫包括35 887張圖片,所有的圖片都是灰度圖像,包括了7種人臉表情,而且還對這些表情進行了數(shù)字編號,編號如下:0為生氣;1為厭惡;2為恐懼;3為快樂;4為悲傷;5為驚訝;6為中性。所有的圖像均是48×48像素。圖3為FER2013人臉表情數(shù)據(jù)集部分樣例圖。

圖3 FER2013人臉表情數(shù)據(jù)庫部分樣例

2.4 BP4DSpontanous人臉表情數(shù)據(jù)庫

BP4D-Spontanous人臉表情數(shù)據(jù)庫[8]是一種3D視頻數(shù)據(jù)庫,由41位年輕人的表情組成,其中包括23位年輕的女性,18位年輕的男性;年齡18至29歲;11個亞洲人種,6個非裔美國人,4個西班牙人,20個歐裔美國人。該數(shù)據(jù)庫為精細面部表情的三維空間的探索奠定了基礎(chǔ)。

2.5 Yale人臉表情數(shù)據(jù)庫

Yale人臉表情數(shù)據(jù)庫由耶魯大學創(chuàng)建,收集了15位志愿者的表情。這些圖像是在不同的光照和姿態(tài)下拍攝的,每位志愿者都有11張人臉圖像。該表情數(shù)據(jù)庫的規(guī)模較小,適合像家居這種人臉存儲量較少且環(huán)境場景較復雜的情況使用。每張圖片均為100×100像素。

2.6 KDEF人臉表情數(shù)據(jù)庫

KDEF人臉表情數(shù)據(jù)庫[13]由瑞典斯德哥爾摩心理學系臨床神經(jīng)科學系Karolinska研究所的LUNDQVIST D,FLYKT A,?HMAN A 3人于1998年開發(fā)。該材料最初被開發(fā)用于心理和醫(yī)學研究目的。更具體地說,材料被制成為特別適合于感知、注意力、情感、記憶和后向掩蓋實驗。因此,要特別注意創(chuàng)建柔和、均勻的光線,多角度的拍攝表情,使用統(tǒng)一的T恤顏色,在拍攝過程中使用網(wǎng)格使參與者的臉居中以及固定眼睛和嘴巴的位置。該集合包含70個個體,每個個體展示7種不同的情感表達,每個表達都從5個不同的角度進行了拍攝。

3 表情識別研究方法

3.1 傳統(tǒng)方法研究

人臉表情識別技術(shù)主要有特征提取和特征分類兩方面。傳統(tǒng)方法對靜態(tài)圖像的特征提取主要有LBP特征、主成分分析(Principal Component Analysis,PCA)以及Gabor等,對于動態(tài)圖像的提取主要包括光流法、模型法和幾何法。ZHAO G等人[14]提出了利用LBP-TOP算法進行特征提取,并且和SVM相結(jié)合進行特征分類。SHAN C等人[15]利用LBP和AdaBoost對表情圖片進行特征提取,再結(jié)合SVM進行分類,這種方法的效果顯著。黃非非[16]對LBP做了改進,提出一種多尺度的LBP特征提取技術(shù),這項技術(shù)對特征維數(shù)做了改進,在數(shù)據(jù)集上進行實驗,效果良好,并且具有良好的魯棒性。OLIVERIRA L等人[17]提出了使用二維主成分分析(2DPCA)算法提取圖像表情特征,并使用基于多目標遺傳的特征選擇算法獲取數(shù)據(jù),有效地提高了識別率,并且也降低了計算的難度。邵潔和董楠[18]提出了一種基于人臉3D特征點的實時檢測方法,建立了基于廣義普魯克分析(Generalized Procrustes Analysis,GPA)算法的特征歸一化模型,采用SVM進行人臉表情特征匹配,不僅能夠檢測不同角度的人臉表情特征,而且具有實時檢測的特點,但方法存在的不足是未引入紋理特征,若引入紋理特征那么檢測精度將進一步提升。

2015年,LUO Y等人[19]提出了利用PCA算法提取表情圖像全局特征,再利用LBP提取表情區(qū)域的眼睛和嘴巴的區(qū)域特征信息。這種方法是對LBP算法容易受到噪聲、光照等因素影響的改進,并且改進了現(xiàn)有的融合算法的不足。2016年,KUMAR S等人[20]對傳統(tǒng)的LBP進行了優(yōu)化,使用加權(quán)投影的LBP算法提取特征信息,取得了較好的識別效果。李玉朵[21]提出了融合式的二維Gabor小波、Fisher線性判別和PCA,可以很好地解決小樣本問題,同時避免了維數(shù)過高的問題。2018年,SAHA A等人[22]提出了一個使用特征空間算法和PCA從輸入圖像中識別人的面部表情的系統(tǒng)。該特征空間對已知面部圖像之間的變化進行編碼,并使用PCA來縮小面部圖像的尺寸。該方法經(jīng)過3個不同的數(shù)據(jù)集進行驗證,效果顯著。BOUGURZI F等人[23]提出結(jié)合使用PCA變換后的手工特征和深層特征,從靜態(tài)圖像中識別6種基本面部表情。介紹了金字塔多級(Pyramid Multi Level,PML)人臉表征在面部表情識別中的使用,通過PML獲得手工制作的特征。通過CK+,CASIA,MMI數(shù)據(jù)庫確定3個手工描述符(HOG,LPQ,BSIF)的PML功能的最佳級別,然后將它們與轉(zhuǎn)換后的VGG層(FC6和FC7)結(jié)合在一起,以獲得緊湊的圖像描述符。該方法經(jīng)過在CK+和CASIA數(shù)據(jù)庫上測試,其結(jié)果優(yōu)于其他靜態(tài)方法。

為解決Gabor濾波器獲取人臉特征數(shù)據(jù)存在冗余信息以及提取的表情特征單一的問題,文獻[24]提出了基于LGRP和多特征融合人臉表情的識別方法。該方法首先提取表情圖像的Gabor多方向和多尺度特征,并得到局部Gabor排序模式,然后,引入Haar小波和Otsu閾值分割法分別提取特征,最后使用SVM對人臉表情進行分類。

表2給出了不同特征提取方法在JAFFE數(shù)據(jù)庫上的識別準確率。

表2 不同特征提取方法的識別準確率

光流法在模式識別、計算機視覺以及其他影像處理領(lǐng)域中非常有用,可用于運動檢測、物件切割、碰撞時間與物體膨脹的計算、運動補償編碼,或者通過物體表面與邊緣進行立體的測量等。早期的人臉表情識別算法多采用光流法提取動態(tài)圖像的表情特征,主要在于光流法具有突出人臉形變、反映人臉運動趨勢等優(yōu)點。因此,該算法依舊是傳統(tǒng)方法中用來研究動態(tài)圖像表情識別的重要方法。光流法的優(yōu)點是受光照不均的影響較小,反映了表情變化的實質(zhì),缺點是計算開銷大。文獻[25]將人臉關(guān)鍵點與金字塔光流相結(jié)合,提出了基于級聯(lián)網(wǎng)絡(luò)和金字塔光流的旋轉(zhuǎn)不變?nèi)四槞z測算法,主要解決的是視頻中面部檢測存在的平面旋轉(zhuǎn)問題。該算法檢測速度較快,并且很好地解決視頻窗口抖動問題。文獻[26]提出將主動表觀模型與Lucas-Kanada光流法相結(jié)合的表情識別方法。利用高斯金字塔光流法跟蹤表情幀中的表情特征點,將表情變化信息作為人臉表情特征,最后通過SVM進行表情分類。經(jīng)過Cohn-Kanade+人臉表情數(shù)據(jù)集的驗證,來顯著提高表情識別的準確率。

在表情特征提取方法中,人臉表情的產(chǎn)生和面部的器官有很大聯(lián)系,所以考慮到表情特征集中區(qū)域可能是在面部主要器官處,在面部器官區(qū)域標記特征點,計算特征點之間的距離和特征點所在曲線的曲率,就是幾何法。文獻[27]提出了基于幾何和紋理特征的表情層級分類方法,更好地利用了特征自身分布的特性。所提方法在JAFFE和CK+數(shù)據(jù)庫上的實驗結(jié)果表明,比一般幾何紋理的識別效果更好。

3.2 深度學習的表情研究方法

近年來,隨著機器學習的發(fā)展,深度學習在人臉表情識別領(lǐng)域已經(jīng)取得了突破性的進展,如采用CNN和遞歸神經(jīng)網(wǎng)絡(luò)進行模式識別、特征提取和任務(wù)分類。CNN的主要優(yōu)點是實現(xiàn)端到端的學習[28],減少對人臉模型和預處理的依賴,已經(jīng)被廣泛應用于物體識別、人臉識別和表情識別等。

文獻[29]主要回顧了基于CNN的面部表情識別的6種方法,并且比較了它們之間的不同,指出了現(xiàn)有的人臉表情識別性能的困難并確定了以后研究的大致方向。

為了解決現(xiàn)有算法需要依賴人工設(shè)計的缺點,文獻[30]提出了基于深度時空域卷積神經(jīng)網(wǎng)絡(luò)的表情識別方法。使用新的卷積濾波器響應積替代了權(quán)重和,并且采用數(shù)據(jù)驅(qū)動的方式,自動提取時空中的動態(tài)特征和靜態(tài)特征,通過比較得出該方法優(yōu)于其他方法。

文獻[31]提出了一種新的深度學習框架。該框架將CNN與長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)單元相結(jié)合,用于實時面部表情識別。該框架主要包括3個方面:一是采用兩種不同的預處理技術(shù)來處理照明差異并保留每個圖像的細微邊緣信息;二是將預處理后的圖像輸入到兩個單獨的CNN架構(gòu)中,可用于提取空間特征;三是將來自兩個獨立CNN層的空間特征圖與LSTM層融合并集成。該LSTM層提取連續(xù)幀之間的時間關(guān)系。通過預處理,該模型具有良好的檢測效果。

使用CNN方法識別表情的準確率要明顯高于傳統(tǒng)方法,可以解決不同姿態(tài)、不同光照以及不同背景的問題,具有良好的魯棒性。但是CNN也有缺點,不僅需要占用大量的計算機內(nèi)存空間,而且需要付出大量的計算開銷,而且在使用CNN提取特征時,在不同的數(shù)據(jù)集上效果差別較大[11]。

2014年,牛津大學提出了簡潔、實用的VGG卷積神經(jīng)網(wǎng)絡(luò)模型。VGG在AlexNet基礎(chǔ)上做了改進,整個網(wǎng)絡(luò)都使用了同樣大小的3×3卷積核尺寸和2×2最大池化尺寸,網(wǎng)絡(luò)結(jié)果簡潔。在ILSVRC比賽中,VGG網(wǎng)絡(luò)取得了良好的成果,TOP-5的準確率達到了92.3%[25]。

AlexNet中每層卷積層中只包含一個卷積,卷積核的大小是7×7。在VGGNet中,每層卷積層中包含2～4個卷積操作,卷積核的大小是3×3,卷積步長是1,池化核是2×2,步長為2。VGGNet最明顯的改進就是降低了卷積核的尺寸,增加了卷積的層數(shù)。

文獻[32]提出了一種基于cGAN和表情元素濾除的殘余表情識別算法(DeRL),通過cGAN濾除人臉的中性成分,并使用MLP處理殘存的表情元素,實現(xiàn)了表情的高精度識別。通過7種表情庫的實驗,驗證了所提算法的有效性。但若優(yōu)化殘存表情識別網(wǎng)絡(luò),則會進一步提高識別準確率。

對幾種深度學習模型在CK+數(shù)據(jù)庫上的識別準確率進行了比較,結(jié)果如表3所示。

表3 深度學習模型在CK+數(shù)據(jù)庫上的識別準確率

4 結(jié) 語

目前表情識別技術(shù)已經(jīng)被廣泛研究,但是我們所定義的表情只涵蓋了特定種類的一小部分,主要是面部表情,實際上人類還有很多其他的表情?，F(xiàn)有的表情識別技術(shù)還不能很好地解決光照變化、遮擋、非正面頭部姿勢等問題,雖然可以采用多攝像頭技術(shù)、色彩補償技術(shù)予以解決,但效果并不理想。表情識別的計算量有待改進,現(xiàn)在流行的CNN表情識別方法雖然識別精確度較高,但是計算開銷卻非常大?？紤]到表情識別是一個數(shù)據(jù)驅(qū)動的任務(wù),并且訓練一個足夠深的網(wǎng)絡(luò)需要大量的訓練數(shù)據(jù),深度表情識別系統(tǒng)面臨的主要問題是在質(zhì)量和數(shù)量方面都缺乏訓練數(shù)據(jù)。

隨著機器學習的迅速發(fā)展,基于深度學習的表情識別技術(shù)更加完善,可以使用深度學習技術(shù)解決光照變化、遮擋、非正面頭部姿勢、身份偏差和低強度表情識別。不同的數(shù)據(jù)庫之間的偏差和表情類別的不平衡分布是深度表情識別領(lǐng)域中要解決的另外兩個問題。對于數(shù)據(jù)庫之間的偏差問題,可以用深度域適應和知識蒸餾來解決。對于表情類別不平衡問題:一種解決方案是利用數(shù)據(jù)增強和合成來平衡預處理階段中的類分布;另一種選擇是在訓練期間給深度網(wǎng)絡(luò)增加代價敏感的損失層。

加強多信息技術(shù)的融合,面部表情不是唯一的情感表現(xiàn)方式,綜合語音語調(diào)、脈搏、體溫等多方面信息來更準確地推測人的內(nèi)心情感,將是表情識別技術(shù)需要考慮的問題。