薛建明, 劉宏哲, 袁家政, 王雪嶠, 李 青, 楊少鵬

(1.北京聯(lián)合大學(xué) 北京市信息服務(wù)工程重點實驗室，北京 100101;2.北京開放大學(xué)，北京 100081; 3.北京聯(lián)合大學(xué) 計算機技術(shù)研究所，北京 100101)

0 引 言

人臉表情識別在人機交互與情感感知領(lǐng)域有著廣泛的研究前景，主要應(yīng)用包括智能教育中的學(xué)習(xí)狀態(tài)分析、安全駕駛中的駕駛?cè)藸顟B(tài)預(yù)測、犯罪審訊中的嫌疑人心理活動分析和智能醫(yī)療中的病人病因分析等。美國的著名心理學(xué)家Ekman P和 Friesen W V首次提出了面部動作編碼系統(tǒng)(facial action coding system,FACS)[1]，并提出了迄今為止都廣泛使用的六類基本表情(驚訝，悲傷，厭惡，生氣，開心和恐懼)。目前，人臉表情識別算法可以大致分為兩種：傳統(tǒng)機器學(xué)習(xí)方法和基于深度學(xué)習(xí)的方法。

傳統(tǒng)機器學(xué)習(xí)方法大多將人臉表情識別分為特征提取和特征分類2個步驟。其中，特征提取是最關(guān)鍵的部分。提取能夠更好表達表情信息的特征可以在很大程度上提高表情識別的準確率。根據(jù)處理對象的不同，還可以將特征提取和特征分類兩個部分的算法分別細分為基于靜態(tài)圖像的方法和基于動態(tài)序列的方法。近年來，諸如局部二值模式(local binary pattern,LBP)、局部Gabor二值模式(local Gabor binary pattern,LGBP)[5]、梯度直方圖(histogram of gradient,HOG)和尺度不變特征變換(scale invariant feature transform,SIFT)[7]等算法被應(yīng)用于靜態(tài)人臉表情圖像的特征提取。文獻[2]將SIFT特征應(yīng)用人臉表情識別，取得了78.43 %識別結(jié)果。文獻[3]將LBP與Gabor兩種特征相結(jié)合，取得了98 %的識別結(jié)果?；趧討B(tài)序列的特征提取較常用的有光流法和特征點跟蹤法。通過對人臉表情圖像提取特征后，還需要使用合適的分類器對特征進行分類。基于靜態(tài)圖像的分類器主要有K最近鄰(K nearest neighbour,KNN)分類器、支持向量機(support vector machine,SVM)分類器和貝葉斯分類器等。而基于動態(tài)序列的分類器主要有隱馬爾可夫模型(hidden Markov model,HMM)[4]和VSL-CRF[5]模型等。這些傳統(tǒng)的機器方法在特定的小樣本數(shù)據(jù)集中更加有效，但卻缺乏泛化能力，在不受控制的環(huán)境中很難通過調(diào)整來識別新的人臉表情。然而隨著技術(shù)發(fā)展，深度學(xué)習(xí)在計算機視覺領(lǐng)域得到了廣泛應(yīng)用，從而解決了傳統(tǒng)人工設(shè)計特征的麻煩，并且能夠自動地提取更深層次的人臉表情特征，達到提高識別率的目的。

Ouellet S[6]將深度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于人臉表情識別，進行高級人臉特征的提取，然后通過SVM分類器進行表情分類，最終在The Extended Cohn-Kanade Dataset(CK+)[7]數(shù)據(jù)集上取得94.4 %識別精度。 Liu M Y等人[8]通過結(jié)合表情活動單元(action unit,AUs)來構(gòu)建人臉表情識別深度網(wǎng)絡(luò)(action unit deep network,AUDN)，最終在CK+數(shù)據(jù)集上取得了92.05 %的識別結(jié)果。

目前，現(xiàn)有的算法也有通過提取關(guān)鍵區(qū)域的手工特征來進行表情識別，并沒有與深度學(xué)習(xí)相結(jié)合。本文提出一種新的應(yīng)用于人臉表情識別的區(qū)域特征融合并行網(wǎng)絡(luò)框架。本文的主要創(chuàng)新點為：1)提出了一種人臉表情圖像分塊的提取方法，能夠準確的提取人臉表情表達的兩個關(guān)鍵區(qū)域；2)提出了一種簡單有效的并行網(wǎng)絡(luò)的框架用于融合人臉表情圖像的全局和局部特征并很好地結(jié)合了遷移學(xué)習(xí)的思想，提高了表情識別的準確率。

1 相關(guān)理論

深度卷積神經(jīng)網(wǎng)絡(luò)由于其具備優(yōu)異的特征學(xué)習(xí)能力而被廣泛地應(yīng)用于深度學(xué)習(xí)的各個領(lǐng)域，尤其是圖像分類方面。深度卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用大大提高了特征提取的效率。相比于傳統(tǒng)的機器學(xué)習(xí)分類問題，深度卷積神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)格式也得到了一定程度上的簡化。因為傳統(tǒng)的機器學(xué)習(xí)分類問題不能直接將數(shù)據(jù)輸入，往往需要經(jīng)過一系列的預(yù)處理，例如：量綱的歸一化，格式的轉(zhuǎn)化等。鑒于深度卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)越性，本文的基礎(chǔ)模型采用的是VGG—16模型[9]。該模型為了能夠有效減少參數(shù)使用3個的卷積層來代替1個的卷積層，并且還在3塊卷積層后面都使用了ReLU層，從而使最終的決策函數(shù)的判別性更強。雖然VGG—16的預(yù)訓(xùn)練模型參數(shù)較大，但公開的預(yù)訓(xùn)練模型很方便獲取和使用。因此，本文采用遷移VGG—16的預(yù)訓(xùn)練模型，來實現(xiàn)本文所提的算法。

2 關(guān)鍵區(qū)域特征融合的人臉表情識別算法

2.1 總體框架

為了能夠?qū)⒑胸S富的表情表達的區(qū)域更好的利用，提出了基于區(qū)域特征融合的并行網(wǎng)絡(luò)的人臉表情識別算法。

2.2 人臉檢測

使用文獻[10]中的MTCNN方法。采用在MXNET框架下的MTCNN實現(xiàn)，對表情數(shù)據(jù)集中經(jīng)純臉部圖像提取后的圖像進行人臉檢測，然后再給出人臉中5個關(guān)鍵點的預(yù)測位置。5個關(guān)鍵點位置分別是兩眼中間位置，鼻尖位置和兩邊嘴角的位置。

圖1 區(qū)域特征融合并行網(wǎng)絡(luò)框架

2.3 關(guān)鍵區(qū)域提取

將5個關(guān)鍵點表示為P={PEL,PER,PNC,PML,PMR}，其中，下標E代表眼睛，N代表鼻子，M代表嘴巴，L和R分別表示左右。以眼睛區(qū)域為例。

首先，計算出眼關(guān)鍵點位置的中心對稱點PC1

PC1=|PEL-PER|/2

(2)

式中 |PEL-PER|為兩點的橫縱坐標對應(yīng)相減并取絕對值。

然后，計算得出該關(guān)鍵區(qū)域的寬和高

W=W1+W2,H=H1+H2

(3)

式中W1和W2分別為中心點PC1到該區(qū)域左邊緣和右邊緣的距離。同理，H1和H2分別為中心點PC1到該區(qū)域下邊緣和上邊緣的距離。W1，W2，H1和H2的計算公式如下

W1=|PEL∶x-X1|/2+|PEL∶x-PC1∶x|

(4)

W1=|PER∶x-X2|/2+|PER:x-PC1∶x|

(5)

H1=|PNC∶y-Y1|

(6)

(7)

式中X1，X2，Y1，Y1分別為二維圖像左、右邊緣的橫坐標和下、上邊緣的中坐標,P∶x和P∶y分別為是點P的橫縱坐標。

最后，以點PC1、寬W和H高這三個參數(shù)來確定眼部關(guān)鍵區(qū)域。同時，嘴巴關(guān)鍵區(qū)域的提取與眼部關(guān)鍵區(qū)域提取方法一致。本文將該方法同時在2個公開表情數(shù)據(jù)集中進行關(guān)鍵區(qū)域提取的實驗，證明了該方法在保證不丟失關(guān)鍵區(qū)域像素信息的情況下，還能夠很好地去除冗余信息。

2.4 特征提取與融合

本文采用在Imagenet[11]數(shù)據(jù)集上訓(xùn)練好的VGG—16模型作為本文算法中的特征提取器。由于人臉表情數(shù)據(jù)集的量級都較小，采用訓(xùn)練好的模型通過把從大數(shù)據(jù)集中學(xué)習(xí)的到知識遷移利用起來，從而能夠有效地防止過擬合，同時還可以加速訓(xùn)練的過程，節(jié)約人力和物力。本文算法使用3個并行的VGG—16模型來分別對全圖、眼睛關(guān)鍵區(qū)域和嘴巴關(guān)鍵區(qū)域進行特征提取，然后依次通過池化層和Concat操作實現(xiàn)特征的融合，最后在模型后面連接上2層全連接層和Softmax層作為分類器。提出的算法簡單有效。

3 實驗與結(jié)果分析

3.1 數(shù)據(jù)集選取與預(yù)處理

本文采用日本女性面部表情數(shù)據(jù)集JAFFE[12]和CK+人臉表情數(shù)據(jù)集來進行實驗驗證。

采用JAFFE的全部數(shù)據(jù)；對于CK+表情數(shù)據(jù)集只在有327個序列圖像選取3張峰值圖片作為驗證實驗的表情數(shù)據(jù)集。實驗時，將每一類表情分別隨機分成訓(xùn)練集、驗證集、測試集，將每一類訓(xùn)練集、驗證集、測試集合并，其分布比例為8∶1∶1。

對選取的2個表情數(shù)據(jù)集進行預(yù)處理主要是對其中所有圖片進行純臉部圖像的提取，并對提取后的純臉部圖像統(tǒng)一縮放到224×224×3大小，如圖2所示。

圖2 CK+和JAFFE表情庫純臉部樣本示例

3.2 實驗具體實施

對人臉圖像進行表情豐富區(qū)域裁剪，分別是眼睛、鼻子和嘴巴3個部位。裁剪后得到2個局部區(qū)域圖像，再將這2張圖像統(tǒng)一縮放到224×224×3的尺寸，如圖3所示。

圖3 CK+和JAFFE表情數(shù)據(jù)集關(guān)鍵區(qū)域提取實例

提取人臉圖像的關(guān)鍵區(qū)域后，將得到的2個關(guān)鍵區(qū)域圖像與全圖饋送到3個以VGG—16模型為基礎(chǔ)的并行網(wǎng)絡(luò)中提取人臉表情特征。為獲取更多的表情特征信息，本文選取模型中的Relu6這一層的輸出來作為的人臉表情特征的表達，尺寸為1×4 096。將得到的3個表情特征進行最大池化處理后，再使用Concat操作進行特征融合，然后再饋送到由2層全連接層和Softmax層組成的一個分類網(wǎng)絡(luò)進行訓(xùn)練，其中損失函數(shù)為交叉熵損失，優(yōu)化算法采用的是Adam方法。由大量的實驗得出，在對2個表情數(shù)據(jù)集上進行網(wǎng)絡(luò)訓(xùn)練時最小批數(shù)量采用的是32，訓(xùn)練輪數(shù)設(shè)置為70，在兼顧準確率的同時節(jié)約了訓(xùn)練時間。

3.3 實驗結(jié)果分析

本文在分別在CK+和JAFFE這兩個表情數(shù)據(jù)集上對所提算法進行了實驗驗證。表2和表4為本文所提方法在兩個表情數(shù)據(jù)集上得到的7種表情分類結(jié)果的混淆矩陣，并且表1和表3還給出了沒有融合局部區(qū)域特征的情況下，得到的分類結(jié)果的混淆矩陣。

表1 CK+測試結(jié)果混淆矩陣(純臉部圖像)

表2 CK+測試結(jié)果混淆矩陣(純臉部圖像+局部區(qū)域特征融合)

從表1和表2所示的混淆矩陣可以看出，開心和厭惡這兩個標簽的表情識別率100 %，是所有表情中最高的。因為開心的表情比較簡單，易于識別，而在CK+這個數(shù)據(jù)集中，厭惡的表情表現(xiàn)的形式也與其他表情差別較大，所以識別率會高一些。比較兩個表中的其他類別表情的識別率，不難發(fā)現(xiàn)，本文所提的方法使得準確率在未融合區(qū)域特征方法的基礎(chǔ)上進一步得到了提升。進一步分析可知，將富含表情表達的區(qū)域截取，再與全圖進行特征融合，這相當于將這些區(qū)域的特征進行了強化。因此，本文算法能夠識別出與恐懼這個表情表達相似的一些表情之間的較為細微的差異性，從而較大程度上消除了這一個問題對識別率的影響。

表3 JAFFE測試結(jié)果混淆矩陣(純臉部圖像)

表4 JAFFE測試結(jié)果混淆矩陣(純臉部圖像+局部區(qū)域特征融合)

從表3和表4可以看出，通過本文方法，將表情表達豐富的區(qū)域進行裁剪并融合其特征，能夠有效降低相似表情之間的誤識別的概率。同時，從表4可以看出，有一部分表情為生氣的圖像被誤識別為中性標簽。經(jīng)過查看原始數(shù)據(jù)集，可以發(fā)現(xiàn)，在標簽為生氣的樣本中，存在少量的樣本其表情表達并不明顯，可能是因此才導(dǎo)致了該類表情的誤識別。

將本文方法與近期其他學(xué)者所提方法的識別結(jié)果對比，文獻[13～17]及本文算法在CK+上的準確率分別為96.02 %，96.60 %，98.30 %，95.73 %，97.81 %，98.48 %；在JAFFE上的識別準確率分別為89.5 %，90.90 %，93.42 %，96.30 %，95.56 %?？芍贑K+和JAFFE這兩個表情數(shù)據(jù)集上，本文所提方法均取得了不錯的效果。在CK+數(shù)據(jù)集中，本文所提方法的識別率均超過了其他傳統(tǒng)機器學(xué)習(xí)的算法，其中也包括了設(shè)計提取并融合局部傳統(tǒng)特征的方法和基于卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)方法。在JAFFE數(shù)據(jù)集中，雖然本文的算法比文獻[15]中的方法識別率低，但由于本文采用的是基于卷積神經(jīng)網(wǎng)絡(luò)的方法，因此避免了人工設(shè)計特征的復(fù)雜性，且僅需要簡單地訓(xùn)練幾層網(wǎng)絡(luò)即可達到不錯的識別效果，節(jié)約了大量的訓(xùn)練時間。同時，JAFFE數(shù)據(jù)集原始數(shù)據(jù)較少，這也是導(dǎo)致其識別率不高的原因之一。

4 結(jié) 論

通過設(shè)計簡單并行網(wǎng)絡(luò)模型用于人臉表情識別，易于實現(xiàn)，且網(wǎng)絡(luò)的訓(xùn)練和測試能夠在30 min內(nèi)完成。同時，采用融合后的模型，能夠在一定程度上突出了人臉表情表達比較豐富區(qū)域的特征信息，使得該模型更好地學(xué)習(xí)到相似表情在關(guān)鍵區(qū)域中的細微差異，從而降低其誤判的概率，在JAFFE和CK+兩個數(shù)據(jù)集上分別取得95.56 %和98.48 %的結(jié)果。在今后的研究中，應(yīng)該進一步優(yōu)化關(guān)鍵區(qū)域提取的準確性和模型的魯棒性，從而能更好地滿足現(xiàn)實生活的場景的需求。