李升輝，李虹靜

基于深度卷積神經(jīng)網(wǎng)絡(luò)的面部表情自動識別檢測

李升輝，李虹靜

（華中科技大學(xué)工程實訓(xùn)中心，湖北 武漢 430074）

在人機交互領(lǐng)域中，對人臉的表情進行自動識別是一項有趣且十分具有挑戰(zhàn)性的工作，尤其是對視頻及圖像中的人臉進行表情識別。提出一種能夠自動從圖像或者視頻中找到人臉，進而對其表情進行識別的網(wǎng)絡(luò)模型。在包含人臉圖像的數(shù)據(jù)集中訓(xùn)練模型，使其自動檢測圖像中的人臉，并根據(jù)人臉識別其表情。最后在測試的數(shù)據(jù)集上驗證該模型的表現(xiàn)。

表情識別；深度學(xué)習(xí)；圖像處理；視頻分析

1 引言

由于面部表情在人類情緒分析中占有重要地位，因此面部表情識別在人機交互、認知心理學(xué)、醫(yī)療保健系統(tǒng)、動畫等領(lǐng)域有著重要的應(yīng)用。面部表情識別的目標是根據(jù)給定的面部圖像對情緒狀態(tài)進行分類（由EKMAN和FRIESEN[1]所定義的基本情緒，包括平靜、憤怒、厭惡、恐懼、快樂、悲傷和驚訝）。近年來，表情識別成為計算機視覺研究的熱點之一，全世界有大量的研究者研究出了效果不錯的表情識別系統(tǒng)。

利用傳統(tǒng)的機器學(xué)習(xí)來進行表情識別的研究在過去十年中取得了不錯成果。但是，這些檢測結(jié)果抗噪聲能力較差，并且易受其他因素如光照、頭部姿態(tài)、不同膚色等影響。此外，傳統(tǒng)方法通常需要手工設(shè)計描述子，這對于表情識別的海量視頻和圖像數(shù)據(jù)來說是極其不穩(wěn)定的。

眾所周知，深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）在計算機視覺等人工智能相關(guān)領(lǐng)域都取得了非常好的效果[2]。顧名思義，深度卷積網(wǎng)絡(luò)主要由多個卷積層疊加而成，同時卷積層之間還有池化層、激活層和全連接層等其他網(wǎng)絡(luò)單元。這些基礎(chǔ)單元組合而成的網(wǎng)絡(luò)能夠很好處理輸送進來的圖像或者語言等數(shù)據(jù)。與傳統(tǒng)方法或其他淺層的網(wǎng)絡(luò)模型相比，深度卷積網(wǎng)絡(luò)在效果上遠遠領(lǐng)先。當然，深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法通常也是使用反向傳播的方法訓(xùn)練，相比機器學(xué)習(xí)或者其他網(wǎng)絡(luò)模型而言，它處理相同數(shù)據(jù)所需要的參數(shù)更少，效果也更好，因此它逐漸成為一個熱門且廣泛使用的網(wǎng)絡(luò)結(jié)構(gòu)。

本文提出了一個融合數(shù)據(jù)集，并將該數(shù)據(jù)集劃分為訓(xùn)練集和測試集兩個部分。同時，設(shè)計了一個針對表情識別的網(wǎng)絡(luò)模型，它使用數(shù)據(jù)集中的訓(xùn)練部分進行有監(jiān)督的訓(xùn)練。最后利用測試集對訓(xùn)練好的模型進行測試，評價模型對表情識別的性能。

2 自動面部表情識別和卷積神經(jīng)網(wǎng)絡(luò)相關(guān)工作

1872年，達爾文在論文《The Expression of the Emotions in Animals and Man》中最先提出了面部表情識別研究的概念，并解釋說明了人類和動物面部表情研究的基本概念[3]。1971年，EKMAN和FRIESEN對現(xiàn)代人臉表情識別做了開創(chuàng)性的工作，他們研究了人類的6種基本表情（即高興、悲傷、驚訝、恐懼、憤怒、厭惡），系統(tǒng)地收集并且分類各種表情圖像上千幅，對人的五官（眼睛、鼻子、嘴巴、眉毛、臉部）進行詳細描述和變化分析。1978年，有學(xué)者提出在人物動畫幀中進行分析，對表情序列進行首次自動識別的嘗試[4]。后來進入90年代，有學(xué)者通過識別面部肌肉的運動方向來確定表情[5]。之后，關(guān)于表示識別的研究層出不窮。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)的代表算法之一。卷積神經(jīng)網(wǎng)絡(luò)具有表征學(xué)習(xí)能力，能夠按其階層結(jié)構(gòu)對輸入信息進行平移不變分類，因此也被稱為“平移不變?nèi)斯ど窠?jīng)網(wǎng)絡(luò)”。

20世紀八九十年代，卷積神經(jīng)網(wǎng)絡(luò)的研究被提出并且被證明有效。卷積神經(jīng)網(wǎng)絡(luò)中出現(xiàn)最早的是時間延遲網(wǎng)絡(luò)和LeNet-5[6]；21世紀后，隨著深度學(xué)習(xí)理論的豐富和計算機運算能力的突飛猛進，深度卷積神經(jīng)網(wǎng)絡(luò)的研究變得更加快速，在計算機視覺、語音文本處理等領(lǐng)域等都被大量使用。

3 人臉表情數(shù)據(jù)集

該數(shù)據(jù)集供設(shè)計的模型進行訓(xùn)練和測試使用。該數(shù)據(jù)集融合了學(xué)術(shù)界廣泛使用的幾個數(shù)據(jù)集和部分網(wǎng)絡(luò)圖片，其中包括被采集志愿者的照片、電影中的截圖、網(wǎng)絡(luò)上下載的圖片。數(shù)據(jù)集由高清和低清分辨率的圖片組成，所有圖片進行統(tǒng)一的裁剪處理。數(shù)據(jù)集中每張圖片都被標記為7種不同的表情表情類別，在實驗中，融合的數(shù)據(jù)集被采用7折交叉驗證，即融合數(shù)據(jù)集被打亂順序后平均分為7份，6份作為訓(xùn)練集，一份作為驗證集，重復(fù)實驗7次，最終實驗結(jié)果取這7次的平均值。數(shù)據(jù)集中部分圖片如圖1所示。

4 深度卷積神經(jīng)網(wǎng)絡(luò)模型

與傳統(tǒng)方法特征提取不同，之所以采用深度學(xué)習(xí)的方法，是因為深度學(xué)習(xí)中的網(wǎng)絡(luò)（尤其是CNN）對圖像具有較好的提取特征的能力，從而避免了人工提取特征的煩瑣。網(wǎng)絡(luò)的原理如圖2所示。首先將圖片中的人臉識別并裁剪出來，再將這些人臉圖片作為訓(xùn)練數(shù)據(jù)輸入到設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)中，并且利用了一個傳統(tǒng)特征描述子LBP的單元進行補充訓(xùn)練。網(wǎng)絡(luò)模型的訓(xùn)練也分步驟進行。只需要對最后全連接層的網(wǎng)絡(luò)進行訓(xùn)練，特征提取網(wǎng)絡(luò)（前六層）中的權(quán)值是固定的。然后再對整個網(wǎng)絡(luò)進行訓(xùn)練微調(diào)，以達到整個網(wǎng)絡(luò)識別的更高精度。訓(xùn)練平臺為攜帶因特爾 Core i7 3.4GHz CPU和英偉達 GeForce GTX 1080 GPU的臺式電腦，訓(xùn)練軟件為Tensorflow 1.4.0。網(wǎng)絡(luò)訓(xùn)練中使用Adam optimizer進行訓(xùn)練（動量項beta為0.5），學(xué)習(xí)率為常數(shù)0.000 2。

圖1 數(shù)據(jù)集中部分圖片

圖2 訓(xùn)練網(wǎng)絡(luò)的原理圖

設(shè)計的網(wǎng)絡(luò)模型總體結(jié)果如圖3所示，橫軸表示迭代次數(shù)，縱軸表示測試的準確值。這個結(jié)果可以證明本文的網(wǎng)絡(luò)模型對表情識別有非常不錯的識別率。

圖3 測試結(jié)果曲線

為了更好地評價網(wǎng)絡(luò)模型，隨機抽取融合數(shù)據(jù)集中幾張圖片輸入網(wǎng)絡(luò)模型進行測試。其表情識別的效果如圖4所示。由此可見，本文所設(shè)計的網(wǎng)絡(luò)模型對于各種情況下人臉的表情識別都具有很好的魯棒性，并且對于不同人物的年齡、光照影響、頭部姿勢、膚色等問題都能有效避免干擾，實現(xiàn)較高精度的識別。

5 結(jié)論

本文引入了一個融合了的表情數(shù)據(jù)集，包括訓(xùn)練樣本和測試樣本，使用該數(shù)據(jù)集訓(xùn)練、測試設(shè)計模型。實驗結(jié)果表明，在該表情數(shù)據(jù)集下，設(shè)計的深度卷積神經(jīng)網(wǎng)絡(luò)模型對圖像中的人臉表情有很好的識別能力。

［1］EKMAN P，F(xiàn)RIESEN W V.Constants across cultures in the face and emotion［J］.Journal of Personality and Social Psychology，1971，17（2）：124.

［2］盧宏濤，張秦川.深度卷積神經(jīng)網(wǎng)絡(luò)在計算機視覺中的應(yīng)用研究綜述［J］.數(shù)據(jù)采集與處理，2016，31（1）：1-17.

［3］DARWIN C，PRODGER P.The expression of the emotions in man and animals［M］.USA：Oxford University Press，1998.

［4］SUWA M.A preliminary note on pattern recognition of human emotional expression［C］//Proc. of The 4th International Joint Conference on Pattern Recognition，1978.

［5］MASE K，PENTLAND A.Automatic lipreading by optical- flow analysis［J］.Systems and Computers in Japan，1991，22（6）：67-76.

［6］于之訓(xùn)，蔣平.具有傳輸延遲的網(wǎng)絡(luò)控制系統(tǒng)中狀態(tài)觀測器的設(shè)計［J］.信息與控制，2000，29（2）：125-130.

TP391.41

A

10.15913/j.cnki.kjycx.2019.17.060

2095－6835（2019）17－0129－02

李升輝（1982—），男，碩士，工程師，主要研究方向為電工電子、PLC、光電技術(shù)和人工智能。

李虹靜（1989—），女，助理工程師，主要研究方向為電工電子和PLC。

〔編輯：嚴麗琴〕