姜月武，路東生，黨良慧，楊永兆，施建新

（上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海 201620）

0 引言

人臉表情是肢體語言的一種，肢體語言在人際交流中具有表達情感的作用。人臉表情識別是一個多學(xué)科交叉研究的熱點，主要有心理學(xué)、生物學(xué)、計算機科學(xué)等。早在20 世紀(jì)70 年代，Ekman 和Friesen就在跨文化研究結(jié)論的基礎(chǔ)上定義了6 種基本情緒：憤怒、厭惡、恐懼、高興、悲傷和驚訝，而這項研究表明人類對某些基本情緒的感知方式是相同的［1］。還有其它情感描述模型如面部動作編碼系統(tǒng)（FACS），其可以進行更寬泛和多種類的人臉表情刻畫和分類。人臉識別技術(shù)的早期探索始于SUWA M等通過在連續(xù)的人臉圖像序列上進行特征點的標(biāo)記，再去跟蹤識別這些特征點的變化與原模型進行比較得到表情信息［2］?；趥鹘y(tǒng)機器學(xué)習(xí)的人臉表情識別技術(shù)依賴于人工特征。局部二值算法（LBP）、Gabor 特征提取、主動形狀模型（ASM）等是機器學(xué)習(xí)算法常用提取特征的方法，這些方法常常用于小數(shù)據(jù)集。隨著計算機硬件的提升和高性能GPU 的出現(xiàn)，深度學(xué)習(xí)網(wǎng)絡(luò)重新成為了熱點，2012 年基于CNN 搭建的AlexNet 模型的出現(xiàn)，表情識別的準(zhǔn)確率實現(xiàn)了大幅提升，遠超傳統(tǒng)機器學(xué)習(xí)的準(zhǔn)確率［3］。

本文對人臉表情識別在機器學(xué)習(xí)和深度學(xué)習(xí)上國內(nèi)外的研究進展進行綜述，首先介紹常用的人臉表情數(shù)據(jù)集；而后分別就機器學(xué)習(xí)與深度學(xué)習(xí)在人臉表情識別的主要算法分別進行了總結(jié)；最后展望未來表情識別技術(shù)的挑戰(zhàn)與機遇，對表情識別技術(shù)的未來發(fā)展趨勢進行了分析。

1 面部表情數(shù)據(jù)集

常用的人臉表情數(shù)據(jù)集有CK＋數(shù)據(jù)集、MMI數(shù)據(jù)集、JAFFE數(shù)據(jù)集、BHU數(shù)據(jù)集、FER2013 數(shù)據(jù)集、AFEW數(shù)據(jù)集等。FER2013 包含的7 種表情，如圖1 所示。本文根據(jù)數(shù)據(jù)集的屬性，從數(shù)據(jù)集數(shù)據(jù)樣本、收集環(huán)境及方式和表情分布進行了總結(jié)，見表1。

表1 表情數(shù)據(jù)集及簡介Tab.1 Expression data set and introduction

圖1 FER2013 數(shù)據(jù)集包含的7 種基本表情Fig.1 The seven basic emoticons of FER2013 dataset

2 基于機器學(xué)習(xí)的人臉表情識別

人臉表情識別是圖像識別的一種，機器學(xué)習(xí)算法一直是圖像識別任務(wù)的常用算法，具有較高的識別精度?；跈C器學(xué)習(xí)的人臉表情識別算法的主要處理步驟包含：圖像預(yù)處理、特征提取和表情分類。

2.1 圖像預(yù)處理

圖像預(yù)處理的2 個主要作用：一是去除與人臉表情無關(guān)的成分；二是削弱對特征有影響的因素。去除與人臉無關(guān)的成分，包含去除背景、截取只含有人臉的圖片。一幅圖像除圖像信息外還包含噪聲信息，這些噪聲信息會對特征提取造成影響。由于光照的波動影響特征的提取率，人臉表情特征提取的紋理特征比較容易受到不均衡光照強度的影響。通過光照歸一化可有效的去除了光照的影響［4］。還有一些處理涉及到圖像的大小問題，只需要考慮關(guān)鍵特征不丟失的情況，適當(dāng)?shù)臏p小圖像尺寸。

2.2 圖像的特征提取

特征提取在分類任務(wù)上是核心問題，提取到能代表分類信息的有用特征關(guān)乎到人臉表情識別的準(zhǔn)確度。下面列舉一些常用的人臉表情特征提取算法：

局部二值算法（LBP）是一種描述圖像局部紋理的算子，由于LBP 具有良好的灰度不變性與旋轉(zhuǎn)不變性，根據(jù)這種特性LBP 常被用來應(yīng)用于紋理分類、人臉識別、手勢識別等領(lǐng)域［5］。王憲等根據(jù)基本LBP 算子提取的特征缺乏完整性的特點，提出了分塊的完備局部二值模式（CLBP），先進行不同的算子分塊的直方圖統(tǒng)計特征的提取，然后將所有分塊的CLBP 直方圖序列連接起來得到人臉的CLBP特征［6］；Jabid 提出基于局部方向模式（LDP），通過計算邊緣反應(yīng)來增強算法的魯棒性［7］。

Gabor 小波的響應(yīng)與人類視覺系統(tǒng)中簡單細胞的視覺刺激響應(yīng)非常相似，Gabor 小波對圖像邊緣具有良好的敏感性，同時對光照具有魯棒性，Gabor小波被廣泛的應(yīng)用于視覺處理領(lǐng)域［8］。針對傳統(tǒng)的Gabor 濾波器特征冗余的缺點，改進了一種新穎的局部Gabor 濾波器組，在人臉表情特征提取上有了很大的提升［9］；劉帥師等提出采用Gabor 多方向特征融合與分塊直方統(tǒng)計圖相結(jié)合的方法來提取表情特征，能夠有效地表征圖像的全局特征［10］。

Haar－like 特征定義了4 種由黑色區(qū)域和白色區(qū)域組成的基本窗口，這些窗口在圖像上滑動，遍歷整個圖像，黑色區(qū)域像素之和減去白色區(qū)域像素之和的差就是特征的一個維度；Lienhart R等在4 個特征基礎(chǔ)上進行了擴展，擴展為14 個，增加了旋轉(zhuǎn)性，能夠提取到更為豐富的邊緣信息［11］；胡敏等提出Haar－like 特征與直方圖加權(quán)的方法，使得局部特征描述的更加充分［12］。

光流法是基于光流的運動目標(biāo)檢測算法，應(yīng)用于行人識別、目標(biāo)檢測。光流法在人臉表情識別中被應(yīng)用于基于序列的表情識別。吳新根等提出了一種改進的瞬時位置速度估計方法，克服了光流算法的漂移問題，也加快了收斂速度［13］。

人臉表情特征提取是表情識別的關(guān)鍵問題，符合任務(wù)場景的特征有利于表情識別的完成，上述提取特征算法是人臉表情識別常用的算法，另外還有顏色特征、形狀特征、HOG 特征等也被用來刻畫人臉表情。

2.3 表情分類算法

特征提取后，通過分類器進行表情所屬類別的判斷。合適的分類器對表情分類起著重要作用，如何設(shè)計高性能的分類器也是表情識別任務(wù)的一個重要研究方向，人臉表情識別幾種分類器介紹：

支持向量機（SVM）是建立在統(tǒng)計學(xué)VC 理論和結(jié)構(gòu)風(fēng)險最小化原理基礎(chǔ)上的機器學(xué)習(xí)方法，其對于小樣本、非線性和高位模式識別問題的分類問題具有良好的解決能力。標(biāo)準(zhǔn)的SVM 問題的本質(zhì)是求解一個受約束的二次型規(guī)劃。通過特征融合，再利用SVM 進行人臉表情的識別，在CK 數(shù)據(jù)集上取得了95%的準(zhǔn)確率［14］；結(jié)合Gabor 小波與SVM，減少了數(shù)據(jù)量的處理，取得了很好地效果［15］。

隱馬爾可夫模型（HMM）是一種基于數(shù)理統(tǒng)計模型，描述一個含有隱含未知數(shù)的馬爾科夫過程，其在語音識別、模式識別被廣泛應(yīng)用，一般用于解決基于序列的問題。在表情識別領(lǐng)域，隱馬爾可夫模型一般用于處理基于動態(tài)序列的人臉表情識別問題。

貝葉斯分類器是指以貝葉斯定理為核心的算法總稱，貝葉斯決策通過相關(guān)概率已知的情況利用誤判的損失來選擇最優(yōu)的類別分類。改進貝葉斯分類器并結(jié)合傳統(tǒng)的人臉特征，提高了識別率并對光照和表情變化有較好的魯棒性［16］。

傳統(tǒng)的機器學(xué)習(xí)分類方法對大型數(shù)據(jù)處理往往面臨著各種問題，傳統(tǒng)機器學(xué)習(xí)算法大都只學(xué)習(xí)出一種分類邊界，不具有多維分類的特性。人臉表情識別也逐漸向深度學(xué)習(xí)領(lǐng)域發(fā)展，但傳統(tǒng)機器學(xué)習(xí)在表情識別上的應(yīng)用依然值得探索。機器學(xué)習(xí)算法在常用的數(shù)據(jù)上的識別結(jié)果見表2。

表2 傳統(tǒng)機器學(xué)習(xí)算法在常用表情數(shù)據(jù)集上的比較Tab.2 Comparison of traditional machine learning algorithms on commonly used expression datasets

3 基于深度學(xué)習(xí)的人臉表情識別

深度學(xué)習(xí)的相關(guān)研究在圖像識別領(lǐng)域取得很大進展，在ImageNet 數(shù)據(jù)集的識別率已經(jīng)接近人類水平。在表情識別領(lǐng)域，深度學(xué)習(xí)相關(guān)算法已經(jīng)居于主要地位，被廣泛應(yīng)用于基于靜態(tài)圖像和動態(tài)序列的表情識別問題。研究者們從各個角度出發(fā)提高表情識別的準(zhǔn)確率，從特征的優(yōu)化到數(shù)據(jù)的增強，從網(wǎng)絡(luò)結(jié)構(gòu)的變化到新的分類器的提出。

3.1 數(shù)據(jù)預(yù)處理

深度學(xué)習(xí)同樣也需要對數(shù)據(jù)進行預(yù)處理，去除與面部表情無關(guān)的背景和圖像在光照、頭部姿態(tài)上的差異。這些因素會影響到深度網(wǎng)絡(luò)的特征學(xué)習(xí)，在訓(xùn)練之前對數(shù)據(jù)進行預(yù)處理是很有必要的。

3.1.1 人臉對齊

人臉對齊是表情識別的一個關(guān)鍵步驟。給定一系列的數(shù)據(jù)，首先要檢測出人臉，之后再進行人臉圖像的裁剪以及其它變化。Viola－Jones 檢測器是最廣泛和經(jīng)典的檢測器，其輸入特征為haar－like 特征，對矩形圖像區(qū)域像素及和差的閾值化，具有良好的魯棒性，用于正面人臉識別［22］；監(jiān)督下降法（supervised descent method，SDM）通過級聯(lián)回歸函數(shù)，將圖像外觀映射到關(guān)鍵點位，取得比較好的效果，深度網(wǎng)絡(luò)被廣泛用于人臉識別［23］；級聯(lián)CNN 是早期以級聯(lián)方式預(yù)測關(guān)鍵點，級聯(lián)回歸在人臉對齊任務(wù)上具有高速度和準(zhǔn)確性，除此之外還考慮多個人臉檢測器組合來提高性能［24］。將不同的面部關(guān)鍵點探測器串聯(lián)起來，通過不同關(guān)鍵點的幾何位置進行人臉對齊［25］。

3.1.2 人臉標(biāo)準(zhǔn)化

在表情識別中光照和姿態(tài)的變化往往對特征提取造成影響，導(dǎo)致提取不到人臉表情特征，光照歸一化和姿態(tài)歸一化是比較常用的歸一化方法。基于各向同性擴散（IS）的歸一化方法、局域離散余弦變換歸一化與高斯分布的差分（DOG）在光照歸一化上取得了很好地效果，有效的去除了光照不均衡對特征的影響；直方圖均衡化于光照歸一化在人臉識別取得不錯的性能［26］。姿態(tài)歸一化問題一直以來是一個難題，野外數(shù)據(jù)集的姿態(tài)復(fù)雜，不同于實驗室數(shù)據(jù)集，對表情識別任務(wù)造成嚴(yán)重影響，最新的研究方法是基于GAN 網(wǎng)絡(luò)進行正面表情的合成。

3.2 深度網(wǎng)絡(luò)結(jié)構(gòu)

深度學(xué)習(xí)網(wǎng)絡(luò)利用組合低層特征去形成更加抽象的高維表示特征，應(yīng)用這些高維特征來發(fā)現(xiàn)數(shù)據(jù)的分布，從而實現(xiàn)數(shù)據(jù)的分類。深度學(xué)習(xí)網(wǎng)絡(luò)有著豐富的結(jié)構(gòu)，實現(xiàn)端到端的分類任務(wù)。表情識別常用的網(wǎng)絡(luò)結(jié)構(gòu)：

3.2.1 卷積神經(jīng)網(wǎng)絡(luò)（CNN）

由于CNN 對人臉位置變化和尺度變化具有很強的魯棒性，CNN 網(wǎng)絡(luò)被廣泛的應(yīng)用。使用CNN對人臉表情識別中主體獨立性、平移、旋轉(zhuǎn)、尺度不變性等問題有了很好地解決［27］。CNN 由卷積層、池化層、全連接層組成，其結(jié)構(gòu)如圖2 所示。卷積層主要利用卷積核計算，卷積核是指對于輸入圖像的一部分區(qū)域，進行加權(quán)平均的處理，這個過程的權(quán)重由一個函數(shù)定義，這個函數(shù)就是卷積核。通過核函數(shù)對輸入的圖像進行卷積操作，經(jīng)過激活函數(shù)線性化后得到特征圖；池化層連接在卷積層之后，其作用相當(dāng)于對特征圖進行特征提取，減小輸入特征圖尺寸和數(shù)據(jù)量，同時獲取更抽象的特征，防止過擬合，提高泛化性；全連接層將高維的特征圖轉(zhuǎn)化為一維特征圖，實現(xiàn)分類的任務(wù)。常見的CNN 網(wǎng)絡(luò)架構(gòu)有AlexNet、VGGNet、GoogleNet、ResNet等。

圖2 CNN 結(jié)構(gòu)圖Fig.2 CNN structure diagram

3.2.2 深度信念網(wǎng)絡(luò)（DBN）

深度信念網(wǎng)絡(luò)（DBN）由Geoffrey Hinton 提出，其是一種生成模型，通過訓(xùn)練不斷優(yōu)化其神經(jīng)元間的權(quán)重，可以讓整個神經(jīng)網(wǎng)絡(luò)按照最大概率來生成訓(xùn)練數(shù)據(jù)。DBN 由多層神經(jīng)元構(gòu)成，這些神經(jīng)元分為顯性神經(jīng)元（顯元）和隱性神經(jīng)元（隱元），顯元接收輸入，隱元提取特征，如圖3 所示。最上面的兩層間的連接是無向的，組成聯(lián)合內(nèi)存；較低的其它層之間有連接上下的有向連接；最底層代表了數(shù)據(jù)向量，每一個神經(jīng)元代表數(shù)據(jù)向量的一維。DBN 的組成元件是受限玻爾茲曼機（RBM），其訓(xùn)練過程一般包含2 個階段，第一階段被稱為預(yù)訓(xùn)練階段，通過無監(jiān)督地訓(xùn)練每一層RBM 網(wǎng)絡(luò)，使特征向量盡可能的映射到不同特征空間，從而盡可能多地保留特征信息；第二階段叫做微調(diào)，通過反向傳播網(wǎng)絡(luò)，將錯誤信息自頂向下傳播至每一層RBM，微調(diào)DBN 網(wǎng)絡(luò)。

圖3 DBN 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 DBN network structure diagram

3.2.3 循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）常用于挖掘數(shù)據(jù)中的時序信息以及語義信息的深度表達，在語音識別、語言模型、機器翻譯以及時序分析等方面實現(xiàn)了突破。網(wǎng)絡(luò)架構(gòu)上，循環(huán)神經(jīng)網(wǎng)絡(luò)會記憶之前的信息，并對后面的信息造成影響。長短時記憶網(wǎng)絡(luò)（LSTM）解決了RNN 在信息間隔比較大時喪失學(xué)習(xí)能力，或者在信息間隔大小不同、長短不一時RNN 的性能有所降低［28］。LSTM 通過一些“門”結(jié)構(gòu)讓信息有選擇的影響循環(huán)神經(jīng)網(wǎng)絡(luò)每個時刻的狀態(tài)，LSTM 的門一般包括遺忘門、輸入門和輸出門3 種，如圖4 所示。遺忘門在LSTM 中即以一定的概率控制是否遺忘上一層的隱藏細胞狀態(tài)。一種嵌套LSTM，內(nèi)部進行時間動態(tài)建模，外部進行輸出，集成獲取多層次特征［29］。

圖4 LSTM 的門運算結(jié)構(gòu)Fig.4 Gate operation structure of LSTM

3.3 基于深度網(wǎng)絡(luò)的表情識別

隨著深度學(xué)習(xí)在人臉表情識別領(lǐng)域的發(fā)展，基于深度網(wǎng)絡(luò)的表情識別算法大量出現(xiàn)，根據(jù)處理數(shù)據(jù)類型可分為靜態(tài)圖像的表情識別和動態(tài)序列的表情識別算法。

3.3.1 靜態(tài)圖像

靜態(tài)圖像表情識別算法通過預(yù)訓(xùn)練和微調(diào)、增加功能模塊、構(gòu)建級聯(lián)網(wǎng)絡(luò)等策略來提升表情識別的準(zhǔn)確率。Yao等提出了一個新穎的CNN 架構(gòu)HoloNet，其將CReLU 激活函數(shù)與殘差網(wǎng)絡(luò)相結(jié)合，在不降低效率的情況下增加網(wǎng)絡(luò)深度，并設(shè)計了一個殘差塊，使得人臉表情識別系統(tǒng)通過學(xué)習(xí)多尺度特征以捕獲表情的變化，在人臉表情識別上取得很好地效果［30］；基于單個深度網(wǎng)絡(luò)能取得了良好的結(jié)果，研究人員又把方向轉(zhuǎn)向多網(wǎng)絡(luò)集成的方向，一個良好的集成網(wǎng)絡(luò)應(yīng)考慮各個網(wǎng)絡(luò)的集成效果和網(wǎng)絡(luò)的互補性［31］。S.A.Bargal等提出了集合最優(yōu)的表情識別網(wǎng)絡(luò)如圖5 所示，通過串聯(lián)特征一維輸出層再進行分類任務(wù)［32］。級聯(lián)網(wǎng)絡(luò)通過對不同任務(wù)的模塊進行組合構(gòu)成一個更深層次的網(wǎng)絡(luò)，Lv.Y等利用級聯(lián)結(jié)構(gòu)設(shè)計了新的人臉表情識別結(jié)構(gòu)，使用DBN檢測人臉和與表情相關(guān)的區(qū)域，用堆疊式自動編碼器對這些解析過的面元進行分類［33］。

圖5 網(wǎng)絡(luò)集成結(jié)構(gòu)網(wǎng)絡(luò)Fig.5 The network integration structure

3.3.2 動態(tài)序列

基于動態(tài)序列的表情識別通過從連續(xù)幀的時間相關(guān)性來獲取信息，常用的策略有幀聚合、表情強度網(wǎng)絡(luò)、深度時空網(wǎng)絡(luò)。幀聚合策略利用視頻片段中，幀在表達強度上不同的特點進行特征的提取，通過各種算法來聚合幀的輸出［34］。通過將所有幀的特征的均值、方差、最小值和最大值串聯(lián)起來實現(xiàn)幀聚合［35］；對于大多基于序列的表情識別算法往往忽略細微的表情，表情強度以不同強度的訓(xùn)練樣本作為輸入，利用表情強度不同序列中表達之間的內(nèi)在相關(guān)性進行特征的優(yōu)化提?。?5］；Zhao等提出峰值導(dǎo)數(shù)深度網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖6 所示，將同一表情、同一對象的一對峰值和非峰值圖像作為輸入，利用L2 范數(shù)損失來最小化兩幅圖像之間的距離［36］。在反向傳播過程中，提出了一種峰值梯度抑制（PGS）方法，在避免反向傳播的同時，將非峰值表達式的學(xué)習(xí)特征推向峰值表達式的學(xué)習(xí)特征，從而提高了對低強度表達式的網(wǎng)絡(luò)識別能力。雖然幀聚合技術(shù)可以在視頻序列中集成幀，但時間依賴性沒有被利用。利用深度時空網(wǎng)絡(luò)在未知表情強度的前提下，將時間窗口中的一系列幀作為單個輸入，利用紋理和時間信息對更細微的表達進行編碼［37］。在真實場景中，人的面部表情是一個動態(tài)的過程，從細微到明顯，通過序列進行人臉表情的分析是未來研究的重要方向。

圖6 PPDN 級聯(lián)網(wǎng)絡(luò)Fig.6 PPDN cascade network

構(gòu)建良好的深度表情識別系統(tǒng)主要存在以下問題：缺乏豐富多樣的訓(xùn)練數(shù)據(jù)和表情無關(guān)的變化因素，如光照、頭部姿勢和人種。為了解決訓(xùn)練數(shù)據(jù)不足和過度擬合的問題，預(yù)訓(xùn)練和微調(diào)、網(wǎng)絡(luò)級聯(lián)、網(wǎng)絡(luò)集合等成為人臉表情識別的主流。圖像預(yù)處理階段進行光照歸一化、姿態(tài)歸一化和圖像裁剪操作，都能很好地去除無關(guān)因素的影響。面對頭部姿態(tài)的變化，大多數(shù)深度表情識別網(wǎng)絡(luò)還是沒能很好地處理這個問題。本文對深度學(xué)習(xí)在人臉識別任務(wù)上的算法進行了總結(jié)，以不同的表情庫為依據(jù)，分別對研究者、深度網(wǎng)絡(luò)結(jié)構(gòu)、網(wǎng)絡(luò)層數(shù)、訓(xùn)練數(shù)據(jù)的選擇和準(zhǔn)確率進行了統(tǒng)計，見表3。

表3 基于深度網(wǎng)絡(luò)的人臉表情識別算法Tab.3 Facial expression recognition algorithm based on deep network

4 表情識別的挑戰(zhàn)和發(fā)展趨勢

表情識別目前無論是基于圖像還是基于序列的人臉表情識別都已經(jīng)很成熟了，并實現(xiàn)了很高的識別率，但是仍然存在一些問題和亟待突破的問題：

（1）表情識別的數(shù)據(jù)庫往往都是在實驗室環(huán)境下獲取的，數(shù)據(jù)集相對單一；

（2）在SFEW 數(shù)據(jù)集上的表情識別準(zhǔn)確率比較低，原因在于野外靜態(tài)面部數(shù)據(jù)集的數(shù)據(jù)來自自然環(huán)境，包含很多影響因素如光照、姿態(tài)等，凸顯了表情識別算法的魯棒性不足；

（3）數(shù)據(jù)集的匱乏也是人臉識別問題的關(guān)鍵問題。面對人臉表情的差異性、膚色、外貌都有可能不同，數(shù)據(jù)對于深度學(xué)習(xí)方法有著重要作用，使用豐富度更高的數(shù)據(jù)集可訓(xùn)練出泛化性更好的表情識別網(wǎng)絡(luò)；

（4）傳統(tǒng)的表情分類相對較少。人的情緒比較復(fù)雜，傳統(tǒng)的幾類表情不能適應(yīng)人機交互的復(fù)雜性，實用性可能大打折扣。

人臉表情識別基于圖像與其它媒介進行結(jié)合研究也取得了較大進展。語音與圖像的人臉表情識算法、3D 表情的人臉識別在解決遮擋問題上有了很大的突破；通過紅外線獲取面部的熱數(shù)據(jù)，微調(diào)學(xué)習(xí)熱特征來進行人臉表情識別，有效的避免了光照的影響。人臉表情識別在人臉遮擋上也是一個比較熱門的研究方向，遮擋和非正面識別目前是人臉識別及表情識別的兩大難題。