李思泉+張軒雄

摘要：隨著人機(jī)交互技術(shù)和機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，人臉表情識別技術(shù)逐漸成為研究熱點。針對傳統(tǒng)人臉表情識別算法魯棒性差、表情特征提取能力不足的問題，提出一種改進(jìn)的基于卷積神經(jīng)網(wǎng)絡(luò)的人臉表情識別算法。首先對人臉圖像進(jìn)行預(yù)處理，檢測并分割出人臉關(guān)鍵點的部分圖像，然后輸入到包含卷積神經(jīng)網(wǎng)絡(luò)通道和卷積稀疏自編碼（CSAE）預(yù)訓(xùn)練通道的雙通道模型中。其中卷積神經(jīng)網(wǎng)絡(luò)通道部分使用了批量正則化（Batch Normalization）和ReLU激活函數(shù)，加快了模型訓(xùn)練速度，解決了梯度消失問題，同時增加了模型的非線性表達(dá)能力。通過引入Dropout技術(shù)，解決了網(wǎng)絡(luò)的過擬合問題。在另一個通道，對輸入的人臉表情圖像增加了卷積稀疏自編碼進(jìn)行無監(jiān)督預(yù)處理。實驗結(jié)果表明，該算法在JAFFE、CK+人臉表情數(shù)據(jù)集上均獲得了較好的識別效果。

關(guān)鍵詞：人臉表情識別；卷積神經(jīng)網(wǎng)絡(luò)；卷積稀疏自編碼；特征提??；無監(jiān)督預(yù)處理

DOIDOI：10.11907/rjdk.172863

中圖分類號：TP301

文獻(xiàn)標(biāo)識碼：A文章編號文章編號：16727800（2018）001002804

Abstract：With the development of humancomputer interaction technology and machine learning technology，facial expression recognition technology has gradually become an important field. In this paper， we proposean improved algorithm based on Convolutional Neural Network （CNN） for face expression recognition due to the lack of robustness of traditional facial expression recognition algorithm and availabe feature extraction ability.First of all，we pretrain the facial image and detect， segment face. The segmented face applied to a dualchannel model which， includes a convolutional neural network channel and an extra pretraining channel by sparse convolutional autoencoders. The training speed is improved according to Batch Normalization and the ReLU activation function by convolutional neural network channel， and solve the problem of gradient disappearance.This modelcan increase nonlinear expression ability of the model. At the same time， the introduction of dropout technology also remove the problem of overfitting. Another channel that contains a sparse convolutional autoencoder aims to deal with input facial expression images. Experimental results involved this algorithm demonstratean improved recognition ability on the JAFFE and CK+dataset.

Key Words：facial expression recognition；convolutional neural network；feature extraction；sparse convolutional autoencoders；unsupervised pretraining

0引言

人類的情感認(rèn)知一直是人機(jī)交互技術(shù)研究的重要課題，而人臉表情是傳達(dá)人類情感和認(rèn)知的重要方式。面部表情變化能夠準(zhǔn)確傳達(dá)人類除語言表達(dá)之外的心理活動變化。人臉表情識別系統(tǒng)一般包括人臉檢測、圖像預(yù)處理、特征提取和表情分類4部分。其中表情的特征提取和分類是人臉表情技術(shù)研究的重點，關(guān)系著最終的表情判別結(jié)果。

目前表情識別特征的提取方法主要包括：①幾何特征提取，如面部的幾何特征：眼睛、嘴巴、眉毛等；②頻率特征提取法，如Gabor小波變換；③運(yùn)行特征提取，如光流法。表情分類方法主要包括線性分類器、K最近鄰、彈性圖匹配法、支持向量機(jī)。Burkert等[6]提出DeXpression深度網(wǎng)絡(luò)模型，在MMI數(shù)據(jù)庫有較好的識別效果，識別率達(dá)到98.3%；Chai等[7]提出了結(jié)合Gabor小波和深度信念網(wǎng)絡(luò)（DBN）的人臉表情識別方法，在遮擋的情況下識別效果較好；Masci[8]提出了基于無監(jiān)督的堆疊深度卷積自編碼方法應(yīng)用于層次特征提取。

2006年Hinton[9]在《自然》雜志上發(fā)表了利用RBM編碼的深層神經(jīng)網(wǎng)絡(luò)，利用單層的RBM自編碼預(yù)訓(xùn)練使深層的神經(jīng)網(wǎng)絡(luò)訓(xùn)練變得可能。深度學(xué)習(xí)方法已成功應(yīng)用于語音識別、計算機(jī)視覺和自然語音處理等領(lǐng)域，其中最具代表性的就是卷積神經(jīng)網(wǎng)絡(luò)（CNN）。endprint

1融合卷積神經(jīng)網(wǎng)絡(luò)與卷積稀疏自編碼的網(wǎng)絡(luò)模型

本文針對卷積神經(jīng)網(wǎng)絡(luò)在幾何變換、形變具有一定程度不變性等方面優(yōu)勢，同時為進(jìn)一步減少人臉表情圖像易受到光照、遮擋和姿態(tài)等外界因素影響，提高自身的魯棒性，提出一種改進(jìn)的結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)和卷積稀疏自編碼的人臉表情識別算法。具體網(wǎng)絡(luò)模型如圖1所示。

1.1卷積稀疏自編碼器

卷積稀疏自編碼器是在自編碼器的基礎(chǔ)上改進(jìn)而來。自編碼是一種基于預(yù)訓(xùn)練階段的無監(jiān)督學(xué)習(xí)算法，通過對原始數(shù)據(jù)添加約束條件進(jìn)行權(quán)重初始化，使hw，b（x）≈x，輸出接近于輸入x。卷積自編碼（CAE）是把之前自編碼中內(nèi)積的操作轉(zhuǎn)換為卷積的操作[1]，卷積核的值決定了卷積操作結(jié)果，可以設(shè)置不同卷積核進(jìn)行去噪[2]、模糊變換等處理。

本文的卷積稀疏自編碼（CSAE）是在卷積自編碼（CAE）基礎(chǔ)上進(jìn)行的改進(jìn)。通過采用WTA（WinnerTakeAll）[3]方法，加入稀疏約束條件后[4]，能夠有效地提取神經(jīng)網(wǎng)絡(luò)特征，計算量較少。對于每一個特征圖，保留RELU激活函數(shù)處理的最大值，并把其它值進(jìn)行置0處理。采取WTA方法進(jìn)行每一層的稀疏化處理，相比于收縮正則化方法更加有效[5]。WTA方法只適用于訓(xùn)練階段，網(wǎng)絡(luò)訓(xùn)練完成與權(quán)重確定后則消失。網(wǎng)絡(luò)則會繼續(xù)把圖像的有效信息傳入到下一層，而不是傳入隱藏層的一個非零值進(jìn)行特征映射。經(jīng)過預(yù)訓(xùn)練之后，為了減少計算量、減少模型參數(shù)，選擇預(yù)訓(xùn)練后固定權(quán)重[10]。

由于無監(jiān)督預(yù)訓(xùn)練數(shù)據(jù)是人臉圖像，圖像中相鄰像素之間的相關(guān)性非常強(qiáng)，可以認(rèn)為訓(xùn)練輸入是冗余的，需要進(jìn)行白化處理來降低輸入數(shù)據(jù)的冗余。本文采用ZCA進(jìn)行白化處理，在不降低維數(shù)的情況下，可以使處理后的數(shù)據(jù)更接近原始數(shù)據(jù)。使用無監(jiān)督預(yù)處理后的卷積稀疏自編碼器，能夠讓模型學(xué)習(xí)到最佳的濾波器，并用最佳濾波器代替?zhèn)鹘y(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的原有濾波器。具體流程如圖2所示。

1.2卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一個多層感知神經(jīng)網(wǎng)絡(luò)，包含卷積層、下采樣層與全連接層。主要思想包括局部感知、權(quán)重共享和子采樣[11]。本文改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)有兩個卷積層（C1，C2）和兩個下采樣層（maxpooling），并用ReLU（修正線性單元）激活函數(shù)代替?zhèn)鹘y(tǒng)的Sigmoid激活函數(shù)。在激活前加入Batch Normalization（BN）[12]進(jìn)行規(guī)范化操作，避免梯度消失，最后在全連接處加入Dropout[13]技術(shù)防止過擬合。卷積神經(jīng)網(wǎng)絡(luò)通道中，卷積核大小為5×5，采樣核大小為2×2，Dropout系數(shù)為0.5。具體網(wǎng)絡(luò)模型如圖3所示。

1.2.1卷積層

在卷積神經(jīng)網(wǎng)絡(luò)通道中，C1、C2代表卷積層。通常定義卷積層為特征提取層，通過可訓(xùn)練的濾波器對輸入圖像或上一層特征圖像進(jìn)行卷積處理，得到一個二維特征圖。根據(jù)輸入圖像大小定義濾波器卷積核大小，通過不同濾波器處理可以得到不同特征圖。每一個卷積后特征圖都對應(yīng)一個大小相同、方向不同的卷積核。每一個卷積層都有很多特征圖，假設(shè)定義當(dāng)前卷積層為l，則第j個特征圖表達(dá)式如下：

神經(jīng)元x（k）經(jīng)過（3）、（4）變換，會逐漸形成均值為0、方差為1的正太分布，從而使反向傳播變化區(qū)域擴(kuò)大，收斂速度也會加快。

1.2.4線性單元修正

修正線性單元（Rectified Linear Unit） 來源于2003年Lennie P對人腦神經(jīng)細(xì)胞稀疏性的研究，其優(yōu)勢在于其具有單側(cè)抑制、稀疏激活性、相對寬闊的興奮邊界。實驗結(jié)果表明，近似生物神經(jīng)激活函數(shù)ReLU相比于Sigmoid函數(shù)效果更好。將ReLU激活函數(shù)替代其它激活函數(shù)，可有效添加網(wǎng)絡(luò)稀疏性，因為ReLU激活函數(shù)會使一部分神經(jīng)元輸出為0。在神經(jīng)網(wǎng)絡(luò)的正確傳播中，ReLU激活函數(shù)只需要一個閾值即可得到激活值，而不需要經(jīng)過復(fù)雜的運(yùn)算，從而加快了計算速度。

1.2.5Dropout技術(shù)

Dropout技術(shù)最早由Hinton[13]在2012年提出，與L1和L2范式技術(shù)不同，其基本思想是在每次訓(xùn)練時，讓一半的特征檢測器停止工作，可以使其有50%的概率被移除神經(jīng)元，而不依賴其他神經(jīng)元。實驗結(jié)果表明該做法可以提供網(wǎng)絡(luò)泛化能力，防止過擬合。每一次Dropout后，都可以認(rèn)為訓(xùn)練后的網(wǎng)絡(luò)模型為整個網(wǎng)絡(luò)的子網(wǎng)絡(luò)，從而進(jìn)一步減小計算量。

2實驗與結(jié)果分析

2.1實驗平臺

實驗的硬件平臺為：聯(lián)想R720i77700CPU3.6GHz，軟件平臺為：Keras深度學(xué)習(xí)框架、Python語言。

2.2JAFFE 數(shù)據(jù)集

該數(shù)據(jù)集共有213張人表情圖片，由10位日本女性人臉的共7種人臉表情組成。每種人臉表情有3～4幅圖像，每個圖像的像素為256*256。先將已檢測出的人臉圖像歸一化為64*64像素大小的圖像。

本文采用交叉驗證的方法提高識別結(jié)果的可靠性。把所有人臉表情樣本分成兩個子集，一部分是樣本集，另一部分是測試集。使用5次交叉驗證方法，將所有人臉圖像樣本分為5份，其中4份作為訓(xùn)練樣本，1份作為測試樣本。依次重復(fù)5次實驗，求取其平均值作為最終實驗結(jié)果。表1給出了JAFFE數(shù)據(jù)集下7種表情的識別率。

2.3CK+數(shù)據(jù)集

CK+數(shù)據(jù)集發(fā)布于2010年，由Cohn Kanade表情庫擴(kuò)展而來，其人臉表情圖像樣本比JAFFE多。本文選取7種表情的共3 200個人臉圖像樣本，其中包括生氣500個樣本、恐懼420個樣本、高興550個樣本、中性430個樣本、悲傷480個樣本、驚訝420個樣本、厭惡400個樣本。

本文首先對人臉圖像進(jìn)行歸一化處理，檢測出人臉關(guān)鍵點部分，得到64*64像素的人臉表情樣本。由于樣本數(shù)目較多，為增加準(zhǔn)確性，采用10次交叉驗證法對樣本進(jìn)行統(tǒng)計分析。把人臉數(shù)據(jù)集中所有的人臉表情樣本分成endprint

10份，輪流將其中9份作為訓(xùn)練樣本，1份作為測試樣本。依次重復(fù)10次實驗，最后把10次實驗結(jié)果的平均值作為最終識別結(jié)果。表2給出了在CK+數(shù)據(jù)集下7種表情的識別率。

為了驗證本文提出的改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型的有效性，實驗在CK+數(shù)據(jù)集下，對基于LBP+SVM、Gabor+SVM、BDBN、CNN、CSAENN的人臉表情識別算法的平均識別率進(jìn)行了比較。表3結(jié)果表明，本文改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)算法比傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)算法（CNN）平均識別率提高了2.4%。相對于卷積稀疏自編碼的神經(jīng)網(wǎng)絡(luò)人臉表情（CSAENN）算法，識別率也提高了3.1%。

在CK+數(shù)據(jù)集下，CNN算法和本文的CNN+CSAE算法的各自訓(xùn)練時間和識別結(jié)果如表4所示。實驗結(jié)果表明，本文算法比傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練時間更短，識別率更高，算法分類效果更為顯著。

3結(jié)語

本文提出的改進(jìn)雙通道卷積神經(jīng)網(wǎng)絡(luò)模型，在JAFFE數(shù)據(jù)集和CK+數(shù)據(jù)集上均取得了不錯的識別效果。卷積神經(jīng)網(wǎng)絡(luò)通道部分，首先通過對人臉圖像進(jìn)行歸一化處理，檢測出人臉的關(guān)鍵點部分。接著在RELU激活函數(shù)前加入Batch Normalization（BN），加快了模型訓(xùn)練速度，并解決了梯度消失問題，同時增加了模型的非線性表達(dá)能力。雙卷積層能夠更好地提取人臉表情特征，減少了權(quán)值數(shù)量，降低了網(wǎng)絡(luò)的模型復(fù)雜度；另一個通道用卷積稀疏自編碼器進(jìn)行無監(jiān)督預(yù)訓(xùn)練人臉表情圖像，首先進(jìn)行白化處理以降低冗余，加入稀疏化約束，優(yōu)化網(wǎng)絡(luò)參數(shù)，選出最佳濾波器替代原卷積神經(jīng)網(wǎng)絡(luò)濾波器，并加入卷積神經(jīng)網(wǎng)絡(luò)模型中。最后將兩個通道輸出，連接到Dropout全連接層和Softmax分類器，完成最終的人臉表情分類。下一步研究工作將考慮在遮擋、光照等因素下進(jìn)行人臉表情識別，進(jìn)一步研究視頻圖像幀的人臉表情識別，并對人臉視頻圖像進(jìn)行去噪、去抖動等優(yōu)化，以期能夠研究出更為實用的人臉表情識別方法。

參考文獻(xiàn)：

[1]牛玉虎. 卷積稀疏自編碼神經(jīng)網(wǎng)絡(luò)[J]. 計算機(jī)與現(xiàn)代化， 2017（2）：2229.

[2]李江， 冉君軍， 張克非. 一種基于降噪自編碼器的人臉表情識別方法[J]. 計算機(jī)應(yīng)用研究， 2016， 33（12）：38433846.

[3]MAKHZANI A， FREY B. A winnertakeall method for training sparse convolutional autoencoders[J]. Eprint Arxiv， 2014.

[4]VU T D， YANG H J， NGUYEN V Q， et al. Multimodal learning using convolution neural network and sparse autoencoder[C].IEEE International Conference on Big Data and Smart Computing， 2017：309312.

[5]RIFAI S， VINCENT P， MULLER X， et al. Contractive autoencoders： explicit invariance during feature extraction[C].ICML， 2011.

[6]BURKERT P， TRIER F， AFZAL M Z， et al. DeXpression： deep convolutional neural network for expression recognition[J].Computer Vision and Pattern Recognition，2015， 22（10）：217222.

[7]CHAI R. Face recognition algorithm based on Gabor wavelet and deep belief networks[J]. Journal of Computer Applications， 2014（9）：19381943.

[8]MASCI J， MEIER U， DAN C， et al. Stacked convolutional autoencoders for hierarchical feature extraction[M]. Artificial Neural Networks and Machine Learning –ICANN 2011. Springer Berlin Heidelberg， 2011：5259.

[9]HINTON G E， SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science， 2006.

[10]DOI E， INUI T， LEE T W， et al. Spatiochromatic receptive field properties derived from informationtheoretic analyses of cone mosaic responses to natural scenes[J]. Neural Computation， 2003， 15（2）：397417.

[11]LOPES A T， AGUIAR E D， OLIVEIRASANTOS T. A facial expression recognition system using convolutional networks[C].Graphics， Patterns and Images. IEEE， 2015：273280.

[12]IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift[J]. Learning，2015：448456.

[13]HINTON G E， SRIVASTAVA N， KRIZHEVSKY A， et al. Improving neural networks by preventing coadaptation of feature detectors[J]. Computer Science， 2012：212223.

（責(zé)任編輯：黃?。〆ndprint