任志強　遲杏　朱煜君　劉型定　張欣

摘? 要： 傳統(tǒng)CNN對重要通道特征關(guān)注不足，制約面部表情識別準(zhǔn)確率。文章將通道注意力機制應(yīng)用到面部表情識別中，即將通道注意力模塊嵌入到卷積網(wǎng)絡(luò)中。在Fer2013和CK+表情數(shù)據(jù)集上的驗證結(jié)果表明，該方法有較高的識別率。

關(guān)鍵詞： 面部表情識別; 通道注意力機制; 卷積網(wǎng)絡(luò); 表情數(shù)據(jù)集

中圖分類號：TP181? ? ? ? ? 文獻標(biāo)識碼：A? ? ?文章編號：1006-8228（2022）03-24-03

Abstract： Traditional CNN pays insufficient attention to important channel features， which restricts the accuracy of facial expression recognition. This paper applies the channel attention mechanism to facial expression recognition， i.e.， to embed the channel attention module in the convolution network. The verification results on Fer2013 and CK + expression data sets show that the proposed method has high recognition rate.

Key words： facial expression recognition; channel attention mechanism; convolution network;? expression data sets

0 引言

面部表情不僅可顯示交際者的情緒狀態(tài)，還可傳達交際者的深層思想和情感[1]。Mehrabian的研究表明，人際交往中面部表情所傳達的信息占比高達55%[2-3]。在醫(yī)療、教育等領(lǐng)域建立人臉表情分析系統(tǒng)具有重要意義[4]。

深度學(xué)習(xí)在面部表情識別中的應(yīng)用多基于深度網(wǎng)絡(luò)，國內(nèi)外許多學(xué)者研究了基于深度學(xué)習(xí)的面部表情識別方法。H. Sikkandar等[5]將改進的貓群算法應(yīng)用于面部表情識別，取得良好識別效果。邵杰等[6]提出稠密人臉活躍度網(wǎng)絡(luò)，在Fer2013[7]上獲得了71% 的識別率。何俊等[8]改進殘差網(wǎng)絡(luò)，并引入遷移學(xué)習(xí)，在CK+[9]上實現(xiàn)較高識別率。

為了進一步提高面部表情識別的準(zhǔn)確率，本文提出一種基于通道注意力的表情識別方法。將通道注意力機制引入殘差網(wǎng)絡(luò)，使網(wǎng)絡(luò)自動學(xué)習(xí)每個特征通道的重要性，提升對重要通道特征的關(guān)注度。然后設(shè)計全連接層，利用Softmax對全連接層的輸出進行分類。最后設(shè)計對比實驗，在公共數(shù)據(jù)集上進行訓(xùn)練和測試，實驗結(jié)果表明了本文方法的有效性。

1 本文方法

1.1 基于通道注意力機制的面部表情識別網(wǎng)絡(luò)

本文創(chuàng)新點是將一種通道注意力機制引入殘差網(wǎng)絡(luò)的BasicBlock中，提出了一種新的表情識別網(wǎng)絡(luò)，本文將其命名為CAResNet20（CA含義是通道注意力），其結(jié)構(gòu)如圖1。CAResNet20的主體結(jié)構(gòu)是CABasicBlock，是BasicBlock和通道注意力機制的結(jié)合體。其結(jié)構(gòu)如圖2。

CABasicBlock與BasicBlock最大的不同之處是：第二個ReLu激活函數(shù)的輸出后面接入了新的結(jié)構(gòu)CAlayer，即本文引入的通道注意力機制。

1.2 通道注意力機制原理

CABasicBlock中的CAlayer，是實現(xiàn)通道注意力機制[10]的主要部分。其結(jié)構(gòu)如圖3。

首先最左邊是經(jīng)過卷積、批歸一化（Batch Normalization）、激活等操作后得到的表情特征圖X，該特征圖有C個通道，我們希望通過注意力模塊來學(xué)習(xí)出每個通道的權(quán)重，從而產(chǎn)生通道域的注意力。這個注意力機制主要分為三部分：擠壓（Squeeze），激勵（Excitation），注意（Attention）。

Squeeze：是把每個輸入特征圖的空間維度從H*W壓縮到1，即將一個channel上的整個空間特征編碼為一個全局特征。這里通過CAlayer中的AdAvPool層（自適應(yīng)平均池化）完成。Sequeeze過程的函數(shù)表達式如下：

其中，[xc]表示的是特征圖X中的某個通道特征，[zc]是通道特征壓縮后的結(jié)果，H和W表示特征圖的高和寬。

Excitation：學(xué)習(xí)不同channel之間的非線性關(guān)系，保證學(xué)習(xí)關(guān)系不互斥（因為這里有多個通道的全局描述特征）。這里通過CAlayer的FC、ReLu、FC、Sigmoid等層完成。Excitation過程的函數(shù)表達式如下：

其中，[z]是通道特征壓縮后的結(jié)果，[s]表示的是Sigmoid函數(shù)，[W1]和[W2]是為全局描述特征所生成的權(quán)重。為了降低模型復(fù)雜度，提升泛化能力，這里采用包含兩個全連接層的bottleneck結(jié)構(gòu)，其中第一個FC層起到降維的作用，降維系數(shù)r是個超參數(shù)，這里我們選擇r=16，然后采用ReLu函數(shù)激活。最后的FC層恢復(fù)原始的維度。

Attention：將Excitation的輸出的權(quán)重看做是特征選擇后的每個特征通道的重要性，然后通過乘法逐通道加權(quán)到先前的特征上，完成在通道維度上的對原始特征的重標(biāo)定。即實現(xiàn)注意力機制。Attention過程的函數(shù)表達式如下：

通道注意力機制的引入，使得CAResNet20可以更關(guān)注信息量最大的信道特性。具體來說，它可以通過學(xué)習(xí)自動獲取每個特征通道的重要性，然后根據(jù)重要性，增強有用的特征，抑制對當(dāng)前任務(wù)無用的特征。

2 實驗

2.1 實驗平臺

本文基于Windows10操作系統(tǒng)，Pytorch版本為1.6，Python版本為3.8。顯卡為NVIDIA GeForce GTX2080Ti，顯存大小11GB。

2.2 實驗數(shù)據(jù)集

本文采用的數(shù)據(jù)集是Fer2013和CK+。

Fer2013面部表情數(shù)據(jù)集是2013 kaggle比賽的數(shù)據(jù)，有7種面部表情，分別是快樂（happy）、悲傷（sadness）、驚訝（surprise）、厭惡（disgust）、生氣（anger）、恐懼（fear），中性（neutral），對應(yīng)的數(shù)字標(biāo)簽為0-6。

CK+數(shù)據(jù)庫是Cohn Kanade數(shù)據(jù)集的擴展，Cohn Kanade數(shù)據(jù)集于2010年發(fā)布。CK+包含從123個對象中提取的593個視頻序列，有7種面部表情表，類別和Fer2013相同。

2.3 數(shù)據(jù)集處理

由于Fer2013數(shù)據(jù)集部分圖像質(zhì)量較差，存在一定的誤差，本文對Fer2013表情數(shù)據(jù)集進行處理。對數(shù)據(jù)集進行十類投票（多了Contempt，unknown和非人臉三類），采用最大投票方式，去除了不確定的圖像，增加了Contempt類表情。對于CK+數(shù)據(jù)集，本文也做了相應(yīng)處理。增加了Contempt類表情。為了實現(xiàn)訓(xùn)練和測試，將訓(xùn)練集和測試集的比例劃分為6：4。

2.4 實驗設(shè)計及結(jié)果分析

本文實驗參數(shù)的選擇如下：針對Fer2013，本文將訓(xùn)練的epoch數(shù)量設(shè)置為60，訓(xùn)練集的batchsize設(shè)置為128，測試集的batchsize設(shè)置為128，學(xué)習(xí)率為非固定。訓(xùn)練階段引入數(shù)據(jù)增強的思想，擴充訓(xùn)練集，損失函數(shù)為交叉熵損失函數(shù)，優(yōu)化器為SGD。針對CK+，本文將訓(xùn)練的epoch數(shù)量設(shè)置為100，訓(xùn)練集的batchsize設(shè)置為32，測試集的batchsize設(shè)置為32，學(xué)習(xí)率為非固定。訓(xùn)練階段引入數(shù)據(jù)增強的思想，擴充訓(xùn)練集，損失函數(shù)為交叉熵損失函數(shù)，優(yōu)化器為SGD。

為了驗證本文所提方法的有效性，將本文提出方法與主流方法進行實驗對比，對比結(jié)果如表1和表2所示。

由表1可知，在Fer2013的測試集上，本文方法的識別正確率最高，識別率為83.57%，相較于VGG19高出1.14%，相較于VGG16高出2%，AlexNet識別正確率最低。由表2可知，在CK+數(shù)據(jù)集上，本文方法的識別正確率最高，識別率為97.14%，相較于VGG19高出0.66%，相較于VGG16高出1.97%，AlexNet識別正確率最低。從結(jié)果可以看出，本文方法在兩個表情數(shù)據(jù)集上的識別精度都優(yōu)于其他傳統(tǒng)方法。驗證了本文方法的有效性。

3 總結(jié)

針對卷積神經(jīng)網(wǎng)絡(luò)對通道特征關(guān)注不足的問題，本文提出一種基于通道注意力機制的卷積神經(jīng)網(wǎng)絡(luò)表情識別方法。實驗結(jié)果表明，該算法在Fer2013和CK+數(shù)據(jù)集上獲得了較高的識別精度，優(yōu)于目前許多主流表情識別算法?？紤]到本文算法仍存在一些問題：如深層網(wǎng)絡(luò)結(jié)構(gòu)和模型參數(shù)。如何優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，解決光照、遮擋、側(cè)臉等干擾因素將是下一步的研究重點。

參考文獻（References）：

[1] Pablo B， Nikhil C， Alessandra S. The FaceChannel： A Fast and Furious Deep Neural Network for Facial Expression Recognition[J]. SN Computer Science，2020，1（6）：1-10

[2] Zhong G Y， Liu G Y， Du X L. Facial Expression Recognition Method based on Convolution Neural Network[J]. Internat-ional Core Journal of Engineering，2021，7（5）：511-515

[3] Zhang Y， Yi W K. Research on Facial Expression Recognition Method Based on Bilinear Convolutional Neural Network[J].Journal of Physics： Conference Series，2021，1848（1）：012089

[4] Kong F Z. Facial expression recognition method based on deep convolutional neural network combined with improved LBP features[J]. Personal and Ubiquitous Computing，2019，23（3-4）：531-539

[5] Sikkandar H， Thiyagarajan R. Deep learning based facial expressionRecogni-tion using improved Cat Swarm Optimiz-ation[J]. Journal of Ambient Intelligence and Humanized Computing，2020，12（2）：3037-3053

[6] Shao J， Qian Y S. Three convolutional neural network models for facial express-ion recognition in the wild[J]. Neurocom-puting，2019，355：82-92

[7] 黨宏社，王淼，張選德.基于深度學(xué)習(xí)的面部表情識別方法綜述[J].科學(xué)技術(shù)與工程，2020，20（24）：9724-9732

[8] 何俊，劉躍，李倡洪，等.基于改進的深度殘差網(wǎng)絡(luò)的表情識別研究[J].計算機應(yīng)用研究，2020，37（5）：1578-1581

[9] Hyun-Soon Lee， Bo-Yeong Kang. Continuous emotion estimation of facial expressions on JAFFE and CK+ datasets for human-robot interaction[J]. Intelligent Service Robotics，2020，13（1）：15-27

[10] Zhou Q， Zhou Z Y， Chunmiao C， et al. Grading of hepatocellular carcinoma using 3D SE-DenseNet in dynamic enhanced MR images[J].Computers in Biology and Medicine，2019，107：47-57