高濤，楊朝晨，陳婷，邵倩，雷濤

（1.長安大學 信息工程學院,陜西 西安 710000;2.陜西科技大學 電子信息與人工智能學院,陜西 西安 710021）

情緒包含大量的情感信息，當人們面對面交流時，情緒會自動或不自覺地通過面部表情表現(xiàn)出來[1]。隨著人工智能技術的飛速發(fā)展，人臉表情識別(FER)已成為計算機圖像處理中一個重要的研究課題。

人臉表情識別主要包括預處理、特征提取和分類識別3個部分[2]。其中，算法識別精度高低主要由特征提取方法決定。人臉表情特征提取方法主要分為基于傳統(tǒng)特征提取的方法和基于深度學習的方法[3]。傳統(tǒng)的特征提取方法主要包括局部二值模式(LBP)[4]、類Haar 特征[5]、Gabor 小波變換[6]和方向梯度直方圖(HOG)等。Li 等[7]基于LBP 方法提出了一種使用三個正交平面的局部二值基線方法(LBP-TOP)，一定程度上消除了光照變化的影響，但旋轉不變性使得算子對方向信息過于敏感。為了解決這一問題，Rivera 等[8]學者提出的局部特征描述符LDN 利用梯度信息使得算子對光照變化和噪聲具有較強的魯棒性。然而，傳統(tǒng)的表情識別算法無法有效處理由于不同姿勢、遮擋等引起的非線性面部外觀變化，難以有效提高分類水平。

近年來，深度學習憑借其優(yōu)異的特征提取能力逐步應用于人臉表情識別領域。Kim 等[9]學者對適用于大規(guī)模圖像識別的VGG-face 模型進行漸進式微調識別人臉表情，但大多數(shù)人臉表情數(shù)據(jù)庫樣本較少導致該網(wǎng)絡易出現(xiàn)過擬合問題。An等[10]學者提出了一種基于MMN 線性激活函數(shù)的自適應模型參數(shù)初始化方法，可有效克服過擬合問題，但面對含有大量表情無關因素時算法魯棒性較差。Xie 等[11]學者提出了一種多路徑變異抑制網(wǎng)絡(MPVS-NET)，但該網(wǎng)絡速度較慢且不宜收斂。由于模糊的面部表情、低質的面部圖像及注釋者的主觀性帶來的不確定性，對定性的大規(guī)模面部表情數(shù)據(jù)集進行標注是非常困難的。針對這一問題，Wang 等[12]學者提出了一種能有效抑制不確定性的自修復網(wǎng)絡(SCN)，防止網(wǎng)絡過度擬合不確定的人臉圖像。一般來說，深層網(wǎng)絡更易提取到具有豐富語義信息的深層特征。但過深的網(wǎng)絡容易出現(xiàn)梯度爆炸或梯度消失現(xiàn)象。針對這一問題，He 等[13]學者提出了深度殘差網(wǎng)絡(ResNet)，利用短路鏈接使得梯度正?；貍鳎^好地解決了網(wǎng)絡退化問題。但訓練參數(shù)量仍舊較大，且殘差網(wǎng)絡并沒有考慮不同尺度特征之間的相互關系對特征識別的影響，導致大量有效特征丟失。

上述研究均使用完整特征圖作為特征輸入，然而在實際分類任務中，特征的作用程度是不同的。為了突出對特征識別有效的信息，一些研究引入了注意力機制。Li 等[14]學者提出了一種具有注意力機制的CNN 網(wǎng)絡結構可識別臉部遮擋區(qū)域，但網(wǎng)絡依賴于人臉關鍵點檢測，遮擋面積較大時，關鍵點難以與人臉數(shù)據(jù)集生成映射。在此基礎上，Liu 等[15]學者提出了一種條件CNN 增強型隨機森林算法(CoNERF)，從顯著引導的人臉區(qū)域中提取深層特征，抑制光照、遮擋和低分辨率帶來的影響。然而上述方法仍保留了較多的冗余信息，且均為完整網(wǎng)絡結構，不易遷移。Hu 等[16]學者采用全新特征重標定方式提出一種通道注意力網(wǎng)絡(SE-Net)，顯示建模特征通道之間的相互依賴關系，進而提升有用特征并抑制用處不大的特征，且能夠直接集成到現(xiàn)有網(wǎng)絡中，計算代價小，沒有冗余信息。

針對上述問題，本文提出一種深度多尺度融合注意力殘差網(wǎng)絡(deep multi-scale fusion attention residual network,DMFA-ResNet)，主要改進包括以下3個方面：

1）設計了一個由7個注意力殘差學習單元構成的注意力殘差模塊，注意力殘差學習單元由2 條包含卷積層的支路和1個短路鏈接構成，將融合后的特征經(jīng)過注意力機制，對輸入圖像進行并行多卷積操作，以獲得圖像多尺度特征，突出局部重點區(qū)域，有利于遮擋圖像特征學習；

2） 提出多尺度融合模塊，網(wǎng)絡整體將各個注意力殘差模塊的特征輸出進行多尺度融合，以獲取更豐富的圖像特征；

3）在網(wǎng)絡模型中增加過渡層以去除冗余信息，在保證感受野的情況下簡化網(wǎng)絡復雜度。并使用全局平均池化+ Dropout 的設計減少參數(shù)運算，使網(wǎng)絡具有更好的抗過擬合性能。

1 DMFA-ResNet 算法

1.1 ResNet 網(wǎng)絡結構

ResNet 網(wǎng)絡通過引入殘差模塊，在算法前向傳播過程中使得卷積層之間形成跳躍連接，實現(xiàn)對輸入、輸出的恒等映射，并采用1×1、3×3 的小卷積核，在解決網(wǎng)絡退化問題的同時進一步加深網(wǎng)絡，ResNet-50 的基本殘差學習單元如圖1所示。

圖1 殘差學習單元Fig.1 Residual learning unit

圖1 中，x表示輸入，F(xiàn)(x)表示殘差映射，殘差單元的輸出為

當殘差F(x)=0，殘差學習單元的功能就是恒等映射；則深層L的輸出為

其反向梯度為

1.2 SE-Net 注意力模塊

SE-Net 是Hu 等[16]學者提出的一種通道注意力網(wǎng)絡，核心為特征壓縮操作Fsq和特征激勵操作Fex。Fsq從通道維度將[H,W,C]的輸入特征圖壓縮為[1,1,C]的輸出特征圖，使得每個二維特征通道轉換為一個具有全局感受野的實數(shù)。Fex通過對每個通道生成權重，顯式建模特征通道間的相關性，并逐通道加權到原始特征圖上，完成通道維度上的特征重標定，加強關鍵特征，抑制非顯著特征，從而提高網(wǎng)絡的整體表征能力。

2 深度多尺度融合注意力殘差網(wǎng)絡

基于ResNet-50 殘差網(wǎng)絡，本文提出一種深度多尺度融合注意力殘差網(wǎng)絡(DMFA-ResNet)，該網(wǎng)絡由注意力殘差模塊(attention residual module,ARM)、多尺度特征融合模塊、過渡層、全局平均池化層、Dropout 和Softmax 分類層構成，網(wǎng)絡結構如圖2 所示。

圖2 DMFA-ResNet 結構圖Fig.2 DMFA-ResNet structure

深度神經(jīng)網(wǎng)絡的輸入圖片一般較大，為避免后續(xù)計算量爆炸，需要將輸入圖片進行下采樣后再輸入進卷積神經(jīng)網(wǎng)絡。原ResNet 網(wǎng)絡將輸入圖像經(jīng)過一個7×7 大卷積層和最大池化層后，再輸入進后續(xù)殘差模塊。7×7 大卷積層和最大池化層將輸入圖片的分辨率從224×224 下采樣至56×56，在減少計算量的同時最大程度保留了原始圖像細節(jié)信息。DMFA-ResNet 使用3個3×3 小卷積層代替原7×7 大卷積層，在保證與原網(wǎng)絡層相同感受野的前提下，進一步提升了網(wǎng)絡深度，使得網(wǎng)絡能夠提取到更深層次的語義信息。

2.1 注意力殘差模塊

注意力殘差模塊(ARM)由7個具有3 條支路的注意力殘差學習單元構成。注意力殘差學習單元由兩條殘差學習支路、一條恒等映射支路和SE-Net 注意力模塊構成。為了使輸入經(jīng)過3×3 卷積層后的特征圖維數(shù)相同，通過殘差學習支路的第一個1×1 卷積層對輸入進行降維。通過對輸入圖像進行并行的多卷積操作，使得網(wǎng)絡能夠提取到不同深度的多尺度表情圖像特征。再將這兩條殘差學習支路所提取到的特征采用Concat 方法進行融合，即將兩個需要融合的特征圖的通道進行拼接，將兩條殘差學習支路輸出的特征圖融合后的特征通過1×1 卷積進行升維，確保輸入、輸出的維數(shù)相等。最后利用注意力機制突出重點局部區(qū)域，獲得圖像更準確的特征以提高識別準確率，有利于遮擋圖像的特征學習。注意力殘差模塊和注意力殘差單元的結構圖分別如圖3、4 所示。

圖3 注意力殘差模塊Fig.3 Attention residual module

圖4 注意力殘差單元Fig.4 Attention residual unit

2.2 過渡層

隨著網(wǎng)絡深度不斷加深，運算參數(shù)量持續(xù)增多，容易使得網(wǎng)絡過度學習輸入與輸出之間的映射關系，將大量干擾信息錯認為重點特征。

在注意力殘差模塊之間引入由一個3×3 卷積層和最大池化層組成的過渡層以去除冗余信息。3×3 卷積層能夠在不改變特征圖大小的情況下增大維數(shù)，提升網(wǎng)絡線性轉換能力。最大池化層能夠對輸入圖像進行下采樣以減小參數(shù)矩陣的尺寸以及卷積層參數(shù)誤差造成估計均值的偏移，其結構如圖5 所示。

圖5 過渡層結構Fig.5 Transition layer structure

2.3 多尺度特征融合模塊

經(jīng)過各個注意力殘差模塊后，人臉表情圖像的多尺度特征具有不同特點：淺層特征圖尺寸較大，通道數(shù)較少，具有豐富的細節(jié)信息；深層特征圖尺寸較小，通道數(shù)較多，包含豐富的抽象語義信息。因此本文設計了一個多尺度特征融合模塊將3個注意力殘差模塊產(chǎn)生的多尺度特征圖進行融合。首先將前兩個注意力殘差模塊的輸出特征經(jīng)過最大池化操作下采樣至7×7×128 和7×7×256；然后通過Concat 通道融合方法將下采樣過后的輸出特征圖和最后一個注意力殘差模塊的輸出特征圖進行融合；再將融合后的特征圖使用1×1 卷積核進行升維，最終得到具有豐富特征信息的7×7×1 024 輸出特征圖。

2.4 全局平均池化+隨機失活

通常情況下，神經(jīng)網(wǎng)絡都會添加全連接層減少特征位置對分類帶來的影響。但人臉基本位于圖像中央且占據(jù)絕大部分像素，位置信息并不重要。因此采用全局平均池化層代替全連接層加強特征圖與類別的一致性，直接對空間信息進行求和實現(xiàn)降維，極大地減少了網(wǎng)絡參數(shù)。Dropout 原理又名隨機失活原理，是指在網(wǎng)絡訓練過程中隨意拋棄某些神經(jīng)元，破壞特征信息之間密切的交互作用，使得網(wǎng)絡不會過于依賴某些局部特征，增強模型泛化性。

本文使用全局平均池化+隨機失活設計，簡化網(wǎng)絡復雜度，減少運算量，避免過擬合現(xiàn)象，進而提高網(wǎng)絡泛化性。

3 實驗結果與分析

3.1 實驗環(huán)境與評價指標

實驗使用的深度學習框架為Tensorflow，計算機操作系統(tǒng)為Windows10，顯卡型號為NVIDIA Quadro P4000，顯存為8BG。

實驗使用錯誤率(error rate)、準確率(accuracy rate)、混淆矩陣和F1-score 作為評價指標。

錯誤率是指預測值與真實值不相同的樣本數(shù)占總樣本數(shù)的比例，準確率是指預測值與真實值相同的樣本數(shù)占總樣本數(shù)的比例。將真陽性(TP)、假陽性(FP)、真陰性(TN)和假陰性(FN)4個指標一起呈現(xiàn)在表格中稱為混淆矩陣。F1-score 為精準率和召回率的調和平均數(shù)，取值范圍從0～1，其計算公式為

3.2 實驗數(shù)據(jù)集及預處理

3.2.1 實驗數(shù)據(jù)集

實驗采取3個人臉表情數(shù)據(jù)庫驗證算法有效性，分別為CK+、JAFFE 和Oulu-CASIA。

CK+數(shù)據(jù)集共有123 名實驗者，實驗共使用981 張標記圖片用于本文實驗。JAFFE 數(shù)據(jù)集共包含213個圖像、7 類表情，平均每人每種表情有4 張左右。Oulu-CASIA 數(shù)據(jù)集由80個人的6 類基本表情構成，實驗選取可見光成像系統(tǒng)下的Strong 強光圖像集，在每個序列中選取最后5個峰值幀，形成共2 400 幅圖像。

3.2.2 數(shù)據(jù)預處理

由于人臉表情識別數(shù)據(jù)庫樣本較少，本文使用裁剪、旋轉以及遮擋方法對數(shù)據(jù)集進行擴充，具體步驟如下：

1）首先對CK+和JAFFE 數(shù)據(jù)集進行裁剪處理，去除多余的背景，將背景對模型的影響降到最低。

2）分別將JAFFE 數(shù)據(jù)集圖像以順時針、逆時針旋轉5°后的圖像擴充數(shù)據(jù)集，擴充完畢共852 張標記圖片用于實驗，其中訓練集680 張，驗證集172 張，如表1 所示。

多數(shù)本科高校設置的《中級財務會計》中采用“X+X”模式，理論和實踐按照一定的比例實施，但是授課教師極少具有實際會計學操作經(jīng)歷，應該采用培訓、進修、定崗實習或者聘請有經(jīng)驗的校外導師等方式，為實踐教學順利開展提供良好的教學團隊。

表1 JAFFE 擴充數(shù)據(jù)集樣本分布Table1 Sample distribution of expanded JAFFE

3）通過在眼睛、嘴巴位置添加黑色框來模擬現(xiàn)實中存在的遮擋情況，如由墨鏡、口罩等引起。

3.3 實驗結果與分析

3.3.1 網(wǎng)絡性能實驗分析

1)訓練樣本對性能影響

為探討訓練樣本對網(wǎng)絡性能的影響，設置訓練樣本數(shù)目對比實驗。在其余參數(shù)量一致的情況下，在JAFFE 擴充數(shù)據(jù)集(852 張)上進行訓練樣本分別為341、511、680 的對比實驗，實驗結果如表2 所示。

表2 訓練樣本對性能影響Table2 Effect of training sample number on performance

由表2 可知，隨著訓練樣本不斷增多，網(wǎng)絡性能逐步增強，當訓練樣本為680個時，網(wǎng)絡識別率達到最高96.3%，因此在網(wǎng)絡訓練過程中，應盡可能增大訓練樣本數(shù)目，保證網(wǎng)絡能夠學習到足夠信息。

2)網(wǎng)絡結構

為驗證各個模塊的有效性，設置包含針對不同模塊的對比網(wǎng)絡進行消融實驗。在參數(shù)量基本一致的情況下，以改進的基礎殘差模塊網(wǎng)絡DFR(deep fusion residual network)為對比基準，將多尺度特征融合模塊添加進網(wǎng)絡結構中構成深度多尺度融合殘差網(wǎng)絡 DMFR (deep multi-scale fusion residual network)，將注意力機制添加進網(wǎng)絡結構中構成深度融合注意力殘差網(wǎng)絡DFAR (deep fusion attention residual network)，在Oulu-CASIA 數(shù)據(jù)集上進行表情識別消融實驗，實驗結果如表3 所示。

表3 表情識別消融實驗Table3 Ablation experiment of facial expression recognition

由表3 可知，改進的基礎殘差模塊網(wǎng)絡DFR在Oulu-CASIA 數(shù)據(jù)集上的識別率為91.16%。當分別增加多尺度特征模塊和注意力機制模塊后，Oulu-CASIA 的識別率分別提升到91.69% 和91.53%，表明多尺度特征融合模塊對網(wǎng)絡的貢獻大于注意力機制模塊。

為探討注意殘差單元數(shù)目對網(wǎng)絡性能的影響，設置注意殘差單元數(shù)目對比實驗。在其余參數(shù)量基本一致的情況下，將注意殘差單元數(shù)目分別設置為4、5、6、7、8、9，并在JAFFE 數(shù)據(jù)集上進行實驗，實驗結果由圖6 所示。

圖6 注意殘差單元個數(shù)對性能的影響Fig.6 Effect of the number of attention residual elements on peraformance

由圖6 可知，當注意殘差單元個數(shù)小于7 時，算法識別率隨殘差單元個數(shù)的增加增幅明顯。當注意殘差單元個數(shù)為9 時，算法識別率達到最高96.35%。但注意殘差單元個數(shù)大于7 時，識別率增幅緩慢，考慮到網(wǎng)絡復雜度對計算量及網(wǎng)絡運行速度帶來的影響，最終選擇將7個注意殘差單元作為一個注意殘差模塊。

3.3.2 無遮擋表情實驗

表4 是不同方法在Oulu-CASIA 數(shù)據(jù)集上的測試結果。結果表明，DFR 算法在Oulu-CASIA數(shù)據(jù)集上的識別率能夠達到91.16%。DMFA-Res-Net 的識別率達到92.57%，比LCE 的識別率高出9.31%，比IDFERM 的識別率高出4.32%。

表4 不同方法在Oulu-CASIA 數(shù)據(jù)集上的測試結果Table4 Test results of different methods on Oulu-CASIA data sets

表5 是不同方法在CK+和JAFFE 數(shù)據(jù)集上的測試結果。結果表明，DFR 算法在CK+和JAFFE數(shù)據(jù)集上分別能夠達到99.68%和96.25%的識別率。比文獻[22]在兩個數(shù)據(jù)集中的識別率分別高出6.22%和1.5%，比文獻[23]在兩個數(shù)據(jù)集中的識別率分別高出2.92%和9.51%。

表5 不同方法在CK+和JAFFE 數(shù)據(jù)集上的測試結果 Table 5 Test results of different methods on CK+ and JAFFE data sets %

圖7 分別為DFR 算法在CK+和JAFFE 數(shù)據(jù)集的混淆矩陣，其中DFR 能夠在CK+數(shù)據(jù)集上對輕蔑、厭惡、恐懼、快樂、悲傷和驚訝這六種表情達到100%識別率；在JAFFE 數(shù)據(jù)集上對恐懼及中性表情能夠達到100%識別率，但驚喜表情容易被誤判為中性表情，因此識別精度最低。

圖7 DFR 在CK+和JAFFE 數(shù)據(jù)集上的混淆矩陣Fig.7 Confusion matrix of DFR on CK+ and JAFFE

DFR 算法對比其他先進算法在識別率上有很大提升，充分驗證了改進的殘差模塊和過渡層能夠提取更加精確的人臉表情特征。DMFA-Res-Net 算法在CK+和JAFFE 數(shù)據(jù)集上的識別率分別為99.7%和96.3%，比DFR 算法在兩個數(shù)據(jù)集中分別提高0.02%和0.05%，證明了引入注意力機制模塊和多尺度特征融合模塊對提升人臉表情識別率是有利的。

3.3.3 遮擋表情實驗

實際生活中，人臉表情圖像采集會伴有遮擋情況，一般由墨鏡、口罩等引起。若局部區(qū)域被遮擋，卷積神經(jīng)網(wǎng)絡就難以抓住重點區(qū)域進行特征提取，針對這種情況，本章將在遮擋的擴充數(shù)據(jù)集上進行實驗。表6 和表7 分別為各種算法在CK+和JAFFE 數(shù)據(jù)集上的遮擋。

表6 CK+上遮擋表情識別 Table 6 occlusion facial expression recognition on CK+%

表7 JAFFE 上遮擋表情識別 Table 7 Occlusion facial expression recognition on JAFFE %

表8 和表9 分別為DMFA-ResNet 算法在CK+和JAFFE 數(shù)據(jù)集上的F1-score值。圖8 和圖9 分別為DMFA-ResNet 算法在CK+和JAFFE 數(shù)據(jù)集上的遮擋混淆矩陣。

表8 CK+上遮擋表情F1-score 值Table8 F1-score of occlusion facial expression on CK +

表9 JAFFE 上遮擋表情F1-score 值Table9 F1-score of occlusion facial expression on JAFFE

圖8 在CK+數(shù)據(jù)集上的遮擋混淆矩陣Fig.8 Occlusion confusion matrix on the CK+

圖9 在JAFFE 數(shù)據(jù)集上的遮擋混淆矩陣Fig.9 Occlusion confusion matrix on the JAFFE

由表6、表7 可知，對于遮擋圖像，DMFAResNet 比DFR 算法在CK+和JAFFE 數(shù)據(jù)集上的識別精度分別提升2.5%和1.5%，且DMFA-Res-Net 對遮擋表情的識別在兩個數(shù)據(jù)集上均取得最高識別精度。

由表8 和圖8 可知，遮擋眼睛后，DMFA-Res-Net 算法在CK+數(shù)據(jù)集上能夠對害怕和驚訝兩種表情達到100% 識別率；遮擋嘴巴后，能夠對困惑、快樂和驚訝3 種表情達到100%識別率。而輕蔑和恐懼表情的F1-score 分別只達到0.76 和0.75，說明這兩種表情的有效特征大部分在于嘴巴部分。

由圖9 和表9 可知，遮擋眼睛情況下的悲傷表情F1-score 僅達到0.82，說明悲傷表情的有效特征大部分在于眼睛部分，雖然該值達到最低，但DMFA-ResNet 在JAFFE 數(shù)據(jù)集上也取得相當不錯的效果。由于該數(shù)據(jù)集樣本間的差異較小，導致算法仍出現(xiàn)較多誤判情況，無法完全精準識別某一類表情。以上實驗結果證明了DMFA-Res-Net 在應對遮擋圖像問題上的優(yōu)越性，更適用于人臉表情識別任務。

4 結束語

本文提出一種多尺度融合注意力殘差網(wǎng)絡(DMFA-ResNet)。該網(wǎng)絡主要提出一種新的注意力殘差模塊，提高了網(wǎng)絡對局部重點部位特征的提取，有利于學習到非遮擋部位的信息；提出多尺度融合模塊，將各殘差模塊的輸出進行融合以提取更加豐富的人臉表情特征；為了減少參與網(wǎng)絡運算的參數(shù)量，在各個殘差模塊之間添加過渡層，主要進行下采樣操作并使用全局平均池化+Dropout 設計防止網(wǎng)絡過擬合。在CK+、JAFFE和Oulu-CASIA 數(shù)據(jù)集上進行實驗均取得了不錯的效果，注意力殘差模塊對局部區(qū)域的特征能夠進行有效提取，實驗驗證本文算法具有優(yōu)越性。但所提算法為針對靜態(tài)圖像的表情識別算法，不適用于動態(tài)連續(xù)的視頻識別，在接下來的工作中，可以重點研究基于視頻的動態(tài)表情識別技術。