伍錫如，凌星雨

（桂林電子科技大學(xué) 電子工程與自動化學(xué)院，廣西 桂林 541004）

面部表情包含了豐富的信息，直接反映了人 們的心理特征，是表達情感的重要途徑之一。面部表情檢測可應(yīng)用于人機交互、安防監(jiān)視、醫(yī)療及認知科學(xué)等多個領(lǐng)域，是計算機視覺研究熱點之一。面部表情的表達通常分為憤怒、厭惡、恐懼、開心、悲傷和驚訝6類[1-2]。面部表情檢測任務(wù)的重點是從面部圖像中提取面部表情特征，并使用經(jīng)過訓(xùn)練的分類器識別不同的面部表情。傳統(tǒng)的表情識別依賴手工提取特征，特征提取方法主要分為3類：基于外觀的特征提取、基于幾何的特征提取和基于運動的特征提取。常用的外觀特征提取包括像素強度[3]、Gabor濾波[4]、局部二值模式LBP(local binary patterns)[5]及方向梯度直方圖[6]，其中Gabor特征提取計算成本高昂，而LBP具有良好性能，被廣泛用于面部表情識別[7-8]。在基于幾何的特征提取方法中，提取人眼、眉毛、嘴角等面部器官的位置和形狀，形成能夠代表人臉幾何的特征向量[9-10]?；谶\動的特征提取方法提取動態(tài)圖像序列為運動特征，根據(jù)特征部位的運動變化對面部表情進行識別[11-12]。由于光照變化、遮擋等多種因素，表情識別仍具有挑戰(zhàn)性[13]，這些因素會影響識別精度，手工提取特征不適用于具有干擾的面部表情檢測任務(wù)，深度學(xué)習(xí)的提出為這些問題提供了解決方案。

深度學(xué)習(xí)概念由Hinton在2006年提出[14-15]，比傳統(tǒng)的網(wǎng)絡(luò)具有更強的特征表達能力和泛化能力，近幾年在面部表情檢測中得到大量應(yīng)用。如Yang等[16]使用VGG16網(wǎng)絡(luò)及DNN(deep neural networks)形成雙通道對不同特征進行提取來完成表情識別。Wu等[17]使用遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)來進行表情識別任務(wù)。Salmam等[18]使用CNN(convolutional neural networks)提取外觀特征，使用DNN提取幾何特征點，合并為CNN-DNN模型進行表情識別任務(wù)。

在目標(biāo)檢測任務(wù)中，Girshick[19]提出的RCNN(Region-CNN)方法是目標(biāo)檢測中重要的參考方法，目標(biāo)檢測系列算法很多都借鑒了R-CNN的思路。R-CNN模型是將目標(biāo)區(qū)域建議與CNN分類相結(jié)合，使用Selective Search算法在輸入圖像中提取2 000個候選區(qū)域，經(jīng)過CNN網(wǎng)絡(luò)進行特征提取，通過訓(xùn)練好的分類器來判斷候選區(qū)域中是否含有目標(biāo)，再使用回歸器對候選框進行調(diào)整。Girshick等[20]結(jié)合SPP-net網(wǎng)絡(luò)的思想對RCNN進行了改進，提出Fast R-CNN模型。相比R-CNN，F(xiàn)ast R-CNN對整幅圖僅進行一次特征提取，再與候選框映射，避免候選框重復(fù)提取特征而浪費時間。Fast RCNN采用Softmax分類與邊框回歸一起進行訓(xùn)練，省去特征存儲，提高空間和時間利用率，同時分類和回歸任務(wù)也可以共享卷積特征。Ren等[21]提出用深度學(xué)習(xí)方法來進行區(qū)域建議即區(qū)域建議網(wǎng)絡(luò)RPN(region proposal network)，把RPN與Fast R-CNN結(jié)合，形成新的網(wǎng)絡(luò)模型Faster RCNN，提高整體檢測性能。

針對多目標(biāo)復(fù)雜場景下的面部表情檢測問題，本文創(chuàng)新性地引入Faster RCNN網(wǎng)絡(luò)對面部表情進行識別及定位。根據(jù)表情檢測特點在Faster RCNN網(wǎng)絡(luò)框架基礎(chǔ)上進行改進，使用密集連接網(wǎng)絡(luò)代替原有特征提取模塊，提取融合目標(biāo)多層次特征，使特征更具表達力。采用Soft-NMS替換原有候選框合并策略，設(shè)計衰減函數(shù)提高目標(biāo)框定位精度。采集制作真實環(huán)境下的表情數(shù)據(jù)集，通過訓(xùn)練最終實現(xiàn)野外環(huán)境下各表情的識別與定位，在精度上取得了很好的效果。

1 Faster RCNN網(wǎng)絡(luò)結(jié)構(gòu)

Faster RCNN是目前主流的二階段檢測網(wǎng)絡(luò)，是由RPN和Fast RCNN合并而來，每一階段的網(wǎng)絡(luò)都可以輸出檢測類別與邊框定位，以網(wǎng)絡(luò)結(jié)構(gòu)分析，F(xiàn)aster RCNN網(wǎng)絡(luò)可以分為3個部分，基礎(chǔ)特征提取網(wǎng)絡(luò)、區(qū)域建議網(wǎng)絡(luò)RPN和Fast RCNN檢測網(wǎng)絡(luò)，算法的具體步驟如下，算法框架如圖1所示。

圖 1 Faster RCNN網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 Faster RCNN architectures

1.1 特征提取網(wǎng)絡(luò)

特征提取網(wǎng)絡(luò)部分由卷積神經(jīng)網(wǎng)絡(luò)CNN構(gòu)成，CNN基本結(jié)構(gòu)包括卷積層、池化層、全連接層及softmax分類層。使用不同的CNN會對檢測精度、檢測時間等造成不同的影響。

Faster RCNN常采用的特征提取網(wǎng)絡(luò)有3個，分別是ZFNet、VGG-16、ResNet，其中1)ZFNet[22]是在AlexNet的基礎(chǔ)上進行細節(jié)改動，減少卷積核數(shù)量及步長大小，保留更多的特征，從中也可推理出網(wǎng)絡(luò)深度增加，網(wǎng)絡(luò)特征提取性能越好，特征提取效果也越優(yōu)秀；2)VGG-16[23]驗證了卷積神經(jīng)網(wǎng)絡(luò)深度與性能之間的關(guān)系，通過反復(fù)堆疊3×3的卷積核與2×2的最大池化層而來。VGG-16網(wǎng)絡(luò)結(jié)構(gòu)簡單，特征提取效果好，但是參數(shù)大，訓(xùn)練的特征數(shù)量多，對硬件要求高；3)ResNet[24]又稱為殘差網(wǎng)絡(luò)，設(shè)計一種殘差模塊，解決網(wǎng)絡(luò)深度增加時帶來的梯度消失問題，實現(xiàn)單位映射之間的連接路線，能夠提取目標(biāo)更深層次的特征，實現(xiàn)很好的識別效果。

1.2 區(qū)域建議網(wǎng)絡(luò)RPN

RPN用來提取候選區(qū)域，結(jié)構(gòu)如圖2。接收來自基礎(chǔ)特征提取網(wǎng)絡(luò)傳入的卷積特征圖，通過卷積核將每一個3×3的滑動窗口(sliding window)卷積成為256維的特征向量。對每一個滑動窗口通過1×1的卷積輸出為兩個全連接層，即邊框分類層cls layer(box-classification layer)和邊框回歸層reg layer(box-regression layer)。cls layer輸出屬于前景和背景的概率，reg layer輸出預(yù)測區(qū)域的中心點坐標(biāo)：x,y和長寬：w,h4個參數(shù)?；瑒哟翱谥行膶?yīng)的感受野來判斷是否存在目標(biāo)，由于目標(biāo)長寬大小不一，以16為基準(zhǔn)窗口大小，通過(8,16,32)3種窗口尺度和(1∶2,1∶1,2∶1)3種長寬比生成k個anchor對特征圖進行多尺度多點位采樣。

圖 2 RPN結(jié)構(gòu)Fig. 2 Region proposal networks structure

RPN的損失函數(shù)定義為

式中：角標(biāo)i表示anchor的索引；pi表示每一個anchor中對應(yīng)k+1類(k個類別+1個背景)的概率分布；表示是否含有目標(biāo)(有目標(biāo)則為1，反之為0)；為mini-batch大小(一般為256)；Nreg為anchor數(shù)量；λ 為平衡權(quán)重，取值為1；ti是建議框坐標(biāo) {tx,ty,tw,th}；是標(biāo)記框的坐標(biāo)，具體參數(shù)值如下：

x、xa、x*(y, w, h同理)分別表示建議框、anchor框和標(biāo)定框的位置參數(shù)。

分類損失Lcls是目標(biāo)和非目標(biāo)的對數(shù)損失：

RPN通過損失函數(shù)對邊框進行回歸，并對檢測器輸出的預(yù)測框進行非極大值抑制方法合并，作為輸入連接到Fast RCNN中。RPN產(chǎn)生的候選區(qū)域與特征提取網(wǎng)絡(luò)輸出的特征圖相映射，ROI池化層對于不同大小的候選區(qū)域輸入都能得到固定維度的輸出，再通過cls layer和reg layer得到最終的結(jié)果。

2 改進的Faster RCNN

2.1 密集連接網(wǎng)絡(luò)

采用更深的特征提取網(wǎng)絡(luò)能夠提取更深層次的語義信息，但是隨著網(wǎng)絡(luò)加深，參數(shù)不可避免地加大，這給網(wǎng)絡(luò)優(yōu)化和實驗硬件帶來一系列問題，在本文的面部表情檢測算法中，單獨制作出來的數(shù)據(jù)集樣本數(shù)量少，網(wǎng)絡(luò)訓(xùn)練容易造成過擬合，采用DenseNet密集連接網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)可以解決上述問題。

DenseNet借鑒了ResNet的思想，與ResNet網(wǎng)絡(luò)不同，是全新的網(wǎng)絡(luò)結(jié)構(gòu)。兩種網(wǎng)絡(luò)結(jié)構(gòu)最直觀的區(qū)別在于每一個網(wǎng)絡(luò)模塊的傳遞函數(shù)不同。

式(6)為ResNet網(wǎng)絡(luò)傳遞函數(shù)，可以看出該網(wǎng)絡(luò)第l層的輸出是l-1層輸出的非線性變化加l-1層的輸出。而DenseNet一個網(wǎng)絡(luò)模塊第l層的輸出是前面所有層輸出的非線性變換集合，網(wǎng)絡(luò)模塊(Dense Block)如圖3所示。

每一個Dense Block內(nèi)的卷積都互相連接，H表示對每個輸入使用Batch Norm、ReLU，用k維的3×3卷積核進行卷積，保證每個節(jié)點輸出同樣維度的特征圖。k表示每一層卷積輸出特征圖的厚度，相比其他網(wǎng)絡(luò)輸出特征圖厚度能夠達到幾百甚至上千，DenseNet整體厚度僅為32。因為網(wǎng)絡(luò)中每個模塊的密集連接能夠有效利用淺層與深層特征，能夠使網(wǎng)絡(luò)高效而狹窄，并且大幅度減少網(wǎng)絡(luò)復(fù)雜程度與計算量，連接節(jié)點Hl的參數(shù)如圖4。

圖 3 Dense Block結(jié)構(gòu)Fig. 3 Dense Block architectures

圖 4 節(jié)點 Hl 參數(shù)Fig. 4 Node Hl parameter

本文采用4個Dense Block網(wǎng)絡(luò)121層作為特征提取網(wǎng)絡(luò)，去除全連接層和分類層，再連接RPN及RoI池化層，完成目標(biāo)識別與定位。4層D ense Block結(jié)構(gòu)參數(shù)如表1所示。

表 1 DenseNet結(jié)構(gòu)參數(shù)Table 1 DenseNet structure parameters

2.2 非極大值抑制

非極大值抑制NMS(non-maximum suppression)是檢測流程中重要的組成部分，本質(zhì)是搜索局部極大值，抑制非極大值元素。Faster RCNN會在圖片中生成一系列檢測框B={b1,b2,···,bN} 和對應(yīng)的檢測框得分集合Si，NMS算法將選出最大得分前的物體檢測流程中的檢測框M，與其余的檢測框進行重疊度IoU(Intersection over Union)計算，如果計算結(jié)果大于設(shè)定閾值Nt則此檢測框?qū)⒈灰种啤MS算法公式如下：

式中IoU計算公式如下：

其中A、B為兩個重疊的檢測框：

從式(7)中可以看出NMS算法會將與檢測框M相鄰并大于閾值的檢測框歸零，如果一個待檢測目標(biāo)在重疊區(qū)域出現(xiàn)，NMS算法則會導(dǎo)致該目標(biāo)檢測失敗，降低檢測模型的準(zhǔn)確率。

針對這個問題，本文使用Soft-NMS算法替代傳統(tǒng)的NMS算法。在該算法中，相鄰檢測框基于重疊部分的大小設(shè)置一個衰減函數(shù)而非將其分?jǐn)?shù)置為零，保證相鄰目標(biāo)能夠準(zhǔn)確識別。Soft-NMS公示表示如下：

本文改進Faster RCNN檢測算法的前端特征提取網(wǎng)絡(luò)及末端回歸器，用于完成真實環(huán)境下面部表情檢測，算法流程如下所示：

算法 改進Faster RCNN流程

1)輸入圖像A，調(diào)整圖像尺寸，輸出為規(guī)定尺寸M×N的圖B；

2)B作為特征提取模塊的輸入，通過DenseNet得到多層次融合特征圖C；

3)C作為區(qū)域建議(RPN)的輸入，采用滑動窗口的方法得到300個proposals：D。RPN使用邊框回歸改變生成的anchors，使之更加接近標(biāo)記框；

4)C與D作為感興區(qū)域(RoI)的輸入，得到建議框與特征圖之間的映射圖E。

5)把E分別輸出到分類器與回歸器兩個分支中。分類器采用Softmax對E進行分類識別，回歸器采用邊框回歸Soft-NMS進一步糾正邊框，最終 分類目標(biāo)并定位。

3 實驗

3.1 數(shù)據(jù)集制作及處理

為驗證所提出Faster RCNN面部表情檢測算法的有效性，本文獨自采集憤怒、厭惡、恐懼、開心、悲傷和驚訝6類表情數(shù)據(jù)集，共4 152張圖片。

為保證檢測模型能夠完成日常生活情況下的面部表情檢測，數(shù)據(jù)具有不同的光照強度、不同的人物位姿、復(fù)雜的背景及多個目標(biāo)，包含不同膚色、年齡、種族等，并對數(shù)據(jù)中50%的數(shù)據(jù)集采取鏡像擴充，50%數(shù)據(jù)集采取平移擴充，通過LabelImg軟件對數(shù)據(jù)進行標(biāo)注，如圖5所示。擴充后的數(shù)據(jù)集為8 304張圖片，其中90%作為訓(xùn)練集，10%作為測試集，數(shù)據(jù)集數(shù)量分布如表2所示。

圖 5 數(shù)據(jù)擴充及標(biāo)注Fig. 5 Data expansion and labeling

表 2 數(shù)據(jù)參數(shù)Table 2 Data parameters

從測試數(shù)據(jù)集中挑選出困難樣本用于對比改進算法在復(fù)雜背景下的準(zhǔn)確率。其中困難樣本的選取范圍為圖片中檢測目標(biāo)多于4個，面部有光照影響，面部遮擋及側(cè)面情況。困難樣本測試數(shù)據(jù)如表3所示。在困難樣本中，部分圖像具備多個困難屬性，下文介紹。圖像存在多個人物表情且存在屬于黑夜拍攝，該圖像既屬于多目標(biāo)類別樣本也屬于光照影響樣本。

考慮算法在不同環(huán)境下的有效性，本文添加日本女性面部表情JAFFE(Japanese Female Facial Expressions)數(shù)據(jù)集[25]進行對照實驗。JAFFE數(shù)據(jù)由10名女性的7種表情構(gòu)成，包括6種基本情緒和一種中性情緒，總共213副圖像，原始圖像為256像素×256像素大小，數(shù)據(jù)都已經(jīng)進行過裁剪和調(diào)整，人物面部居中，僅有少量光照差別，是一個質(zhì)量較高的面部表情數(shù)據(jù)集。試驗選取數(shù)據(jù)集 中6類相關(guān)表情進行驗證。

3.2 實驗參數(shù)及評價指標(biāo)

由于DenseNet在傳輸過程中需要融合當(dāng)前階段所有特征圖，對顯存要求巨大，因此采用密集連接網(wǎng)絡(luò)的高效內(nèi)存實現(xiàn)方法。提出兩個預(yù)先分配的共享內(nèi)存存儲位置，存放用來連接的共享特征圖。在正向傳遞期間，將所有中間輸出分配給這些存儲器塊；在反向傳遞期間，根據(jù)需要即時重新計算更新傳遞函數(shù)。采用這種策略使得DenseNet在增加較少的計算開銷下能夠在單塊顯卡中工作。

實驗基于Tensorflow框架，采用I76 700處理器，內(nèi)存為32G，顯卡GeForce RTX2080Ti，顯存為11G進行訓(xùn)練。實驗數(shù)據(jù)由個人采集，有生活照、劇照等不同場景下的人物表情，并由LabelImg軟件進行人工標(biāo)注。

總數(shù)據(jù)訓(xùn)練迭代10萬次，批大小Batchs為64，初始學(xué)習(xí)率設(shè)置為0.001，并且在訓(xùn)練時期總數(shù)的75%后設(shè)置為0.000 1。

評價指標(biāo)為平均精度AP(Average-Precision)，是Precision-recall(P-R)曲線所圍成的面積。在PR曲線中，P表示精確率，R表示召回率，計算如下式：

式中：TP(True positives)為正確樣本被識別為正樣本的數(shù)量；FP(False positives)為負樣本被錯誤識別為正樣本的數(shù)量；FN為正樣本被錯誤識別為負樣本的數(shù)量。AP值表示單個類別的識別準(zhǔn)確率，越高表示網(wǎng)絡(luò)模型性能越好。mAP(mean Average-Preision)表示所有類別總體識別準(zhǔn)確率，與AP值之間的關(guān)系如式(12)所示。

3.3 結(jié)果比較及分析

分別用ResNet和DenseNet作為特征提取網(wǎng)絡(luò)進行訓(xùn)練，使用測試集對網(wǎng)絡(luò)模型進行測試，得到每類表情的AP值如表4所示，困難樣本的檢測對比結(jié)果如表5所示。

表 4 不同網(wǎng)絡(luò)模型的測試結(jié)果Table 4 Test results of different network models

表 5 困難樣本測試結(jié)果Table 5 Test results of difficult sample

從檢測結(jié)果可以看出，采用ResNet的Faster RCNN在各類表情檢測中mAP達到78%以上，部分檢測結(jié)果如圖6所示。圖6(a)中目標(biāo)特征明顯，光照充足，模型能夠達到很好的檢測結(jié)果，圖6(b)中臉部特征有部分遮擋，且含有不同表情類型，檢測效果令人滿意，而圖6(c)中存在漏檢情況，可以看出使用ResNet具有一定的檢測能力，但依舊存在一些漏檢和誤檢情況。這是因為數(shù)據(jù)量過小，ResNet無法充分訓(xùn)練，在復(fù)雜情況下魯棒性不高。

圖 6 ResNet-Faster RCNN檢測效果Fig. 6 ResNet-Faster RCNN detection result

從表4可以看出采用DenseNet-121作為特征提取網(wǎng)絡(luò)mAP能夠達到83%，相比ResNet提高5%。其中在開心、悲傷、驚訝這3類表情中，模型檢測結(jié)果提高較多，因為這3類表情的測試集存在多目標(biāo)、有遮擋及復(fù)雜背景的樣本，DenseNet能夠提取目標(biāo)更多的特征，達到更好的效果。采用Soft-NMS對檢測框進行改進，準(zhǔn)確率分別在開心、悲傷、驚訝3類存在多目標(biāo)樣本的數(shù)據(jù)集中提高了一個百分點，說明Soft-NMS在多目標(biāo)及目標(biāo)重疊情況下能夠避免檢測框重復(fù)度高于閾值導(dǎo)致的候選框歸零的錯誤，達到更好的檢測效果。通過表5則可以看出，改進的檢測網(wǎng)絡(luò)在困難樣本中相比原版具有更高的魯棒性，其中在多目標(biāo)、遮擋及側(cè)面3類樣本中提高較為明顯。采用改進Faster RCNN算法與原始Faster RCNN在多目標(biāo)復(fù)雜背景下的效果對比如圖7。

圖 7 原始網(wǎng)絡(luò)與改進網(wǎng)絡(luò)對比Fig. 7 Comparison of accuracy with different backbone

圖7中選取多目標(biāo)、多位姿及黑夜情況下的樣本進行檢測，第1行為原始網(wǎng)絡(luò)檢測結(jié)果，第2行為改進網(wǎng)絡(luò)的檢測結(jié)果。結(jié)果表明，原始網(wǎng)絡(luò)在復(fù)雜情況下普遍存在漏檢情況。圖7(b)中原始網(wǎng)絡(luò)出現(xiàn)錯誤檢測，表情類型應(yīng)為悲傷，而檢測結(jié)果為恐懼。圖7(c)中出現(xiàn)漏檢，并且檢測框并未準(zhǔn)確包含面部目標(biāo)。對比可以看出采用DenseNet及Soft-NMS改進的Faster RCNN在檢測結(jié)果上優(yōu)于原始的Faster RCNN，能夠檢測到更多的目標(biāo)表情，并在相鄰目標(biāo)距離過近的情況下準(zhǔn)確地框選出獨立個體。在背景復(fù)雜及多目標(biāo)情況下改進的Faster RCNN性能提高更為明顯。

考慮制作的數(shù)據(jù)集具有相似的環(huán)境特性，試驗加入JAFFE數(shù)據(jù)集來驗證網(wǎng)絡(luò)模型在不同環(huán)境下的檢測性能。試驗將已訓(xùn)練好的網(wǎng)絡(luò)模型在JAFFE數(shù)據(jù)中測試，用來比較原版網(wǎng)絡(luò)與改進網(wǎng)絡(luò)在新數(shù)據(jù)集中的泛化性。將JAFFE數(shù)據(jù)的50%納入訓(xùn)練集作為第3組對照實驗，對比數(shù)據(jù)集對實驗結(jié)果造成的影響，對比結(jié)果如圖8所示。

圖 8 原始網(wǎng)絡(luò)與改進網(wǎng)絡(luò)對比Fig. 8 Comparison of test results

由于JAFFE數(shù)據(jù)集為單目標(biāo)高質(zhì)量數(shù)據(jù)集，光照影響小、背景單一，與原數(shù)據(jù)集差異較大，因此算法的提高不如在原數(shù)據(jù)集中明顯，但依舊可以看出改進算法較原始算法具有一定優(yōu)勢。將50%數(shù)據(jù)集加入訓(xùn)練集后，算法模型在JAFFE數(shù)據(jù)集中性能有明顯提高，部分檢測結(jié)果如圖9所示，可以看出數(shù)據(jù)集對算法具有較大影響。如果進一步擴充數(shù)據(jù)集的多樣性，算法的魯棒性將進一步提高。

圖 9 JAFFE數(shù)據(jù)集檢測結(jié)果Fig. 9 Test results of JAFFE dataset

通過一系列實驗對比，可以看出改進的Faster RCNN算法在面部表情檢測任務(wù)中具有較高的檢測精度，同時在不同環(huán)境中具備良好的魯棒性，提高了算法的應(yīng)用范圍，更有實際應(yīng)用價值。

4 結(jié)束語

針對傳統(tǒng)表情檢測算法對于環(huán)境光線不同、背景多樣及位姿角度變化等情況下無法發(fā)揮有效作用的問題，提出深度學(xué)習(xí)表情檢測算法，以Faster RCNN為基礎(chǔ)改進，使用密集連接網(wǎng)絡(luò)作為特征提取模塊，每個模塊的密集連接能夠有效利用淺層與深層特征，提高網(wǎng)絡(luò)對面部表情檢測的準(zhǔn)確率，采用Soft-NMS替換原有的NMS算法，優(yōu)化候選框合并策略，使候選框更加精確。制作真實環(huán)境下的表情數(shù)據(jù)集，并進行擴充，提高訓(xùn)練模型的魯棒性。本文提出的檢測算法能夠?qū)崿F(xiàn)日常生活中的多目標(biāo)面部表情檢測，在黑夜、部分遮擋、佩戴飾品等復(fù)雜情況下取得較好的精度，達到了良好的檢測效果。