楊玉潔 陳天星 石林坤 袁 標

（西南交通大學機械工程學院 成都 610031）

1 引言

隨著計算機視覺在行人檢測［1～2］，自動駕駛［3～4］和視頻跟蹤［5～6］等領(lǐng)域發(fā)展的廣泛應(yīng)用，人臉檢測作為其中一個重要的分支也廣泛地應(yīng)用于各種場景下，目前已產(chǎn)出了許多成果［7］，主要有Cascade R-CNN［8］、SAFD［9］、MTCNN［10］等算法。但目前將人臉檢測應(yīng)用于實際場景時還有很多的局限性，如在遮擋［11］、大偏轉(zhuǎn)角度、復雜背景、低像素［12～13］等情況下人臉檢測識別效果不佳。

MTCNN（Multi-task Cascaded Convolutional Networks）即多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)，是由中科院深圳先進技術(shù)研究院2016 年發(fā)布的ECCV 論文［10］。該論文提出了一種在不受約束的環(huán)境中進行面部人臉框和關(guān)鍵點檢測與人臉對齊功能。它可以將人臉對齊與人臉檢測同時完成，相較于傳統(tǒng)算法，能較實用、性能更好地進行人臉檢測。但針對特定應(yīng)用場景中大偏轉(zhuǎn)角度、低像素等問題，此算法的檢測性能會有所降低。

針對大偏轉(zhuǎn)角度檢測性能不佳的問題，本文提出了一種改進的MTCNN 算法，該算法能在提升原始MTCNN 算法檢測速率、檢測準確性的基礎(chǔ)上有針對性地提升人臉存在大偏轉(zhuǎn)角度的情況下的檢測準確度。改進后的算法可為將人臉檢測應(yīng)用于復雜真實場景提供理論基礎(chǔ)。

2 理論基礎(chǔ)

MTCNN 的主要思路為級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)思想［14～15］，并使用多任務(wù)的形式訓練網(wǎng)絡(luò)參數(shù)，對人臉實現(xiàn)由簡到精的檢測的過程［16］。其網(wǎng)絡(luò)結(jié)構(gòu)主要分為三部分，如圖1所示。

圖1 MTCNN網(wǎng)絡(luò)結(jié)構(gòu)圖

1）P-Net（Proposal Network）12×12：獲取候選窗口框和邊界框的回歸向量，對候選窗口使用非極大值抑制（NMS），合并重疊度高的候選窗口。

2）R-Net（Refine Network）24×24：接收P-Net的輸出候選窗口，篩選舍棄大量錯誤的候選框，并進行微調(diào)。再次使用NMS合并重疊度高的候選窗口。

3）O-Net（Output-Network）48×48：與R-Net 功能類似，但更為精確地預測人臉位置，并輸出人臉關(guān)鍵框和五個面部關(guān)鍵點坐標。

由于P-Net 是一個全卷積神經(jīng)網(wǎng)絡(luò)。并且原始圖片在輸入后經(jīng)過圖像金字塔的放縮，從而實現(xiàn)了多尺度的人臉檢測。也因此網(wǎng)絡(luò)的結(jié)構(gòu)較小，所以效率非常高，成為了工業(yè)界的人臉檢測主流算法［17］。

3 算法改進

3.1 DIoU-NMS

MTCNN 中使用三層網(wǎng)絡(luò)在傳入下一層網(wǎng)絡(luò)結(jié)構(gòu)前均使用NMS（Non-Maximum Suppression）合并重復候選框。NMS為非極大值抑制，顧名思義就是通過抑制局部置信度不為最大值的候選框來實現(xiàn)局部最大值搜索以及相似候選框的合并。NMS 篩選候選框時先依據(jù)置信度得分對候選窗口進行排序，挑出置信度最高的候選框并計算其余候選框與此候選框的IoU（Intersection over Union）。通過刪除閾值nms_threshold 大于一定值的候選框來實現(xiàn)候選框的篩選，原論文中nms_threshold 分別設(shè)置為0.5、0.7、0.7。

MTCNN 原始論文中作者使用經(jīng)典NMS 算法對候選框進行合并。但NMS 去除候選框時只選用置信度得分高低作為篩選依據(jù)而沒有將定位是否準確考慮入內(nèi)，這樣可能會出現(xiàn)置信度高但位置信息不夠精確的候選框?qū)⒅眯哦鹊偷恢眯畔⒕_的候選框排除掉。經(jīng)過不斷的迭代回歸，原本能夠準確定位的邊界框會偏離目標人臉實際所在位置。在有角度偏轉(zhuǎn)情況下，人臉中五官可能無法收集完整圖像信息，從而使定位框大幅度偏離原有位置，再將這些定位框輸入NMS 進行候選框篩選后得到的最終候選框?qū)⑦M一步偏離真實定位位置。為彌補上述缺點，本文使用DIoU-NMS［19］代替原論文中使用的NMS 算法。DIoU-NMS 在NMS 過程中使用DIoU的計算方法代替?zhèn)鹘y(tǒng)IoU計算，不僅考慮兩個候選框的重合度，還將兩個候選框中心點的距離考慮在內(nèi)，其計算公式如式（1）：

其中，RDIoU是兩個Box 中心點之間的距離，計算公式如式（2）：

其中，ρ(b，bgt)是b和bgt兩Box中心點之間的距離d，c是包含兩個Box的最小Box的對角線長度，如圖2 所示。由計算公式可知，DIoU-NMS 的核心思想是在NMS 的基礎(chǔ)上，不直接刪去IoU 較大的候選框，而是通過兩候選框的中心點距離進一步判斷是否為同一檢測目標的冗余框。在有角度偏轉(zhuǎn)情況下的人臉檢測中，人臉五官關(guān)鍵點通常有所缺失、遮擋，使用DIoU-NMS 可以在保證置信度高的同時最大程度地保留同一人臉檢測出的多個候選框中較為準確的位置信息。

圖2 DIoU計算示意圖

3.2 注意力機制

卷積神經(jīng)網(wǎng)絡(luò)中，卷積核的計算是其核心計算。本文希望在卷積操作時可以在空間上和通道間進行更多的特征融合。但傳統(tǒng)通道間卷積操作默認對輸入特征圖的所有通道進行融合。SENet［20］網(wǎng)絡(luò)提出的SE（Squeeze-and-Excitation）模塊則對通道間的相關(guān)性進行學習，可以自動在卷積池化的過程中學習到特征圖中不同的通道重要程度，如圖3所示。

圖3 SE結(jié)構(gòu)圖

SE 模塊主要操作分為Squeeze 和Excitation、Scale三個步驟：

1）Squeeze：對輸入的特征圖（h*w*c）進行全局池化操作得到1*1*c的特征圖，公式如下。在輸入數(shù)據(jù)的所有空間特征中，Squeeze 可以將數(shù)據(jù)的特定通道編碼為一個特定的全局特征。

2）Excitation：使用兩個全連接層和sigmod激活函數(shù)對Squeeze 操作的結(jié)果進行一個線性變換，得到特征圖不同通道間的權(quán)值，公式如式（4）：

其中z為Squeeze 操作獲取的全局特征描述，W1、W2為兩個全連接層，，r為縮放參數(shù)。

3）Scale：將得到的通道權(quán)重參數(shù)與原始特征圖進行二維矩陣相乘，將得到的結(jié)果輸出，公式如式（5）：

整個操作重新訓練了一個對各通道更為敏感的權(quán)重系數(shù)模型，從而實現(xiàn)了注意力機制。并且由于SE 模塊是輕量級的，具有易于集成的優(yōu)點，可以直接應(yīng)用于現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)中。使用SE 模塊可以在只增加較少的計算量的前提下就獲得很大的性能提升。本文改進前后的P-Net網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 改進前后P-Net網(wǎng)絡(luò)結(jié)構(gòu)圖對比

4 實驗與結(jié)果分析

4.1 數(shù)據(jù)預處理

為驗證上述改進方法使MTCNN在具有偏轉(zhuǎn)角度情況下的人臉檢測準確率和識別率方面有了較好的提升，本文設(shè)計了相關(guān)實驗進行驗證。

本文實驗以AFLW［21］數(shù)據(jù)集為基礎(chǔ)，對算法進行訓練與測試。AFLW（Annotated Facial Landmarks in the Wild）數(shù)據(jù)集是一個包括多姿態(tài)、多視角的大規(guī)模人臉數(shù)據(jù)庫。圖片中每張人臉標注了21 個關(guān)鍵點，由于是肉眼標記，其中不可見關(guān)鍵點不進行標記。此數(shù)據(jù)集因具有人臉姿態(tài)角度標示，被廣泛應(yīng)用于頭部姿態(tài)估計及關(guān)鍵點定位領(lǐng)域。

AFLW 數(shù)據(jù)集中人臉偏轉(zhuǎn)角度標注標準為面向鏡頭左偏為正，右偏為負，使用弧度制計量。實驗之前，先提取數(shù)據(jù)集中人臉角度姿勢數(shù)據(jù)，將人臉圖像根據(jù)左右偏轉(zhuǎn)角度范圍進行分類。這樣便于逐個研究分析各角度范圍內(nèi)人臉檢測識別率與準確率。

4.2 實驗環(huán)境

本算法實驗所在實驗環(huán)境為Ubuntu18.04，搭載Intel-Core i3-9300k 處理器，內(nèi)存為16G，采用GeForce RTX2060 Super，顯存為8G，搭配CUDA、OpenCV 圖形庫，采用Pytorch1.2、Python3.6 進行代碼編譯。

4.3 實驗結(jié)果分析

在上述實驗設(shè)計中，通過將改進前后的算法應(yīng)用于分類后的AFLW 數(shù)據(jù)集進行一系列實驗來驗證模型的可行性，以下是模型評價的相關(guān)指標：

1）交并比（IoU）

IoU是圖像分割與檢測領(lǐng)域的標準性能檢測指標。IoU分數(shù)可以檢測出該圖像的預測區(qū)域與真實標定區(qū)域之間的相似度。本文分別對比了各個角度算法改進前后的檢測結(jié)果，并計算其IoU，結(jié)果圖5所示。

圖5 算法改進前后各角度檢測IoU結(jié)果

其中每個角度算法改進前后未檢測出來的人臉占比如圖6所示。

圖6 算法改進前后漏檢人臉數(shù)占比

由圖五對比可知算法改進前后IoU 有所提升，證明將原始算法IoU 替換為DIoU 能使檢測框位置信息更為準確。且由圖六對比可知算法改進后漏檢人臉數(shù)有所減少，并且各個角度范圍人臉檢測結(jié)果都有了平穩(wěn)的提升。

2）FPS

為驗證模型的檢測速度，常采用FPS 作為評價模型檢測速度的指標，其計算公式如式（6）：

其中NumFigures 為1s 內(nèi)所檢測的圖像數(shù)量，Times為單位時間（1s）。本文將訓練前后的兩個模型一起在分類后的測試集做了測試，得到的檢測結(jié)果見表2。

表1 改進前后模型檢測速度對比結(jié)果

表2 改進前后模型大小對比結(jié)果

由表2 可知改進后模型在檢測準確率提升的同時，檢測速率也有所提升。

3）模型大小

改進前后MTCNN 算法模型大小對比如表2 所示。

由表3 可知，改進后算法模型大小未發(fā)生明顯改變。證明本文中所改進的算法沒有以增多計算量為代價提升檢測速率以及檢測正確率。

5 結(jié)語

針對人臉有角度偏轉(zhuǎn)情況下人臉檢測準確率低的問題，本文提出了一種基于MTCNN 人臉檢測算法的改進人臉檢測算法。該算法將原有MTCNN中NMS改為DIoU-NMS，此舉可以在人臉有偏轉(zhuǎn)角度導致五官關(guān)鍵點遮擋、丟失等情況下仍能保留得分高且位置信息準確的候選框。此外，本文還引進了SE 注意力機制。SE 注意力機制可以有效地提高對正樣本的信息篩選能力，實現(xiàn)層級間信息利用的最大化。將改進前后算法應(yīng)用于按角度分類后的AFLW 人臉檢測數(shù)據(jù)集進行人臉檢測。實驗結(jié)果表明：改進后的算法各方面檢測指標均優(yōu)于原始MTCNN 算法。尤其在大偏轉(zhuǎn)角度情況下，仍有較好的檢測召回率以及檢測準確率。改進后的算法為將人臉檢測應(yīng)用于人臉具有大偏轉(zhuǎn)角度的真實場景提供了理論依據(jù)。