龔格格，吳 珊，郭湘南

(1.武漢郵電科學(xué)研究院，湖北 武漢 430000；2.武漢烽視威科技有限公司，湖北 武漢 430000)

0 引 言

人臉檢測(cè)是人臉識(shí)別的基礎(chǔ)，然而，人臉的巨大視覺變化在現(xiàn)實(shí)應(yīng)用中給這些任務(wù)帶來了巨大的挑戰(zhàn)。十多年前，Viola和Jones[1]提出的cascade face detector采用Haar-Like feature和AdaBoost對(duì)cascade classifier進(jìn)行訓(xùn)練，具有良好的實(shí)時(shí)效率，然而該人臉檢測(cè)算法由于采用人工設(shè)計(jì)，對(duì)光照變化的魯棒性并不是很好，對(duì)頭部姿態(tài)比較大的人臉檢出率非常低。相當(dāng)多的工作表明[2-4]，該算法在應(yīng)對(duì)大量視覺影響的人臉圖片檢測(cè)時(shí)性能急劇下降?；诖?，文中提出了一種快速級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)模型，以提高算法性能。

1 候選框生成算法

候選框是人臉檢測(cè)網(wǎng)絡(luò)的基礎(chǔ)。檢測(cè)任務(wù)與分類任務(wù)并不相同，檢測(cè)任務(wù)需首先對(duì)單個(gè)樣本進(jìn)行分類并生成候選框，其后對(duì)所生成候選框的區(qū)域進(jìn)行分類，而分類任務(wù)是直接對(duì)單個(gè)樣本進(jìn)行分類。

2 Faster RCNN人臉檢測(cè)網(wǎng)絡(luò)框架

考慮到區(qū)域候選框是檢測(cè)網(wǎng)絡(luò)最大的瓶頸，該系統(tǒng)中Faster RCNN使用RPN(region proposal network)來有效解決計(jì)算候選框耗時(shí)的問題。

Faster RCNN[5]采用RPN生成候選框，RPN的結(jié)構(gòu)屬于深度卷積神經(jīng)網(wǎng)絡(luò)[6-8]。通過將候選框送入Faster RCNN[9]中進(jìn)行分類，產(chǎn)生檢測(cè)結(jié)果。Faster RCNN的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，整個(gè)Faster RCNN網(wǎng)絡(luò)由兩部分組成，分別為RPN和Faster RCNN系統(tǒng)。其中RPN稱為全卷積網(wǎng)絡(luò)[7],將單張圖像作為輸入數(shù)據(jù)。卷積層1至ReLU5是ZF(Zeilerhe和Fergus模型)通用結(jié)構(gòu)[8]中包含的部分。ZF包含了多個(gè)不同層，其中激活函數(shù)采用了ReLU，以此來提高網(wǎng)絡(luò)檢測(cè)的性能。歸一化層采用LRN策略(local response normalization,局部響應(yīng)歸一化層)，對(duì)數(shù)據(jù)進(jìn)行歸一化操作。由圖可知網(wǎng)絡(luò)層為RPN的核心層。網(wǎng)絡(luò)層包含了推薦層1、候選框回歸層、1×1卷積層、候選框概率層等。

圖1 Faster RCNN網(wǎng)絡(luò)框架

圖1(b)是Faster RCNN的詳細(xì)網(wǎng)絡(luò)結(jié)構(gòu)，利用單張圖像作為輸入數(shù)據(jù)，其中候選框位置與輸入的候選框的坐標(biāo)相同。卷積1至ReLU5同RPN一樣，池化層5到隨機(jī)失活6和softmax損失函數(shù)即為ZF結(jié)構(gòu)的完整模型。

2.1 Faster RCNN訓(xùn)練與測(cè)試

通過對(duì)每個(gè)錨進(jìn)行二分類(是目標(biāo)或者不是)來訓(xùn)練RPN。若錨與真實(shí)框有最高的交并比或者錨與任意真實(shí)框的交并比大于0.7，則作為正樣本，將交并比小于0.3的錨作為負(fù)樣本，其余的均直接丟棄。

在Faster RCNN中，將一個(gè)錨i的損失函數(shù)定義為：

SmoothL1(x)=0.5x2(|x|<1)

SmoothL1(x)=|x|-0.5(x<-1或x>1)

選取的四個(gè)坐標(biāo)參數(shù)為：

tx=(x-xa)/wa,ty=(y-ya)/ha,tw=log(w/wa),th=log(h/ha)

其中，x，xa，x*分別代表候選框、錨、真實(shí)框。此方法實(shí)現(xiàn)bounding box回歸。

RPN由一個(gè)全卷積網(wǎng)絡(luò)實(shí)現(xiàn)，使用SGD(stochastic gradient descent)算法[9]進(jìn)行端到端的訓(xùn)練。訓(xùn)練時(shí)采用與圖像中心采樣策略[6]一致的方式來訓(xùn)練網(wǎng)絡(luò)。實(shí)際中通過對(duì)每張圖片隨機(jī)采樣512個(gè)錨使得正負(fù)錨的比例為1∶1，最后對(duì)采樣后的錨計(jì)算小批的損失函數(shù)。

所有層權(quán)重的初始化均采用零均值方差為0.02的高斯分布。將所有被初始化后的層在CelebA人臉檢測(cè)[10]上進(jìn)行初始化預(yù)訓(xùn)練，與練習(xí)實(shí)驗(yàn)[11]中的操作相同。采用5 000個(gè)CelebA的圖像用0.001的學(xué)習(xí)率進(jìn)行訓(xùn)練。采用0.7的動(dòng)量和0.003的權(quán)重，整個(gè)網(wǎng)絡(luò)通過Caffe[12]實(shí)現(xiàn)。

在訓(xùn)練RPN網(wǎng)絡(luò)時(shí)由于對(duì)候選框欠缺考慮，所以聯(lián)合優(yōu)化將成為一個(gè)重點(diǎn)。該系統(tǒng)中采用四部訓(xùn)練算法來完成RPN和檢測(cè)網(wǎng)絡(luò)共享卷積層的優(yōu)化算法。第一步，訓(xùn)練RPN。RPN用CelebA預(yù)訓(xùn)練模型進(jìn)行初始化并且端到端地微調(diào)候選框任務(wù)；第二步，用已經(jīng)生成的候選框訓(xùn)練Faster RCNN并檢測(cè)網(wǎng)絡(luò)；第三步，用檢測(cè)初始化RPN,固定共享的卷積層，指微調(diào)RPN中的其他層；最后，固定共享的卷積層，并微調(diào)全連接層。

由于生成的候選框有很大部分重疊，該系統(tǒng)采用NMS(non-maximum suppression)[13]算法來減小冗余。在NMS中固定交并比閾值為0.7，這樣將會(huì)篩選出大概3 500個(gè)候選框。NMS在大幅度減少候選框數(shù)量的情況下對(duì)最后的檢測(cè)精度并無影響。NMS之后，將前N個(gè)候選框輸入到檢測(cè)網(wǎng)絡(luò)。

2.2 聯(lián)合人臉檢測(cè)和對(duì)齊的網(wǎng)絡(luò)框架

該系統(tǒng)通過對(duì)聯(lián)合人臉檢測(cè)和對(duì)齊的網(wǎng)絡(luò)進(jìn)一步研究，找出人臉檢測(cè)性能較高的原因，并將其與Faster RCNN進(jìn)行相關(guān)對(duì)比，從不同框架結(jié)構(gòu)出發(fā)，結(jié)合自身的優(yōu)勢(shì)提出有利于人臉檢測(cè)的優(yōu)化模型。

聯(lián)合人臉檢測(cè)和對(duì)齊的網(wǎng)絡(luò)框架如圖2所示。

(a)候選框網(wǎng)絡(luò)示意

(b)精煉網(wǎng)絡(luò)示意

(c)輸出網(wǎng)絡(luò)示意

由網(wǎng)絡(luò)框架圖可看出，此網(wǎng)絡(luò)包括三個(gè)階段。第一階段為候選框網(wǎng)絡(luò)，即快速產(chǎn)生候選框窗口。第二階段為精煉網(wǎng)絡(luò)，即優(yōu)化產(chǎn)生的候選框網(wǎng)絡(luò)。第三階段為輸出網(wǎng)絡(luò)，優(yōu)化輸出結(jié)果，并將面部關(guān)鍵點(diǎn)位置輸出。與多任務(wù)的學(xué)習(xí)框架相比，此算法的性能得到了顯著性的提高。

給定一個(gè)圖像，依據(jù)圖像的不同尺度，來構(gòu)建一個(gè)圖像金字塔，其中三個(gè)級(jí)聯(lián)框架的輸入分為如下三個(gè)階段:

第一階段：利用全卷積網(wǎng)絡(luò)，即P-Net來獲取候選人臉窗口。然后利用估計(jì)的邊界框回歸向量對(duì)候選對(duì)象進(jìn)行校準(zhǔn)。在此之后，使用非最大抑制(NMS)將高度重疊的候選項(xiàng)進(jìn)行合并。

第二階段:將所有候選對(duì)象輸入到精煉網(wǎng)絡(luò)(R-Net)，通過精準(zhǔn)排除大量的錯(cuò)誤候選對(duì)象，利用邊界框回歸進(jìn)行校準(zhǔn)，并進(jìn)行NMS去除重疊窗體。

第三階段:這一階段類似于第二階段，只是在去除重疊候選窗口的同時(shí)，顯示五個(gè)人臉關(guān)鍵點(diǎn)定位。

2.3 人臉檢測(cè)和對(duì)齊的聯(lián)合訓(xùn)練

由圖2可知，聯(lián)合人臉檢測(cè)和對(duì)齊的網(wǎng)絡(luò)主要包含3個(gè)部分：人臉/非人臉分類器、邊界框回歸、人臉關(guān)鍵點(diǎn)定位。

2.4 實(shí)驗(yàn)結(jié)果與對(duì)比分析

在檢測(cè)和分類問題上有很多評(píng)價(jià)指標(biāo)。其中召回率和準(zhǔn)確率則是檢測(cè)、分類、識(shí)別問題的兩個(gè)重要評(píng)價(jià)指標(biāo)。召回率：在所有樣本中檢測(cè)出相關(guān)樣本的概率；準(zhǔn)確率：在系統(tǒng)所檢出的樣本中，真正相關(guān)的概率。一個(gè)好的檢測(cè)系統(tǒng)希望準(zhǔn)確率和召回率都盡可能高，一般情況下準(zhǔn)確率和召回率呈負(fù)相關(guān)。為了有效地評(píng)價(jià)系統(tǒng)的檢測(cè)能力，這里引入AP(平均精度)來對(duì)系統(tǒng)的檢測(cè)能力進(jìn)行衡量。

采用的數(shù)據(jù)集為WIDER FACE[14]數(shù)據(jù)集。根據(jù)人臉檢測(cè)的難易程度，WIDER FACE將數(shù)據(jù)集分為簡(jiǎn)單、中等、困難三個(gè)級(jí)別，以此來檢驗(yàn)測(cè)試效果，如表1所示。

表1 不同網(wǎng)絡(luò)模型的人臉檢測(cè)結(jié)果

根據(jù)在WIDER FACE數(shù)據(jù)集上的結(jié)果可知，聯(lián)合人臉檢測(cè)和對(duì)齊的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)效果好于Faster RCNN。

3 快速級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

Faster RCNN在具有挑戰(zhàn)性的WIDER FACE數(shù)據(jù)集上測(cè)試時(shí)，由于圖像包含更多較小、遮擋和不完整的對(duì)象，導(dǎo)致性能下降很多。基于現(xiàn)階段存在的問題，文中提出了一種基于RPN方法的快速級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)，來解決如遮擋、光照、大的姿態(tài)變化等問題。首先，該系統(tǒng)的突出之處在于將多尺度區(qū)域候選網(wǎng)絡(luò)和上下文多尺度神經(jīng)網(wǎng)絡(luò)引入到快速級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)，且支持同時(shí)觀察多尺度特征，對(duì)人臉候選區(qū)域進(jìn)行推斷。然后，通過計(jì)算置信度得分和邊界框回歸，人臉檢測(cè)系統(tǒng)能夠在給定的人臉圖像中通過對(duì)這些生成的候選框的置信分?jǐn)?shù)進(jìn)行閾值化來決定檢測(cè)結(jié)果。

3.1 快速級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)模型

快速級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)框架如圖3所示。卷積層1至卷積層5具有與RPN同樣的結(jié)構(gòu)。系統(tǒng)通過采用RoI池化層來進(jìn)行下采樣，方便連接組合，沿通道進(jìn)行L2歸一化來連接組合，然后通過1×1的卷積層進(jìn)行單層特征值的融合，卷積后的特征圖上的候選框采用與RPN相同的方法。最后將產(chǎn)生的候選框進(jìn)行bounding box回歸，同時(shí)將人臉的候選框映射至卷積層3至卷積層5，卷積層3至5用來產(chǎn)生候選框。從整體網(wǎng)絡(luò)看，由于共享卷積層1至5，實(shí)現(xiàn)了只需一次計(jì)算就可以更新所有參數(shù)的目的，節(jié)約了時(shí)間成本，提高了效率。此外，該系統(tǒng)采用多個(gè)層的特征圖進(jìn)行連接組合分別來實(shí)現(xiàn)聯(lián)合人臉檢測(cè)和對(duì)齊神經(jīng)網(wǎng)絡(luò)的三個(gè)階段。

由于在Faster RCNN中采用的區(qū)域候選框特征均是通過單個(gè)深層卷積特征圖產(chǎn)生的，因此存在很難檢測(cè)到小面孔的問題。為解決此問題，文中采用多個(gè)卷積層特征的組合，有助于獲得微小面部的信息。同時(shí)，由于面部檢測(cè)需要定位面部以及確認(rèn)面部信息，該系統(tǒng)將具有定位能力的低級(jí)特征和具有語義信息的高級(jí)特征融合在一起[15]。

圖3 快速級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)框架

3.2 身體上下文信息的整合

對(duì)于人臉檢測(cè)，由于各種挑戰(zhàn)使得臉部被遮擋，在這種情況下，F(xiàn)aceness[12]考慮通過對(duì)面部部分響應(yīng)的空間結(jié)構(gòu)和排列進(jìn)行評(píng)分來找到面部，但當(dāng)面部部分由于遮擋而缺失時(shí)，人臉檢測(cè)將變得難以執(zhí)行。先前的研究表明[14]，利用上下文可以達(dá)到減少整體誤差的目的[16]，同時(shí)上下文推理也是物體識(shí)別難題的關(guān)鍵部分，基于此在該系統(tǒng)設(shè)計(jì)中參考身體上下文信息。

3.3 L2歸一化

由于特征來自不同層的特征圖，因此可能會(huì)有不同的尺度和數(shù)值范圍，采用L2歸一化保證來自每個(gè)層的特征值大致保持在相同的范圍。

4 結(jié)束語

為了避免人臉的巨大視覺變化，如遮擋、光照、大的姿態(tài)變化問題，基于人臉檢測(cè)的一些瓶頸問題做了相關(guān)研究?；诂F(xiàn)有深度卷積神經(jīng)網(wǎng)絡(luò)模型，并對(duì)其進(jìn)一步的試驗(yàn)、分析、改進(jìn)，提出了一種快速級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)模型。通過研究Faster RCNN和多級(jí)聯(lián)聯(lián)合人臉檢測(cè)的卷積神經(jīng)網(wǎng)絡(luò)模型分析，抽取出適合于人臉檢測(cè)的候選框與檢測(cè)網(wǎng)絡(luò)模型，采用級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)卷積共享策略，簡(jiǎn)化神經(jīng)網(wǎng)絡(luò)和檢測(cè)網(wǎng)絡(luò)的訓(xùn)練和測(cè)試，節(jié)約了算法所需要的時(shí)間[13]。同時(shí)，由于卷積層的共享，實(shí)現(xiàn)了級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)端到端的優(yōu)化，對(duì)于較小的人臉區(qū)域采用候選框網(wǎng)絡(luò)和RoI檢測(cè)網(wǎng)絡(luò)共享卷積層進(jìn)行處理，激活函數(shù)使用Leaky ReLU，從而提高了神經(jīng)網(wǎng)絡(luò)的性能。