賈小碩，曾上游，潘 兵，周 悅

(廣西師范大學(xué)電子工程學(xué)院，廣西 桂林 541004)

1 引言

人臉圖像檢測是計算機視覺領(lǐng)域中最熱門的課題，而成熟的人臉檢測技術(shù)產(chǎn)生了不菲的經(jīng)濟效益，同時也具有非常重要的學(xué)術(shù)價值。傳統(tǒng)的人臉檢測算法有：基于Haar特征與Ada-Boost算法相結(jié)合的級聯(lián)算法、基于尺度不變特征變換、局部二值模式LBP(Local Binary Pattern)以及方向梯度直方圖HOG(Histogram of Oriented Gradient)描述子等，但這些算法在具體實現(xiàn)時都出現(xiàn)了計算量過大、實時性差、對噪聲敏感等問題。

隨著卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Network)的提出以及廣泛應(yīng)用，CNN在人臉檢測技術(shù)上也有很大的突破，例如：MTCNN(Multi-Task Convolutional Neural Network)[1]、Fast R-CNN[2]、Faster R-CNN[3]、YOLOv3[4]和SSD300[5]等人臉檢測網(wǎng)絡(luò)。這些人臉檢測網(wǎng)絡(luò)利用CNN的非線性，從全圖上學(xué)習(xí)特征以獲取人臉在圖像中的具體位置，再進行分類和定位。

基于CNN或傳統(tǒng)算法設(shè)計的檢測算法適合在一般場景下進行全面性的檢測，但在復(fù)雜背景下，存在目標(biāo)人臉檢測效率低和無法對目標(biāo)人臉進行準(zhǔn)確定位等問題，導(dǎo)致對單目標(biāo)難以進行獨立的圖像處理操作和快速單目標(biāo)分析的難題。針對以上問題，本文在MTCNN的基礎(chǔ)上設(shè)計了MT-Siam網(wǎng)絡(luò)，它主要引用SiameseNet[6]并設(shè)計輕量化的Siam相似度判定因子。Siam因子是在SiameseNet下設(shè)計的網(wǎng)絡(luò)，具有和SiameseNet一樣的特點，可以做圖像對之間的相似度判定。為了驗證Siam因子的準(zhǔn)確性，將Siam因子、Squeeze Net[7]和MobileNets[8]在CACD2000[9]和VGG-Face2[10]數(shù)據(jù)集上進行對比；為了驗證MTCNN的可操作性，將MTCNN、SSD300和YOLOv3進行對比驗證，并與Siam相結(jié)合設(shè)計了MT-Siam模型，使用100幅任意選取的圖像驗證本文算法的高效性和魯棒性。

Figure 1 Structure of MTCNN圖1 MTCNN結(jié)構(gòu)圖

2 目標(biāo)檢測網(wǎng)絡(luò)

2.1 MTCNN

MTCNN由3個卷積神經(jīng)網(wǎng)絡(luò)P-Net(Proposal Network)、R-Net(Refine Network)和O-Net(Output Network)分布式組合而成,如圖1所示。

P-Net：對輸入的圖像Image進行金字塔化處理后再輸入到P-Net網(wǎng)絡(luò)中用來生成人臉的候選邊框，并利用非極大化抑制算法NMS(Non-Maximum Suppression)校準(zhǔn)邊框,以去除多余的邊框，再進行分類和定位。

R-Net:將P-Net得出的候選框?qū)?yīng)到原圖Image上進行截取，并將截取的圖像作為R-Net的輸入。該部分是全卷積網(wǎng)絡(luò)層，主要對P-Net得出的圖像進行更加細節(jié)化的微處理，以過濾重復(fù)且不符合要求的候選框，再利用NMS做候選框合并處理。

O-Net:O-Net網(wǎng)絡(luò)和R-Net網(wǎng)絡(luò)的處理方法一致。將上一層的輸出候選框的人臉區(qū)域作為O-Net的輸入，最終得到人臉候選邊框以及人臉的相應(yīng)特征點位置。

2.2 檢測網(wǎng)絡(luò)

在以CNN為基礎(chǔ)的檢測網(wǎng)絡(luò)中，YOLOv3和SSD300最具有代表性。YOLOv3是對全圖的特征進行預(yù)測并確定某個位置，SSD300則是通過學(xué)習(xí)某個位置的特征來確定此位置。此2種網(wǎng)絡(luò)與MTCNN相比，MTCNN對圖像預(yù)處理后再進行全圖特征學(xué)習(xí)，然后不斷篩選進而預(yù)測所有目標(biāo)的位置。

表1是在AMD Athlon(tm) II X4 640 Processor x4平臺上，分別使用MTCNN、YOLOv3和SSD300對FDDB數(shù)據(jù)集進行檢測的結(jié)果對比[11]。

Table 1 Detection results of different network

從表1可以看出，MTCNN在速度上略低于YOLOv3和SSD300，但模型大小和準(zhǔn)確率都優(yōu)于YOLOv3和SSD300。從移動端算法設(shè)計和檢測的高效性上來看，MTCNN更適合作為本文的基礎(chǔ)檢測網(wǎng)絡(luò)。

3 改進方法

3.1 Siam相似度判定因子

在SiameseNet網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上設(shè)計圖像相似的判定因子Siam。具體的Siam因子結(jié)構(gòu)圖如圖2所示。

Figure 2 Structure diagram of the Siam factor圖2 Siam因子結(jié)構(gòu)圖

其中，B-box是Siam因子的預(yù)備圖像集，即原圖像中P-Net、R-Net、O-Net獲得的所有人臉圖像。x1是目標(biāo)人臉的模板圖像，用以篩選B-box里符合要求的人臉圖像。利用Siam因子分別在MTCNN 3個節(jié)點處快速地篩選出符合要求的目標(biāo)人臉方框位置，進一步減少每一次傳輸?shù)暮蜻x框數(shù)量，從而減小算法的運算量，以實現(xiàn)高效獲取目標(biāo)人臉的目的。

Siam因子卷積層的具體參數(shù)如表2所示。

Table 2 The network structure of Siam factor

Siam因子不進行補零操作并且將圖像預(yù)處理為225*225像素，用ReLu函數(shù)作為激勵函數(shù)，以增加網(wǎng)絡(luò)的稀疏性，降低網(wǎng)絡(luò)中參數(shù)之間的冗余性和依賴性，提高參數(shù)之間的獨立性，防止過擬合的發(fā)生。

3.2 MT-Siam結(jié)構(gòu)設(shè)計

MTCNN和Siam因子相結(jié)合的MT-Siam網(wǎng)絡(luò)的測試結(jié)構(gòu)如圖3所示。pic是人臉的模板圖像，Image是待檢測的圖像。pic在Siam因子下得到高維矩陣特征值Gw(x1),其中，w是Siam的權(quán)重參數(shù)，x1是輸入，Image圖像依次在圖3的1、2、3處得到候選子圖像集T，并在Siam因子下得到相應(yīng)的高維矩陣特征值集Gw(xm),xm∈T，由式(1)計算出xm在Siam因子下獲得的相似度dist。所有圖像的相似度組成相似度集合Distm。

從distm中選出小于閾值D的子圖像，即可判斷出與模板人臉圖像相似的人臉圖像位置，否則反之。D為Siam因子的最優(yōu)閾值。Siam因子按照圖3的形式在3個節(jié)點處對同一幅圖像進行時間測試，結(jié)果如表3所示。從表3和圖3得出，可利用具有相似性評判能力的Siam因子代替O-Net層的候選框篩選，以達到高效的檢測效果,結(jié)構(gòu)圖如圖4所示。

Figure 3 Test structure diagram of the MT-Siam network圖3 MT-Siam網(wǎng)絡(luò)的測試結(jié)構(gòu)圖

Table 3 Siam time test on three nodes

Figure 4 Structure diagram of MT-Siam圖4 MT-Siam的結(jié)構(gòu)圖

4 實驗與分析

4.1 數(shù)據(jù)集篩選

本文將CACD2000和VGG Face2選為相似度判定的數(shù)據(jù)集，最大的優(yōu)點在于此類數(shù)據(jù)集的每個人物圖像集中都包含了多個年齡段、不同背景的多幅圖像。對2個數(shù)據(jù)集分別進行以下操作：先從數(shù)據(jù)集中隨機選出300組人物圖像，再從每組中隨機篩選40幅圖像整合成12 000對數(shù)據(jù)集作為訓(xùn)練集，其中6 000對人臉圖像作為同一人臉的正確匹配，標(biāo)注為0，剩余的6 000對人臉圖像作為非同一人臉的錯誤匹配，標(biāo)注為1。從上面的300組人物圖像中隨機篩選10幅圖像再整合成3 000對人臉圖像作為測試集，1 500對的人臉作為同一人臉的正確匹配，標(biāo)注為0，其余的1 500對人臉圖像作為非同一人臉的非正常匹配，標(biāo)注為1。

4.2 Siam因子測試

在2個篩選后的數(shù)據(jù)集上進行訓(xùn)練和測試，并與以SqueezeNet和MobileNets作為基礎(chǔ)框架而搭建的Siam-Squeeze和Siam-Mobile進行對比，結(jié)果如表4和表5所示。

Table 4 Comparison of three networks on CACD2000

Table 5 Comparison of three networks on VGG Face2

硬件環(huán)境：在TensorFlow框架上搭建的網(wǎng)絡(luò)模型；服務(wù)器配置：AMD Athlon(tm) II X4 640 Processor x4;NVIDIA GeForce GTX 1070 GPU；Ubuntu 16.04系統(tǒng)。

Figure 6 Target detection in different complex scenarios圖6 不同復(fù)雜場景下的目標(biāo)檢測

超參數(shù)設(shè)置：mini batch-size設(shè)為1；初始化的學(xué)習(xí)率為0.001；學(xué)習(xí)率的衰減周期為400；衰減的系數(shù)0.47；選用Adam Optimizer優(yōu)化器，周期性衰減更新學(xué)習(xí)率，以優(yōu)化網(wǎng)絡(luò)中的權(quán)重和偏置。采用五折交叉法和受試者工作特性ROC(Receiver Operating Characteristic)曲線來評價網(wǎng)絡(luò)效果,2個數(shù)據(jù)集上的ROC趨勢圖如圖5所示。

Figure 5 ROC trend of three-network圖5 3個網(wǎng)絡(luò)ROC趨勢圖

從表4、表5和圖5可以看出，在模型大小以及運行速度上，Siam因子要優(yōu)于Siam-Squeeze和Siam-Mobile；結(jié)合準(zhǔn)確率對比可得出Siam因子更適合在檢測時做判定處理。圖5中，帶有方形、圓形、三角形節(jié)點的線表示在VGG Face2下的結(jié)果，其它線表示CACD2000 下的結(jié)果，網(wǎng)絡(luò)后的數(shù)字表示準(zhǔn)確率。

4.3 MT-Siam檢測網(wǎng)絡(luò)

本文從模型大小、檢測速度以及準(zhǔn)確率上驗證了MTCNN作為基礎(chǔ)網(wǎng)絡(luò)的優(yōu)勢，并在2個數(shù)據(jù)集上驗證了Siam因子的高效性。設(shè)定閾值D的取值為[0.50，0.58],下面利用從網(wǎng)上任意選取的100幅復(fù)雜背景圖像測試MT-Siam的高效性以及魯棒性，結(jié)果如表6和圖6所示。

MT-Siam是在MTCNN的基礎(chǔ)上和Siam因子相結(jié)合且具有高效判定目標(biāo)人臉位置能力的網(wǎng)絡(luò)。這里從運行速度和模型大小上進行2種網(wǎng)絡(luò)的對比。從表6可以看出，在運行速度上，MT-Siam得到了84%的提升。綜合考慮，MT-Siam網(wǎng)絡(luò)比MTCNN更適用于在移動端上開發(fā)。

Table 6 Comparison of MT-Siam and MTCNN

從圖6看出MT-Siam具有良好的目標(biāo)檢測效果。以圖6中的Model pic作為MT-Siam的模板圖像pic，在5個復(fù)雜背景圖像上分別進行測試，可以準(zhǔn)確檢測到目標(biāo)人臉具體位置。

5 結(jié)束語

因為傳統(tǒng)檢測算法獲取了圖像中所有目標(biāo)的相關(guān)信息，其檢測效率和復(fù)雜背景下的準(zhǔn)確率都很低，本文就檢測網(wǎng)絡(luò)的效率低和任意復(fù)雜場景下算法準(zhǔn)確率低的問題，設(shè)計了MT-Siam網(wǎng)絡(luò)。在VGG Face2和CACD2000 2個數(shù)據(jù)集上驗證了本文的Siam判定因子在準(zhǔn)確率、模型大小、運算速度上均優(yōu)于傳統(tǒng)的CNN模型；在FDDB數(shù)據(jù)集下驗證了MTCNN作為基礎(chǔ)檢測網(wǎng)絡(luò)的優(yōu)越性,驗證了MT-Siam在復(fù)雜場景下比MTCNN更能高效地獲取目標(biāo)信息，同時證明了 MT-Siam的魯棒性。