李 燕，盧崢?biāo)桑钋嘣?，楊世海，張小?/p>

(1.南京信息工程大學(xué)自動化學(xué)院，江蘇 南京 210044; 2.無錫學(xué)院物聯(lián)網(wǎng)工程學(xué)院，江蘇 無錫 214105;3.中國科學(xué)院天文光學(xué)技術(shù)重點實驗室，江蘇 南京 210042)

0 引 言

自新型冠狀病毒疫情爆發(fā)以來，疫情迅速蔓延到世界各國[1]。目前，國際環(huán)境仍在不斷變化，雖然疫苗正在迅速發(fā)展，但還無法對潛在大流行的第一波疫情產(chǎn)生影響[2]，我國疫情防控呈現(xiàn)持久性、長期性和穩(wěn)定性的態(tài)勢，疫情防控進入持久戰(zhàn)階段[3]。常態(tài)化疫情防控形勢下，在人群密集的區(qū)域(例如商場、超市和車站)容易發(fā)生人與人之間的交叉感染，我國在面對疫情的預(yù)防和控制上，仍然面臨嚴(yán)峻的挑戰(zhàn)。在公共場所佩戴口罩可以阻止病毒通過飛沫傳播，從而有效降低人們交叉感染的風(fēng)險。因此，開發(fā)一套容易部署的輕量化高精度口罩佩戴檢測系統(tǒng)來替代人工檢測的方式，其具有重要的現(xiàn)實意義。

近年來，隨著人工智能及相關(guān)技術(shù)的高速發(fā)展，基于深度學(xué)習(xí)的目標(biāo)檢測算法相繼被國內(nèi)外學(xué)者提出。一種是以R-CNN[4]、Fast R-CNN[5]、Faster R-CNN[6]等算法為代表的二階段網(wǎng)絡(luò)，另一種是以YOLO系列[7-9]、SSD[10]和Retinanet[11]等算法為代表的單階段網(wǎng)絡(luò)。二階段網(wǎng)絡(luò)是基于區(qū)域來提取候選目標(biāo)，算法檢測精度更好，但由于網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜，檢測速度較慢?；诨貧w的單階段算法，檢測速度較快，而精度稍低。本文研究相關(guān)目標(biāo)檢測算法，發(fā)現(xiàn)用于人臉檢測的深度神經(jīng)網(wǎng)絡(luò)可以適用于口罩佩戴的檢測任務(wù)。鄧珍榮等人[12]提出一種基于YOLO算法的密集小尺度人臉檢測方法，在多種層級的特征圖融合細(xì)粒度特征，通過對淺層特征進行空間降維通道升維，豐富感受野區(qū)域里的圖像信息在卷積網(wǎng)絡(luò)中映射的特征信息，再和感受野較大的深層特征融合，提高對小尺度人臉特征的檢測能力。Kim等人[13]提出了一種新的人臉識別體系結(jié)構(gòu)GroupFace，在該結(jié)構(gòu)中使用多組感知表示(multiple group-aware representations)學(xué)習(xí)人臉的隱藏組表示，縮小目標(biāo)身份的搜索空間，最終取得了不錯的人臉檢測效果。牛作棟等人[14]提出一種基于Retinaface算法的口罩檢測算法，增加自注意力機制并優(yōu)化了損失函數(shù)，但模型參數(shù)量較大，推理速度仍有較大的提升空間。Retinaface算法[15]是一種魯棒性較強的單階段人臉檢測器，它利用外監(jiān)督(extra-supervised)和自監(jiān)督(self-supervised)結(jié)合的多任務(wù)學(xué)習(xí)，在各種人臉尺度上執(zhí)行像素方面的人臉定位?；赗esnet[16]骨干網(wǎng)絡(luò)，Retinaface算法在WIDEDR FACE[17]上獲取了極佳的檢測成績；基于MobileNet[18]骨干網(wǎng)絡(luò)則可以在CPU上達到實時的檢測速度。在WIDER FACE人臉數(shù)據(jù)集上，Retinaface的性能優(yōu)于現(xiàn)有技術(shù)平均預(yù)測(AP)1.1個百分點，達到91.4%。WIDER FACE是目前業(yè)界公開的檢測難度最高的人臉檢測數(shù)據(jù)集，也是世界數(shù)據(jù)規(guī)模最大的權(quán)威人臉檢測平臺。

因此，本文嘗試在Retinaface算法的基礎(chǔ)上進行改進，提出一種針對口罩佩戴檢測任務(wù)的算法。主要工作如下：

1)改進Retinaface網(wǎng)絡(luò)結(jié)構(gòu)，在算法上增加多分類任務(wù)，去除人臉關(guān)鍵點損失和面部密集點回歸損失等無關(guān)的檢測任務(wù)。

2)改進Retinaface算法的特征提取網(wǎng)絡(luò)，提出一種雙重級聯(lián)金字塔網(wǎng)絡(luò)，提升網(wǎng)絡(luò)對細(xì)節(jié)的感知能力，實現(xiàn)特征增強，可以更好地應(yīng)對自然場景下口罩檢測存在的小尺度目標(biāo)漏檢等問題。

3)為了滿足算法的實時性要求并加強網(wǎng)絡(luò)的特征提取能力，引入輕量級結(jié)構(gòu)重參數(shù)化網(wǎng)絡(luò)RepVGG-A0[19]骨干網(wǎng)絡(luò)，提高檢測精度，并通過模型推理階段的重參數(shù)化，使網(wǎng)絡(luò)訓(xùn)練和網(wǎng)絡(luò)推理階段使用不同的網(wǎng)絡(luò)架構(gòu)，大幅減少參數(shù)量，使算法可以部署于低算力的設(shè)備上，更好地應(yīng)用于實際場景。

1 Retinaface算法

1.1 Retinaface算法原理

Retinaface是一種基于像素級的單階段人臉檢測算法。該算法采用聯(lián)合外監(jiān)督和自監(jiān)督的多任務(wù)學(xué)習(xí)策略，可以對各種尺度條件下的人臉做到像素級別的定位。

Retinaface的特征提取網(wǎng)絡(luò)為特征金字塔網(wǎng)絡(luò)FPN，分為P2～P6共5個有效特征層，其中P2～P5是從相應(yīng)的Resnet殘差網(wǎng)絡(luò)輸出特征圖通過自頂而下和橫向連接計算而來。P6將C5通過一個步長為2的3×3卷積計算得到。C2～C5使用Resnet-152殘差網(wǎng)絡(luò)在imagenet-11k數(shù)據(jù)集上預(yù)訓(xùn)練的參數(shù)，P6層通過Xavier方法[20]進行隨機初始化。Retinaface為了進一步加強特征提取，采用了上下文模塊，擴大歐幾里得網(wǎng)絡(luò)的感受野，增強模型的上下文推理能力。同時，采用可變形卷積網(wǎng)絡(luò)(Deformable Convolutional Network， DCN)[21]代替橫向連接和上下文模塊中的所有3×3的卷積層，進一步加強卷積神經(jīng)網(wǎng)絡(luò)非剛性的上下文建模能力。該算法的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

1.2 多任務(wù)損失函數(shù)

對于一個訓(xùn)練的錨點(anchor)框i，Retinaface算法的多任務(wù)損失函數(shù)為：

(1)

2 改進Retinaface算法用于口罩檢測

為了實現(xiàn)在人口密集場所的實時口罩檢測，本文在以MobileNet0.25為骨干網(wǎng)絡(luò)的Retinaface算法上增加多分類任務(wù)，并提出一種改進Retinaface的網(wǎng)絡(luò)結(jié)構(gòu)，主要從特征融合網(wǎng)絡(luò)和骨干網(wǎng)絡(luò)2個方面進行改進。采用Resnet50骨干網(wǎng)絡(luò)的Retinaface算法模型復(fù)雜，參數(shù)量大，較易產(chǎn)生過擬合，多任務(wù)損失可以使不同任務(wù)相互作用，提高學(xué)習(xí)的效果。為了部署在低算力的設(shè)備上，本文采用輕量級骨干網(wǎng)絡(luò)，參數(shù)量較少，過擬合情況不明顯，同時，為了降低數(shù)據(jù)標(biāo)注難度，在多任務(wù)損失中舍去了用于人臉對齊的人臉關(guān)鍵點損失以及用于3D人臉分析的面部密集點回歸損失等無關(guān)的檢測任務(wù)。

2.1 改進的多尺度特征圖融合網(wǎng)絡(luò)

特征提取過程中，淺層的網(wǎng)絡(luò)包含的細(xì)節(jié)特征更豐富，可以用于檢測簡單的目標(biāo)；深層的網(wǎng)絡(luò)則包含更多的深層語義信息，但是對于小物體也就是細(xì)節(jié)的檢測并不是很好。特征融合網(wǎng)絡(luò)將2種特征信息進行融合，實現(xiàn)特征增強，同時避免了使用單一特征信息而造成大量信息丟失。原始Retinaface算法的特征融合網(wǎng)絡(luò)為特征金字塔網(wǎng)絡(luò)FPN(Feature Pyramid Network)。特征金字塔網(wǎng)絡(luò)是一種有效的特征融合網(wǎng)絡(luò)，通過對輸入圖像進行卷積和池化操作，獲得不同尺寸的特征圖，再使用不同尺寸的特征圖同時進行預(yù)測，使用淺層的特征檢測簡單目標(biāo)，使用深層特征檢測復(fù)雜目標(biāo)，使網(wǎng)絡(luò)在增加較少計算量的前提下融合低分辨率語義信息較強的特征圖和高分辨率語義信息較弱但空間信息豐富的特征圖。在口罩佩戴檢測的任務(wù)中，為了進一步提高對小目標(biāo)的檢測能力，網(wǎng)絡(luò)模型需要利用更多的細(xì)節(jié)信息，因此需要對FPN進行改進。本文提出一種雙重級聯(lián)金字塔網(wǎng)絡(luò)DC-FPN(Dual Cascade FPN)，把FPN輸出的特征再次輸入類似FPN的結(jié)構(gòu)中，先通過自底向上的信息流，利用低層次特征對其他層次特征進行加強，提升網(wǎng)絡(luò)對細(xì)節(jié)的感知能力，然后通過上采樣生成3種不同尺度的有效特征層。最后，因為進行了多次的降采樣和上采樣操作，會使深層網(wǎng)絡(luò)的定位信息產(chǎn)生誤差，所以將生成的3種不同尺度的特征圖分別與原始FPN輸出的特征圖進行concat操作，進行拼接后再進行預(yù)測。雙重級聯(lián)金字塔結(jié)構(gòu)如圖2所示。

圖2 雙重級聯(lián)金字塔網(wǎng)絡(luò)結(jié)構(gòu)圖

2.2 改進的骨干網(wǎng)絡(luò)

在深度學(xué)習(xí)目標(biāo)檢測任務(wù)中，盡管類似Resnet網(wǎng)絡(luò)的殘差網(wǎng)絡(luò)相比簡單網(wǎng)絡(luò)有更高的精度，但缺點也很明顯。由于殘差網(wǎng)絡(luò)多分支的結(jié)構(gòu)，使顯存占用明顯增加，也降低了模型的推理速度。多分支網(wǎng)絡(luò)的優(yōu)點是利于訓(xùn)練，而不利于推理。而VGG式模型僅使用3×3卷積，在GPU上，3×3卷積的計算密度可達1×1和5×5卷積的4倍，同時，VGG式模型沒有任何分支，運算并行度高，節(jié)省顯存占用?？谡峙宕鳈z測通常部署在小型設(shè)備上，計算力有限，通常要求模型較小，推理速度較快，同時滿足較高的識別率。為更好地滿足口罩識別任務(wù)的部署需求，并在保證較高精度的情況下加快推理速度，本文引入RepVGG(Re-parameterization Visual Geometry Group)網(wǎng)絡(luò)。在訓(xùn)練階段，RepVGG網(wǎng)絡(luò)使用identity和1×1分支構(gòu)建多分支結(jié)構(gòu)提升網(wǎng)絡(luò)性能，在推理時，RepVGG網(wǎng)絡(luò)可以通過模型重構(gòu)，把訓(xùn)練時使用的多分支結(jié)構(gòu)重新參數(shù)化，即通過參數(shù)的轉(zhuǎn)換，將模型訓(xùn)練時的多分支網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)轉(zhuǎn)換為推理時的單路網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)，使RepVGG同時兼顧多分支模型訓(xùn)練時的優(yōu)勢和單路架構(gòu)推理快、節(jié)省內(nèi)存的優(yōu)勢。RepVGG部分結(jié)構(gòu)如圖3所示。

圖3 RepVGG訓(xùn)練和推理時的結(jié)構(gòu)圖

在模型推理階段的重參數(shù)化過程中，先對殘差塊中的卷積層和BN層進行融合，計算公式為：

(2)

圖4 模型重構(gòu)轉(zhuǎn)換過程

2.3 改進的Retinaface算法模型

本文將Retinaface算法通過對骨干網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò)進行改進。針對輕量化口罩檢測任務(wù)，本文引入RepVGG-A0作為Retinaface算法的骨干網(wǎng)絡(luò)，訓(xùn)練時，把原始圖片調(diào)整為大小960×960的3通道圖像，經(jīng)過數(shù)據(jù)增強后，傳入RepVGG-A0骨干網(wǎng)絡(luò)。RepVGG-A0共5個stage，分別包含1、2、4、14、1個塊，每個塊除了第一個單元，都包含identity分支。經(jīng)過骨干網(wǎng)絡(luò)后，第3、第4、第5個stage的輸出分別通過Conv(1×1)+BN+LeakyRelu的組合，卷積核步長為1，輸出3個有效特征層，將3個特征層輸入雙重級聯(lián)金字塔網(wǎng)絡(luò)DC-FPN中，得到3種不同尺度的特征圖。最后將金字塔網(wǎng)絡(luò)輸出的3種不同尺度的特征圖輸入上下文模塊進行預(yù)測，本文算法結(jié)構(gòu)如圖5所示。

圖5 本文算法網(wǎng)絡(luò)結(jié)構(gòu)

3 實驗與結(jié)果分析

3.1 實驗平臺

本文算法在Ubuntu 18.04操作系統(tǒng)中實現(xiàn)，深度學(xué)習(xí)框架為Pytorch1.6.0，使用GPU加速工具CUDA 10.2，編程語言采用Python 3.8。硬件配置包括AMD RyzenTM7 4800H，Nvidia GeForce RTX 2060顯卡，16 GB內(nèi)存。

3.2 數(shù)據(jù)集構(gòu)建和模型訓(xùn)練

目前人臉口罩佩戴圖片較少，本文使用WIDER FACE開源人臉圖片數(shù)據(jù)集和MAFA(Masked Faces)[22]開源口罩遮擋人臉數(shù)據(jù)集部分圖片，并通過互聯(lián)網(wǎng)收集，自制了人臉口罩佩戴數(shù)據(jù)集。使用labelimg標(biāo)注軟件對數(shù)據(jù)集進行統(tǒng)一標(biāo)注，標(biāo)簽分別為：face(人臉)、mask(佩戴口罩人臉)。標(biāo)注的信息為目標(biāo)框左上角和右下角點的坐標(biāo)。數(shù)據(jù)集共8875張圖像，按照8:2的比例將數(shù)據(jù)集隨機劃分訓(xùn)練集和測試集。訓(xùn)練集共包含7100張圖像，測試集共包含1775張圖像，為了驗證本文算法對不同尺度目標(biāo)的檢測效果，將測試集分為easy、medium、hard這3種不同難度的子測試集，easy難度共827張，medium難度共587張，hard難度共361張，測試集示例如圖6所示。模型訓(xùn)練方法采用隨機梯度下降法(Stochastic Gradient Descent， SGD)。初始學(xué)習(xí)率設(shè)置為10-3，動量設(shè)置為0.9，batchsize為4。當(dāng)網(wǎng)絡(luò)訓(xùn)練110個輪次(epoch)后學(xué)習(xí)率下降到10-4，然后在第130個輪次(epoch)學(xué)習(xí)率下降到10-5，整個訓(xùn)練過程一共進行150個輪次結(jié)束，共迭代266250次。訓(xùn)練結(jié)束后，加載訓(xùn)練好的模型，對該模型執(zhí)行模型重參數(shù)化操作，再加載重參數(shù)化后的模型，執(zhí)行模型推理。另外，在相同的實驗環(huán)境下，使用相同的訓(xùn)練方式，本文訓(xùn)練了一個以MobileNet0.25為骨干網(wǎng)絡(luò)的原始Retinaface網(wǎng)絡(luò)模型，用于分析和比較。

(a) easy (b) medium (c) hard 圖6 測試集圖片示例

3.3 評價指標(biāo)

本文選擇平均精度(Average Precision， AP)，平均精度均值(mean Average Precision， mAP)作為目標(biāo)檢測算法的評價指標(biāo)。每秒傳輸幀數(shù)表示每秒處理的圖片數(shù)量，本文使用每秒傳輸幀數(shù)FPS(frames per second)來測試模型的檢測效率。

平均精度AP的值反應(yīng)單一目標(biāo)的檢測效果，其計算方式為：

(3)

其中，p(r)表示精確率(Precision，P)和召回率(Recall， R)的映射關(guān)系，精確率P和召回率R的計算方式為：

(4)

(5)

其中，TP表示檢測模型檢測正確的樣本數(shù)量；FP表示檢測模型檢測錯誤的樣本數(shù)量；FN表示沒有被檢測出來的樣本數(shù)量。

mAP表示所有類別平均精度的均值，反映了總體上的目標(biāo)檢測效果，其計算方式為：

(6)

其中，n表示類別的個數(shù)，i表示某個類別。

3.4 結(jié)果分析

為了使本文算法可以在自然場景下進行口罩佩戴檢測，本文引入的RepVGG-A0通過結(jié)構(gòu)重參數(shù)化可以有效降低模型大小和計算量。訓(xùn)練過程中，邊界框回歸損失函數(shù)和分類損失函數(shù)的變化情況如圖7所示。模型重構(gòu)后，本文算法的模型參數(shù)量由12.3 MB減小到11.0 MB，模型減小10.56%。模型推理時的幀速率由64.94 fps提高到92.59 fps，結(jié)構(gòu)重參數(shù)化后的模型參數(shù)量對比和輸入為640×640時與其他主流算法的幀率對比如表1所示。雖然以MobileNet0.25為骨干網(wǎng)絡(luò)的Retinaface算法檢測效率更高，達到133.033 fps，但本文算法對小目標(biāo)的檢測效果顯著高于原算法，且充分滿足實時檢測的需求，可以滿足在移動端和嵌入式端部署的需求。

圖7 損失函數(shù)變化情況

表1 GPU RTX2060與CPU R7-4800H實時性對比

為了研究骨干網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò)對模型的影響，將本文算法裁剪成3組分別進行訓(xùn)練和測試，模型①為基于MobileNet0.25骨干網(wǎng)絡(luò)的原始Retianaface算法，模型②在模型①基礎(chǔ)上增加了雙重級聯(lián)金字塔網(wǎng)絡(luò)DC-FPN，模型③在模型②的基礎(chǔ)上增加了RepVGG-A0骨干網(wǎng)絡(luò)，在不同難度的測試集上進行對比分析。為了進一步驗證本文算法的有效性，與SSDRetinanet和YOLOV3-Tiny算法進行對比。本文將IoU設(shè)置為0.5時的實驗結(jié)果如表2所示。

表2 實驗結(jié)果性能對比

從表2可以看出,在easy難度上，檢測目標(biāo)較大，特征較好提取，主流算法和本文算法均取得了不錯的檢測效果，但相比之下模型③即本文算法仍然取得較高的測試結(jié)果。在medium難度上，模型②增加了雙重級聯(lián)金字塔網(wǎng)絡(luò)DC-FPN后，對比原始算法，mAP提高了1.06個百分點，說明改進的DC-FPN結(jié)構(gòu)豐富了3個有效特征層的細(xì)節(jié)信息，進一步提升了網(wǎng)絡(luò)的檢測效果。模型③相比模型②，引入了RepVGG-A0骨干網(wǎng)絡(luò)，人臉目標(biāo)檢測和人臉佩戴口罩目標(biāo)檢測的AP值分別提高了2.81個百分點和0.86個百分點?？谡謾z測AP值相對人臉檢測AP值提高較少，因為口罩遮擋人臉減少了大部分人臉特征且medium難度檢測目標(biāo)相對較大，口罩遮擋人臉特征相對容易提取，所以模型①和模型②也取得了不錯的檢測效果。在hard難度上，檢測目標(biāo)均為較小的目標(biāo)，模型②比模型①mAP提高了1.93個百分點，模型③相比于模型①，2種類別AP值分別提高了5.51個百分點和5.20個百分點，mAP提高了5.35個百分點，取得了顯著的提高效果。說明帶有殘差結(jié)構(gòu)的RepVGG網(wǎng)絡(luò)相比MobileNet0.25網(wǎng)絡(luò)具有更強的學(xué)習(xí)能力。同時，對比其他主流算法，本文算法在各個難度的驗證集上均取得了較好的檢測效果。綜上，本文對Retinaface算法的改進明顯提高了人臉佩戴口罩檢測效果，尤其針對自然場景下的小尺度目標(biāo)檢測效果提高顯著。具體檢測示例效果如圖8所示。

圖8 不同算法結(jié)果對比

第一組圖片中，SSD和Retinanet算法檢測小目標(biāo)的效果明顯不如Retinaface和YOLOV3-Tiny算法，但本文算法置信度更高。第二組圖片中，針對中等尺度口罩目標(biāo)，主流算法也得到了良好的檢測效果，但本文算法檢測出后方屏幕上的目標(biāo)，說明本文算法對小目標(biāo)的檢測效果和分類效果均有顯著提高。第三組中，本文算法在口罩目標(biāo)較密集的情況下，相比其他算法，漏檢情況較少，置信度較高，取得了更好的檢測結(jié)果。綜上，本文算法對于人臉佩戴口罩的檢測效果明顯優(yōu)于Retinaface算法和其他算法，能夠應(yīng)對自然場景中目標(biāo)密集，小尺度目標(biāo)較多等問題，可以有效地進行口罩佩戴檢測。

4 結(jié)束語

本文通過改進Retinaface算法，提出一種改進的輕量級結(jié)構(gòu)重參數(shù)化網(wǎng)絡(luò)，為了加強網(wǎng)絡(luò)對細(xì)節(jié)的感知能力，引入雙重級聯(lián)金字塔網(wǎng)絡(luò)(DC-FPN)，把FPN輸出的特征再次輸入類似FPN的結(jié)構(gòu)中，先通過自底向上的信息流，利用低層次特征對其他層次特征進行加強，然后進行上采樣生成3種不同尺度的有效特征層，最終提高了對多尺度目標(biāo)的檢測效果。為更好地滿足算力有限設(shè)備的口罩識別任務(wù)部署需求，并在保證較高精度的情況下加快推理速度，引入RepVGG-A0骨干網(wǎng)絡(luò)，通過模型參數(shù)重構(gòu)，把訓(xùn)練時的多分支模型轉(zhuǎn)換為推理時的單路模型。實驗表明，在口罩佩戴檢測任務(wù)中，本文算法在easy、medium、hard這3個難度的測試集上，分別提高了1.06個百分點、2.59個百分點、5.96個百分點，檢測速率達到92.59 fps，滿足實時性要求，可以很好地勝任人臉口罩佩戴檢測任務(wù)。但本文算法仍有改進空間，如何使輕量化網(wǎng)絡(luò)在保證檢測速度的同時讓檢測準(zhǔn)確率接近大型網(wǎng)絡(luò)，同時，滿足更豐富的使用場景是接下來待解決的問題。