林思海

關(guān)鍵詞：口罩檢測；SSD；SeNet；ResNet；特征融合；數(shù)據(jù)增強

新型冠狀病毒是人類面臨的第三次冠狀病毒大流行。2020年1月30日WHO宣布新冠肺炎疫情構(gòu)成國際關(guān)注的突發(fā)公共衛(wèi)生事件。2020年3月13日，WHO評估認為新冠肺炎可被定為大流行病[1]。

新冠疫情期間，佩戴口罩成為出入公共場合的行為規(guī)范。在機場、地鐵站、醫(yī)院等公共服務(wù)和重點機構(gòu)場所規(guī)定需要佩戴口罩，口罩佩戴檢查已成為疫情防控的必備操作[2]。本文提出一種基于深度學(xué)習(xí)的復(fù)雜場景下口罩佩戴實時檢測算法。與人工現(xiàn)場監(jiān)督相比，基于深度學(xué)習(xí)的監(jiān)督系統(tǒng)不需要管理人員實時監(jiān)控和與人流密切接觸。同時少量的管理人員即可在管理中心通過多塊監(jiān)視器管理大片區(qū)域，不僅提高了效率，還減少了管理人員與人流的長時間接觸。

目前，主流的目標檢測算法分為兩階段（twostage）方法如R-CNN[3]算法及其變體與一階段（onestage）方法如SSD[4]和YOLO[5]。目前已有許多優(yōu)秀的研究基于上述算法框架進行改進。張潔等基于Faster R-CNN框架，通過結(jié)合k-means++算法對標注人頭檢測框進行聚類[6]，并優(yōu)化原模型非極大值抑制（non-maximum suppression）[7]算法懲罰函數(shù)剔除無效人頭預(yù)測框，改善行人之間由于遮擋導(dǎo)致的召回率低的問題。董艷花等人基于ResNet[8]殘差結(jié)構(gòu)加深網(wǎng)絡(luò)的思想在SSD 網(wǎng)絡(luò)的定位分類前添加殘差結(jié)構(gòu)，將特征提取網(wǎng)絡(luò)和分類定位層進行分離，進而使得進入分類定位層的卷積特征更加抽象，有效解決SSD網(wǎng)絡(luò)同時學(xué)習(xí)局部信息和高層信息雙重任務(wù)的問題，維護特征提取網(wǎng)絡(luò)的穩(wěn)定性[9]。曾成等對YOLOv3框架的特征金字塔框架進行重構(gòu)。通過增大尺寸和增加先驗框數(shù)量[10]，降低神經(jīng)網(wǎng)絡(luò)感受野，以此增強網(wǎng)絡(luò)對小目標的敏感度。

1 改進SSD 算法

1.1 ResNet-B SSD 算法網(wǎng)絡(luò)整體結(jié)構(gòu)

本文提出的基于SSD改進的口罩佩戴檢測算法（ResNet50-Bidirectional Attention Feature Fusion SSD） 的網(wǎng)絡(luò)整體結(jié)構(gòu)如圖1所示：

首先，使用ResNet50替換原有的VGG-16特征提取網(wǎng)絡(luò)，并將Conv4_x中Block1的第一個卷積核與捷徑分支上的卷積核的步長由原先的2調(diào)整為1；其次，為了豐富中低層特征圖的語義信息，針對中間三層特征圖提出BAFF（Bidirectional Attention Feature Fu?sion） ，將臨近的低層特征信息跨層與臨近高層抽象語義信息相融合，然后，與本層特征相融合后經(jīng)過SeNet[11]進行預(yù)測；最后，第一層與最后兩層直接通過非極大值抑制（Non-Maximum Suppression） 進行預(yù)測，總共生成6個有效特征圖進行目標檢測。

1.2 ResNet50 SSD 特征提取網(wǎng)絡(luò)

本文選取ResNet50作為骨干網(wǎng)絡(luò)，相比原先的VGG-16特征提取網(wǎng)絡(luò)，ResNet50由于其使用跨層連接的思想，使得網(wǎng)絡(luò)層數(shù)更深的同時不容易發(fā)生梯度爆炸與梯度消失，能夠更好地提取圖像信息。

首先，將輸入尺寸為300X300 的RGB 對訓(xùn)練圖像，經(jīng)過前三個模塊后得到38X38的特征圖Conv3_x。然后，通過SeNet對預(yù)測特征層的通道進行權(quán)重分配，得到第一個預(yù)測特征層Con4_x，同時將Bolck1中步距全部修改為1。對于額外添加層，其由卷積、批量歸一化、Relu激活函數(shù)、卷積、批量歸一化、Relu激活函數(shù)構(gòu)成。最后，將Conv4_x和5個額外添加層作為6個預(yù)測特征層，通過非極大值抑制算法（Non-MaximumSuppression） 對結(jié)果進行預(yù)測。

1.3 BAFF 特征融合機制

本文提出一種將注意力機制與特征融合相結(jié)合的特征強化模塊BAFF（Bidirectional Attention Feature Fu?sion）。對于預(yù)測特征層的中間三層使用BAFF模塊強化輸出特征圖的表征能力。首先，將上一層與下一層的特征圖經(jīng)過1X1的卷積操作，將通道數(shù)調(diào)整到與本層通道數(shù)一致。然后，對上層特征圖進行尺寸為3×3，步距為2，padding為1的卷積操作；對下層特征圖進行尺寸為3×3步距為2的轉(zhuǎn)置卷積操作。將高層與低層的特征圖調(diào)整到本層的尺度后，通過簡單的注意力機制分別為其添加權(quán)重，以此來調(diào)整上下一層對本層特征圖的調(diào)優(yōu)結(jié)果。最后，將上下兩層相加后與本層特征圖進行融合，輸入SENet網(wǎng)絡(luò)后得到新的預(yù)測特征圖。

2 實驗結(jié)果與分析

2.1 實驗環(huán)境與評價指標

本實驗在Windows10操作系統(tǒng)上運行，內(nèi)存容量32G，處理器為AMD Ryzen 7 5800X3D，GPU顯卡型號為3090ti，顯存容量為24G，使用CUDA11.3以及Cudnn 驅(qū)動加速計算機的運行，在Pytorch深度學(xué)習(xí)框架上完成模型的搭建、訓(xùn)練以及測試。

實驗采用COCO評價指標。首先單獨計算0.5到0.95每間隔0.5依次計算每個IoU（交并比）對應(yīng)各個類別的平均精度值（Average Precision，AP） 后，對10個IOU值對應(yīng)的平均精度取平均值，這是評估檢測效果的重要指標。最后取各個類別AP的平均值，得到平均精度均值（mean Average Precision，mAP） 用于評估目標檢測模型的精度，避免某些類別極端化而弱化了其他類別的性能，計算公式如下所示：

2.2 數(shù)據(jù)集

本文選用百度飛槳上的口罩佩戴數(shù)據(jù)集及自行采集標注的數(shù)據(jù)，總計2707張圖像。本文采用8：2的比例劃分訓(xùn)練集和測試集，其中訓(xùn)練集包含2166張圖片，測試集包含541張圖片。

2.3 實驗結(jié)果與分析

訓(xùn)練過程中采用訓(xùn)練集中的20%作為驗證集，優(yōu)化器為Adam，初始學(xué)習(xí)率與權(quán)重衰減系數(shù)為0.0005。每15 訓(xùn)練輪次更新一次權(quán)重，更新系數(shù)gamma 為0.55，總計訓(xùn)練200輪。訓(xùn)練批量大小為16。選用骨干網(wǎng)絡(luò)為VGG16的SSD、Faster R-CNN算法與本文算法進行比較，結(jié)果如表1所示。

由表1可知，本文算法優(yōu)于上述兩種一階段與二階段的經(jīng)典算法。特別是在IOU為0.75與0.50：0.95 下提升明顯。主要的原因有兩點：首先采用了網(wǎng)絡(luò)層次更深、特征提取能力更強的RestNet50 骨干網(wǎng)絡(luò)。使得網(wǎng)絡(luò)對輸入圖像提取的圖形與語義信息更加豐富。其次本文算法結(jié)合注意力機制與特征融合，對中間三層結(jié)合上下層進行特征融合，在特征融合時進行權(quán)重分配，提高預(yù)測效果好的特征層的權(quán)重，降低預(yù)測效果差的特征層的權(quán)重，以此達到彌補低層預(yù)測特征層語義信息不足和高層分辨率低對細節(jié)感知能力較差的缺點。對于上述兩點原因，本文進行了消融實驗證明兩者對網(wǎng)絡(luò)性能的影響。實驗結(jié)果如表2所示：

SSD算法與本文改進算法檢測效果對比圖如圖3 所示。由效果圖可知針對遠處以及較小人臉，本文算法相比原始算法具有更高的檢測精度和更低的漏檢率。

3 結(jié)束語

本文提出了一種基于SSD改進的口罩佩戴檢測算法。首先使用網(wǎng)絡(luò)層次更深、特征提取能力更強的ResNet50替換原有算法的VGG16作為骨干網(wǎng)絡(luò)。同時針對原始SSD算法多個預(yù)測特征層信息交互能力較弱的問題，提出BAFF特征融合機制。實驗證明，本文提出的算法在百度飛槳上的行人口罩佩戴數(shù)據(jù)集上有良好的表現(xiàn)能力。改進后的算法在訓(xùn)練數(shù)據(jù)集上較原有算法的評價精度在IOU 為0.5、0.75、0.50：0.95下分別提升4.1%、9.9%、5.3%。