蘇海濤 張守棋

關(guān)鍵詞： DynaNet-SSD；SE注意力機(jī)制；小目標(biāo)檢測(cè)；人臉檢測(cè)；Focal Loss；Mosaic

0 引言

新冠疫情感染期間，佩戴口罩成了一種常態(tài)化的現(xiàn)象?？谡殖蔀轭A(yù)防呼吸道傳染病的一道防線，可以降低新型冠狀病毒感染風(fēng)險(xiǎn)。因此，采用神經(jīng)網(wǎng)絡(luò)的方法對(duì)人是否佩戴口罩的檢測(cè)[1]具有重要的研究應(yīng)用價(jià)值。

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺和圖像處理中一個(gè)重要的研究領(lǐng)域。隨著大數(shù)據(jù)時(shí)代的到來，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法成了研究熱點(diǎn)，雖然檢測(cè)精度遠(yuǎn)超過傳統(tǒng)的方法，但是仍然無法同時(shí)滿足對(duì)于實(shí)時(shí)性和準(zhǔn)確性的要求。

而戴口罩人臉檢測(cè)實(shí)際上屬于人臉檢測(cè)與圖像分類[2]問題，即使用目標(biāo)檢測(cè)網(wǎng)絡(luò)配合圖像分類網(wǎng)絡(luò)，首先確定人的面部位置，然后將圖像分類為未佩戴口罩、已佩戴口罩兩種情況。同時(shí)，口罩?jǐn)?shù)據(jù)集較少、佩戴口罩的場(chǎng)景多樣化、對(duì)模型運(yùn)行速度的要求等情況，也成為口罩人臉檢測(cè)中必須考慮的問題。

1 相關(guān)工作

隨著大數(shù)據(jù)的出現(xiàn)，計(jì)算機(jī)硬件性能穩(wěn)步增強(qiáng)，人們對(duì)于目標(biāo)檢測(cè)算法的實(shí)時(shí)性和準(zhǔn)確性有了更高的要求，對(duì)應(yīng)的，逐漸加深網(wǎng)絡(luò)的深度，加大網(wǎng)絡(luò)的寬度，模型復(fù)雜度也隨之增高，人們對(duì)于計(jì)算能力的要求越來越高，加大了訓(xùn)練的難度和時(shí)間的消耗。保證網(wǎng)絡(luò)性能的前提下減少網(wǎng)絡(luò)參數(shù)，壓縮網(wǎng)絡(luò)模型也成了目標(biāo)檢測(cè)任務(wù)中的一個(gè)方向。

MobileNet-SSD[3]算法是將SSD算法中的VGG16[4]特征提取網(wǎng)絡(luò)替換為MobileNet特征提取網(wǎng)絡(luò)而建立的算法。在沒有減少準(zhǔn)確率的情況下，適當(dāng)減少了網(wǎng)絡(luò)參數(shù)，綜合了準(zhǔn)確率與速度兩個(gè)指標(biāo)。

目前，基于MobileNet-SSD目標(biāo)檢測(cè)模型相關(guān)文獻(xiàn)多是針對(duì)特定領(lǐng)域當(dāng)中的單個(gè)類別中單一目標(biāo)提升檢測(cè)性能和識(shí)別效果，在復(fù)雜度較高的圖片中對(duì)于多類別多目標(biāo)的檢測(cè)研究相對(duì)較少，特別是針對(duì)小目標(biāo)的檢測(cè)[5]仍然具有一定的研究?jī)r(jià)值。

為了平衡網(wǎng)絡(luò)模型的大小和檢測(cè)速度，輕量級(jí)網(wǎng)絡(luò)MobileNet 結(jié)合SSD 框架可以實(shí)現(xiàn)快速的目標(biāo)檢測(cè)，MobileNet-SSD能夠有效地對(duì)網(wǎng)絡(luò)模型的大小進(jìn)行壓縮，并提高檢測(cè)速度。但其在戴口罩人臉檢測(cè)上存在以下問題：

1） 小目標(biāo)戴口罩圖片中，戴口罩人臉檢測(cè)不全，即召回率偏低。

2） 小目標(biāo)戴口罩圖片中，個(gè)別人臉模糊不清，導(dǎo)致準(zhǔn)確率偏低。

本文修改MobileNet-SSD的基礎(chǔ)網(wǎng)絡(luò)模型，添加參數(shù)計(jì)算量小的注意力機(jī)制模塊，使用Mosaic數(shù)據(jù)增強(qiáng)算法擴(kuò)充小目標(biāo)數(shù)據(jù)，使用Focal Loss[6]替換Soft? max Loss損失函數(shù)，在沒有犧牲檢測(cè)時(shí)間的前提下，提高了戴口罩人臉檢測(cè)效率和識(shí)別準(zhǔn)確率。

2 戴口罩人臉檢測(cè)相關(guān)技術(shù)分析

2.1 SSD 網(wǎng)絡(luò)簡(jiǎn)介

SSD算法[7]屬于區(qū)別于R-CNN的[8]one-stage（訓(xùn)練單個(gè)網(wǎng)絡(luò)）多框預(yù)測(cè)方法。取決于SSD多尺度特征映射特點(diǎn)，SSD 算法采取了不同尺度的特征圖進(jìn)行檢測(cè)，并設(shè)置了不同尺度以及不同寬高比的先驗(yàn)框（an? fcahuelrt bbooxx））[。9]對(duì)然其后進(jìn)將行這預(yù)測(cè)些，候得選到框多通個(gè)過不同非的極候大選值框抑（d制e?（NMS）[10]方法，得到最終類別和最終位置。

相比于Faster R-CNN[11]和YOLO[12]等目標(biāo)檢測(cè)模型，SSD結(jié)合了YOLO算法的回歸思想，并將全連接層以金字塔網(wǎng)絡(luò)進(jìn)行替代，從而提取到更多特征，同時(shí)又借鑒了FasterR-CNN中的anchor機(jī)制，設(shè)置了不同長(zhǎng)寬比的先驗(yàn)框， 在復(fù)雜場(chǎng)景下多目標(biāo)的情況下，多數(shù)修改基礎(chǔ)網(wǎng)絡(luò)形成新SSD算法，小目標(biāo)檢測(cè)性能優(yōu)于YOLOv3[13]和FasterR-CNN，又基于MobileNet 網(wǎng)絡(luò)參數(shù)小的特點(diǎn)，在檢測(cè)時(shí)間方面檢測(cè)速度相比于Reti? naNet[14]和YOLO V5[15]更快。

2.2 SSD 多尺度映射

SSD采用特征金字塔結(jié)構(gòu)[16]，具有多尺度特征映射的特點(diǎn)，對(duì)任意的一幅圖片均通過卷積，生成不同尺度的特征圖層進(jìn)行預(yù)測(cè)，如圖1：

（a）只對(duì)最后特征圖層輸出的特征信息進(jìn)行預(yù)測(cè)，圖（b）對(duì)不同尺度的特征圖層進(jìn)行預(yù)測(cè)。

2.3 MobileNet-SSD

MobileNet-SSD[17]是在SSD網(wǎng)絡(luò)基礎(chǔ)上，使用輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)MobileNet 替換SSD 中的VGG16 網(wǎng)絡(luò)。

MobileNet-SSD的工作過程如下：采用特征金字塔思想獲取6個(gè)卷積層的特征信息，用來進(jìn)行多尺度多目標(biāo)的目標(biāo)檢測(cè)，最后進(jìn)行目標(biāo)分類和候選框回歸。

事實(shí)上，MobileNet-SSD 網(wǎng)絡(luò)模型用來做目標(biāo)檢測(cè)的6層特征圖分別為：Conv11（F-map1） 、Conv13（F- map2） 、Conv14_2（F-map3） 、Conv15_2（F-map4） 、Conv16_2（F-map5） 、Conv17_2（F-map6） 。對(duì)應(yīng)大小分別為19×19×512、10×10×1024、5×5×512、3×3×256、2× 2×256和1×1×128（用F-map來表示某一特征圖）。

在MobileNet-SSD網(wǎng)絡(luò)中，小物體只有在低位特征圖層中特征相對(duì)明顯，在高位特征圖層中經(jīng)過卷積，特征信息相比低位特征圖層少，因此對(duì)于小目標(biāo)檢測(cè)效果較差。

3 DynaNet-SSD 算法的設(shè)計(jì)及實(shí)現(xiàn)

MobileNet-SSD算法的基礎(chǔ)上修改，在數(shù)據(jù)集方面，通過添加Mosaic數(shù)據(jù)增強(qiáng)算法[18]擴(kuò)充數(shù)據(jù)，使數(shù)據(jù)集中包含更多小目標(biāo)戴口罩人臉圖片。

網(wǎng)絡(luò)結(jié)構(gòu)方面，在保留MobileNet的深度可分離卷積的前提下通過修改Conv5和 Conv12為1×1的卷積核，整體修改MobileNet網(wǎng)絡(luò)結(jié)構(gòu)，形成新網(wǎng)絡(luò)Dy? naNet，DynaNet包含更多感受野小的特征圖層，以及相比于MobileNet更少的參數(shù)，并通過感受野小的特征圖層進(jìn)行預(yù)測(cè)。

同時(shí)在Conv5層之后添加一個(gè)通道注意力模塊，即SE模塊，SE模塊使用全連接層計(jì)算量相比于增加一個(gè)卷積層更小，同時(shí)SE模塊添加在已有的網(wǎng)絡(luò)上并不會(huì)打亂網(wǎng)絡(luò)原有的主體結(jié)構(gòu)。

在損失函數(shù)方面，本文選取Focal Loss二分類類別損失函數(shù)代替原網(wǎng)絡(luò)中Softmax千分類損失函數(shù)，通過減少負(fù)樣本的權(quán)重，將損失函數(shù)聚焦于正樣本中難分辨的類別。最后形成新的DynaNet-SSD算法。

3.1 Mosaic 數(shù)據(jù)增強(qiáng)算法

Mosaic數(shù)據(jù)增強(qiáng)算法，是一種針對(duì)于小物體檢測(cè)的數(shù)據(jù)增強(qiáng)算法。Mosaic數(shù)據(jù)增強(qiáng)參考了CutMix數(shù)據(jù)增強(qiáng)方式[19]，理論上具有一定的相似性。CutMix數(shù)據(jù)增強(qiáng)方式利用兩張圖片進(jìn)行拼接，但是Mosaic利用了4張圖片，極大地豐富了檢測(cè)物體的背景。

實(shí)現(xiàn)思路：先選取4張圖片，分別對(duì)4張圖片進(jìn)行隨機(jī)翻轉(zhuǎn)、縮放等，最后按照4個(gè)方向拼接到一起。Mosaic流程可視化圖如圖2所示：

通過Mosaic數(shù)據(jù)增強(qiáng)算法拼接圖片增強(qiáng)了數(shù)據(jù)集，也把原來大型和較大型的物體縮放縮小組合，使得數(shù)據(jù)集中的小物體增多，提高了算法檢測(cè)小物體的精度，如圖3所示：

3.2 DynaNet-SSD 特征提取網(wǎng)絡(luò)

考慮戴口罩人臉檢測(cè)場(chǎng)景，圖片中的人臉相距較遠(yuǎn)，人臉占比例較小，屬于小目標(biāo)戴口罩圖片（人臉占比小于15%）。本文提出的DynaNet-SSD為了能夠提高小目標(biāo)戴口罩人臉準(zhǔn)確率和召回率，選取特征信息更多和感受野更小的特征圖層進(jìn)行候選框的預(yù)測(cè)，并對(duì)候選框中的圖像進(jìn)行分類，即是否佩戴口罩的分類。

MobileNet-SSD網(wǎng)絡(luò)結(jié)構(gòu)算法提取的特征圖層是F-map1、F-map2、F-map3、F-map4、F-map5、F-map6。檢測(cè)小目標(biāo)的特征圖層是F-map1特征圖層。

鑒于38×38（F-map1的前一層）的特征圖在進(jìn)一步的卷積過程中會(huì)丟失局部特征信息，所以在設(shè)計(jì)DynaNet-SSD網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，提取38×38的特征圖層作為第一特征圖。

DynaNet-SSD 沿用了MobileNet-SSD 的Conv1、Conv2、Conv3、Conv4圖層，在Conv4的基礎(chǔ)上修改卷積核的通道數(shù)，卷積之后成為新的Conv5，即DynaNet- SSD將Conv5（38×38×512的特征圖層）作為其第一特征圖層（DF-map1即DynaNet的第一特征圖，以下均用DF-map表示DynaNet選取的特征圖），具體流程如圖5所示：

DynaNet-SSD在Conv11層修改卷積核通道數(shù)，卷積之后形成Conv12（19×19×1 024的特征圖層），作為Dmyanpa2N） 。et-SSD 網(wǎng)絡(luò)提取的第二個(gè)特征圖層（DF-在Conv12之后的特征圖層中，用3×3的卷積核和（1D×F1-的ma卷p3積） 核、進(jìn)Co行nv標(biāo)15_準(zhǔn)2（卷DF積-m，a選p4?。?其、中Co的nv1C6o_n2v（1D4F_-2 map5） 這三層作為特征提取層，特征圖層的大小分別為10×10×512、5×5×256、3×3×256。DynaNet-SSD提取的特征圖層相比于MobileNet-SSD提取的特征圖層，包含更多小比例人臉特征信息。

SSD算法提取大物體特征明顯，在最高位特征圖層中檢測(cè)效果較好，在實(shí)際的應(yīng)用中幾乎不會(huì)出現(xiàn)大物體漏檢錯(cuò)檢的情況。所以DynaNet-SSD網(wǎng)絡(luò)選取Conv17-2（1×1的特征圖層，即DF-map6） 作為最后一個(gè)特征圖。

3.3 添加SE 注意力機(jī)制

在第一特征圖層后，即 Conv5 層之后添加 SE （squeeze-and-excatation） 模塊，由于第一特征圖層存在小目標(biāo)信息較多，通過SE模塊更好地提取小目標(biāo)人臉邊界信息，防止卷積過程中有效信息的丟失，同時(shí)SE 模塊參數(shù)量相較于其他注意力機(jī)制更少，在不損害檢測(cè)時(shí)間的情況下，提高小目標(biāo)人臉的檢測(cè)準(zhǔn)確率。

最后是scale操作，在得到1×1×C向量之后，就可以對(duì)原來的特征圖進(jìn)行scale操作了。很簡(jiǎn)單，就是通道權(quán)重相乘，原有特征向量為W×H×C，將SE模塊計(jì)算出來的各通道權(quán)重值分別和原特征圖對(duì)應(yīng)通道的二維矩陣相乘，得出的結(jié)果輸出。

總體來說，SE模塊會(huì)增加網(wǎng)絡(luò)的總參數(shù)量、總計(jì)算量，因?yàn)槭褂玫氖侨B接層計(jì)算量相比卷積層更小，但是總參數(shù)量會(huì)有所上升。

3.4 MobileNet-SSD 和DynaNet-SSD 網(wǎng)絡(luò)結(jié)構(gòu)比較

DynaNet-SSD 整體結(jié)構(gòu)對(duì)比圖如圖6 和圖7 所示：其中，Conv14 層之前都進(jìn)行深度可分離卷積，Conv14層之后進(jìn)行標(biāo)準(zhǔn)卷積。

38×5D12y，na相N比et-于SSDMo選bi取leN的et第-S一SD特的征第圖一層特C征onv圖5層是1398×× 19×512包含更多的特征信息；第二特征圖層Conv12 是19×19×1 024相比于MobileNet-SSD的第二特征圖層10×10×1 024包含更多特征信息；第三特征圖層至第六特征圖層都是大感受野圖層，在小物體方面并沒有很大的提升。

以上闡述了相對(duì)于MobileNet-SSD的改進(jìn)思路，為了更直觀地分析兩種算法的結(jié)構(gòu)，制作了兩種不同算法的網(wǎng)絡(luò)架構(gòu)圖。

3.5 Focal Loss 損失

目標(biāo)檢測(cè)損失函數(shù)包含兩方面損失，分別是位置信息損失與類別信息損失（戴口罩或不戴口罩兩類）。

MobileNet-SSD 的位置損失采用L1 距離度量的Smooth Ll Loss策略[20]，見公式（4） ，其中，xp ij log2 （c?pi）是預(yù)測(cè)框i 與真實(shí)框j 關(guān)于類別p 是否匹配，若p 的概率預(yù)測(cè)越高，損失越小，類別的概率公式具體參考公式（1）。

類別置信度（即機(jī)器得到不同類別的分?jǐn)?shù)）采用Softmax Loss損失函數(shù)[21]，見公式（3） ，MobileNet總體置信度按照1：α 的加權(quán)求得，見公式（2），α 默認(rèn)值為1，x作為自變量傳入函數(shù)，c 代表置信度，l 代表預(yù)測(cè)框，g代表真實(shí)框，α 表示權(quán)重，表示匹配候選框數(shù)量為N，lmi和g?mj分別表示預(yù)測(cè)框和真實(shí)框。損失值計(jì)算包含以下三部分：

但類別損失方面，由于添加Mosaic數(shù)據(jù)增強(qiáng)算法，數(shù)據(jù)集擴(kuò)充了小目標(biāo)戴口罩人臉圖片，但是也擴(kuò)充了大量的圖片背景（即負(fù)樣本），當(dāng)處理大量負(fù)樣本、少量正樣本的情況時(shí)，即使把負(fù)樣本的權(quán)重設(shè)置得很低，但是因?yàn)樨?fù)樣本的數(shù)量太多，負(fù)樣本的損失函數(shù)也會(huì)主導(dǎo)損失函數(shù)，因此本文選取Focal Loss[22]公式（7）代替Softmax Loss損失函數(shù)，以戴不戴口罩二分類為主。

Focal Loss不僅可以作用于正負(fù)樣本問題，同樣也可作用于難以分辨樣本問題，當(dāng)> 0時(shí)， focal loss的損失小于標(biāo)準(zhǔn)交叉熵?fù)p失。pt 在趨向于0.5時(shí)，損失函數(shù)最大，在趨向于0或1時(shí)，損失函數(shù)最小，進(jìn)而更容易分辨難分辨樣本（置信度在0.5左右的樣本）。

4 實(shí)驗(yàn)與結(jié)果分析

模型訓(xùn)練環(huán)境為Window10，CPU R5 3600X，GPU NVIDIA GTX1660s，16G RAM，1T SSD ROM。

按照8：2的比例劃分為訓(xùn)練集和驗(yàn)證集，訓(xùn)練模型輸入300×300像素的圖片7 952張，最大迭代次數(shù)為150次。學(xué)習(xí)率分階段遞減，初始學(xué)習(xí)率為1× 10^-4。

訓(xùn)練過程LOSS 函數(shù)損失圖如圖8 所示，SMSoDbi用leN實(shí)e線t-S代SD替（用圖虛標(biāo)線中代k替er（as圖） 。標(biāo)中essay

4.1 結(jié)果分析

評(píng)價(jià)目標(biāo)檢測(cè)的指標(biāo)好壞為精確率（Precision）、召回 率 （Recall）、平 均 精 度 （Average-Precision，AP） 與 mean Average Precision（mAP）。

精確率又涉及TP（true positive）、TN（true negative）、FP（false positive）、FN （false negative），其中positive 和tnievgea，t預(yù)ive測(cè)表為示負(fù)預(yù)類測(cè)則得為到ne的ga結(jié)tiv果e; ，tr預(yù)ue測(cè)和為fal正se類表則示為預(yù)測(cè)po的si?結(jié)果和真實(shí)結(jié)果是否相同，相同則是true，不同則為false。在本文中，TP是預(yù)測(cè)出的人臉中戴口罩的人臉個(gè)數(shù)，F(xiàn)P對(duì)應(yīng)著不戴口罩的人臉個(gè)數(shù)；FN為沒有預(yù)測(cè)到但實(shí)際有標(biāo)注的人臉中戴口罩的人臉個(gè)數(shù)，F(xiàn)N就是沒有預(yù)測(cè)到但實(shí)際有標(biāo)注的人臉中不戴口罩的人臉個(gè)數(shù)，如表1所示：

（1） 精確度（Precision）。即查準(zhǔn)率，是模型判為正類且真實(shí)類別也是正類的概率，衡量一個(gè)分類器分出來的正確類的是正類的概率，計(jì)算公式：

（2）召回率（Recall）。即查全率，是指模型判為正類且真實(shí)類別也是正類的圖像數(shù)量在真實(shí)類別是正類的圖像數(shù)量中的比率，衡量的是一個(gè)分類器能把所有的正類都找出來的能力，計(jì)算公式為：

使用與訓(xùn)練集不相關(guān)的驗(yàn)證集，將DynaNet-SSD 算法與MobileNet-SSD網(wǎng)絡(luò)進(jìn)行對(duì)比。驗(yàn)證集包含1 223張圖片，是經(jīng)過特意挑選人臉占比小的圖片，個(gè)別圖片實(shí)例如圖9所示。

對(duì)比MobileNet-SSD和DynaNet-SSD算法mAP值如圖10 所示，其中MobileNet-SSD 的mAP 值僅有40.48%，而DynaNet-SSD達(dá)到47.30%，mAP值提高了6.82%。

在驗(yàn)證集上，檢測(cè)不戴口罩人臉識(shí)別準(zhǔn)確率和召回率如圖11所示，其中，MobileNet-SSD算法在不戴口罩人臉識(shí)別準(zhǔn)確率和召回率分別是80.9%和35.7%，而DynaNet-SSD算法在不戴口罩人臉識(shí)別準(zhǔn)確率和召回率分別是91.2%和36.4%，準(zhǔn)確率提高了10.3%，召回率提高了0.7%。

在驗(yàn)證集上，檢測(cè)戴口罩人臉識(shí)別準(zhǔn)確率和召回率如圖12所示，其中，MobileNet-SSD算法在戴口罩人臉識(shí)別準(zhǔn)確率和召回率分別是84.8% 和34.8%，而DynaNet-SSD算法在戴口罩人臉識(shí)別準(zhǔn)確率和召回率分別是91.7%和39.1%，準(zhǔn)確率提高了6.9%，召回率提高了4.3%。

從驗(yàn)證結(jié)果圖片可以看出，DynaNet-SSD算法在小目標(biāo)多目標(biāo)的檢測(cè)效率和識(shí)別效率強(qiáng)于MobileNe- SSD算法。

在驗(yàn)證集上，檢測(cè)不戴口罩人臉AP值對(duì)比圖和戴口罩人臉AP 值對(duì)比圖如圖13 所示，其中，MobileNet-SSD算法在不戴口罩人臉AP值為42.7%，DynaNet-SSD 在不戴口罩人臉AP 值為49.4%，AP 值

經(jīng)過在驗(yàn)證集上測(cè)試，DynaNet-SSD網(wǎng)絡(luò)在人臉占比小的圖片中，不論是戴口罩還是不戴口罩的檢測(cè)效果都要優(yōu)于MobileNet-SSD網(wǎng)絡(luò)，更多實(shí)例結(jié)果如圖14所示。

左側(cè)為MobileNet-SSD算法在圖片中的效果，右側(cè)為DynaNet-SSD算法在圖片中的效果。

5 總結(jié)

本文提出了DynaNet-SSD結(jié)構(gòu)，針對(duì)在戴口罩人臉占比小的圖片中對(duì)小比例戴口罩人臉檢測(cè)效率不高，和小比例戴口罩人臉識(shí)別召回率偏低等問題做出了改進(jìn)，在不影響檢測(cè)速度的前提下，提高了召回率和準(zhǔn)確率。

DynaNet-SSD 通過采用Mosaic 數(shù)據(jù)增強(qiáng)數(shù)據(jù)集中小比例戴口罩人臉的數(shù)量，選取不同的特征圖層，并修改卷積核改變了通道數(shù)，同時(shí)增加了SE卷積注意力機(jī)制，修改使用Focal Loss 損失函數(shù)，與MobileNet-SSD網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比，在開源數(shù)據(jù)集上測(cè)試，分別從準(zhǔn)確率、召回率、AP、mAP值上作比較。實(shí)驗(yàn)證明，DynaNet相對(duì)于MobileNet-SSD，針對(duì)小目標(biāo)戴口罩人臉，檢測(cè)準(zhǔn)確率提高了6.9%、召回率提高了4.3%、AP值提高了7%、mAP值提高了6.82%。