陳昭俊，儲(chǔ) 珺，曾倫杰

基于動(dòng)態(tài)加權(quán)類(lèi)別平衡損失的多類(lèi)別口罩佩戴檢測(cè)

陳昭俊，儲(chǔ) 珺，曾倫杰

(南昌航空大學(xué)軟件學(xué)院，江西 南昌 330063)

公共場(chǎng)合佩戴口罩已經(jīng)成為重要的防疫措施。現(xiàn)有口罩檢測(cè)方法通常只檢測(cè)是否佩戴口罩，忽略檢測(cè)未規(guī)范佩戴口罩這一極易發(fā)生交叉感染的場(chǎng)景，目前的口罩?jǐn)?shù)據(jù)集缺少未規(guī)范佩戴口罩?jǐn)?shù)據(jù)。針對(duì)以上問(wèn)題，在現(xiàn)有口罩?jǐn)?shù)據(jù)集的基礎(chǔ)上，通過(guò)線(xiàn)下采集和從互聯(lián)網(wǎng)收集更多未規(guī)范佩戴口罩圖像，并根據(jù)佩戴口罩的人臉圖像特點(diǎn)，改進(jìn)Mosaic數(shù)據(jù)增強(qiáng)算法擴(kuò)充數(shù)據(jù)，改進(jìn)后Mosaic數(shù)據(jù)增強(qiáng)算法能夠?qū)⒒鶞?zhǔn)網(wǎng)絡(luò)YOLOv4的平均精度均值(mAP)提升2.08%；針對(duì)擴(kuò)增后數(shù)據(jù)集出現(xiàn)的類(lèi)別不平衡問(wèn)題，提出動(dòng)態(tài)加權(quán)平衡損失函數(shù)，在重加權(quán)二分類(lèi)交叉熵?fù)p失(weight binary cross entropy loss)基礎(chǔ)上，以有效樣本數(shù)量的倒數(shù)作為輔助類(lèi)別權(quán)重，并對(duì)訓(xùn)練的每一個(gè)批次進(jìn)行動(dòng)態(tài)調(diào)整，解決直接使用重加權(quán)方法穩(wěn)定性弱、檢測(cè)精度震蕩和效果不理想的問(wèn)題。實(shí)驗(yàn)表明，改進(jìn)后模型mAP達(dá)到91.25%，未規(guī)范佩戴口罩平均精度(AP)達(dá)到91.69%，與單階段方法RetinaNet，Centernet，Effcientdet和兩階段方法YOLOv3-MobileNetV2，YOLOv4-MobileNetV2相比，改進(jìn)后算法具有更高的檢測(cè)精度和速度。

口罩檢測(cè)；類(lèi)別不平衡；Mosaic數(shù)據(jù)增強(qiáng)；YOLOv4；重加權(quán)

自2019年全球范圍內(nèi)爆發(fā)新冠病毒以來(lái)，佩戴口罩成為防疫的重要措施。隨著疫情常態(tài)化發(fā)展和公眾自我保護(hù)意識(shí)逐漸懈怠，常常出現(xiàn)未規(guī)范佩戴口罩的現(xiàn)象?，F(xiàn)有口罩檢測(cè)方法通常只檢測(cè)是否佩戴口罩，忽略檢測(cè)未規(guī)范佩戴口罩，需額外配備大量人員進(jìn)行人工檢測(cè)，檢測(cè)效率低，面臨近距離感染和漏檢的風(fēng)險(xiǎn)。

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)已經(jīng)在多個(gè)領(lǐng)域得到了很好地應(yīng)用。葉澤聰?shù)萚1]提出一種基于模型壓縮的YOLOv3實(shí)時(shí)槍支識(shí)別算法，使用“通道+層”剪枝進(jìn)行壓縮，實(shí)現(xiàn)了對(duì)槍支類(lèi)危險(xiǎn)物的實(shí)時(shí)和高精度檢測(cè)。卞景帥等[2]基于Faster R-CNN的結(jié)核桿菌檢測(cè)方法，采用分塊采樣、迭代標(biāo)注和重疊子圖劃分策略，解決了結(jié)核桿菌標(biāo)注圖像困難和目標(biāo)尺度小檢測(cè)難問(wèn)題。趙海英和楊婷[3]提出一種宮廷服飾龍紋分割算法，通過(guò)R-FCN檢測(cè)算法得到一系列候選框，然后使用GrabCut算法對(duì)候選框中龍紋進(jìn)行分割，實(shí)現(xiàn)較好地分割效果。李宗民等[4]則基于相似性度量行人的檢測(cè)方法，以Faster R-CNN生成的高置信度候選框區(qū)域特征模板，使用特征相似性為依據(jù)進(jìn)行判別，成功提高了行人檢測(cè)的準(zhǔn)確率。越來(lái)越多的行業(yè)應(yīng)用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法，與傳統(tǒng)方法相比，其優(yōu)勢(shì)在于自動(dòng)學(xué)習(xí)包含大量參數(shù)的特征表示，有著更高的效率、魯棒性和泛化能力[5]。

近兩年由于新冠疫情的出現(xiàn)，有研究者開(kāi)始將通用目標(biāo)檢測(cè)技術(shù)應(yīng)用到口罩檢測(cè)任務(wù)，取得一定地進(jìn)展，如牛作東等[6]基于Retina Face算法進(jìn)行優(yōu)化，在ResNet-152骨干網(wǎng)絡(luò)加入自注意力機(jī)制，但其檢測(cè)速度較低，滿(mǎn)足不了實(shí)時(shí)性檢測(cè)需求。曹城碩和袁杰[7]提出了一種基于YOLOv3的口罩佩戴檢測(cè)算法，在骨干網(wǎng)絡(luò)Darknet-53中引入通道注意力機(jī)制，采用路徑聚合策略與特征金字塔進(jìn)行特征融合，加強(qiáng)利用不同層次的特征，有效提升模型對(duì)小目標(biāo)和遮擋目標(biāo)的檢測(cè)能力。管軍霖和智鑫[8]使用對(duì)數(shù)總變分模型，將圖像的低頻與高頻成分分解、重建及融合，減少劇烈光線(xiàn)變化對(duì)檢測(cè)的影響。

但上述研究存在以下問(wèn)題：

(1) 現(xiàn)有口罩人臉數(shù)據(jù)集，如AIZOO[9]，RMFD[10]及文獻(xiàn)[11-12]中所使用的口罩檢測(cè)數(shù)據(jù)集等，主要包含未佩戴和佩戴口罩人臉樣本，缺少未規(guī)范佩戴口罩人臉樣本，忽略檢測(cè)未規(guī)范佩戴口罩這一常見(jiàn)且極易造成飛沫傳播的情況，并且檢測(cè)環(huán)境簡(jiǎn)單、單一，多數(shù)圖像只有一個(gè)人臉目標(biāo)，與真實(shí)世界復(fù)雜多變的檢測(cè)場(chǎng)景有很大的差距。因此，有必要在現(xiàn)有口罩檢測(cè)數(shù)據(jù)集基礎(chǔ)上，收集更多的未規(guī)范佩戴口罩的人臉圖像，并且統(tǒng)一進(jìn)行標(biāo)注，訓(xùn)練相關(guān)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)未規(guī)范口罩佩戴情況的檢測(cè)。

(2) 未規(guī)范佩戴口罩圖像采集困難、造成目前的口罩檢測(cè)數(shù)據(jù)集類(lèi)別不平衡。即數(shù)據(jù)集中一些類(lèi)別的樣本數(shù)量遠(yuǎn)大于其他類(lèi)別，其中樣本數(shù)量大的類(lèi)被稱(chēng)為多數(shù)類(lèi)，其他類(lèi)別稱(chēng)為少數(shù)類(lèi)。類(lèi)別不平衡會(huì)使得分類(lèi)器傾向?qū)⑺袠颖九卸槎鄶?shù)類(lèi)別，少數(shù)類(lèi)別分類(lèi)效果差，嚴(yán)重影響整體分類(lèi)性能[13]。

解決類(lèi)別不平衡通常有2種方法：重采樣和重加權(quán)[14]。重采樣方法，通過(guò)對(duì)多數(shù)類(lèi)進(jìn)行欠采樣，即刪除部分樣本；或?qū)ι贁?shù)類(lèi)進(jìn)行過(guò)采樣，即添加重復(fù)樣本；或兩者同時(shí)進(jìn)行，直接改變訓(xùn)練樣本數(shù)量。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)進(jìn)行特征學(xué)習(xí)時(shí)，重采樣方法可能會(huì)引入大量重復(fù)樣本，增加訓(xùn)練時(shí)間，且過(guò)采樣容易發(fā)生過(guò)擬合，欠采樣可能會(huì)丟失有助于特征學(xué)習(xí)的樣本數(shù)據(jù)[15]。

重加權(quán)方法則是從損失函數(shù)入手，給予少數(shù)類(lèi)別損失相對(duì)較高的權(quán)重，平衡各類(lèi)別損失。重加權(quán)系列方法逐漸成為解決類(lèi)別不平衡的主流方法，在近幾年發(fā)展迅速。如LIN等[16]提出Focal Loss算法，解決單階段目標(biāo)檢測(cè)中前后背景類(lèi)別不平衡問(wèn)題。其通過(guò)添加2個(gè)權(quán)重參數(shù)，一個(gè)平衡正負(fù)樣本的失衡，一個(gè)平衡難易分類(lèi)樣本失衡。CHEN等[17]所在團(tuán)隊(duì)通過(guò)大量實(shí)驗(yàn)表明在區(qū)域建議網(wǎng)絡(luò)(region proposal network，RPN)使用Focal Loss可以緩和類(lèi)別不平衡產(chǎn)生的過(guò)擬合問(wèn)題。CUI等[18]認(rèn)為，樣本之間存在信息重疊，提出類(lèi)別的有效樣本數(shù)量，進(jìn)而提出類(lèi)別平衡損失(class- balanced loss，CB Loss)。TAN等[19]從反傳梯度出發(fā)，提出均衡損失(equalization loss，EQL Loss)，為每個(gè)樣本引進(jìn)權(quán)重，減少負(fù)樣本對(duì)少數(shù)類(lèi)別的影響，從而保護(hù)少數(shù)類(lèi)別的學(xué)習(xí)不受影響。然而，經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，上述重加權(quán)方法直接應(yīng)用在本文自制口罩?jǐn)?shù)據(jù)集，檢測(cè)效果并不理想。原因在于本文數(shù)據(jù)集中類(lèi)別之間差異小及數(shù)據(jù)增強(qiáng)后存在重疊信息，因此，設(shè)計(jì)一個(gè)更適用于口罩?jǐn)?shù)據(jù)集的損失函數(shù)是本文重點(diǎn)研究?jī)?nèi)容。

針對(duì)上述問(wèn)題，在現(xiàn)有口罩人臉數(shù)據(jù)集的基礎(chǔ)上，通過(guò)志愿者采集和從互聯(lián)網(wǎng)收集圖像，并針對(duì)人臉口罩圖像特性，本文采用改進(jìn)的Mosaic數(shù)據(jù)增強(qiáng)算法，構(gòu)建一個(gè)包含未佩戴口罩人臉、未規(guī)范佩戴口罩人臉和規(guī)范佩戴口罩人臉三類(lèi)標(biāo)簽的數(shù)據(jù)集。針對(duì)目前解決類(lèi)別不平衡的重加權(quán)系列損失函數(shù)存在穩(wěn)定性弱、精度動(dòng)蕩嚴(yán)重、檢測(cè)效果不理想問(wèn)題，以YOLOv4[20]為基準(zhǔn)網(wǎng)絡(luò)，在重加權(quán)損失(weight binary cross entrory loss，WBCE Loss)基礎(chǔ)上，提出動(dòng)態(tài)加權(quán)類(lèi)別損失(dynamic weighted class balanced loss，DWCB Loss)。在每一個(gè)批次訓(xùn)練中動(dòng)態(tài)調(diào)整各個(gè)類(lèi)別的權(quán)重以適應(yīng)數(shù)據(jù)變化，更加關(guān)注少數(shù)類(lèi)別，緩解網(wǎng)絡(luò)在訓(xùn)練時(shí)出現(xiàn)的過(guò)擬合現(xiàn)象。實(shí)驗(yàn)表明，本文方法可有效緩解類(lèi)別不平衡問(wèn)題，模型的平均精度均值(mean average precision，mAP)有明顯地提升，特別是少數(shù)類(lèi)別(未規(guī)范佩戴口罩)的檢測(cè)精度得到提高。

1 本文算法

為適應(yīng)口罩人臉檢測(cè)任務(wù)，綜合考慮檢測(cè)精度、速度和訓(xùn)練模型所需圖形處理器(graphies processing unit，GPU)的算力，使用通用目標(biāo)檢測(cè)網(wǎng)絡(luò)YOLOv4作為基準(zhǔn)網(wǎng)絡(luò)，根據(jù)口罩人臉圖像的特點(diǎn)，改進(jìn)Mosaic數(shù)據(jù)增強(qiáng)算法，采用改進(jìn)后算法擴(kuò)展數(shù)據(jù)，豐富檢測(cè)背景。針對(duì)構(gòu)建的數(shù)據(jù)集類(lèi)別不平衡問(wèn)題，在交叉熵?fù)p失和類(lèi)別平衡損失基礎(chǔ)上，提出動(dòng)態(tài)加權(quán)平衡損失去平衡各類(lèi)別損失。

1.1 改進(jìn)的Mosaic數(shù)據(jù)增強(qiáng)

Mosaic數(shù)據(jù)增強(qiáng)在MS COCO數(shù)據(jù)集使用了旋轉(zhuǎn)、縮放和色域變化3種基本數(shù)據(jù)增強(qiáng)。SHORTEN和KHOSHGOFTAAR[21]對(duì)主流數(shù)據(jù)增強(qiáng)算法進(jìn)行實(shí)驗(yàn)并指出，色域變化不適用人臉相關(guān)數(shù)據(jù)集，因?yàn)樯蜃兓瘯?huì)擴(kuò)增出大量的不同顏色樣本，破壞數(shù)據(jù)中關(guān)鍵顏色信息。如黃色、黑色和白色是人臉識(shí)別的關(guān)鍵信息，色域變化會(huì)生成大量紅、藍(lán)、綠等其他顏色樣本。訓(xùn)練中會(huì)導(dǎo)致模型學(xué)習(xí)不到人臉圖像的關(guān)鍵顏色信息。

如圖1所示，色域變化后出現(xiàn)不存在的紫色人臉，在密集復(fù)雜的背景下使得遮擋人臉特征被大塊連續(xù)顏色塊“污染”。因此本文在Mosaic數(shù)據(jù)增強(qiáng)算法中取消色域變化，保證不破壞人臉顏色信息。

圖1 色域變化增強(qiáng)前后的樣本圖像((a)增強(qiáng)前；(b)增強(qiáng)后)

自制口罩人臉數(shù)據(jù)集是由widerFace數(shù)據(jù)集[22]、MAFA數(shù)據(jù)集[23]、RMFD數(shù)據(jù)集[10]和線(xiàn)下采集圖像組成。widerFace圖像樣本占本文數(shù)據(jù)集的31.80%，widerFace圖像取材于現(xiàn)實(shí)世界，其人臉目標(biāo)各異、背景復(fù)雜、模糊和遮擋。widerFace將模糊和遮擋劃分為3個(gè)等級(jí)，模糊0，1和2，分別代表清晰、一般模糊和特別模糊；遮擋0，1，2分別代表人臉未遮擋、遮擋在1%～30%和遮擋超過(guò)30%以上，具體分布情況如圖2所示。

圖2 widerFace數(shù)據(jù)集模糊和遮擋比例

由圖2可知，widerFace數(shù)據(jù)集中86%樣本存在模糊，近40%樣本存在不同程度的遮擋。MAFA和RMFD數(shù)據(jù)集未對(duì)模糊和遮擋情況進(jìn)行統(tǒng)計(jì)，通過(guò)肉眼觀(guān)察發(fā)現(xiàn)其部分樣本也存在模糊和遮擋的情況。因此，本文構(gòu)建的數(shù)據(jù)集存在模糊和遮擋情況。為了提高模糊和遮擋情況下的檢測(cè)能力，本文使用隨機(jī)模糊和Cutout算法[24]生成更多模糊和遮擋樣本，促進(jìn)網(wǎng)絡(luò)對(duì)模糊和遮擋特征學(xué)習(xí)。

總之，本文對(duì)Mosaic數(shù)據(jù)增強(qiáng)算法進(jìn)行了優(yōu)化，取消了原有的色域變化，解決色域變化會(huì)破壞人臉關(guān)鍵顏色的問(wèn)題；針對(duì)數(shù)據(jù)集中含有部分模糊和遮擋的人臉情況，引入隨機(jī)模糊和Cutout算法以生成更多的遮擋、模糊樣本。

1.2 改進(jìn)的重加權(quán)損失函數(shù)

由2.2節(jié)可知，本文構(gòu)建的數(shù)據(jù)集中未規(guī)范佩戴口罩類(lèi)別數(shù)量遠(yuǎn)小于其他類(lèi)別，處于嚴(yán)重的類(lèi)別不平衡狀態(tài)。在訓(xùn)練過(guò)程中，少數(shù)類(lèi)別梯度被多數(shù)類(lèi)別梯度所淹沒(méi)，基準(zhǔn)網(wǎng)絡(luò)YOLOv4使用的二值交叉熵?fù)p失很容易抑制少數(shù)類(lèi)別的學(xué)習(xí)，造成少數(shù)類(lèi)別的檢測(cè)效果差。

解決該問(wèn)題的主流方法之一是重加權(quán)損失[25]，其基本思想是分配不同權(quán)重給訓(xùn)練樣本，然而根據(jù)2.4.2節(jié)可知，現(xiàn)有的重加權(quán)系列損失函數(shù)在本文自制口罩?jǐn)?shù)據(jù)集上解決類(lèi)別不平衡問(wèn)題上效果有限。為此，本文在WBCE Loss基礎(chǔ)上，提出DWCB Loss。

類(lèi)別不平衡是一個(gè)被廣泛研究的問(wèn)題，一種直觀(guān)的方法是根據(jù)基于類(lèi)別數(shù)量確定樣本權(quán)重，如類(lèi)頻率的倒數(shù)[26]，這一類(lèi)方法可劃分為WBCE Loss，即

其中，為類(lèi)別數(shù)量；N為第類(lèi)別樣本數(shù)量；第類(lèi)別權(quán)重計(jì)算函數(shù)為

二分類(lèi)交叉熵?fù)p失為

其中，y為真實(shí)類(lèi)別；p為預(yù)測(cè)類(lèi)別。

WBCE Loss對(duì)每個(gè)類(lèi)別使用不同的權(quán)重，權(quán)重根據(jù)該類(lèi)別樣本在數(shù)據(jù)集所占的比例設(shè)定。但在本文數(shù)據(jù)集中使用WBCE Loss后精度震蕩、穩(wěn)定性差，這是由于本文使用數(shù)據(jù)增強(qiáng)產(chǎn)生大量相似樣本，特征存在重疊，簡(jiǎn)單使用樣本數(shù)量計(jì)算的權(quán)重并不合適。

與WBCE Loss不同，本文提出的DWCB Loss，引入了2種計(jì)算權(quán)重方法，并將2種權(quán)重線(xiàn)性組合得到新權(quán)重，最后使用新權(quán)重值平衡各類(lèi)別損失，即

其中，(N)，(N)分別為2種計(jì)算權(quán)重的方式；為兩者的平衡參數(shù)，經(jīng)過(guò)多次實(shí)驗(yàn)，設(shè)為0.55。

(N)和WBCE Loss一致，計(jì)算方式如式(1)，那么

其中，超參數(shù)依照文獻(xiàn)[18]設(shè)定為0.9。

(N)權(quán)重計(jì)算受CB Loss[18]啟發(fā)。由CB Loss可知，有效樣本數(shù)量能夠較好反應(yīng)重疊情況。設(shè)第類(lèi)的有效樣本數(shù)量E，可通過(guò)第類(lèi)樣本數(shù)量N推出

CB Loss對(duì)每一個(gè)類(lèi)別引入一個(gè)權(quán)重因子，這個(gè)因子與有效樣本數(shù)量成反比，即

因此，本文提出的DWCB Loss，在WBCE Loss的基礎(chǔ)上，以有效樣本數(shù)量的倒數(shù)作為輔助權(quán)重，用以緩解數(shù)據(jù)增強(qiáng)帶來(lái)的重復(fù)特征導(dǎo)致的精度震蕩、穩(wěn)定性問(wèn)題，在訓(xùn)練的每一個(gè)批次動(dòng)態(tài)計(jì)算以適應(yīng)各類(lèi)別實(shí)例數(shù)量變化。通過(guò)2.4.2節(jié)的對(duì)比實(shí)驗(yàn)發(fā)現(xiàn)，本文提出的DWCB Loss與其他損失相比，在口罩人臉數(shù)據(jù)集上取得的mAP更高，更適用于處理類(lèi)別不平衡的口罩人臉檢測(cè)任務(wù)。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)環(huán)境：顯卡為Nvidia GeForce RTX 3090，2張共48 G顯存，操作系統(tǒng)版本為Ubuntu 18.04.5，處理器為Inter Xeon Silver。深度學(xué)習(xí)框架為Pytorch，版本為1.6.1。

2.2 數(shù)據(jù)集構(gòu)建

現(xiàn)有口罩檢測(cè)數(shù)據(jù)集按照來(lái)源分為2種：①基于公開(kāi)人臉數(shù)據(jù)集收集，如AIZOO數(shù)據(jù)集，采集widerFace人臉數(shù)據(jù)集和MAFA人臉數(shù)據(jù)集部分圖像；②企業(yè)私有保密數(shù)據(jù)集，如張修寶等[27]在全天候自然場(chǎng)景下的人臉佩戴口罩識(shí)別技術(shù)中使用的口罩?jǐn)?shù)據(jù)集。但這些數(shù)據(jù)集缺乏未規(guī)范佩戴口罩的人臉樣本。

對(duì)AIZOO，MAFA和RMFD數(shù)據(jù)集進(jìn)行未佩規(guī)范佩戴口罩人臉圖像統(tǒng)計(jì)，見(jiàn)表1。

表1 主流口罩人臉數(shù)據(jù)集統(tǒng)計(jì)分析表

從表1可以看出，主流口罩人臉數(shù)據(jù)集中未規(guī)范佩戴口罩占比分別為2.13%，0.09%和0.39%，數(shù)量非常少。因此，采集更多的未規(guī)范佩戴口罩人臉的圖像是必要的。本文從widerFace，MAFA和RMFD數(shù)據(jù)集選擇了4 512，3 638和2 817張圖像，線(xiàn)下通過(guò)爬蟲(chóng)網(wǎng)絡(luò)圖像、截取公開(kāi)視頻圖像和采集志愿者得到3 190張口罩人臉圖像，構(gòu)建人臉口罩檢測(cè)數(shù)據(jù)集。數(shù)據(jù)集類(lèi)別分為未佩戴口罩人臉，規(guī)范佩戴口罩人臉和未規(guī)范佩戴口罩人臉。并且隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，比例為8∶1∶1。數(shù)據(jù)集標(biāo)注格式為PASCAL VOC2007，標(biāo)注軟件為L(zhǎng)abelImg。

本文數(shù)據(jù)集類(lèi)別劃分為nomask，goodmask和poormask 3類(lèi)，實(shí)例數(shù)目分別為13 716，8 768和1 802，比例分別為56%∶36%∶7%，因現(xiàn)有口罩檢測(cè)數(shù)據(jù)集缺乏未規(guī)范佩戴口罩人臉圖像和收集難度大，導(dǎo)致poormask類(lèi)樣本數(shù)量遠(yuǎn)小于其他兩類(lèi)，數(shù)據(jù)集出現(xiàn)類(lèi)別不平衡，因此在多分類(lèi)口罩人臉檢測(cè)任務(wù)時(shí)，如何解決類(lèi)別不平衡問(wèn)題是本文研究的主要內(nèi)容。

2.3 評(píng)價(jià)指標(biāo)

綜合考慮使用AP，mAP，能兼顧召回率(Recall)和精確率(Precision)，其中AP的計(jì)算是不同召回率下的精確率值組成P-R曲線(xiàn)面積；mAP是對(duì)所有類(lèi)別AP求均值。mAP是衡量目標(biāo)檢測(cè)算法性能最重要的指標(biāo)之一，能夠反應(yīng)各類(lèi)別的平均檢測(cè)水平，較好地綜合評(píng)估解決類(lèi)別不平衡下的算法檢測(cè)性能。

2.4 結(jié)果分析

本文實(shí)驗(yàn)分3部分：Mosaic算法改進(jìn)實(shí)驗(yàn)、損失函數(shù)改進(jìn)對(duì)比實(shí)驗(yàn)、主流目標(biāo)檢測(cè)算法對(duì)比實(shí)驗(yàn)。采用目標(biāo)檢測(cè)指標(biāo)mAP來(lái)驗(yàn)證實(shí)驗(yàn)效果和評(píng)估本文方法有效性。

本文采用YOLOv4作為基準(zhǔn)網(wǎng)絡(luò)，圖片尺寸調(diào)整為416×416，訓(xùn)練過(guò)程分為2階段：①凍結(jié)骨干網(wǎng)絡(luò)，batch_size設(shè)置為64，epoch設(shè)置為50；②解凍骨干網(wǎng)絡(luò)，batch_size設(shè)置為8，epoch設(shè)置為100，采用Adam優(yōu)化器，初始學(xué)習(xí)率為0.001，采用StepLR調(diào)整，step_size設(shè)置為1，gamma設(shè)置為0.92。

2.4.1 Mosaic算法改進(jìn)實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文對(duì)Mosaic改進(jìn)的有效性，設(shè)計(jì)8個(gè)實(shí)驗(yàn)，結(jié)果見(jiàn)表2。

其中，BL為原始Mosaic算法。結(jié)果表明取消色域變化、加入隨機(jī)模糊和Cutout性能明顯提升。取消色域變化能保留人臉顏色作為關(guān)鍵信息；根據(jù)口罩人臉數(shù)據(jù)集的特點(diǎn)，利用隨機(jī)模糊和Cutout生成更多模糊、遮擋樣本促進(jìn)網(wǎng)絡(luò)學(xué)習(xí)模糊、遮擋下特征。改進(jìn)后Mosaic算法mAP比原始Mosaic算法提高0.86%，證明了改進(jìn)的有效性。

2.4.2 改進(jìn)損失函數(shù)對(duì)比實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證本文對(duì)損失函數(shù)改進(jìn)的有效性，設(shè)計(jì)以下實(shí)驗(yàn)，以基準(zhǔn)網(wǎng)絡(luò)YOLOv4使用的BCE Loss作為基準(zhǔn)，使用不同Loss進(jìn)行實(shí)驗(yàn)，以各類(lèi)別AP和模型mAP評(píng)估改進(jìn)前后Loss的實(shí)際效果，結(jié)果見(jiàn)表3。

表2 色域變化、隨機(jī)模糊和Cutout對(duì)Mosaic數(shù)據(jù)增強(qiáng)的影響結(jié)果(%)

注：加粗?jǐn)?shù)據(jù)為最優(yōu)值

表3 不同Loss的實(shí)驗(yàn)結(jié)果(%)

注：加粗?jǐn)?shù)據(jù)為最優(yōu)值

與第一行基準(zhǔn)BCE Loss相比，CB Loss，WBCE Loss和DWCB Loss在少數(shù)類(lèi)poormask分別提高2.04%，4.75%和5.92%，使用重加權(quán)系列損失函數(shù)后，少數(shù)類(lèi)poormask AP和mAP均有明顯提升。本文提出的DWCB Loss，在使用類(lèi)頻率的倒數(shù)作為權(quán)重基礎(chǔ)上，用每個(gè)類(lèi)別的有效樣本數(shù)的倒數(shù)作為輔助權(quán)重，能夠較好地衡量數(shù)據(jù)集中相似樣本的重疊特征，同時(shí)在訓(xùn)練每一個(gè)批次中可動(dòng)態(tài)計(jì)算參加訓(xùn)練的各類(lèi)別實(shí)例數(shù)量，更能精準(zhǔn)“指導(dǎo)”網(wǎng)絡(luò)關(guān)注少數(shù)類(lèi)別。采用動(dòng)態(tài)計(jì)算的DWCB Loss比非動(dòng)態(tài)計(jì)算的WCB Loss的mAP有0.5%的提升。

Focal Loss作為解決目標(biāo)檢測(cè)類(lèi)別不均衡的一個(gè)經(jīng)典損失函數(shù)，在本文實(shí)驗(yàn)表現(xiàn)不理想，這與YOLOv4在 MS COCO數(shù)據(jù)集以訓(xùn)練權(quán)重作為預(yù)訓(xùn)練權(quán)重有關(guān)，訓(xùn)練初期網(wǎng)絡(luò)就具有很好地定位和分類(lèi)能力，分類(lèi)置信度較高，同時(shí)也與YOLOv4劃分正負(fù)樣本策略設(shè)置忽略樣本有關(guān)，使得正負(fù)樣本比例基本在同一量級(jí)。

在處于嚴(yán)重的類(lèi)別不平衡的自制口罩?jǐn)?shù)據(jù)集中，直接使用主流的重加權(quán)系列損失函數(shù)存在穩(wěn)定性差、精度動(dòng)蕩和效果不佳等問(wèn)題，WBCE Loss，CB Loss，WCB Loss和DWCB Loss在測(cè)試集中最后50個(gè)epoch中模型mAP趨勢(shì)變化如圖3。DWCB Loss由于采用動(dòng)態(tài)計(jì)算訓(xùn)練每一批次中各類(lèi)別的權(quán)重，相較于WCB Loss中使用固定的類(lèi)別權(quán)重，模型mAP明顯提高。WBCE Loss的mAP比CB Loss高，但在穩(wěn)定性方面不如后者，呈現(xiàn)出嚴(yán)重的動(dòng)蕩走勢(shì)，而CB Loss從穩(wěn)定性方面看，是逐步提升的。本文提出的DWCB Loss的mAP趨勢(shì)上同時(shí)結(jié)合前兩者優(yōu)點(diǎn)，不但mAP達(dá)到較高水平，而且走勢(shì)平緩，穩(wěn)定性較好。

圖3 WBCE Loss，CB Loss，WCB Loss和DWCB Loss在最后50個(gè)epoch上mAP變化趨勢(shì)

2.4.3 消融實(shí)驗(yàn)結(jié)果及分析

消融實(shí)驗(yàn)常用于探索特定網(wǎng)絡(luò)結(jié)構(gòu)或訓(xùn)練策略及參數(shù)對(duì)模型的影響，能夠有效提高神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)效率。本文使用改進(jìn)后的Mosaic數(shù)據(jù)增強(qiáng)算法進(jìn)行擴(kuò)展，使用DWCB Loss代替原有BCE Loss進(jìn)行訓(xùn)練。為驗(yàn)證各部分改進(jìn)的有效性，設(shè)計(jì)多組消融實(shí)驗(yàn)，見(jiàn)表4。

表4 消融實(shí)驗(yàn)結(jié)果(%)

注：加粗?jǐn)?shù)據(jù)為最優(yōu)值

表4第一行是基準(zhǔn)網(wǎng)絡(luò)YOLOv4的訓(xùn)練結(jié)果，由于數(shù)據(jù)集存在嚴(yán)重的類(lèi)別不平衡，少數(shù)類(lèi)別poormask的AP只有85.48%；nomask類(lèi)別樣本來(lái)源于公開(kāi)人臉數(shù)據(jù)集，存在模糊、遮擋和尺度變化大等情況，檢測(cè)難度較大，AP只有87.69%。根據(jù)口罩人臉圖像的特點(diǎn)，對(duì)Mosaic算法進(jìn)行優(yōu)化(Improved Mosaic)，mAP提升2.08%。本文DWCB能夠有效緩解類(lèi)別不平衡，將少數(shù)類(lèi)別poormask由85.48%提升至91.40%。最后，使用優(yōu)化后Mosaic算法和DWCB Loss的mAP比基準(zhǔn)網(wǎng)絡(luò)提高3.26%。

2.4.4 主流算法對(duì)比結(jié)果及分析

出于常態(tài)化疫情口罩檢測(cè)的速度和精度需求考慮，本文選擇6個(gè)精度與速度兼?zhèn)涞闹髁鳈z測(cè)算法進(jìn)行比較，其中前4種是單階段檢測(cè)算法，后2種是兩階段檢測(cè)算法。使用目標(biāo)檢測(cè)各類(lèi)別性能指標(biāo)的AP和mAP以及檢測(cè)速度指標(biāo)FPS來(lái)驗(yàn)證實(shí)驗(yàn)效果和對(duì)比評(píng)估改進(jìn)前后Loss的有效性。

單階段檢測(cè)方法選擇了具有代表性的RetinaNet[16]，Centernet[28]，EfficientDet[29]和YOLOv4[20]；兩階段算法首先進(jìn)行人臉預(yù)檢測(cè)，生成大量感興趣區(qū)域(region of interest，RoI)，其次將RoI送進(jìn)分類(lèi)器，確定口罩人臉類(lèi)別。從算法性能和檢測(cè)速度方面綜合考慮，選擇兩階段算法YOLOv3-MobileNetV2[30]進(jìn)行實(shí)驗(yàn)，其使用YOLOv3作為人臉預(yù)檢測(cè)模型，輕量化網(wǎng)絡(luò)MobileNetV2作為分類(lèi)網(wǎng)絡(luò)。

為了公平，采用檢測(cè)網(wǎng)絡(luò)YOLOv4代替檢測(cè)網(wǎng)絡(luò)YOLOv3作為人臉預(yù)檢測(cè)模型，構(gòu)建YOLOv4- MobileNetV2，并與本文方法對(duì)比。

實(shí)驗(yàn)結(jié)果由表5可知，本文方法取得更高mAP，得益于緩解了類(lèi)別不平衡，即DWCB Loss的AP明顯高于poormask，同時(shí)改進(jìn)后的Mosaic算法能提高各類(lèi)別AP的表現(xiàn)。

本文方法mAP比單階段目標(biāo)檢測(cè)算法RetinaNet，Centernet，EfficientDet和YOLOv4分別提高了4.58%，4.18%，3.23%和3.26%，F(xiàn)PS達(dá)到46.1。

本文方法mAP比兩階段算法YOLOv3- MobileNetV2[30]和YOLOv4-MobileNetV2分別提高了7.30%和3.81%，F(xiàn)PS分別提高8.6和6.3。

上述對(duì)比實(shí)驗(yàn)結(jié)果充分證明了本文方法更適用于現(xiàn)有口罩檢測(cè)數(shù)據(jù)集缺乏未規(guī)范佩戴口罩人臉圖像造成類(lèi)別不平衡的口罩佩戴檢測(cè)任務(wù)，能夠明顯提升少數(shù)類(lèi)別的檢測(cè)精度。

同時(shí)可以看出，與直接使用通用目標(biāo)檢測(cè)算法YOLOv4相比，使用兩階段方法YOLOv4- MobileNetV2使得少數(shù)類(lèi)別poormask的AP下降1.43%，多數(shù)類(lèi)別goodmask的AP上升0.53%，這是因?yàn)樗惴ǖ谝浑A段會(huì)產(chǎn)生更多多數(shù)類(lèi)別goodmask的感興趣區(qū)域RoI，造成類(lèi)別不平衡問(wèn)題更嚴(yán)重，使得人臉?lè)诸?lèi)網(wǎng)絡(luò)MobileNetV2更傾向于多數(shù)類(lèi)別goodmask，少數(shù)類(lèi)別poormask的分類(lèi)效果更差。單階段算法YOLOv4和兩階段算法YOLOv4-MobileNetV2對(duì)比實(shí)驗(yàn)結(jié)果，進(jìn)一步說(shuō)明本文算法更適用于現(xiàn)有數(shù)據(jù)集缺乏未規(guī)范佩戴口罩人臉圖像造成類(lèi)別不平衡的口罩佩戴檢測(cè)任務(wù)。

表5 不同檢測(cè)算法性能指標(biāo)對(duì)比

注：加粗?jǐn)?shù)據(jù)為最優(yōu)值

隨機(jī)選擇測(cè)試集中多張圖片進(jìn)行測(cè)試，如圖4所示。圖中改進(jìn)后網(wǎng)絡(luò)在實(shí)現(xiàn)口罩多分類(lèi)檢測(cè)的基礎(chǔ)上，既能區(qū)分是否規(guī)范佩戴口罩且置信度較高，又能在密集、遮擋情況下仍有較好的效果，還考慮到對(duì)日常異常遮擋場(chǎng)景的識(shí)別，適用于當(dāng)下常態(tài)化疫情下的口罩佩戴檢測(cè)。

圖4 公共場(chǎng)合口罩人臉圖像檢測(cè)效果(紅色、紫色和綠色檢測(cè)框分別代表未佩戴口罩、未規(guī)范佩戴口罩和規(guī)范佩戴口罩)

3 結(jié)束語(yǔ)

針對(duì)現(xiàn)有口罩人臉檢測(cè)方法忽略檢測(cè)未規(guī)范佩戴口罩這一常見(jiàn)場(chǎng)景問(wèn)題，本文提出了一種基于動(dòng)態(tài)加權(quán)類(lèi)別平衡損失的多類(lèi)別口罩佩戴檢測(cè)算法。在A(yíng)IZOO，MAFA和RMFD數(shù)據(jù)集基礎(chǔ)上，收集更多未規(guī)范佩戴口罩的人臉圖像，構(gòu)建了一個(gè)多分類(lèi)口罩?jǐn)?shù)據(jù)集。結(jié)合人臉口罩圖像的特點(diǎn)，取消色域變化、引入隨機(jī)模糊和cutout算法改進(jìn)Mosaic數(shù)據(jù)增強(qiáng)算法用以數(shù)據(jù)擴(kuò)充，改進(jìn)后模型在測(cè)試集mAP提升明顯。為解決數(shù)據(jù)集類(lèi)別不平衡問(wèn)題，在現(xiàn)有重加權(quán)損失WBCE Loss基礎(chǔ)上，提出DWCB Loss，在測(cè)試集上mAP顯著提升，尤其是少數(shù)類(lèi)別(未規(guī)范佩戴口罩)AP提高了6.21%。

但現(xiàn)有口罩檢測(cè)場(chǎng)景分布廣泛，多數(shù)是車(chē)站、商場(chǎng)等公共場(chǎng)合，是不太可能提供充足的計(jì)算機(jī)資源來(lái)保證目標(biāo)檢測(cè)算法YOLOv4滿(mǎn)足實(shí)時(shí)檢測(cè)需求，在后續(xù)工作中將考慮優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)以適應(yīng)當(dāng)下防疫下的硬件環(huán)境。

[1] 葉澤聰, 高志強(qiáng), 崔翛龍, 等. 基于模型壓縮的YOLOV3實(shí)時(shí)槍支識(shí)別方法[J]. 圖學(xué)學(xué)報(bào), 2021, 42(2): 198-205.

YE Z C, GAO Z Q, CUI X L, et al. Real-time gun detection method based on compressed YOLOV3[J]. Journal of Graphics, 2021, 42(2): 198-205 (in Chinese).

[2] 卞景帥, 盧家品, 羅月童, 等. 基于Faster-RCNN的結(jié)核桿菌自動(dòng)檢測(cè)方法研究與應(yīng)用[J]. 圖學(xué)學(xué)報(bào), 2019, 40(3): 608-615.

BIAN J S, LU J P, LUO Y T, et al. Research and application of faster-RCNN based M. tuberculosis detection method[J]. Journal of Graphics, 2019, 40(3): 608-615 (in Chinese).

[3] 趙海英, 楊婷. 基于雙層模型的宮廷服飾龍紋自動(dòng)分割算法研究[J]. 圖學(xué)學(xué)報(bào), 2019, 40(1): 150-157.

ZHAO H Y, YANG T. Automatic segmentation of dragon design based on Bi-level model in Chinese imperial costume images[J]. Journal of Graphics, 2019, 40(1): 150-157 (in Chinese).

[4] 李宗民, 邢敏敏, 劉玉杰, 等. 結(jié)合Faster RCNN和相似性度量的行人目標(biāo)檢測(cè)[J]. 圖學(xué)學(xué)報(bào), 2018, 39(5): 901-908.

LI Z M, XING M M, LIU Y J, et al. Pedestrian object detection based on faster RCNN and similarity measurement[J]. Journal of Graphics, 2018, 39(5): 901-908 (in Chinese).

[5] 張順, 龔怡宏, 王進(jìn)軍. 深度卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展及其在計(jì)算機(jī)視覺(jué)領(lǐng)域的應(yīng)用[J]. 計(jì)算機(jī)學(xué)報(bào), 2019, 42(3): 453-482.

ZHANG S, GONG Y H, WANG J J. The development of deep convolution neural network and its applications on computer vision[J]. Chinese Journal of Computers, 2019, 42(3): 453-482 (in Chinese).

[6] 牛作東, 覃濤, 李捍東, 等. 改進(jìn)RetinaFace的自然場(chǎng)景口罩佩戴檢測(cè)算法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2020, 56(12): 1-7.

NIU Z D, QIN T, LI H D, et al. Improved algorithm of RetinaFace for natural scene mask wear detection[J]. Computer Engineering and Applications, 2020, 56(12): 1-7 (in Chinese).

[7] 曹城碩, 袁杰. 基于YOLO-Mask算法的口罩佩戴檢測(cè)方法[J]. 激光與光電子學(xué)進(jìn)展, 2021, 58(8): 211-218.

CAO C S, YUAN J. Mask-wearing detection method based on YOLO-mask[J]. Laser & Optoelectronics Progress, 2021, 58(8): 211-218 (in Chinese).

[8] 管軍霖, 智鑫. 基于YOLOv4卷積神經(jīng)網(wǎng)絡(luò)的口罩佩戴檢測(cè)方法[J]. 現(xiàn)代信息科技, 2020, 4(11): 9-12.

GUAN J L, ZHI X. Mask wearing detection method based on YOLOv4 convolutional neural network[J]. Modern Information Technology, 2020, 4(11): 9-12 (in Chinese).

[9] 元峰. AIZOO口罩檢測(cè)數(shù)據(jù)集[EB/OL]. (2021-03-24)[2021-12-31]. https://github.com/AIZOOTech/FaceMaskDetection.

YUAN F. AIZOO face mask detection dataset[EB/OL]. (2021-03-24)[2021-12-31]. https://github.com/AIZOOTech/FaceMask Detection (in Chinsese).

[10] WANG Z, WANG G, HUANG B, et al. Masked face recognition dataset and application[EB/OL]. (2020-03-20)[2021-12-31]. https://arxiv.org/pdf/1708.04552.pdf.

[11] 程可欣, 王玉德. 基于改進(jìn)YOLOv3的自然場(chǎng)景人員口罩佩戴檢測(cè)算法[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用, 2021, 30(2): 231-236.

CHENG K X, WANG Y D. Algorithm of mask wearing detection in natural scenes based on improved YOLOv3[J]. Computer Systems & Applications, 2021, 30(2): 231-236 (in Chinese).

[12] 葉子勛, 張紅英. YOLOv4口罩檢測(cè)算法的輕量化改進(jìn)[J]. 計(jì)算機(jī)工程與應(yīng)用, 2021, 57(17): 157-168.

YE Z X, ZHANG H Y. Lightweight improvement of YOLOv4 mask detection algorithm[J]. Computer Engineering and Applications, 2021, 57(17): 157-168 (in Chinese).

[13] 張永清,盧榮釗,喬少杰, 等. 一種基于樣本空間的類(lèi)別不平衡數(shù)據(jù)采樣方法[J]. 自動(dòng)化學(xué)報(bào), 2020, 2(1): 1-14.

ZHANG Y Q, LU R Z, QIAO S J, et al. A sampling method of imbalanced data based on sample space[J]. Acta Automatica Sinica, 2020, 2(1): 1-14(in Chinese).

[14] 趙楠, 張小芳, 張利軍. 不平衡數(shù)據(jù)分類(lèi)研究綜述[J]. 計(jì)算機(jī)科學(xué), 2018, 45(S1): 22-27, 57.

ZHAO N, ZHANG X F, ZHANG L J. Overview of imbalanced data classification[J]. Computer Science, 2018, 45(S1): 22-27, 57 (in Chinese).

[15] 林舒楊, 李翠華, 江弋, 等. 不平衡數(shù)據(jù)的降采樣方法研究[J]. 計(jì)算機(jī)研究與發(fā)展, 2011, 48(S3): 47-53.

LIN S Y, LI C H, JIANG Y, et al. Under-sampling method research in class-imbalanced data[J]. Journal of Computer Research and Development, 2011, 48(S3): 47-53 (in Chinese).

[16] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(2): 318-327.

[17] CHEN C P, SONG X H, JIANG S Q. Focal loss for region proposal network[M]//Pattern Recognition and Computer Vision. Cham: Springer International Publishing, 2018: 368-380.

[18] CUI Y, JIA M L, LIN T Y, et al. Class-balanced loss based on effective number of samples[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2019: 9260-9269.

[19] TAN J R, WANG C B, LI B Y, et al. Equalization loss for long-tailed object recognition[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2020: 11659-11668.

[20] BOCHKOVSKIY A, WANG C Y, LIAO H Y M. Yolov4: optimal speed and accuracy of object detection[EB/OL].[2021-12-13]. https://arxiv.org/abs/2004.10934.

[21] SHORTEN C, KHOSHGOFTAAR T M. A survey on image data augmentation for deep learning[J]. Journal of Big Data, 2019, 6: 60.

[22] YANG S, LUO P, LOY C C, et al. WIDER FACE: a face detection benchmark[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 5525-5533.

[23] GE S M, LI J, YE Q T, et al. Detecting masked faces in the wild with LLE-CNNs[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 426-434.

[24] DEVRIES T, TAYLOR G W. Improved regularization of convolutional neural networks with cutout[EB/OL]. (2017-08-15)[2021-12-31]. https://arxiv.org/pdf/1708.04552.pdf.

[25] 李艷霞, 柴毅, 胡友強(qiáng), 等. 不平衡數(shù)據(jù)分類(lèi)方法綜述[J]. 控制與決策, 2019, 34(4): 673-688.

LI Y X, CHAI Y, HU Y Q, et al. Review of imbalanced data classification methods[J]. Control and Decision, 2019, 34(4): 673-688 (in Chinese).

[26] HUANG C, LI Y N, LOY C C, et al. Learning deep representation for imbalanced classification[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 5375-5384.

[27] 張修寶, 林子原, 田萬(wàn)鑫, 等. 全天候自然場(chǎng)景下的人臉佩戴口罩識(shí)別技術(shù)[J]. 中國(guó)科學(xué): 信息科學(xué), 2020, 50(7): 1110-1120.

ZHANG X B, LIN Z Y, TIAN W X, et al. Mask-wearing recognition in the wild[J]. Scientia Sinica: Informationis, 2020, 50(7): 1110-1120 (in Chinese).

[28] DUAN K W, BAI S, XIE L X, et al. CenterNet: keypoint triplets for object detection[C]//2019 IEEE/CVF International Conference on Computer Vision. New York: IEEE Press, 2019: 6568-6577.

[29] TAN M X, PANG R M, LE Q V. EfficientDet: scalable and efficient object detection[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2020: 10778-10787.

[30] HUSSAIN S, YU Y, AYOUB M, et al. IoT and deep learning based approach for rapid screening and face mask detection for infection spread control of COVID-19[J]. Applied Sciences, 2021, 11(8): 3495.

Multi category mask wearing detection based on dynamic weighted category balance loss

CHEN Zhao-jun, CHU Jun, ZENG Lun-jie

(School of Software Engineering, Nanchang Hangkong University, Nanchang Jiangxi 330063, China)

Mask wearing in public has become an important measure to control the spread of Coronavirus Disease 2019 (COVID-19). With the prolonged development of the COVID-19 epidemic, the public’s awareness of self-protection has been gradually declining, leading to the increasing tendency of wearing masks incorrectly in public. The existing mask wearing detection methods usually only detect whether the mask is worn, without the detection of non-standard mask wearing scenarios, which is likely to cause cross infection. The current mask datasets lack the image data of non-standard mask wearing. To solve the above problems, on the basis of the existing mask datasets, more non-standard mask wearing images were collected through the Internet and offline, and the Mosaic data enhancement algorithm was improved to expand the data according to the features of face images in the cases of wearing masks. The improved Mosaic data enhancement algorithm could improve the mean average precision (mAP) of the benchmark network YOLOv4 by 2.08%. To address the problem of category imbalance in the dataset after data enhancement, the dynamic weighted balance loss function was proposed. Based on the weight binary cross entropy loss function, the reciprocal of the number of effective samples served as the auxiliary category weight, and dynamic adjustment was performed in each batch under training, thus solving the problems of weak stability, precision oscillation, and unsatisfactory effect when the re-weighting method was directly put to use. The experiment showed that mAP of the improved model reached 91.25%, and the average precision (AP) of non-standard mask wearing reached 91.69%. Compared with such single-stage methods as RetinaNet, Centernet, and Effcientdet, and such two-stage methods as YOLOv3-MobileNetV2 and YOLOv4-MobileNetV2, the improved algorithm exhibits higher detection accuracy and speed.

mask detection; category imbalance; Mosaic data enhancement; YOLOv4; re-weight

20 January，2022；

National Natural Science Foundation of China (62162045); Research and Development Projects of Jiangxi Province (20192BBE50073)

CHEN Zhao-jun (1996-), master student. His main research interests conver deep learning and object detection. E-mail：czjczj1996@163.com

TP 391

10.11996/JG.j.2095-302X.2022040590

A

2095-302X(2022)04-0590-09

2022-01-20；

2022-04-20

20 April，2022

國(guó)家自然科學(xué)基金項(xiàng)目(62162045)；江西省重點(diǎn)研發(fā)計(jì)劃項(xiàng)目(20192BBE50073)

陳昭俊(1996-)，男，碩士研究生。主要研究方向?yàn)樯疃葘W(xué)習(xí)與目標(biāo)檢測(cè)。E-mail：czjczj1996@163.com

儲(chǔ) 珺(1967-)，女，教授，博士。主要研究方向?yàn)閺?fù)雜場(chǎng)景的目標(biāo)檢測(cè)和跟蹤。E-mail：chuj@nchu.edu.cn

CHU Jun (1967-), professor, Ph.D. Her main research interests conver object detection and tracking in complex scenes. E-mail：chuj@nchu.edu.cn