亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        改進(jìn)YOLOv4-tiny的疫情協(xié)同口罩佩戴檢測(cè)方法

        2023-10-30 08:58:18程浩然王薪陶李俊燃郭子怡
        關(guān)鍵詞:口罩注意力精度

        程浩然,王薪陶,李俊燃,郭子怡,劉 維

        吉林大學(xué) 通信工程學(xué)院,長(zhǎng)春 130012

        在新冠疫情在全世界范圍內(nèi)大肆傳播,嚴(yán)重影響人們的生活和工作的當(dāng)下,疫情防控工作執(zhí)行的有效性和快速性顯得尤為重要。隨著我國(guó)新冠疫情防控進(jìn)入了常態(tài)化階段,部分公民的防護(hù)意識(shí)有所松懈,出現(xiàn)了在公共場(chǎng)合不規(guī)范佩戴口罩或者不佩戴口罩的問(wèn)題。如何在公共場(chǎng)合合理管控監(jiān)督公民佩戴口罩,是防止疫情傳播的重要一環(huán)。對(duì)于此問(wèn)題,多數(shù)地區(qū)經(jīng)常采用人工檢測(cè)的方式,效率低且覆蓋率低,同時(shí)還增加了檢測(cè)者與行人的接觸。因此,利用計(jì)算機(jī)視覺(jué)學(xué)習(xí)設(shè)計(jì)人臉口罩規(guī)范佩戴儀器以替代人力檢測(cè)具有重要的研究?jī)r(jià)值。由于在近年來(lái)目標(biāo)人群監(jiān)測(cè)技術(shù)領(lǐng)域中大量算法應(yīng)用的頻繁出現(xiàn),人們已經(jīng)能夠?qū)崿F(xiàn)通過(guò)算法來(lái)搭配電腦顯示器和攝像頭來(lái)進(jìn)行對(duì)體溫測(cè)量和對(duì)口罩的佩戴進(jìn)行實(shí)時(shí)、高精度的遠(yuǎn)程自動(dòng)檢測(cè)。

        如今基于Deep Learning 的目標(biāo)檢測(cè)算法有很多種,其中有以YOLO系列為代表的one-stage目標(biāo)檢測(cè)算法,例如YOLOv3-tiny、YOLOv4 和SSD[1]等等,單階段檢測(cè)算法針對(duì)圖像中目標(biāo)的分類(lèi)和位置信息等直接利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)[2],可以快速檢測(cè)出結(jié)果,符合測(cè)試實(shí)時(shí)性規(guī)定,但其測(cè)試結(jié)果準(zhǔn)確度還有待進(jìn)一步的提升。還有以R-CNN[3]系列為代表的two-stage 目標(biāo)檢測(cè)算法,例如Fast R-CNN[4]、Faster R-CNN[5]算法等,先提取出目標(biāo)框,再進(jìn)行分析預(yù)測(cè),可以提高檢測(cè)精度,但檢測(cè)速度相對(duì)較慢。YOLO 算法作為第一個(gè)單階段算法最早是在2015 年被Redmon 等人首次提到,之后,基于YOLO 算法Redmon 等人同時(shí)又首先給出了基于YOLOv2[6]算子,設(shè)計(jì)制作出Darknet-19[7]的一種新型的基礎(chǔ)網(wǎng)絡(luò),YOLOv3方式[8]是一種由Redmon等人所共同創(chuàng)建出的最后的一個(gè)版本的YOLO方式。由于YOLOv3的信息的高度融合類(lèi)型使低級(jí)信息不能進(jìn)行很好的使用,在工業(yè)應(yīng)用領(lǐng)域存在限制。于是,YOLOv4算法又被Bochkovskiy 等人[9]提出。后來(lái)出現(xiàn)了基于YOLOv4 改進(jìn)的YOLOv4-tiny算法,屬于輕量級(jí)算法,參數(shù)只有原來(lái)的十分之一,這使檢測(cè)速度大大提升,使用兩個(gè)特征層,合并有效特征層時(shí)使用特征金字塔結(jié)構(gòu),性能優(yōu)勢(shì)顯著。最近幾年,隨著目標(biāo)檢測(cè)的深入應(yīng)用,人們不斷提出了許多新的模塊并逐步加入到Y(jié)OLOv4 及其輕量級(jí)算法當(dāng)中,從而在增加少量成本的基礎(chǔ)上提高目標(biāo)檢測(cè)的精度。如,孔維剛等人[10]將YOLOv4的CSPDarknet53改為MobileNetv3-large 網(wǎng)絡(luò)結(jié)構(gòu),提高了檢測(cè)的實(shí)時(shí)性。王長(zhǎng)青等人[11]基于YOLOv4-tiny 提出一種自適應(yīng)非極大抑制的多尺度檢測(cè)方法,對(duì)遮擋目標(biāo)的檢測(cè)能力有顯著提升。

        本文旨在提高公共場(chǎng)所大規(guī)模人群下實(shí)時(shí)人臉口罩佩戴檢測(cè)的實(shí)時(shí)性與精確性。目前,已有很多學(xué)者研究人臉口罩佩戴檢測(cè)算法。牛作東等人[12]基于RetinaFace人臉識(shí)別算法引入注意力機(jī)制,優(yōu)化損失函數(shù),實(shí)現(xiàn)人臉口罩佩戴檢測(cè)。但是檢測(cè)速度仍有所欠缺,很難滿足口罩檢測(cè)任務(wù)的實(shí)時(shí)性。鄧黃瀟等人[13]通過(guò)RetinaNet網(wǎng)絡(luò)和遷移學(xué)習(xí)對(duì)佩戴口罩的人臉進(jìn)行識(shí)別判別。王藝皓等人[14]在YOLO 算法中引入改進(jìn)的空間金字塔池化結(jié)構(gòu)和CIou 損失函數(shù)提升佩戴口罩目標(biāo)的檢測(cè)精度,不過(guò)檢測(cè)速度依舊不理想且數(shù)據(jù)集背景相對(duì)較單一。

        以上算法雖然實(shí)現(xiàn)了對(duì)輕量化算法精度的改進(jìn),但對(duì)在復(fù)雜場(chǎng)景中對(duì)流動(dòng)的人群進(jìn)行實(shí)時(shí)口罩佩戴的檢測(cè),仍在檢測(cè)速度存在提升的必要。本文針對(duì)這個(gè)問(wèn)題,提出基于YOLOv4-tiny 改進(jìn)的目標(biāo)檢測(cè)算法,主要的改進(jìn)包括以下三個(gè)方面:

        (1)以YOLOv4-tiny 模型為基礎(chǔ),將YOLOv4-tiny中的CSP模塊用兩個(gè)ResBlock-D[15]來(lái)代替,降低了計(jì)算復(fù)雜度從而進(jìn)一步提高檢測(cè)速度。

        (2)在用ResBlock-D改進(jìn)主干提取網(wǎng)絡(luò)的YOLOv4-tiny 基礎(chǔ)上進(jìn)行模型優(yōu)化,引入SPP 模塊進(jìn)行特征層的多尺度池化和融合,增加感受野,提高檢測(cè)的精度。

        (3)插入新的注意力檢測(cè)機(jī)制CA[16],更好地進(jìn)行目標(biāo)定位來(lái)提高檢測(cè)精度。

        1 YOLOv4-tiny算法概述及其原理

        YOLOv4-tiny 算法是在YOLOv4 的基礎(chǔ)上提出的一種輕量化目標(biāo)檢測(cè)模型,檢測(cè)速度更快,檢測(cè)準(zhǔn)確度略有下降,但速度優(yōu)勢(shì)明顯,降低了對(duì)硬件的要求,可以在一些可移動(dòng)設(shè)備或者嵌入式系統(tǒng)中使用目標(biāo)檢測(cè)方法,并實(shí)現(xiàn)檢測(cè)的實(shí)時(shí)性。

        1.1 主干網(wǎng)絡(luò)-CSPDarknet53-tiny

        在主干部分,算法使用CSPDarknet53-tiny網(wǎng)絡(luò)代替了原YOLOv4 的CSPDarknet53 網(wǎng)絡(luò)。YOLOv4-tiny 網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1 所示。其中,殘差模塊CSP 由CSPNet構(gòu)成,CBL模塊中還結(jié)合應(yīng)用了卷積處理層Conv、歸一化處理層BN,以及激活函數(shù)層Leaky 和Relu。結(jié)構(gòu)中的主要部分進(jìn)行了殘差塊的堆積,其他部分跨一大階段層次連接到FPN 結(jié)構(gòu)中后再和主干部分結(jié)合,最后,通過(guò)上采樣實(shí)現(xiàn)特征融合,將圖像劃分為20×20 和40×40兩種大小的特征圖,實(shí)現(xiàn)對(duì)不同大小目標(biāo)的檢測(cè)。

        圖1 YOLOv4-tiny主干網(wǎng)絡(luò)圖Fig.1 YOLOv4-tiny backbone network diagram

        在特征圖融合部分,YOLOv4-tiny算法還采用了特征金字塔網(wǎng)絡(luò)FPN(即YOLOv4-tiny_Neck)算法來(lái)分別獲得了20×20和40×40兩個(gè)尺度上的目標(biāo)特征圖,大大地提高了目標(biāo)的檢測(cè)融合速度;在激活函數(shù)的選擇問(wèn)題上,為了能提高檢測(cè)的速度,把YOLOv 四網(wǎng)絡(luò)中的Mish激活函數(shù)換作Leaky Relu函數(shù),如公式(1)所示:

        其中,t代表神經(jīng)元輸入,f(t)代表神經(jīng)元輸出,α是非零函數(shù)參數(shù)。當(dāng)t是負(fù)值時(shí),LeakyRelu 會(huì)有一個(gè)輕微的傾斜,以防止函數(shù)進(jìn)入負(fù)半?yún)^(qū)時(shí)神經(jīng)元失活,避免了稀疏問(wèn)題的產(chǎn)生[17]。

        1.2 網(wǎng)絡(luò)特征輸出

        最后YOLOv4會(huì)輸出3個(gè)YOLO Head,而YOLOV4-tiny會(huì)輸出2個(gè)YOLO Head(圖1)。

        1.2.1 特征輸出

        在本實(shí)驗(yàn)中,輸入圖像的大小為(640,640),通道數(shù)為3,則兩個(gè)特征層的大小分別為(640/16,640/16)、(640/32,640/32),輸出的通道數(shù)不變。

        1.2.2 損失計(jì)算-GIOU函數(shù)

        在輸出端,利用廣義交并比(generalized intersection over union,GIoU)作為損失函數(shù),其示意圖如圖2所示。

        圖2 廣義交并比定義圖Fig.2 Generalized intersection and union ratio definition diagram

        GIoU和損失函數(shù)GIoU_Loss[18]定義如公式(2)、(3)所示:

        其中,b與bgt分別表示預(yù)測(cè)框與真實(shí)框的中心點(diǎn),v代表衡量?jī)煽虺叨却笮”壤恢滦缘膮?shù),γ是用來(lái)平衡比例的權(quán)重系數(shù),不參與梯度計(jì)算。如公式(4)、(5)所示:

        可見(jiàn),計(jì)算GIoU_Loss的方法其實(shí)就是計(jì)算GIoU,只不過(guò)最終結(jié)果返回1-GIoU。這是因?yàn)?-GIoU 的取值范圍在[0,2],且有一定的“距離”性質(zhì),即A、B兩框重疊區(qū)域越大,損失越小,反之越大。GIoU_Loss 綜合考慮了真實(shí)框與預(yù)測(cè)框之間的重疊率、長(zhǎng)寬比例、中心點(diǎn)的距離,使得目標(biāo)在回歸過(guò)程中更加穩(wěn)定,收斂精度更高。

        2 YOLOv4-tiny算法改進(jìn)

        2.1 改進(jìn)的Resblock-D模塊

        2.1.1 Resblock-D模塊

        Resblock-D模塊構(gòu)成如圖3所示。

        圖3 Resblock-D模塊結(jié)構(gòu)圖Fig.3 Resblock-D module structure diagram

        ResBlock-D是由兩條路徑連接而成,一條路徑分別經(jīng)過(guò)三個(gè)1×1、3×3、1×1的卷積層,另一條路徑經(jīng)過(guò)平均池化后再經(jīng)過(guò)1×1的卷積層,最后將兩條路徑的結(jié)果拼接即可得到ResBlock-D模塊的輸出。相比于改進(jìn)前的結(jié)構(gòu)而言,刪減了各個(gè)卷積層后的激活函數(shù),簡(jiǎn)化了模型的結(jié)構(gòu)。

        假設(shè)輸入尺寸為100×100的圖像,通道數(shù)為64。通過(guò)計(jì)算FLOPs的值比較ResBlock-D模塊和CSP模塊的性能。如公式(6)所示:

        其中,D為所有卷積層之和,為第l個(gè)卷積層的輸出特征的映射大小,為核大小的個(gè)數(shù),Cl-1和Cl分別為輸入和輸出通道的個(gè)數(shù)。

        CSPBlock的FLOPs為:

        通過(guò)對(duì)比二者的計(jì)算復(fù)雜度可以發(fā)現(xiàn),改進(jìn)后的ResBlock-D 模塊相比于傳統(tǒng)CSP 模塊的計(jì)算復(fù)雜度減少了10倍左右,可以得到CSPBlock和ResBlock-D的計(jì)算復(fù)雜度比率約為10∶1,有著比CSP更快的檢測(cè)速度。同時(shí),通過(guò)對(duì)比CSPBlock 和ResBlock-D 的模塊結(jié)構(gòu)可知,ResBlock-D的模塊結(jié)構(gòu)中對(duì)各個(gè)卷積層的維度進(jìn)行了一定程度的縮減,減少了CSPBlock 中逐層經(jīng)過(guò)激活函數(shù)的運(yùn)算,簡(jiǎn)化了模塊的結(jié)構(gòu),而且ResBlock-D中加入了CSPBlock 中所沒(méi)有的平均池化層,能夠減小因?yàn)猷徲虼笮∈芟薅斐傻墓烙?jì)值方差增大,更多地保留圖像的背景信息。經(jīng)過(guò)上述分析可知,引入ResBlock-D可有效地提高檢測(cè)速度,且一定程度上保留圖像信息。

        2.1.2 輔助殘差網(wǎng)絡(luò)模塊

        ResBlock-D模塊雖然提升了檢測(cè)速度,但不利于檢測(cè)精度?;诖?,輔助殘差網(wǎng)絡(luò)模塊(Auxiliary Network Block)能夠很好地改善精度問(wèn)題。模塊利用3×3 的卷積網(wǎng)絡(luò)獲得5×5 的感受野,從而提取全局特征,引用通道注意力(Channel Attention)和空間注意力(Spatial Attention)[19],來(lái)提取更多的物體特征信息,能夠更精確地識(shí)別檢測(cè)對(duì)象。其結(jié)構(gòu)如圖4所示。

        圖4 Auxiliary Network Block結(jié)構(gòu)圖Fig.4 Auxiliary Network Block structure diagram

        由圖可以發(fā)現(xiàn),Auxiliary Network Block的輸出特征是第一個(gè)卷積網(wǎng)絡(luò)和空間注意力機(jī)制的輸出特征的一個(gè)組合。

        最后將Auxiliary Network Block的輸出與Backbone網(wǎng)絡(luò)輸出合并,從而在保證精度的前提下提高了目標(biāo)檢測(cè)速度,優(yōu)化了系統(tǒng)性能。

        2.2 融入通道注意力機(jī)制CA

        研究表明,通道注意力對(duì)于提升模型識(shí)別精度起著重要的作用。本實(shí)驗(yàn)的Auxiliary Network Block 模塊中也引入了通道注意力和空間注意力機(jī)制。但是通道注意力的使用通常會(huì)導(dǎo)致算法忽略對(duì)于生成Attention Maps的很重要的位置信息。于是引入一種能將位置信息嵌入通道注意力的移動(dòng)網(wǎng)絡(luò)注意力機(jī)制CA(coordinate attention block)。

        CA模塊的作用在于增強(qiáng)特征在移動(dòng)網(wǎng)絡(luò)中的表達(dá)能力,它將網(wǎng)絡(luò)中任意特征張量X=[x1,x2,…,xc]∈RH×W×C進(jìn)行轉(zhuǎn)化,輸出與X相同尺寸的特征增強(qiáng)的張量Y,即:Y=[y1,y2,…,yc]∈RH×W×C。

        CA包括Coordinate信息嵌入和Coordinate Attention生成兩部分,其模型框圖如圖5所示。

        圖5 CA模塊結(jié)構(gòu)圖Fig.5 CA Structure diagram

        CA將輸入特征圖分為高度和寬度兩個(gè)方向進(jìn)行全局平均池化,高度為h的第c通道輸出和寬度為w的第c通道輸出分別表示為公式(7)、(8):

        這會(huì)使CA捕捉到沿著一個(gè)空間方向的長(zhǎng)期依賴(lài)關(guān)系,并保存著沿著另一空間方向的精確位置信息,從而使目標(biāo)的定位更加精確。

        接著將獲得的寬度和高度兩個(gè)方向的特征圖拼接在一起后送入共享的1×1卷積模塊,降低維度到之前的C/r,把進(jìn)行了批量歸一化編碼處理后得到的中間特征圖F中,輸入Sigmoid激活函數(shù)即可獲得在垂直方向上和水平方向上的空間信息,可以進(jìn)行編碼處理的一個(gè)在中間的特征圖映射,如公式(9)所示:

        將f按照原來(lái)的高度和寬度進(jìn)行1×1 卷積將其變換為具有相同通道數(shù)的張量輸入到X,得到特征圖在高度和寬度上的注意力權(quán)重gh和在寬度方向的注意力權(quán)重gw,如公式(10)、公式(11)所示:

        最后通過(guò)加權(quán)計(jì)算得到CA模塊的輸出,如公式(12)所示:

        將本文引入的CA 注意力機(jī)制與典型注意力機(jī)制(以CBAM[20]為例)進(jìn)行比較。CBAM 對(duì)通道注意力機(jī)制和空間注意力機(jī)制進(jìn)行了相應(yīng)結(jié)合。對(duì)于特征層輸入,分別進(jìn)行通道機(jī)制處理和空間機(jī)制處理,獲得相應(yīng)的通道權(quán)值和空間特征點(diǎn)權(quán)值,分別乘入上元輸入特征層中。而CA注意力機(jī)制把更多關(guān)注重心放在了通道注意力位置信息的嵌入上。利用精確的空間位置信號(hào)來(lái)對(duì)通道關(guān)系和長(zhǎng)期依賴(lài)性特征實(shí)現(xiàn)編碼,通過(guò)將二維全池局操作分解為兩個(gè)一維編碼過(guò)程,增強(qiáng)了關(guān)注對(duì)象的表示。相比于CBAM,注意機(jī)制CA具有更好的全局感受野,目標(biāo)定位能力和遷移能力。是一種捕獲位置信息和通道關(guān)系都更有實(shí)際效果的方法,能夠增強(qiáng)移動(dòng)網(wǎng)絡(luò)中的特征,從而提高識(shí)別的精度。

        2.3 增加SPP模塊

        為了避免在卷積層后使用扭曲或剪裁等方法來(lái)滿足分類(lèi)器層(即全連接層)的固定輸入尺寸從而導(dǎo)致算法丟失掉重要信息。在卷積層和全連接層之間引入SPP模塊,可通過(guò)把局部特性層映射至多個(gè)不同的維度空間,從而通過(guò)對(duì)所有它們進(jìn)行池化和融合,來(lái)獲得一個(gè)固定長(zhǎng)度的輸出[21],提高了局部特性層對(duì)目標(biāo)信息的表達(dá)能力,提高了人臉識(shí)別精度。

        如圖6所示,首先將輸入特征層進(jìn)行多層卷積核處理,處理后進(jìn)入SPP結(jié)構(gòu),使用三個(gè)尺度分別為3×3、7×7、11×11 的池化層結(jié)構(gòu)進(jìn)行Maxpool 處理,通過(guò)對(duì)尺度的調(diào)整可以產(chǎn)生任意尺寸的輸出,使用靈活。然后把最開(kāi)始的輸入和經(jīng)過(guò)Maxpool 數(shù)據(jù)處理后獲得的產(chǎn)出在通道層次上加以堆疊,然后再經(jīng)過(guò)下一次的三層卷積處理,輸出結(jié)果。SPP 模塊明顯地增加了對(duì)網(wǎng)絡(luò)的感受野,使網(wǎng)絡(luò)可以滿足作為一個(gè)任意尺寸的影像的輸入,并可以形成一個(gè)指定的尺寸影像的輸出,對(duì)物體的扭曲也具有了較好程度的魯棒性,更全面有效地提取到了網(wǎng)絡(luò)特征層的信息,學(xué)習(xí)了多尺度目標(biāo)的特征。

        圖6 改進(jìn)后的YOLOv4-tiny-ResBlockD-SPP-2CA算法網(wǎng)絡(luò)圖Fig.6 Improved YOLOv4-tiny-ResBlockD-SPP-2CA algorithm network diagram

        2.4 改進(jìn)后的口罩佩戴識(shí)別網(wǎng)絡(luò)

        本文在原始YOLOv4-tiny的基礎(chǔ)上,將CSP模塊改進(jìn)為Resblock-D模塊并加入輔助殘差網(wǎng)絡(luò)模塊,通過(guò)縮短計(jì)算復(fù)雜度、擴(kuò)大感受野,使算法在確保檢測(cè)準(zhǔn)確度高的前提下又加快了檢測(cè)的速度,優(yōu)化提高了整個(gè)系統(tǒng)性能;引入能將位置信息嵌入通道注意力的移動(dòng)網(wǎng)絡(luò)注意力機(jī)制CA,以便于更高效準(zhǔn)確地快速捕獲位置信息及其通道信息之間存在的關(guān)聯(lián)、增強(qiáng)在移動(dòng)通信網(wǎng)絡(luò)環(huán)境中的識(shí)別特征,提升到了人臉的識(shí)別的精度;添加空間金字塔池化的SPP模塊,完成了局部人臉特征圖與全局人臉特征圖的完美融合,從而進(jìn)一步完善了深層特征圖中的表達(dá)能力與空間信息,在提高人臉目標(biāo)的檢測(cè)識(shí)別精度方面提升很大。

        此外,可以在空間金字塔池化模塊SPP之后加入兩個(gè)1×1的卷積模塊,從而進(jìn)一步減少了參數(shù)量以及計(jì)算量,縮短了算法運(yùn)行時(shí)間。如圖6所示為改進(jìn)YOLOv4-tiny算法的口罩佩戴識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)。

        3 口罩佩戴識(shí)別實(shí)驗(yàn)過(guò)程與分析

        3.1 實(shí)驗(yàn)環(huán)境配置與參數(shù)設(shè)置

        為訓(xùn)練和評(píng)估所提出的改進(jìn)的YOLOv4-tiny模型,本實(shí)驗(yàn)訓(xùn)練使用Linux系統(tǒng),采用深度學(xué)習(xí)框架Pytorch,訓(xùn)練環(huán)境為E52680 v32080Ti,測(cè)試環(huán)境為NVIDIA GeForce GTX 16504G GPU。

        為了驗(yàn)證模型在速度上的提升和精度上的準(zhǔn)確性,本實(shí)驗(yàn)采取了YOLOv4、YOLOv4-tiny 以及改進(jìn)型YOLOv4-tiny的對(duì)比分析。為了實(shí)驗(yàn)的公平性,本次實(shí)驗(yàn)使用的口罩佩戴人群圖片均為公開(kāi)的開(kāi)源口罩識(shí)別數(shù)據(jù)集,對(duì)骨干網(wǎng)絡(luò)的參數(shù)進(jìn)行初始化,獲得更好的模型初始性能。設(shè)置訓(xùn)練300個(gè)Epoch,共計(jì)22×300次迭代;batch_size 大小為64。初始學(xué)習(xí)率為0.001,學(xué)習(xí)率調(diào)整策略為余弦衰退策略,權(quán)重衰減為0.000 5;輸入圖像尺寸均歸一化為640×640,均不采取預(yù)訓(xùn)練模型。

        3.2 數(shù)據(jù)集概述與預(yù)處理

        3.2.1 概述

        本實(shí)驗(yàn)使用的口罩佩戴人群圖片均為公開(kāi)的開(kāi)源口罩識(shí)別數(shù)據(jù)集,本數(shù)據(jù)集共包含1 940張圖片,且已通過(guò)Labelimg 工具對(duì)圖片進(jìn)行標(biāo)注,共包含兩類(lèi)目標(biāo):佩戴口罩(people_mask)和未佩戴口罩(people),圖片覆蓋不同職業(yè)人員、環(huán)境和尺度的情況,較貼近地?cái)M合實(shí)際日常生活中不同場(chǎng)所的人群場(chǎng)景。在實(shí)驗(yàn)中,數(shù)據(jù)集按照7∶3的比例劃分為訓(xùn)練集和驗(yàn)證集,其中訓(xùn)練集圖片1 358張,驗(yàn)證集圖片582張;同時(shí),分別新增測(cè)試集500張圖片和300 張圖片,該數(shù)據(jù)集均為公開(kāi)的開(kāi)源數(shù)據(jù)集,且與訓(xùn)練集不屬于同一數(shù)據(jù)集。

        3.2.2 Mosaic數(shù)據(jù)增強(qiáng)

        除使用了傳統(tǒng)方法的圖像進(jìn)行隨機(jī)的剪接、翻轉(zhuǎn)、壓縮、色域的轉(zhuǎn)換、加入隨機(jī)的噪聲處理之外,本文中還應(yīng)用到了馬賽克數(shù)據(jù)的增強(qiáng)方法。對(duì)已準(zhǔn)備處理好的數(shù)據(jù)集進(jìn)行Mosaic增強(qiáng)數(shù)據(jù)預(yù)處理。Mosaic圖像增強(qiáng)技術(shù)是指把四張圖像分別進(jìn)行了隨機(jī)形式的剪輯,拼接后增加進(jìn)數(shù)據(jù)集中,由此就完成了圖像融合。其最大優(yōu)點(diǎn)之一是豐富了照片中的背景,擴(kuò)大了數(shù)據(jù)集,且將四張照片拼接在一起也從另一個(gè)角度上增加了batch_size,進(jìn)而提高了訓(xùn)練性能。在處理過(guò)程中。每次對(duì)四張圖片進(jìn)行旋轉(zhuǎn)、放縮以及顏色等方面的調(diào)整,并且按照四個(gè)方向位置進(jìn)行圖片和框的組合。處理后結(jié)果如圖7所示。

        圖7 對(duì)部分樣本進(jìn)行Mosaic數(shù)據(jù)增強(qiáng)Fig.7 Mosaic data augmentation for some samples

        3.3 評(píng)估指標(biāo)

        本實(shí)驗(yàn)訓(xùn)練網(wǎng)絡(luò)采用的性能評(píng)價(jià)指標(biāo)主要為mAP(mean average precision)、準(zhǔn)確率(Precision,P)和召回率(Recall,R)[22],其計(jì)算公式如公式(13)~(15):

        其中,將被正確識(shí)別的正類(lèi)目標(biāo)個(gè)數(shù)采用TP來(lái)表示,被正確識(shí)別的負(fù)類(lèi)個(gè)數(shù)采用TN表示,被錯(cuò)誤識(shí)別的負(fù)類(lèi)目標(biāo)個(gè)數(shù)采用FP表示,AP是目標(biāo)測(cè)量精度的加權(quán)平均精度。本文主要采用IOU 閾值為0.5 時(shí)的mAP 值來(lái)進(jìn)行評(píng)估,即mAP@0.5。運(yùn)算的速率方面采用了每秒的傳輸幀節(jié)數(shù)(frame per second,F(xiàn)PS)作為衡量指標(biāo)。

        3.4 實(shí)驗(yàn)過(guò)程與結(jié)果分析

        3.4.1 算法改進(jìn)的實(shí)驗(yàn)過(guò)程

        采用輕量化網(wǎng)絡(luò)以及對(duì)其進(jìn)行進(jìn)一步改進(jìn)是提高單目標(biāo)檢測(cè)算法YOLOv4 性能的常用方法。為了完成對(duì)比實(shí)驗(yàn),本文首先以YOLOv4、YOLOv4-tiny 對(duì)目標(biāo)進(jìn)行識(shí)別檢測(cè)。后為進(jìn)一步提高檢測(cè)速度,實(shí)驗(yàn)以YOLOv4-tiny模型為基礎(chǔ),對(duì)模型主干提取網(wǎng)絡(luò)進(jìn)行改進(jìn),將YOLOv4-tiny中的CSP模塊用兩個(gè)ResBlock-D來(lái)代替,降低主干特征提取網(wǎng)絡(luò)復(fù)雜度,減少運(yùn)行時(shí)間。通過(guò)對(duì)比改進(jìn)前后的特征提取網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)和即可知,替換后的模型的FLOP 相比于改進(jìn)前大幅下降,且改進(jìn)后的特征提取網(wǎng)絡(luò)結(jié)構(gòu)存在一定程度的刪減,其參數(shù)量與改進(jìn)前相比也是降低了一個(gè)數(shù)量級(jí),這意味著ResBlock-D的計(jì)算復(fù)雜度遠(yuǎn)小于CSPBlock。但基于ResBlockD 的YOLOv4-tiny 模型的檢測(cè)精度卻有所下降。為了進(jìn)一步改進(jìn)模型性能,減少降低計(jì)算復(fù)雜度對(duì)檢測(cè)精度帶來(lái)的影響,提高檢測(cè)精度,對(duì)算法做出以下兩點(diǎn)改進(jìn):(1)加入空間金字塔池化(SPP)。加入SPP是因?yàn)樾∥矬w在神經(jīng)網(wǎng)絡(luò)深處,即深層特征圖上的信息很少,且由于深層特征圖的分辨率很小,所以小物體的信息容易丟失。通過(guò)引入SPP結(jié)構(gòu),利用不同感受野的池化層,獲取物體不同范圍的局部特征信息,最后通過(guò)金字塔池化將多個(gè)局部特征信息融合后,可以豐富物體的空間信息。(2)引入新的注意力機(jī)制。為更好地選擇適合該算法模型的注意力機(jī)制,實(shí)驗(yàn)引入了CBAM機(jī)制、一層CA 機(jī)制和兩層CA 機(jī)制的改進(jìn)模型對(duì)比實(shí)驗(yàn)。CA機(jī)制是一種全新的注意力機(jī)制,加入CA機(jī)制是為了提高算法的資源利用率,為不同的特征像素增加坐標(biāo)權(quán)重,而權(quán)重即代表特征像素為目標(biāo)物體的可能性,權(quán)值越大,即代表特征像素為目標(biāo)物體的可能性也就越大,一定程度上降低了背景像素的干擾。且CA機(jī)制位置信息權(quán)值嵌入編碼的過(guò)程本身不發(fā)生重疊,可重復(fù)進(jìn)行引入??傮w而言,為實(shí)現(xiàn)進(jìn)一步提高檢測(cè)速度的同時(shí)保證檢測(cè)精度,本實(shí)驗(yàn)的基本思路為基于YOLOv4-tiny 模型,首先為了提高檢測(cè)速度而引入主干網(wǎng)絡(luò)更為簡(jiǎn)潔的ResBlockD結(jié)構(gòu),接著為了增加深層特征圖上小目標(biāo)的信息引入SPP模塊,最后引入CA機(jī)制以提高算法利用率。

        對(duì)改進(jìn)過(guò)程中不同階段模型統(tǒng)一初始化開(kāi)始訓(xùn)練,隨著epoch不斷增加,Loss損失值在不斷降低,訓(xùn)練進(jìn)行到160輪后,Loss值趨于穩(wěn)定。未出現(xiàn)明顯過(guò)擬合、欠擬合的現(xiàn)象,參數(shù)設(shè)置合理。改變初始參數(shù)設(shè)置(batchsize等)重復(fù)訓(xùn)練,結(jié)果會(huì)發(fā)生波動(dòng)但總體趨勢(shì)未發(fā)生變化,可進(jìn)行同向比較,說(shuō)明實(shí)驗(yàn)對(duì)初始值的依賴(lài)性不高,改進(jìn)算法具備合理性。實(shí)驗(yàn)最終確定基于ResBlock-D、SPP 和兩個(gè)CA 機(jī)制的YOLOv4-tiny 為最終的改進(jìn)模型。對(duì)改進(jìn)后的算法進(jìn)行性能分析。

        3.4.2 改進(jìn)算法的檢測(cè)精度的分析

        對(duì)改進(jìn)過(guò)程中不同階段算法的檢測(cè)精度指標(biāo)進(jìn)行分析,在實(shí)驗(yàn)選取的開(kāi)源口罩識(shí)別數(shù)據(jù)集上對(duì)比結(jié)果如表1所示。

        表1 不同階段算法的檢測(cè)精度對(duì)比Table 1 Comparison of detection accuracy of algorithms in different stages

        由表1 可以看出,YOLOv4-tiny 的召回率為93.6%,預(yù)測(cè)率為86.08%,mAP 值為93.5%,相比于YOLOv4,YOLOv4-tiny在召回率和精準(zhǔn)率上均有一定程度下降,mAP值下降了1.9個(gè)百分點(diǎn)。檢測(cè)精度下降的重要原因是YOLOv4-tiny的CSPDarknet-tiny結(jié)構(gòu)與CSPDarknet53相比刪減了一定的網(wǎng)絡(luò)結(jié)構(gòu),YOLOv4-tiny由于結(jié)構(gòu)上的簡(jiǎn)化,在檢測(cè)精度上會(huì)有一定程度的減小。YOLOv4-tiny-ResBlockD是以YOLOv4-tiny模型為基礎(chǔ)的改進(jìn)模型。其在模型主干提取網(wǎng)絡(luò)部分進(jìn)行改進(jìn),使用ResNet-D網(wǎng)絡(luò)中的兩個(gè)ResBlock-D模塊代替CSPBlock模塊,減少了網(wǎng)絡(luò)計(jì)算的復(fù)雜性,并且還設(shè)計(jì)出了另外二個(gè)相同的Residual Network Blocks 來(lái)作為輔助殘差塊,并將其添加到ResBlock-D 模塊中以保證精度。優(yōu)化結(jié)果顯示,相比于YOLOv4-tiny,基于ResBlock-D的YOLOv4-tiny 改進(jìn)算法仍在識(shí)別精度上出現(xiàn)了一定程度下降,mAP下降了0.8個(gè)百分點(diǎn)。實(shí)驗(yàn)結(jié)果表明,YOLOv4-tiny模型、基于ResBlock-D的YOLOv4-tiny改進(jìn)模型是以降低檢測(cè)精度為代價(jià)來(lái)?yè)Q取更快的檢測(cè)速度。

        在增加空間金字塔池化(SPP)的過(guò)程中。實(shí)驗(yàn)數(shù)據(jù)顯示,引入SPP對(duì)提高檢測(cè)精度有正影響,引SPP后,新改進(jìn)模型的預(yù)測(cè)率(82.77%)和mAP 值(92.9%)有了少量提升。這是由于空間金字塔池化(SPP)解決了輸入的圖片大小不同造成的缺陷,同時(shí)由于從多方面進(jìn)行特征提取,豐富了物體的空間信息,在一定程度上增加了目標(biāo)檢測(cè)的精度。對(duì)于新引入的注意力機(jī)制,為了更好地比較并選擇適合該算法模型的注意力機(jī)制,進(jìn)行了注意力機(jī)制對(duì)比實(shí)驗(yàn),結(jié)果如表2 所示。數(shù)據(jù)顯示,相比于典型的CBAM 和引入一層CA,引入兩層CA 注意力機(jī)制的改進(jìn)型輕量級(jí)算法其檢測(cè)精度都更高,召回率達(dá)到了93.92%,預(yù)測(cè)率達(dá)到了88.28%,mAP 達(dá)到了94.0%。這是由于典型的CBAM 混合注意力機(jī)制重點(diǎn)在于通道注意力機(jī)制和空間注意力機(jī)制的結(jié)合,而“Coordinate Attention”(CA)是一個(gè)比較新穎獨(dú)特的移動(dòng)網(wǎng)絡(luò)注意力機(jī)制,它把更多關(guān)注重心放在了通道注意力位置信息的嵌入上。利用精確的空間位置信號(hào)來(lái)對(duì)通道關(guān)系和長(zhǎng)期依賴(lài)性特征實(shí)現(xiàn)編碼,把通道注意力劃分成二條一維特征編碼進(jìn)程并依次地沿著這兩個(gè)特定空間方向進(jìn)行聚合特征,以增強(qiáng)關(guān)注對(duì)象的表示,提高算法的資源利用率,從而達(dá)到提高目標(biāo)檢測(cè)精度的目的,引入兩層CA機(jī)制進(jìn)一步提高了精度性能。

        表2 注意力機(jī)制對(duì)比實(shí)驗(yàn)Table 2 Attention mechanism comparison experiment

        實(shí)驗(yàn)結(jié)果所示,最終確定的基于ResBlock-D、SPP和兩個(gè)CA 機(jī)制的YOLOv4-tiny 改進(jìn)算法,檢測(cè)精度較YOLOv4-tiny 及其他改進(jìn)算法相比還要略微提高,其mAP 值可達(dá)到94.0%,相比于YOLOv4-tiny,mAP 值提高了0.5個(gè)百分點(diǎn)。改進(jìn)算法的網(wǎng)絡(luò)參數(shù)規(guī)模為596.82萬(wàn),較YOLOv4-tiny 增加了9.18 萬(wàn),有少量增長(zhǎng)??烧J(rèn)為,經(jīng)過(guò)改進(jìn)后的模型在復(fù)雜度上相比于YOLOv4-tiny不存在較大的增幅,同時(shí)又一定程度上提高了檢測(cè)精度。而參數(shù)量相比于傳統(tǒng)YOLOv4 而言又有較大幅度的減小,極大程度地降低了模型的復(fù)雜度,提升了算法的檢測(cè)速度。從網(wǎng)絡(luò)整體參數(shù)規(guī)模上看,通過(guò)比較改進(jìn)后的模型、YOLOv4 以及YOLOv4-tiny 可發(fā)現(xiàn),改進(jìn)后的模型在檢測(cè)精度上相比于YOLOv4-tiny 有進(jìn)一步提升且參數(shù)量?jī)H存在微小的增加,而改進(jìn)后的模型復(fù)雜度相比于YOLOv4卻有大幅的下降,故其在綜合檢測(cè)性能中更具優(yōu)勢(shì)。

        將不同算法下的mAP值隨著算法迭代次數(shù)的逐漸增長(zhǎng)進(jìn)行可視化處理后得到如圖8所示。

        圖8 不同算法的mAP變化曲線Fig.8 mAP curve of different algorithms

        通過(guò)變化曲線可觀察得到,隨著迭代次數(shù)的增加YOLOv4 的mAP 在不同迭代中都較另外兩種算法更高,而改進(jìn)型的YOLOv4介于YOLOv4和YOLOv4-tiny之間,與實(shí)驗(yàn)預(yù)期的精度提升相符,同時(shí)也更加直觀地說(shuō)明了改進(jìn)型YOLOv4-tiny 相比YOLOv4-tiny 在精度上的提升。

        如圖9 所示,P-R 曲線下的面積即為平均精確度(mAP),通過(guò)分析三種算法的P-R 曲線可以看出,YOLOv4的P-R曲線所包圍的面積最大,其mAP值更高,精度更高,與實(shí)際檢測(cè)結(jié)果相和理論相符。YOLOv4-tiny-ResBlockD-SPP-2CA 的P-R 曲線包圍的面積較YOLOv4-tiny 更大,但相比YOLOv4 而言略有減小,其mAP值介于二者之間,從該角度也可看出:本實(shí)驗(yàn)改進(jìn)后的YOLOv4-tiny-ResBlockD-SPP-2CA 的平均精確度比YOLOv4-tiny的要高,達(dá)到實(shí)驗(yàn)中所要求的提高檢測(cè)精度的預(yù)期要求。

        圖9 不同算法的P-R曲線對(duì)比Fig.9 Comparison of P-R curves of different algorithms

        3.4.3 改進(jìn)算法的檢測(cè)速度的分析

        對(duì)不同算法的檢測(cè)速度進(jìn)行對(duì)比分析,如表3所示。

        表3 不同階段算法的檢測(cè)時(shí)間對(duì)比Table 3 Comparison of detection time of algorithms in different stages

        由表可知,YOLOv4-tiny 的FPS 為17.586 5 幀/s,相比于YOLOv4提升了5.01倍,檢測(cè)速度較YOLOv4有了顯著提升,主要原因就是,YOLOv4-tiny 通過(guò)特征金字塔網(wǎng)絡(luò)收集了不同維度的目標(biāo)變量,而不是采用傳統(tǒng)YOLOv 四方法中所使用的路徑聚合方式,從而增加了目標(biāo)的效率且YOLOv4-tiny 的目標(biāo)參量?jī)H達(dá)到了587.64 萬(wàn),遠(yuǎn)小于YOLOv4 的6 394.3 萬(wàn)的參數(shù)量,結(jié)構(gòu)大幅簡(jiǎn)化??梢钥闯?,YOLOv4-tiny模型有更迅速的檢測(cè)速度,模型可以在以小幅減小精度的代價(jià)下,較為理想地提高檢測(cè)效率,在大量人群口罩佩戴環(huán)境下更為適合實(shí)時(shí)性檢測(cè)。

        但在更大規(guī)模人群環(huán)境下,YOLOv4-tiny表現(xiàn)出的延遲性使得尋求在保持或者提高檢測(cè)精度的前提下,進(jìn)一步提升檢測(cè)速度。

        通過(guò)對(duì)比上述改進(jìn)型的YOLOv4-tiny模型可知,加入ResBlockD 結(jié)構(gòu)的YOLOv4-tiny 模型的FPS 可達(dá)到21.345 1 幀/s,較YOLOv4-tiny相比提升了21.37%,檢測(cè)速度得到進(jìn)一步改善。這是由于代替CSPBlock模塊的ResBlockD模塊具有更為簡(jiǎn)化的結(jié)構(gòu),通過(guò)殘差結(jié)構(gòu)的“跳躍鏈接技巧”,利用卷積核的升維和降維操作,實(shí)現(xiàn)降低參數(shù)量目的,從而加快模型的訓(xùn)練和檢測(cè)速度。

        可以看出,嵌入ResBlock-D 后的改進(jìn)算法,在檢測(cè)速度有了進(jìn)一步的提升同時(shí),參數(shù)量也大大減少,這有利于部署在CPU、GPU等資源有限的硬件設(shè)備上。

        同時(shí),本實(shí)驗(yàn)中也對(duì)引入空間金字塔池化(SPP)和CA 注意力機(jī)制的改進(jìn)型YOLOv4-tiny 進(jìn)行了速度檢測(cè),通過(guò)表3 可發(fā)現(xiàn),引入SPP 和兩個(gè)CA 機(jī)制的改進(jìn)型YOLOv4-tiny 模型的速度比只使用ResBlockD 的YOLOv-tiny模型還要略微提高,達(dá)到21.550 3 幀/s。這是因?yàn)镃A 機(jī)制先后進(jìn)行了Coordinate 信息嵌入和Coordinate Attention生成兩個(gè)步驟,在很好地獲得全局感受野并編碼準(zhǔn)確的坐標(biāo)信息的同時(shí),更有利于目標(biāo)的尋找,一定程度上促進(jìn)了檢測(cè)速度的提升。

        實(shí)驗(yàn)中,對(duì)引入CBAM 機(jī)制、一層CA 機(jī)制和兩層CA 機(jī)制的改進(jìn)模型進(jìn)行對(duì)比,結(jié)果如表2 所示。實(shí)驗(yàn)結(jié)果表明,相比于引入CBAM 機(jī)制和一層CA 機(jī)制,引入兩個(gè)CA注意力機(jī)制的改進(jìn)型輕量級(jí)算法其檢測(cè)精度和檢測(cè)速度都更高。

        分別對(duì)300 張和500 張的數(shù)據(jù)集進(jìn)行檢測(cè),如圖10所示。

        圖10 不同算法的圖像檢測(cè)時(shí)間對(duì)比Fig.10 Comparison of image detection time of different algorithms

        可以看出,針對(duì)300張和500張數(shù)據(jù)集的檢測(cè),改進(jìn)型YOLOv4-tiny 模型的檢測(cè)時(shí)間分別能達(dá)到22.86 s 和14.132 s,而傳統(tǒng)YOLOv4對(duì)300張和500張數(shù)據(jù)集的檢測(cè)時(shí)間則高達(dá)135.299 s和90.241 s,改進(jìn)型YOLOv4-tiny模型在面對(duì)大量數(shù)據(jù)處理的情形時(shí)能夠迅速作出反應(yīng)并有效識(shí)別。本文提出的模型確實(shí)能夠有效地對(duì)圖像中所包含不同人的口罩佩戴進(jìn)行檢測(cè)。相比于原算法而言,檢測(cè)結(jié)果精度有一定提升,且實(shí)時(shí)性更佳。

        3.4.4 Loss值分析

        對(duì)不同算法的Loss值進(jìn)行分析,如圖11所示。

        圖11 不同算法的GIoU-Loss對(duì)比Fig.11 GIoU-Loss comparison of different algorithms

        選取GIoU作為損失函數(shù),從圖中分析比較可知,在迭代次數(shù)較少時(shí),YOLOv4所能降低的損失函數(shù)在三種算法中是最低的,由于此時(shí)并沒(méi)達(dá)到過(guò)擬合,故最終所能達(dá)到的識(shí)別精度在三種算法中也最高。改進(jìn)型YOLOv4-tiny 算法相較于YOLOv4-tiny 而言,損失函數(shù)的降低上有所改善,其精度也相比于傳統(tǒng)的YOLOv4-tiny有一定幅度的提升。

        在迭代次數(shù)超過(guò)200 后,YOLOv4-tiny 的損失函數(shù)相比于改進(jìn)型YOLOv4-tiny和YOLOv4都要低,原因是此時(shí)YOLOv4-tiny出現(xiàn)稍微過(guò)擬合的現(xiàn)象,在訓(xùn)練集上的誤差較小,但對(duì)測(cè)試集上的誤差較大,泛化能力較弱,故其在測(cè)試集上的精度相比于改進(jìn)型YOLOv4-tiny 和YOLOv4都要更低一些。

        3.4.5 主流目標(biāo)檢測(cè)算法性能對(duì)比

        實(shí)驗(yàn)通過(guò)與主流檢測(cè)算法在相同數(shù)據(jù)集上的訓(xùn)練結(jié)果進(jìn)行對(duì)比,進(jìn)一步驗(yàn)證本文所提算法的綜合性能。實(shí)驗(yàn)采取的評(píng)價(jià)指標(biāo)包括參數(shù)量、mAP和檢測(cè)速度,結(jié)果如表4所示。結(jié)果顯示,本文提出的改進(jìn)算法參數(shù)量為596.82萬(wàn),較YOLOv4-tiny網(wǎng)絡(luò)參數(shù)規(guī)模接近。mAP為94.0%,F(xiàn)PS達(dá)到了21.550 3 幀/s,相比于YOLOv4-tiny模型mAP 值提高了0.5 個(gè)百分點(diǎn),F(xiàn)PS 提高了3.96 幀/s。這是因?yàn)楸疚乃惴ú呗砸肓薙PP 模塊并且使用了兩個(gè)CA通道注意力機(jī)制,增加了網(wǎng)絡(luò)的參數(shù)量,提高了檢測(cè)精度。而嵌入ResBlock-D 模塊替代CSPBlock 的操作,因?yàn)镽esBlock-D架構(gòu)復(fù)雜度僅為CSPBlock的1/10,提高了檢測(cè)速度。綜合搭配后,網(wǎng)絡(luò)參數(shù)規(guī)模與原模型接近,且綜合性性能明顯更優(yōu)。相比于其他非輕量單階段目標(biāo)檢測(cè)算法,例如YOLOv4、SSD和RetinaNet,三種算法參數(shù)規(guī)模均遠(yuǎn)大于本文算法,YOLOv4的檢測(cè)精度相比本文算法有所提升,RetinaNet 算法(93.9%)和SSD算法(93.6%)檢測(cè)精度略低于本文算法,但是三者網(wǎng)絡(luò)參數(shù)規(guī)模均遠(yuǎn)大于本文算法,且檢測(cè)速度均低于4幀/s,不到本文算法的20%,難以滿足口罩檢測(cè)實(shí)時(shí)性要求。相比于雙階段的目標(biāo)檢測(cè)算法,以Faster R-CNN為例,其mAP達(dá)到94.4%,但網(wǎng)絡(luò)參數(shù)量達(dá)到了4 178.3萬(wàn),檢測(cè)速度僅為2.134 9 幀/s,檢測(cè)速度更低。綜合比較。本文算法的綜合性能優(yōu)于SSD、Faster R-CNN等其他主流算法,可以很好地滿足口罩檢測(cè)任務(wù)精度與實(shí)時(shí)性的要求,更適合應(yīng)用于真實(shí)的攝像頭檢測(cè)中。

        表4 主流目標(biāo)檢測(cè)算法性能比較Table 4 Performance comparison of mainstream target detection algorithms

        3.4.6 消融實(shí)驗(yàn)

        為了驗(yàn)證實(shí)驗(yàn)中所提出改進(jìn)算法的充分性以及各個(gè)改進(jìn)策略對(duì)模型帶來(lái)的影響,進(jìn)行了消融實(shí)驗(yàn)[24-25]。實(shí)驗(yàn)設(shè)置及結(jié)果如表5 所示。實(shí)驗(yàn)以YOLOv4-tiny 模型為基礎(chǔ),表中的“√”代表使用該改進(jìn)策略,“×”代表未使用該策略。可以看出,第1 組為YOLOv4-tiny 基礎(chǔ)模型;第2組實(shí)驗(yàn)在第1組實(shí)驗(yàn)的基礎(chǔ)上引入了ResBlockD模塊,用兩個(gè)ResBlock-D替代原本的CSP模塊,mAP值降低了0.8 個(gè)百分點(diǎn),F(xiàn)PS 提高了3.76 幀/s,可以看出引入ResBlockD 模塊的改進(jìn)策略在犧牲少量精度的條件下,對(duì)提高檢測(cè)速度有重要作用;第3組實(shí)驗(yàn)和第4組實(shí)驗(yàn)在第1 組實(shí)驗(yàn)的基礎(chǔ)上分別引入了空間金字塔池化(SPP)和兩層CA注意力機(jī)制,可以看出,mAP值均有較大幅度提升,但檢測(cè)速度均有一定程度降低;第5 組實(shí)驗(yàn)在第1 組實(shí)驗(yàn)的基礎(chǔ)上同時(shí)引入了空間金字塔池化(SPP)和兩層CA 注意力機(jī)制,mAP 值達(dá)到了最高的94.3%,檢測(cè)速度下降了4.34 幀/s,最為明顯。結(jié)果表明,空間金字塔池化(SPP)和兩層CA 注意力機(jī)制在檢測(cè)速度有所下降的條件下,對(duì)提高檢測(cè)速度均有正面影響,且互相無(wú)干擾因素。第6 組實(shí)驗(yàn)在第2 組實(shí)驗(yàn)的基礎(chǔ)上引入空間金字塔池化(SPP),mAP 值提高了0.2 個(gè)百分點(diǎn),F(xiàn)PS為20.984 幀/s。第7組實(shí)驗(yàn)在第6組實(shí)驗(yàn)的基礎(chǔ)上同時(shí)引入了空間金字塔池化(SPP)和兩層CA注意力機(jī)制,mAP值提高了1.1個(gè)百分點(diǎn),F(xiàn)PS為21.550 3 幀/s,變化較低。表明同時(shí)引入空間金字塔池化(SPP)和兩層CA 注意力機(jī)制可有效彌補(bǔ)ResBlock-D 替代策略造成的精度損失。相比于第一組實(shí)驗(yàn)mAP 值提高了0.5個(gè)百分點(diǎn),且FPS 提高了3.96 幀/s,效果最佳。綜上所述,本文算法對(duì)YOLOv4-tiny 的改進(jìn)具備合理性,在口罩佩戴檢測(cè)中提高了實(shí)時(shí)檢測(cè)性能。

        表5 消融實(shí)驗(yàn)Table 5 Ablation experiment

        3.4.7 可視化分析

        為了更直觀地體現(xiàn)改進(jìn)的目標(biāo)檢測(cè)算法的性能,如圖12 所示,列舉出了本文使用的輕量級(jí)YOLOv4 模型在口罩識(shí)別中的運(yùn)行成果,從左往右依次是:YOLOv4、YOLOv4-tiny、YOLOv4-tiny-ResBlockD-SPP-2CA。

        圖12 不同模型實(shí)時(shí)可視化目標(biāo)識(shí)別Fig.12 Real-time visualization of target recognition with different models

        由可視化數(shù)據(jù)圖可以看出,對(duì)不同環(huán)境下的口罩檢測(cè),YOLOv4、YOLOv4-tiny 以及YOLOv4-tiny-ResBlockDSPP-2CA 的檢測(cè)精度表現(xiàn)不同。YOLOv4 檢測(cè)精度總體更高,而YOLOv4-tiny 與YOLOv4-tiny-ResBlockDSPP-2CA 在不同的環(huán)境下檢測(cè)精度方面相差較小,但YOLOv-tiny 在某些環(huán)境下,對(duì)同一目標(biāo)的檢測(cè)精度比YOLOv4-tiny-ResBlockD-SPP-2CA 更低。出現(xiàn)這種現(xiàn)象的原因也正說(shuō)明了YOLOv4 由于結(jié)構(gòu)更為復(fù)雜而表現(xiàn)出較高的檢測(cè)精度,而改進(jìn)型的YOLOv4 與傳統(tǒng)的YOLOv4-tiny相比,分別引入SPP和CA機(jī)制,因這兩種結(jié)構(gòu)在精度上的改進(jìn),彌補(bǔ)引入ResBlockD模塊所引起的精度下降的不足,故最終模型YOLOv4-tiny-ResBlockDSPP-2CA 的檢測(cè)精度與YOLOv-tiny 相比較為接近,并且從總體而言YOLOv4-tiny-ResBlockD-SPP-2CA 精度更高,達(dá)到改進(jìn)算法的效果,即實(shí)現(xiàn)改進(jìn)后的算法的速度更快于YOLOv4-tiny且精度較YOLOv4-tiny更高。

        3.4.8 基于攝像頭的目標(biāo)檢測(cè)效果

        上述中目標(biāo)檢測(cè)的圖像都是直接輸入的某一特定場(chǎng)合下的靜態(tài)圖片,故本實(shí)驗(yàn)中增加了引入攝像頭進(jìn)行拍攝的對(duì)比實(shí)驗(yàn),從而更為真實(shí)地模擬了非特定場(chǎng)合下對(duì)不同人群的動(dòng)態(tài)口罩檢測(cè)捕捉。攝像頭采用Chicony USB2.0 camera 型號(hào),原攝像頭像素分辨率為1 920×1 080,輸入的是統(tǒng)一后的分辨率即480×640,其檢測(cè)效果如表6所示。

        表6 不同模型的檢測(cè)效果Table 6 Detection effect of different models

        由表中數(shù)據(jù)分析可知,基于兩個(gè)CA機(jī)制、Resblock-D和SPP的YOLOv4-tiny模型在攝像頭的運(yùn)用中,檢測(cè)時(shí)間更短,減少了延遲,目標(biāo)檢測(cè)的效果更為優(yōu)秀,該算法更適合于具體運(yùn)用在真實(shí)攝像頭檢測(cè)中。

        4 結(jié)論與展望

        本文在廣域測(cè)溫口罩識(shí)別的疫情具體應(yīng)用下,給出了一個(gè)基于ResBlock-D、SPP和2CA的YOLOv4-tiny改進(jìn)算法。首先采用了在ResNet-D 網(wǎng)絡(luò)中的其他2 個(gè)ResBlock-D模塊,來(lái)代替在YOLOv4-tiny網(wǎng)絡(luò)中所使用的其他兩個(gè)CSPBlock 模塊,同時(shí)還專(zhuān)門(mén)設(shè)計(jì)出了與其他兩個(gè)模塊相同功能的Residual Network Blocks 模塊來(lái)專(zhuān)門(mén)用作輔助殘差塊。在此基礎(chǔ)之上加入空間金字塔池化(SPP)和兩層“Coordinate Attention”(CA)注意力機(jī)制。在口罩佩戴人群數(shù)據(jù)集上進(jìn)行了相同的訓(xùn)練和測(cè)試,結(jié)果表明,相比于最原始的YOLOv4-tiny算法,經(jīng)改進(jìn)后的YOLOv4-tiny-ResBlockD-SPP-2CA 模型的mAP提高了0.5個(gè)百分點(diǎn),檢測(cè)速度(FPS)提升了3.96 幀/s,綜合性能得到提升。這樣的改進(jìn),在保證檢測(cè)結(jié)果精度有少量提升的基礎(chǔ)上,降低了計(jì)算復(fù)雜度,有效提高了檢測(cè)速度。有利于將算法部署到計(jì)算能力和內(nèi)存等資源有限的嵌入式平臺(tái)上,在醫(yī)院、學(xué)校、商場(chǎng)等人流量較大的口罩佩戴環(huán)境下,更具實(shí)時(shí)性,更適合應(yīng)用于真實(shí)的攝像頭檢測(cè)中。但是,在快速移動(dòng)人群的檢測(cè)中,由于位置目標(biāo)不確定,目標(biāo)難以捕捉完全,在實(shí)際應(yīng)用中會(huì)出現(xiàn)一定誤差。在保證網(wǎng)絡(luò)的綜合識(shí)別精度的基礎(chǔ)上,進(jìn)一步降低模型復(fù)雜度,提高檢測(cè)速度,提高對(duì)移動(dòng)人群識(shí)別檢測(cè)的能力,使其更好地應(yīng)用在廣域測(cè)溫識(shí)別疫情協(xié)同設(shè)備上是未來(lái)的重點(diǎn)研究?jī)?nèi)容。

        猜你喜歡
        口罩注意力精度
        讓注意力“飛”回來(lái)
        戴口罩的苦與樂(lè)
        意林(2020年9期)2020-06-01 07:26:22
        因?yàn)橐粋€(gè)口罩,我決定離婚了
        海峽姐妹(2020年4期)2020-05-30 13:00:08
        霧霾口罩
        基于DSPIC33F微處理器的采集精度的提高
        電子制作(2018年11期)2018-08-04 03:25:38
        “揚(yáng)眼”APP:讓注意力“變現(xiàn)”
        要戴口罩的霧霾天
        A Beautiful Way Of Looking At Things
        GPS/GLONASS/BDS組合PPP精度分析
        改進(jìn)的Goldschmidt雙精度浮點(diǎn)除法器
        亚洲成人免费无码| 正在播放强揉爆乳女教师| 亚洲av成人中文无码专区| 亚洲午夜精品久久久久久一区| 国产精品亚洲一区二区极品| 久久国产精品美女厕所尿尿av | 亚洲av色无码乱码在线观看 | 国内精品国产三级国产avx| 美女很黄很色国产av| 国产一区二区女内射| 亚洲国产一区二区在线| 亚洲妇女av一区二区| 亚洲综合第一页中文字幕| 日韩中文字幕免费视频| 亚洲精品久久一区二区三区777| 亚洲综合av在线在线播放| 亚洲欧美日韩在线精品2021| 最新天堂一区二区三区| 午夜性色一区二区三区不卡视频| 好大好硬好爽免费视频| 欧洲无码一级毛片无遮挡| 日韩人妻精品视频一区二区三区 | 日韩亚洲制服丝袜中文字幕| 青青草成人免费播放视频| 亚洲 日本 欧美 中文幕| 五十路熟妇高熟无码视频| 高清国产亚洲va精品| 深夜黄色刺激影片在线免费观看| 国99久9在线 | 免费| 国产在线丝袜精品一区免费| 一区二区三区在线视频爽| 亚洲夫妻性生活免费视频| 无码国产精品一区二区高潮| 国产美女裸身网站免费观看视频 | 国产精品女丝袜白丝袜| 精品国产黄一区二区三区| 精品三级av无码一区| 最新亚洲人AV日韩一区二区| 久久精品国产亚洲av沈先生| 97久久久久人妻精品区一| 1000部拍拍拍18勿入免费视频下载|