張 鑫，李 瑞，李偉奇

(1.大連交通大學 軟件學院，遼寧 大連 116028； 2.大連交通大學 機械工程學院，遼寧 大連 116028)

0 引 言

2020年，新冠肺炎肆虐全球，正確佩戴口罩是阻止病毒在人與人之間相互傳播的重要舉措。通用算法幾乎都能運用于口罩佩戴檢測[1]，但像人員遮擋、目標對象較小、密集人群等問題，通用算法檢測出來的效果并不是十分理想。為了解決這些問題，研究者們進行了大量的研究工作并取得了顯著進展：Pang等[2]設(shè)計了基于掩碼的空間注意力機制模塊，讓模型更加關(guān)注于行人未被遮擋部分的特征；Liu等[3]將全卷積網(wǎng)絡(luò)與可變性卷積思想相結(jié)合，為了增加模型特征編碼的靈活性，采用了位置敏感的DCN[4]池化，讓模型盡可能多地從行人可見的部分中學習相應特征，來預防其它物體的遮擋干擾。

隨著計算機視覺技術(shù)不斷的發(fā)展，目標檢測技術(shù)也在不斷優(yōu)化，大致分為兩類：雙步(Two-Stage)法和單步(One-Stage)法。相比而言，這兩類算法也是相互對立的，雙步法檢測精度高，而單步法檢測速度快。最經(jīng)典的單步法有SSD[5](single shot multibox detector)、YOLO[6-9](you only look once)系列算法；雙步法有R-CNN(region conventional neural network)系列算法?？紤]到在實際監(jiān)控下的人員檢測任務中需要達到一種能實時檢測的狀態(tài)，而YOLO系列網(wǎng)絡(luò)在檢測速度方面可以保證實時性，其中第3代版本YOLOV3同時兼顧了檢測的時間和精度，相比其它更高的版本，YOLOV3有著更成熟、更穩(wěn)定的技術(shù)，所以本文在通用的目標檢測算法YOLOV3的基礎(chǔ)上，對該算法進行改進，希望得到更好的檢測效果。

1 YOLOV3算法原理

YOLOV3是Redmon等提出的，主要由骨干網(wǎng)絡(luò)Darknet-53和YOLO檢測層組成，Darknet-53結(jié)構(gòu)主要作用是提取圖像的特征信息，YOLO層是用來預測其類別和位置信息。該算法的骨干網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。YOLOV3算法有明顯的兩大優(yōu)勢：第一大優(yōu)勢是采用了以Darknet-53[10]網(wǎng)絡(luò)作為主干特征提取網(wǎng)絡(luò)，并結(jié)合了ResNet殘差網(wǎng)絡(luò)結(jié)構(gòu)的思想[11]。卷積層主要包括兩類濾波器，分別是1×1和3×3，前一種濾波器是用于壓縮特征，后一種濾波器的作用主要是通過減少寬度和高度，來擴展通道的數(shù)量。這種結(jié)構(gòu)的最大特點之一就是能通過增加相應的深度來提高準確率，但是也會在訓練模型中發(fā)生梯度爆炸以及梯度消失的問題，YOLOV3算法內(nèi)部的殘差塊使用了跳躍連接，促進了多個不同特征的融合學習。

圖1 YOLOV3主要網(wǎng)絡(luò)結(jié)構(gòu)

針對尺寸不同的檢測圖像，YOLOV3算法運用了13×13,26×26,52×52尺度的特征圖實行檢測[12]，由于每個尺度的感受野都各不相同，檢測圖像的大小也有所區(qū)分，尺度越小的反而檢測大的圖像，即13×13檢測大尺寸圖像，而52×52檢測小尺寸圖像，26×26檢測中等圖像。對于每個尺度分支來說，在每個網(wǎng)格中會檢測出3個結(jié)果，這是因為每個尺度下會有3個先驗框(anchor box)，是根據(jù)K-Means聚類生成的。最后將3次檢測的結(jié)果整合使用非極大值抑制(non-maximum suppression，NMS)，獲得結(jié)果。舉例來說，輸入一張需要檢測的圖像，剛開始將其劃分為S×S的網(wǎng)格，需要預測C個類別，則最終3個規(guī)模獲得的張量是S×S×[3×(5+C)]， 其中包含了目標邊框的4個偏移坐標和置信度得分，因而增強了對小尺度對象的檢測能力。這也是YOLOV3算法與其它算法相比的另一大優(yōu)勢。但是直接應用于自然場合下的口罩佩戴檢測任務還是有一些不足。其一，YOLOV3雖然在小目標的檢測精度上有一定的提升，但同時也出現(xiàn)了淺層特征提取不充分的問題；其二，YOLOV3預測的準確性是使用IoU(intersection over union)損失函數(shù)來判定預測框的好壞，但當IoU的值增大時，檢測的精確率會有所下降；其三，對于自然場景下被遮住、密集人群以及小尺度的目標檢測等問題，YOLOV3仍有不足的地方。針對以上問題，本文為了提升口罩在自然環(huán)境下的目標檢測算法的準確率，以YOLOV3算法為基礎(chǔ)進行了改進和優(yōu)化。

2 基于YOLOV3改進的算法

本文對YOLOV3的改進主要包括3個方面，分別是對主網(wǎng)絡(luò)結(jié)構(gòu)、特征增強網(wǎng)絡(luò)和IoU損失函數(shù)的改進。

2.1 主網(wǎng)絡(luò)結(jié)構(gòu)的改進

YOLOV3中的主網(wǎng)絡(luò)結(jié)構(gòu)Darknet-53是由23(1+2+8+8+4)個循環(huán)模塊組成的，每個循環(huán)模塊中都含有一個(1×1)的卷積核、一個(3×3)的卷積核和一個殘差網(wǎng)絡(luò)層。網(wǎng)絡(luò)中在改變特征圖像尺度方面并未運用池化層，而是采用卷積核是(3×3)，步長為2的方式對圖像進行下采樣。而由此搭配的網(wǎng)絡(luò)結(jié)構(gòu)，在網(wǎng)絡(luò)深度方面無疑得到了很好的加深，但卻忽略了網(wǎng)絡(luò)的寬度，只能提取簡單的特征信息。另外，網(wǎng)絡(luò)結(jié)構(gòu)的加深也會導致網(wǎng)絡(luò)變得復雜，當訓練時會出現(xiàn)收斂困難或產(chǎn)生梯度消失的情形，這樣不能保證檢測的實時性，基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)對比情況見表1。

表1 基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)對比

由表1可知，Darknet-19到Darknet-53，隨著網(wǎng)絡(luò)層數(shù)的不斷加深可以得到更詳盡的特征信息，但是檢測的速率也會隨之降低。所以，本文引入了Inception-v4網(wǎng)絡(luò)的構(gòu)建思想，Inception-v4網(wǎng)絡(luò)[13]是由Google團隊提出的一種網(wǎng)絡(luò)，該網(wǎng)絡(luò)的特點是計算量較低且具有良好的特性。為了增加多尺度特征提取且減少網(wǎng)絡(luò)的循環(huán)次數(shù)，本文將該網(wǎng)絡(luò)的思想與YOLOV3進行融合，來保證網(wǎng)絡(luò)的實時性。改進后的卷積單元層如圖2所示。

圖2 改進的YOLOV3卷積層

首先，在改進的YOLOV3卷積層中，參考inception網(wǎng)絡(luò)結(jié)構(gòu)的思想，引入(1×1)、(5×5)的卷積核。為了調(diào)整輸出的通道數(shù)，增加了(1×1)的卷積核，后又添加了尺度為(5×5)的卷積核是為了擴大感知范圍，在卷積過程中來獲取更多的特征信息，接下來是將所有分路中提取到的特征將其融合作為下一層的輸入。為了減少計算量并使卷積具有相同的效果，采用(3×1)和(1×3)兩個尺度的卷積核來替換一個(5×5)的卷積核。然后開始計算參數(shù)的數(shù)目，(3×1)和(1×3)卷積核的計算參數(shù)的數(shù)目是18個，一個尺度為(5×5)卷積核的計算參數(shù)的數(shù)目為25個，對于單層的計算參數(shù)的數(shù)目少了許多。同時，隨著網(wǎng)絡(luò)寬度的增加，也導致計算量參數(shù)的數(shù)目增加，為此將減少YOLOV3網(wǎng)絡(luò)結(jié)構(gòu)的循環(huán)次數(shù)以確保網(wǎng)絡(luò)的實時性。最后，開始進行多尺度上采樣操作，這樣對不同感受野的特征圖的提取、不同尺度的目標對象進行識別有利。

本文在對Darknet-53網(wǎng)絡(luò)進行優(yōu)化之后，為了進一步增強檢測層特征的表達，又引進了特征增強網(wǎng)絡(luò)結(jié)構(gòu)模塊。

2.2 特征增強網(wǎng)絡(luò)的改進

SPP結(jié)構(gòu)是由He Kaiming等[14]提出的，它的提出豐富了CNN目標檢測的方法。CNN結(jié)構(gòu)中包括的幾個層次中，卷積池化層并不關(guān)心輸入圖像的尺寸大小，依然可以實現(xiàn)特征提取，但是全連接層需要相同維度的圖像。全連接層的主要功能是矩陣向量乘積，如式(1)所示

y=w*x+b

(1)

式中：x為輸入圖像的像素矩陣；w為權(quán)重，是一個固定大小的矩陣；b是偏置矩陣；y為輸出圖像的像素矩陣。從這里可以看出，如果輸入圖像的x維數(shù)不同，則參數(shù)w的權(quán)重也會隨之不一樣。所以，許多的CNN網(wǎng)絡(luò)中都需要尺寸不變的圖像。為了捕獲多尺度局部特征信息，本文引入SPP結(jié)構(gòu)。它在卷積池化層與全連接層之間建立一個連接，使得輸入圖像在本文網(wǎng)絡(luò)框架可以生成固定大小的圖像，所以在圖像形變方面有較好的魯棒性。引入的SPP結(jié)構(gòu)總共設(shè)置為3層，池化核要盡量接近需要池化的特征圖的大小，即13×13，因此將池化核設(shè)置為13，其余兩個池化核減4，設(shè)置為9和5，并選擇最大池化(max pooling)，更進一步為多尺度目標檢測做鋪墊，實現(xiàn)局部特征和全局特征的特征圖級別的融合，不僅增加了網(wǎng)絡(luò)結(jié)構(gòu)的魯棒性，而且減少了過擬合，從而提高模型的性能，因此加入SPP結(jié)構(gòu)是值得的。具體原理如圖3所示。

圖3 SPP目標檢測原理

為了進一步提高模型的性能，本文在YOLOV3基礎(chǔ)上，引進了SPP的思想將兩者優(yōu)勢相結(jié)合。SPP具體步驟可以參考文獻[14]。這個結(jié)構(gòu)的使用極大地增加了最后一個特征層的感受野，從而加強檢測的準確度，且未增添多少參數(shù)量與計算量，并將最顯而易見的上下文特征分離開，來進一步獲得較為豐富的局部特征信息。然后進入全連接層。但是引入SPP之后也會攔截神經(jīng)網(wǎng)絡(luò)梯度下降的反向傳播。綜合以上這些因素，改進后的YOLOV3整體網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。另外，每個卷積層后都有1個BN(batch normalization)層和1個LeakyReLU，這是為了防止訓練過程中得到的預測模型過擬合。這也是YOLOV3的優(yōu)勢所在。

圖4 改進的YOLOV3算法整體網(wǎng)絡(luò)結(jié)構(gòu)

2.3 損失函數(shù)的改進

在目標檢測算法領(lǐng)域中，IoU[15]損失函數(shù)是最常用的距離測量標準。其值的計算如式(2)所示

(2)

式中：A表示預測框(Predict box)；B表示真實框(Ground-truth box)。根據(jù)IoU損失函數(shù)計算公式，當兩個框毫無交集時，即A∩B=0， 那么IoU=0， 這意味著IoU損失函數(shù)不能成功計算出預測框和真實框的距離大小。也就是說其僅能在邊界框重疊時能夠發(fā)揮作用，而對于非重疊的部分不會出現(xiàn)任何梯度的調(diào)整。針對這個問題，本文引入GIoU損失函數(shù)，該損失函數(shù)是Seyed Hamid Rezatofighi等提出的[16]，其取值范圍為[-1,1]，而IoU損失函數(shù)的取值范圍為[0,1]。GIoU在兩個框重疊時取值為1，在兩個框離得無限遠時，取值為-1，因此GIoU損失函數(shù)被認為是很好的距離度量指標。計算公式如下所示

(3)

式中：A是預測框；B是驗證框；C代表兩個框的最小閉合區(qū)域面積。IoU與GIoU的兩者區(qū)別在于：IoU是只對重疊部分感興趣，其它部分并不感興趣；而GIoU對這兩個部分都同樣關(guān)注，因此GIoU更能反映兩者的距離大小。以GIoU作為衡量邊界框距離的指標，其損失函數(shù)如式(4)所示

GIoULoss=1-GIoU

(4)

從公式可以看出，GIoU越大，那么GIoULoss越小，因此網(wǎng)絡(luò)就會朝著預測框與真實框重疊度較高的方向去優(yōu)化。根據(jù)GIoULoss對YOLOV3模型邊界框損失函數(shù)進行改進，改進后的邊界框損失函數(shù)如式(5)所示

(5)

3 實驗結(jié)果及分析

3.1 實驗平臺

本文算法在pycharm中編程實現(xiàn)，編程語言為python 3.7.4，使用TensorFlow-GPU 1.14.0和keras 2.2.4框架，并安裝了英偉達CUDA 10.0和cuDN v7.4.2硬件加速工具包，實驗平臺為Intel(R) Core(TM)i5-9300H CPU @2.40 GH處理器和GeForce GTX 1660ti GPU，16 GB的運行內(nèi)存。

3.2 數(shù)據(jù)集的準備

圖5 數(shù)據(jù)集標注示例

3.3 損失函數(shù)收斂對比

以改進的YOLOV3算法為實驗訓練模型，對損失函數(shù)收斂性進行驗證。兩種Loss函數(shù)隨著迭代次數(shù)(batch)的變化曲線如圖6所示。圖中的兩條曲線分別表示邊框損失使用IoU的損失收斂函數(shù)和使用GIoU的損失收斂函數(shù)。雖然兩者在迭代一定次數(shù)后都會達到收斂狀態(tài)，但是使用GIoU損失函數(shù)之后，模型平均損失收斂速度更快，曲線整體值低于IoU的值，而且batch之間的縱坐標數(shù)值波動大幅度降低，穩(wěn)定性也提高不少。由此看出，使用GIoU作為邊框損失函數(shù)，對模型性能的提升有更大的意義，同時具有較高的魯棒性。

圖6 損失收斂對比

3.4 評價測試

混淆矩陣是對深度學習模型預測結(jié)果的總結(jié)和分析，以矩陣的形式表示出測試集圖片的真實類別與模型預測的類別數(shù)量。本文對測試集內(nèi)的圖片進行預測，對比預測出來的結(jié)果與實際標簽，其中實際標簽已知，進而衡量該模型的泛化能力。測試集是在已訓練好的改進的YOLOV3模型上的混淆矩陣，如圖7所示。

圖7 混淆矩陣

圖7中，最左上角方框代表實際是戴口罩的且經(jīng)過訓練模型檢驗后符合實際情況的數(shù)量，稱作真陽性(true position，TP)，即TP=1431；最右上角方框代表實際為戴口罩的但通過訓練模型誤判為不佩戴口罩的人的數(shù)量，稱作假陽性(false position，F(xiàn)P)，即FP=101；最左下角表示實際上是不戴口罩的但通過訓練模型誤判是戴口罩的人的數(shù)量，稱作假陰性(false negative，F(xiàn)N)，即FN=185；最右下角方框代表實際上是不戴口罩的且經(jīng)過訓練模型驗證符合實際情況的數(shù)量，稱作真陰性(true negative，TN)，即TN=1219。為了更好衡量訓練出來的模型的優(yōu)劣，混淆矩陣所描述的數(shù)量，在混淆矩陣的統(tǒng)計結(jié)果之上將給出更進一步的評價指標，如下所示。

(6)

(7)

(2)平均精度(average precision，AP)，平均精度均值(mean average precision，mAP)

(8)

(9)

式中：p代表查準率；r代表召回率；n代表所有目標對象類別的個數(shù)。AP說明了單一類別的檢測成效，mAP說明了多分類檢測模型中全部類別的AP均值，mAP值越大準確率越高。

(3)幀率(frames per second，F(xiàn)PS)

在目標檢測中，幀率代表每秒鐘檢測的圖像的數(shù)量，被用來評價網(wǎng)絡(luò)的檢測速率。

3.5 YOLOV3算法與改進的算法實驗結(jié)果比較

經(jīng)過實驗，改進的算法與原始的YOLOV3算法對于佩戴口罩檢測與未佩戴口罩檢測得出的P-R曲線，橫坐標為召回率，縱坐標為查準率，P-R曲線下方的面積就是某類別的AP值。如圖8所示。

圖8 改進的算法與YOLOV3算法的P-R曲線對比

由圖8可知，改進的YOLOV3算法在人臉目標檢測與人臉佩戴口罩檢測中均取得了不錯的性能。在人臉口罩佩戴檢測中，改進的算法取得了93.4%的AP值，比YOLOV3算法提高了6%；而對于未佩戴口罩的人臉檢測來說，改進的算法與YOLOV3算法的AP值分別為86.8%、81.9%，雖然改進的YOLOV3算法比原始算法有所提升，但其AP值仍比佩戴口罩的低，可能是因為YOLOV3算法并不是專門適用于人臉目標檢測的算法，而人臉的重要特征信息較多，但佩戴上口罩的話人臉就會被遮擋一部分，關(guān)鍵點信息減少，因此檢測精度比未佩戴口罩檢測要高。總之，改進的YOLOV3算法與原始的YOLOV3算法比較，其mAP值增加了5.4%。

在實際的自然場景檢測中，經(jīng)常會出現(xiàn)一些人臉輪廓不是特別完整、人臉較小以及面部被遮擋的情形。因此設(shè)計了人們在不同條件下是否佩戴口罩的結(jié)果進行分析對比。顯示結(jié)果如圖9所示。

圖9 正常人臉檢測結(jié)果

從圖9可以看出，兩者的檢測結(jié)果都正確。但是就識別的準確率來說，圖9(a)中，YOLOV3的準確率分別為70.59%，97.78%，99.25%；而圖9(b)中，改進后的YOLOV3的算法準確率分別為76.01%，98.45%，99.33%，相比于YOLOV3算法，本文改進的YOLOV3算法的檢測準確率效果更高一些。

如圖10(a)所示，可以看出YOLOV3有明顯的誤檢情況，將離得較遠的戴口罩的人員誤判成未戴口罩的，且最高檢測精確率僅為95.03%；查看圖10(b)，改進后的YOLOV3算法可以成功檢測出其類別，且最高檢測精確率為97.09%，相比于YOLOV3算法能更準確檢測出其目標對象的類別。

圖10 側(cè)臉人臉檢測結(jié)果

圖11 被遮擋和密集人臉檢測結(jié)果

由圖11(a)可以看出，使用YOLOV3算法模型有3人未成功檢測出其類別，一共檢測出10個佩戴口罩人臉目標，而由圖11(b)可以看出，改進的YOLOV3模型全部檢測出其類別，共檢測出了15個佩戴口罩的人臉目標，比YOLOV3多檢測出了5個，其中有一半被遮擋的人臉目標也成功檢測出，而且整體檢測框的預測準確率都比原始的YOLOV3算法高。

綜上所述，改進后的YOLOV3算法在自然場景下人臉口罩佩戴檢測效果有著顯著的提升。

3.6 改進的YOLOV3算法與其它算法比較

本文將改進的算法與其它算法進行比較實驗，來驗證改進的算法的有效性，其結(jié)果如下所示。

由表2可知，對于人臉佩戴口罩目標檢測來講，本文改進的YOLOV3算法得到了不錯的檢測效果。與通用算法SSD和Faster R-CNN相比，其mAP值分別增加了19.8%和15.7%，而且無論在人臉檢測方面，還是在人臉佩戴口罩目標檢測方面，改進的YOLOV3算法的AP值都遠遠高于這兩種算法。與RetinaFace算法和Attention-RetainFace算法相比，在人臉佩戴口罩檢測方面，其AP值分別為76.5%、84.7%，YOLOV3改進的算法AP值為93.4%，效果還是很明顯的。但對于檢測人臉這方面，RetinaFace和Attention-RetainFace算法比改進的YOLOV3算法保持較高的AP值，這是因為這兩種算法都是主要用在單級目標檢測的人臉定位的算法，以達到多尺度的面部檢測任務，用人臉對齊、像素級人臉分析和人臉密集等關(guān)鍵點三維分析，因此在人臉檢測方面具有較高的檢測精度。YOLOV3作為一種單階段檢測算法，對于一般目標來講，確實有著不錯的檢測精度和效率，但像人面部這種具有龐大且繁瑣的特征信息來說，其檢測效果仍然不如主要被用于識別人臉的算法。本文算法是在YOLOV3的基礎(chǔ)上改進的，雖然在面部目標檢測中AP值略低于RetinaFace和Attention-RetinaFace算法，但仍比未改進的YOLOV3算法提高了4.9%，且其檢測速率比RetinaFace算法和Attention-RetinaFace算法分別提升了20.9和18.7。總的來說，本文提出的改進的YOLOV3算法針對人臉佩戴口罩目標檢測效果還是可以的。

表2 改進的YOLOV3算法與其它算法比較

4 結(jié)束語

本文以YOLOV3為基礎(chǔ)，提出了一種基于YOLOV3改進的算法，實現(xiàn)了對口罩佩戴檢測的任務。本文主要是將主骨干網(wǎng)絡(luò)Darknet-53結(jié)構(gòu)與Inception-v4的構(gòu)建思想相結(jié)合，實現(xiàn)了特征增強；并引入了空間金字塔池化結(jié)構(gòu)，增加了網(wǎng)絡(luò)結(jié)構(gòu)的魯棒性；然后對IoU損失函數(shù)進行了改進和優(yōu)化，引用了GIoU損失函數(shù)以提高模型的定位能力；最后在本文收集和增強的數(shù)據(jù)集上開始訓練和測試。根據(jù)實驗結(jié)果，改進后的YOLOV3算法在口罩佩戴檢測方面比原始的YOLOV3算法模型的mAP提高了5.4%，且FPS也有所提升，充分驗證了算法的有效性與科學性。