朱鑫鵬，李丹

（四川大學(xué)錦城學(xué)院計(jì)算機(jī)與軟件學(xué)院，四川成都，611731）

0 引言

近年來(lái)伴隨著深度學(xué)習(xí)的發(fā)展，以及卷積神經(jīng)網(wǎng)絡(luò)在對(duì)于人臉檢測(cè)方面得取得的巨大的研究成果以及技術(shù)性的突破，對(duì)于社會(huì)以及設(shè)備對(duì)于人臉檢測(cè)的需要也變得更加嚴(yán)謹(jǐn)，在疫情尚未完全散去的環(huán)境中，在火車站對(duì)于人們是否佩戴口罩，這一項(xiàng)具有需要耗費(fèi)大量人力的工作，但是通過我們YOLO5Face算法的遮擋人臉檢測(cè)，就可以解放大量人力，來(lái)實(shí)現(xiàn)機(jī)器來(lái)自動(dòng)檢測(cè)并且提醒未佩戴口罩的人們。本文將通過介紹YOLO5Face算法結(jié)構(gòu)，優(yōu)劣性能對(duì)比，以及最終在火車站的人臉檢測(cè)的實(shí)現(xiàn)，來(lái)展開說(shuō)明。

1 研究背景

1.1 算法來(lái)源

在2015年誕生的YOLO算法，它與當(dāng)時(shí)流行的twostage方法不用。它沒有將對(duì)象檢測(cè)看作分類問題，而是視為一個(gè)回歸問題。在所有基礎(chǔ)階段，它使用單個(gè)神經(jīng)網(wǎng)絡(luò)就可以完成，并且可以取得優(yōu)于其他算法的檢測(cè)性能，以及具有更快的實(shí)時(shí)處理的速度和能力。

在接下來(lái)這六年中，YOLO[2]算法更新了五個(gè)版本，前三個(gè)版本均有YOLO算法作者開發(fā)而成，YOLOv3[3]是這些算法是使用最為廣泛的一個(gè)，也是后代算法衍生出來(lái)的基礎(chǔ)，它主要使用了Darknet-53作為主干網(wǎng)絡(luò)，以及棄用了softmax損失函數(shù)，用二元交叉熵?fù)p失函數(shù)來(lái)取代，在性能和速度以及穩(wěn)定性上都有了很大的提高。

1.2 選取該算法原因

我們?cè)陧?xiàng)目開始初期我們找到了很多圖片，對(duì)于這些圖片上的人臉識(shí)別，驗(yàn)證，跟蹤，以及自動(dòng)選取錨框，自動(dòng)對(duì)齊，表達(dá)分析等等做了深入的分析。人臉檢測(cè)作為一個(gè)重要的計(jì)算機(jī)視覺項(xiàng)目，在不同的算法，不同的網(wǎng)絡(luò)層數(shù)，得到的結(jié)果都會(huì)是有所差異的。在做這些工作之間，我們?nèi)W(xué)習(xí)了CNN網(wǎng)絡(luò)的設(shè)計(jì)、損失函數(shù)的選取、數(shù)據(jù)增強(qiáng)以及訓(xùn)練方法。最終我們通過對(duì)比YOLOv3[3]，YOLOv4[1]，YOLOv5，通過對(duì)于深度學(xué)習(xí)以及算法的了解，我們最終選擇了YOLO5Face，一個(gè)基于YOLOv5的人臉檢測(cè)算法。它從數(shù)據(jù)角度，將人臉具有的屬性，姿勢(shì)，大體輪廓，遮擋程度，外界的光線照明程度，以及在人們?cè)诨顒?dòng)的時(shí)候造成的重影模糊等。再如不同的人，面部表情的不同，或者有些人化妝等，都可以很有效的進(jìn)行識(shí)別。YOLO5Face中加入的Landmars，在目標(biāo)預(yù)測(cè)定位中是非常簡(jiǎn)便，特別適用于大規(guī)模的，人臉非常小，以及人臉密集的場(chǎng)景。

2 YOLO5Face的改進(jìn)

我們使用的YOLO5Face的網(wǎng)絡(luò)結(jié)構(gòu)，它與YOLOv5很相似，但其作者對(duì)于他的網(wǎng)絡(luò)結(jié)構(gòu)有所更改，以便于提高了整體的平均精度和運(yùn)行速度。使用了一種新設(shè)計(jì)的主干網(wǎng)CSPNet[5]，在neck中使用了SPP[35]和PAN[36]用來(lái)聚合特征。

（1）用Stem塊 結(jié) 構(gòu) 取 代YOLOv5的Focus層，是YOLO5Face中與YOLOv5的差異之處，YOLO5Face使用了Stem structure[38]，目的為了提高泛化能力和降級(jí)計(jì)算復(fù)雜度。

（2）將YOLOv5的內(nèi)核大小進(jìn)行了更改，目的為了提高檢驗(yàn)精度，以及對(duì)head的輸出標(biāo)簽的修改，其中l(wèi)andmarks是YOLO5Face剛增加的，是對(duì)于YOLOv5算法的優(yōu)化和改進(jìn)，是一個(gè) 具有l(wèi)andmarks輸出的面部檢測(cè)器。

（3）主要是損失函數(shù)的修改，使用了wingloss損失函數(shù)，目的是為了在使用landmarks的應(yīng)用場(chǎng)景下面變得更加有用，定位也將更加準(zhǔn)確。

（4）增加了一個(gè)P6輸出塊，目的是有助于檢測(cè)到較大的人臉。因?yàn)楝F(xiàn)在的很多人臉探測(cè)器都專注于去攻破和提高對(duì)于很小的人臉進(jìn)行檢測(cè)，也就以至于對(duì)大人臉的檢測(cè)很容易出現(xiàn)差錯(cuò)，這里加入了P6輸出塊，也就是來(lái)彌補(bǔ)大人臉檢測(cè)的漏洞。

（5）對(duì)SPP塊進(jìn)行了改變，對(duì)于這個(gè)塊，YOLOv5和YOLO5Face之間最大的區(qū)別就是兩者的內(nèi)核大小不同，使用一個(gè)更小的內(nèi)核。提高檢測(cè)效率和性能。

3 實(shí)驗(yàn)結(jié)果

3.1 數(shù)據(jù)集的選取

遮擋的人臉檢測(cè)是一個(gè)很有難度的項(xiàng)目，有兩個(gè)主要原因：（1）在現(xiàn)在的數(shù)據(jù)集中，大部分都是無(wú)遮擋的人臉，對(duì)于帶著口罩的人臉數(shù)據(jù)集很少。（2）口罩可以遮擋住大半張臉，也就會(huì)導(dǎo)致面部線索過少，會(huì)導(dǎo)致識(shí)別的效果不高，訓(xùn)練困難，最終導(dǎo)致成功率不高。

近日期全球新型冠狀病毒肆虐，疫情嚴(yán)重地區(qū)每個(gè)人都需要佩戴口罩，遮擋數(shù)據(jù)集數(shù)量提高，該數(shù)據(jù)集用于幫助公共場(chǎng)所以及社區(qū)設(shè)計(jì)相應(yīng)的數(shù)據(jù)支持，用于人員進(jìn)出管控，車站，地鐵站，大商場(chǎng)，機(jī)場(chǎng)的人臉識(shí)別，也可用于社區(qū)和單位的門禁管理。

這里使用了遮擋人臉檢測(cè)數(shù)據(jù)集MAFA，這個(gè)數(shù)據(jù)集包括了30811張圖像，35806個(gè)遮擋人臉，圖像中每個(gè)人臉的形態(tài)各不相同，有著不同的朝向和遮擋程度，每張圖像中都至少有一個(gè)人臉被遮擋。首先我們對(duì)每個(gè)遮擋人臉人工標(biāo)定屬性，由with_mask[3]作為佩戴口罩標(biāo)簽,mask_weared_incorrect作為未正確佩戴口罩標(biāo)簽，without_mask作為未佩戴口罩標(biāo)簽，通過使用MAFA數(shù)據(jù)集，以及實(shí)驗(yàn)結(jié)果的表現(xiàn)，都證明這個(gè)方法更加優(yōu)越。

3.2 系統(tǒng)框架流程說(shuō)明

我們的系統(tǒng)程序主要通過了三個(gè)結(jié)構(gòu)層次，來(lái)實(shí)現(xiàn)在火車站口罩佩戴的人臉檢測(cè)的界面交互以及算法功能。

圖1 系統(tǒng)框架結(jié)構(gòu)圖

實(shí)體層：我們通過連接各大車站以及人群密集的大型商場(chǎng)的出入口攝像頭，來(lái)對(duì)于人群進(jìn)行實(shí)時(shí)的采樣和收集傳回，并且存儲(chǔ)在一個(gè)函數(shù)之中。

識(shí)別層：識(shí)別層也就是我們主要的人臉檢測(cè)層，圖像處理層，將回傳的圖像通過YOLO5Face算法模型來(lái)進(jìn)行對(duì)于其中人群佩戴口罩的情況進(jìn)行檢測(cè)，通過與預(yù)判值進(jìn)行對(duì)比，得到每個(gè)人臉的實(shí)際值，通過與我們預(yù)先設(shè)置的值進(jìn)行比較，在一定范圍之內(nèi)則會(huì)判定為正確佩戴口罩，最終將差別出入很大的結(jié)果返回給服務(wù)層。

服務(wù)層：這個(gè)也就是人機(jī)交互層，可以讓通過人員時(shí)刻收到信息和監(jiān)控圖像，接受上層傳送回來(lái)的檢測(cè)結(jié)果，再由工作人員在現(xiàn)場(chǎng)進(jìn)行實(shí)時(shí)的管理和組織。

3.3 系統(tǒng)優(yōu)化過程

在圖2是我們系統(tǒng)通過調(diào)參獲得的梯度下降圖片。圖2中Objectness：是目標(biāo)檢測(cè)loss均值，越小目標(biāo)檢測(cè)越準(zhǔn)確，Classification：是分類loss均值，越小分類越準(zhǔn)確，Precision：準(zhǔn)確率，就是找對(duì)的/找到的比值。Recall：為召回率，是找對(duì)的/該找對(duì)的比值。mAP@0.5 &mAP@0.5:0.95：就是AP是用Precision和Recall作為兩軸作圖后圍成的面積，m表示平均，@后面的數(shù)表示判定iou為正負(fù)樣本的閾值，@0.5:0.95表示閾值取0.5:0.05:0.95后取均值。

圖2 梯度下降

我們主要通過修改epochs，默認(rèn)為300，由于數(shù)據(jù)集過大，為了節(jié)省時(shí)間，我們將epoch修改為了10輪。通過修改了超參數(shù)進(jìn)化evolve，其中第一個(gè)參數(shù)parent我們選擇了single只選擇上一代中最好的結(jié)果，第二個(gè)參數(shù)method改為了2，通過第二個(gè)模式來(lái)進(jìn)化。其中使用了cache_images：將我們預(yù)處理后的訓(xùn)練數(shù)據(jù)存在RAM中，來(lái)提高訓(xùn)練速度，對(duì)于batch_size電腦原因我們使用的16，在img_size使用的[640,640]，device參數(shù)方面由于速度以及電腦的原因，我們選擇的CUDA。

4 火車站口罩檢測(cè)系統(tǒng)

在最近疫情還沒有平靜的時(shí)期，我們?cè)O(shè)計(jì)出一個(gè)關(guān)于人們是否佩戴口罩的檢測(cè)系統(tǒng)，以用于去提高各大城市火車站安全性，來(lái)協(xié)助工作人員來(lái)判斷被檢測(cè)者是否佩戴了口罩，以及口罩是否佩戴正確，雖然在全球新冠的影響之下，佩戴口罩已經(jīng)是非常正常不過的事情，但是仍有小部分人不去佩戴口罩，對(duì)于大城市，一天萬(wàn)計(jì)的人流量，屬實(shí)會(huì)讓工作人員感覺到疲憊，有了口罩佩戴檢測(cè)系統(tǒng)，就會(huì)自動(dòng)檢測(cè)出未帶口罩的人，或者口罩佩戴不正確的人，然后發(fā)出警報(bào)，提醒佩戴口罩，這個(gè)系統(tǒng)十分重要，對(duì)于疫情的防控，已經(jīng)人力的解放都有著十分重要的作用。當(dāng)然也可以通過視頻監(jiān)控對(duì)于過往的人來(lái)進(jìn)行識(shí)別，可以將其監(jiān)控返回給工作人員，有效的管理監(jiān)督公共場(chǎng)所佩戴口罩問題。

車站在不同場(chǎng)景有著不用情況的檢測(cè)需求，如果在車站門口，在我們這個(gè)系統(tǒng)上面增加口罩-體溫檢測(cè)，也只需要在此模型上增加現(xiàn)有的體溫檢測(cè)系統(tǒng)，既可以實(shí)現(xiàn)自動(dòng)化的通行。

我們?cè)贛AFA[4]數(shù)據(jù)集上關(guān)于檢測(cè)口罩佩戴情況表現(xiàn)優(yōu)秀，結(jié)果如下，基本上都可以很快的而且很正確的識(shí)別和鑒定出是否佩戴口罩，并且對(duì)于口罩佩戴不正確的人，也有著，較高的檢測(cè)準(zhǔn)確性。如圖3中所示，粉紅色框：代表著檢測(cè)的人正確佩戴口罩（with_mask)，在中間圖中的紅色框：代表著未佩戴口罩（without_mask），而在最右邊的橘色框，則是表示口罩為佩戴正確（mask_weared_incorrect）。

圖3 實(shí)驗(yàn)結(jié)果圖

在各城市火車站，人流量巨大，而且會(huì)有很多外來(lái)人員，也就會(huì)導(dǎo)致會(huì)有疫情出現(xiàn)的可能，所以安排工作人員進(jìn)行監(jiān)督和管理是必不可少的，隨著深度學(xué)習(xí)的發(fā)展和進(jìn)步，人臉檢測(cè)技術(shù)的提高，也就可以將昂貴的人工成本降低，來(lái)使用機(jī)器檢測(cè)，如圖3中所示，無(wú)論是正臉側(cè)臉，不管是近距離的大臉還是遠(yuǎn)距離的小臉，都可以很準(zhǔn)確，此模型都可以很好的應(yīng)對(duì)。

5 結(jié)束語(yǔ)

該系統(tǒng)的意圖是在疫情這個(gè)大環(huán)境下，對(duì)于人們的出行，以及在各城市的火車站中，為了監(jiān)督人們佩戴口罩的工作人員，減輕工作負(fù)擔(dān)，解放勞動(dòng)力，此系統(tǒng)可以更準(zhǔn)確的識(shí)別戴口罩和未戴口罩，以及口罩佩戴錯(cuò)誤的人們，進(jìn)行識(shí)別。該系統(tǒng)目前仍處于實(shí)驗(yàn)初期，存在著許多不足之處，后期我們會(huì)結(jié)合更好的數(shù)據(jù)集，來(lái)進(jìn)行系統(tǒng)的優(yōu)化和改進(jìn)，爭(zhēng)取去實(shí)現(xiàn)一個(gè)更完美的系統(tǒng)。