摘? 要：人臉檢測的研究對與日常生活很好的實(shí)用價值，如人臉體溫檢測，視頻監(jiān)控等。實(shí)驗(yàn)通過YOLOv5方法對用戶進(jìn)行訓(xùn)練，并選用YOLOv5系統(tǒng)中網(wǎng)絡(luò)深度最大和寬帶最少的YOLOv5s模型，基于重參數(shù)化結(jié)構(gòu)，提升了檢測的準(zhǔn)確率，且其具有速度快，體積小的優(yōu)點(diǎn)。在人臉檢測出后基于face_recongnition庫進(jìn)行關(guān)鍵點(diǎn)定位。通過實(shí)驗(yàn)結(jié)果可以看出，檢測較為準(zhǔn)確，具有良好的應(yīng)用價值。

關(guān)鍵詞：YOLOv5；人臉檢測；深度學(xué)習(xí)；人臉關(guān)鍵點(diǎn)定位

中圖分類號：TP391.4；TP18? 文獻(xiàn)標(biāo)識碼：A? 文章編號：2096-4706（2023）23-0069-04

Research and Implementation of Face Detection and Key Point Localization

Based on YOLOv5

ZHANG Yanli

（North China University of Technology， Beijing? 100144， China）

Abstract： The research on face detection has great practical value for daily life， such as face temperature detection， video surveillance and so on. The experiment trains users through the YOLOv5 method， and selects the YOLOv5s model with the highest network depth and the lowest bandwidth in the YOLOv5 system. Based on the re-parameterization structure， it improves the detection accuracy， and it has the advantages of fast speed and small size. After the face detection， it carries out key point localization based on face_recongnition library. From the experimental results， it can be seen that the detection is relatively accurate and has good application value.

Keywords： YOLOv5; face detection; Deep Learning; face key point localization

0? 引? 言

隨著深度學(xué)習(xí)的發(fā)展，用計算機(jī)處理圖像，輔助人類視覺進(jìn)行檢測和識別得到了廣泛應(yīng)用，如人臉檢測和人臉關(guān)鍵點(diǎn)定位技術(shù)。人臉的檢測和關(guān)鍵點(diǎn)定位在生活中經(jīng)常于人臉的分析處理，如人臉識別、臉部體溫測量、表情識別等，同時在視頻監(jiān)控、人機(jī)交互等方面有廣泛的應(yīng)用前景。

目前，人臉檢測已有的算法有Adaboost算法，RCNN算法等。Adaboost算法主要由強(qiáng)弱分類器級聯(lián)而成，將特征圖像用于各弱分類器的訓(xùn)練，進(jìn)行多次迭代，最后將得到的分類器結(jié)合起來，得到強(qiáng)分類器[1]，這種算法對于人臉檢測的誤檢率較高。傳統(tǒng)的HOG特征+SVM分類檢測器，通過計算和統(tǒng)計圖像局部區(qū)域的梯度直方圖來構(gòu)成特征，將特征送入SVM中訓(xùn)練得到分類器，但該方法很難檢測有遮擋物的人臉，而且其本身不具有尺度不變性。而YOLOv5與Adaboost和傳統(tǒng)方法相比具有體積小、速度快、精度高等優(yōu)點(diǎn)，且在生態(tài)成熟的PyTorch中實(shí)現(xiàn)，部署實(shí)現(xiàn)簡單[2]，而且對有部分遮擋物的人臉檢測準(zhǔn)確率較高。所以采用YOLOv5算法實(shí)現(xiàn)人臉檢測。關(guān)鍵點(diǎn)定位部分用face_recognition庫，該庫使用非常便捷，且關(guān)鍵點(diǎn)定位點(diǎn)比較準(zhǔn)確。

1? 人臉檢測及關(guān)鍵點(diǎn)定位算法

1.1? 總體框架

實(shí)現(xiàn)人臉檢測和人臉關(guān)鍵點(diǎn)定位的過程：首先用訓(xùn)練出的YOLOv5模型來進(jìn)行人臉檢測，定位出人臉框的位置、統(tǒng)計出圖像中總的人臉個數(shù)，再用線條出來將每個人臉框選出來。之后再定位人臉關(guān)鍵點(diǎn)，關(guān)鍵點(diǎn)定位用face_recognition庫中的檢測器定位。對于一張圖片檢測，直接用訓(xùn)練好的模型檢測，輸出檢測后的結(jié)果即可，而對于視頻或?qū)崟r檢測，需要一幀一幀的檢測并顯示出來，直至視頻結(jié)束。

1.2? 基于YOLOv5的人臉檢測算法實(shí)現(xiàn)

YOLOv5是一種單階段目標(biāo)檢測算法，人臉檢測部分采用YOLOv5s的算法，其網(wǎng)絡(luò)結(jié)構(gòu)主要分為四個部分，分別為輸入端、Backbone、Neck、head。其網(wǎng)絡(luò)構(gòu)架如圖1所示。

1）輸入端。采用Mosaic數(shù)據(jù)增強(qiáng)技術(shù)，自適應(yīng)初始錨框計算[3]、圖片縮放等技術(shù)等。且在輸入圖片后用orgimg=cv2.cvtColor（orgimg，cv2.COLOR_BGR2RGB）語句將圖片由RGB格式轉(zhuǎn)化為BGR格式。Mosaic數(shù)據(jù)增強(qiáng)將圖片進(jìn)行裁剪，之后與向上采樣的圖結(jié)合作為訓(xùn)練數(shù)據(jù)[4]，能更好地檢測小目標(biāo)人臉。采用自適應(yīng)錨框計算，在選定錨框時采用自適應(yīng)初始錨框計算，能在訓(xùn)練時，自主計算出每個訓(xùn)練集中的最佳錨框值，小目標(biāo)分配到anchors較小，大目標(biāo)分配到anchors較大。同時也能實(shí)現(xiàn)在小特征圖上檢測大目標(biāo)，在大特征圖上檢測小目標(biāo)[5]，能提高檢測的準(zhǔn)確率。

同時YOLOv5還采用自適應(yīng)圖片縮放技術(shù)，將圖像的長寬按照一定比例縮放，對于收縮后不滿足條件的一邊再進(jìn)行填充，可以很大程度上減少黑邊的占比，并減少了計算量，提高了模型推理速度。

2）Backbone。用conv替代原本的focus，擁有了更好的導(dǎo)出性。同時在網(wǎng)絡(luò)結(jié)構(gòu)中重復(fù)用C3和Conv模塊來提取圖片的特征信息。Conv模塊是卷積+BN+激活函數(shù)的組合，激活函數(shù)在這里使用Hardwish。C3模塊替換了原來版本的BottleneckCSP模塊，改進(jìn)的地方是經(jīng)歷過殘差輸出后的Conv模塊刪去了，還有將concat后卷積中激活函數(shù)變成了Hardswish：

以上改進(jìn)減少了計算量，提升了訓(xùn)練速度，同時也提升了神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性。整個C3模塊的作用是對殘差特征進(jìn)行學(xué)習(xí)。

Backbone模塊的最后是SPP空間金字塔池化，利用一個標(biāo)準(zhǔn)卷積模塊將輸入通道減半，然后分別做kernel-size為5，9，13的最大池化[6]，經(jīng)過三個不同卷積核的最大池化下采樣之后，輸出通道數(shù)是一樣的，便于后續(xù)操作。該部分的作用時將更多不同分辨率的特征進(jìn)行融合，在送入網(wǎng)絡(luò)neck之前能夠得到更多的信息。

3）Neck中的C3和Conv結(jié)構(gòu)和Backbone中的相同。與上一層相比較，多了Concat和Upsample結(jié)構(gòu)，concat將提取出來的特征進(jìn)行融合，Upsample進(jìn)行上采樣，將提取出的feature map進(jìn)行放大，來增加圖片的分辨率。同時Neck中整體的網(wǎng)絡(luò)結(jié)構(gòu)采用用了FPN和PANet結(jié)構(gòu)。FPN通過自頂向下的結(jié)構(gòu)，將深層的語義信息傳遞到淺層，將高層特征與底層特征進(jìn)行融合，能提高對小目標(biāo)檢測的準(zhǔn)確率[7]。

4）Head的主體是三個檢測層，分別對應(yīng)Neck中得到的3種不同尺寸的特征圖，并且給每種特征圖都預(yù)設(shè)了3個不同寬高比的anchor，用來預(yù)測和回歸目標(biāo)。同時還采用三種損失函數(shù)分別計算分類、邊界框和置信度損失[8]。所使用的損失函數(shù)為CIOU_Loss：

其中，，IOU表示預(yù)測框和真實(shí)框的重疊程度，Distance_2表示預(yù)測框中心點(diǎn)和真實(shí)框中心點(diǎn)的歐式距離，Distance_C表示最小外接矩形的對角線距離。

CIOU_Loss彌補(bǔ)了IOU為0時無法得到預(yù)測框和真實(shí)框之間的距離的缺點(diǎn)，并通過NMS非極大值抑制比來提高網(wǎng)絡(luò)預(yù)測的準(zhǔn)確度[9]。

對于邊框預(yù)測的計算，可以通過先驗(yàn)框計算出：

其中Cx、Cy表示feature map中g(shù)rid cell的左上角坐標(biāo)。

其中pw、ph表示預(yù)設(shè)的anchor box映射到feature map中的寬和高。

1.3? 基于face_recongnition的關(guān)鍵點(diǎn)定位

識別出人臉后進(jìn)行關(guān)鍵點(diǎn)檢測，在dlib基礎(chǔ)上使用face_recognition庫實(shí)現(xiàn)人臉關(guān)鍵點(diǎn)識別，該模型能定位出的68個關(guān)鍵點(diǎn)。face_recognition采用的訓(xùn)練數(shù)據(jù)集是Labeled Faces in the wild，采用13 000多張人臉作為訓(xùn)練數(shù)據(jù)集訓(xùn)練出來的，測試的成功率高達(dá)99.38%。

將人臉關(guān)鍵點(diǎn)定位并繪出的代碼如下：

face_landmarks_list = face_recognition.face_landmarks （img）#img為人臉檢測后的圖像

for word， face_landmarks in enumerate （face_landmarks_list）： # 繪制面部輪廓點(diǎn)

for key， marks in face_landmarks.items（）：

for i in range （len（marks））：

point = marks[i]

cv2.circle（img， （point[0]， point[1]）， 2， （255， 125， 0）， -1）#點(diǎn)位的標(biāo)出使用藍(lán)色

2? 人臉檢測和關(guān)鍵點(diǎn)定位實(shí)現(xiàn)

2.1? 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)基于Windows操作系統(tǒng)，軟件環(huán)境Python 3.8，框架為PyTorch1.10.1，Cuda版本為10.2，并利用PyCharm遠(yuǎn)程連接恒源云上的恒源云NVIDIA GeForce RTX 3090（24 GB） GPU主機(jī)進(jìn)行訓(xùn)練，之后將訓(xùn)練好的結(jié)果下載，在本地電腦上進(jìn)行結(jié)果測試。

2.2? 數(shù)據(jù)集標(biāo)注及其訓(xùn)練

YOLOv5項(xiàng)目本身的訓(xùn)練模型能檢測到80中類別的物品，但沒有人臉這一類。想要檢測出人臉，需要重新標(biāo)注圖片并在源碼和權(quán)重上重新進(jìn)行訓(xùn)練。選用數(shù)據(jù)集圖片和用Lablimg工具對收集到的一些圖片進(jìn)行人臉標(biāo)注的圖片作為數(shù)據(jù)集，共15 980張圖片，其包含不同場景為背景的、不同膚色的、面部有裝飾物如帽子、墨鏡等各種日常生活圖片。同時將數(shù)據(jù)集分為訓(xùn)練集、測試集、驗(yàn)證集三類，來對YOLOv5進(jìn)行訓(xùn)練[10]。

在訓(xùn)練時epochs設(shè)為300，batch-size設(shè)為25，輸入圖片的尺寸為640×640[11]，訓(xùn)練采用的權(quán)重文件為YOLOV5s.pt。

2.3? 訓(xùn)練結(jié)果及分析

目標(biāo)檢測大多采用平均精度mAP來對訓(xùn)練效果進(jìn)行評判，mAP越接近于1，表明訓(xùn)練出的模型較好，檢測結(jié)果越好。

相比于YOLOv3，YOLOv4，訓(xùn)練時間大大縮短；訓(xùn)練出的模型大小為14.7 MB，體積較小，便于應(yīng)用到生活中；且mAP也有所提高，不同模型的精度對比如表1所示。

從表1可以看出，YOLOv5網(wǎng)絡(luò)訓(xùn)練出的模型mAP更高，檢測地更為準(zhǔn)確。

3? 實(shí)驗(yàn)結(jié)果分析

用訓(xùn)練出的模型last.pt進(jìn)行結(jié)果檢測和分析：

1）對輸入的圖片進(jìn)行檢測，檢測結(jié)果較為準(zhǔn)確，均能框選出人臉并定位出關(guān)鍵點(diǎn)，如圖2所示。

2）在人臉上有眼鏡、帽子等裝飾物遮擋時，例如圖3有墨鏡遮擋時，能得到理想的檢測結(jié)果。

3）圖片中目標(biāo)清晰時，能準(zhǔn)確檢測出，但小目標(biāo)人臉不清晰的時候，檢測結(jié)果可能就不太理想。在離鏡頭較進(jìn)的人臉均能被檢測出并標(biāo)注出關(guān)鍵點(diǎn)，在離鏡頭較遠(yuǎn)、分辨率不高時，只能勉強(qiáng)檢測出人臉，關(guān)鍵點(diǎn)并不能定位出來，檢測后的圖像如圖4所示。

（4）對于用攝像頭等設(shè)備進(jìn)行實(shí)時檢測，檢測的速度為30秒每幀。使用攝像頭設(shè)備采集的圖像為640×480，實(shí)時檢測如圖5所示。在光線昏暗和有少量遮擋物時仍能檢測出來，且檢測結(jié)果較為準(zhǔn)確。

4? 結(jié)? 論

實(shí)驗(yàn)基于YOLOv5對人臉進(jìn)行識別，將大量圖片送入模型中，從圖像中提取豐富的特征信息進(jìn)行訓(xùn)練，再用訓(xùn)練好的進(jìn)行檢測，之后用face_recongnition對人臉上的關(guān)鍵點(diǎn)定位。通過四種情況的實(shí)驗(yàn)結(jié)果測試和分析可以看出，訓(xùn)練出的YOLOv5s模型對于高清圖像的小目標(biāo)人臉、有部分遮擋物的人臉都能檢測出來，在光線不好的情況下，仍能正常檢測并定位出關(guān)鍵點(diǎn)，且權(quán)重文件的體積小，速度快。應(yīng)用到生活時，適用于對與一些不太需要精度和檢測小目標(biāo)并對檢測模型的體積要求小時，如人臉體溫測量，表情識別等；而需要精度和檢測小目標(biāo)，還需進(jìn)一步改進(jìn)，可以嘗試YOLOv5l、m、n等更高精度的模型，但對應(yīng)有模型體積較大等缺點(diǎn)。

參考文獻(xiàn)：

[1] 秦彩杰，管強(qiáng).一種基于F-Score的特征選擇方法 [J].宜賓學(xué)院學(xué)報，2018，18（6）：4-8.

[2] 周逸博，馬毓?jié)?，趙艷茹.基于YOLOv5s和Android的蘋果樹皮病害識別系統(tǒng)設(shè)計 [J].廣東農(nóng)業(yè)科學(xué)，2022，49（10）：155-163.

[3] 徐征宇，朱宗曉，周康，等.基于深度學(xué)習(xí)目標(biāo)檢測的可行駛區(qū)域分割 [J].現(xiàn)代信息科技，2020，4（23）：106-108.

[4] 郭智超，徐君明，劉愛東.基于嵌入式平臺與優(yōu)化YOLOv3的航拍目標(biāo)檢測方法 [J].兵工自動化，2022，41（3）：10-15+20.

[5] 陸峰，劉華海，黃長纓，等.基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)綜述 [J].計算機(jī)系統(tǒng)應(yīng)用，2021，30（3）：1-13.

[6] 邱天衡，王玲，王鵬，等.基于改進(jìn)YOLOv5的目標(biāo)檢測算法研究 [J].計算機(jī)工程與應(yīng)用，2022，58（13）：63-73.

[7] 張智堅，曹雪虹，焦良葆，等.基于改進(jìn)YoloX的輸電通道工程車輛檢測識別 [J].計算機(jī)測量與控制，2022，30（9）：67-73.

[8] 蘇兆婧，余隋懷，初建杰，等.面向云服務(wù)平臺的產(chǎn)品感性評價及標(biāo)注模型 [J].計算機(jī)集成制造系統(tǒng)，2021，27（3）：868-877.

[9] 邱天衡，王玲，王鵬，等.基于改進(jìn)YOLOv5的目標(biāo)檢測算法研究 [J].計算機(jī)工程與應(yīng)用，2022，58（13）：63-73.

[10] 唐勇，巫思敏.YOLOv3在安全帽佩戴檢測中的應(yīng)用 [J].現(xiàn)代信息科技，2021，5（23）：88-91+95.

[11] 朱高興，于瓅.基于YOLOv5-CA算法的野生動物目標(biāo)檢測研究 [J].信息技術(shù)與信息化，2022（6）：32-35.

作者簡介：張言利（2003—），女，漢族，河南駐馬店人，本科在讀，研究方向：深度學(xué)習(xí)和計算機(jī)視覺。