郭普特 鄭 斌 黃 敏 蘇 潔 李鋮杰 韋天健 劉 宇

（長沙理工大學(xué)計(jì)算機(jī)與通信工程學(xué)院,湖南 長沙 410114）

0 引言

建筑業(yè)是國民經(jīng)濟(jì)的重要物質(zhì)生產(chǎn)行業(yè)，它與整個(gè)國家的經(jīng)濟(jì)發(fā)展和人民的生活質(zhì)量息息相關(guān)，但近幾年來，建筑行業(yè)的安全事故一直呈現(xiàn)上升趨勢，究其原因，對安全帽的忽視是很重要的一個(gè)因素。正確佩戴安全帽能夠在一定程度上避免事故的發(fā)生，然而，工人不戴安全帽的不安全行為時(shí)有發(fā)生，主要原因是安全帽智能檢測系統(tǒng)市場的空缺，依靠安全管理人員監(jiān)控來提醒工人佩戴安全帽，不光監(jiān)控時(shí)效性差、監(jiān)控范圍具有局限性以及無法全程監(jiān)控等，還會(huì)導(dǎo)致人力成本的增加。

考慮到檢測現(xiàn)場作業(yè)人員安全帽佩戴情況的任務(wù)對實(shí)時(shí)性要求很高，團(tuán)隊(duì)首先考慮了實(shí)時(shí)性強(qiáng)且準(zhǔn)確度也可靠的YOLO系列模型。其中，YOLOX是該系列中性能最強(qiáng)大的模型版本，但YOLOX、YOLOv4和YOLOv5模型對邊緣設(shè)備的架構(gòu)不具有廣泛的兼容性，考慮到這一點(diǎn)，本文研究采用工業(yè)制造最常用的 YOLOv3[7-9]檢測模型來實(shí)現(xiàn)檢測任務(wù)。YOLOv3(You Only Look Once V3)模型作為端到端目標(biāo)檢測模型的代表，不僅具有良好的實(shí)時(shí)性，同時(shí)具有較高的準(zhǔn)確性。本文基于YOLOv3模型設(shè)計(jì)了安全帽檢測算法，并通過PyQt5創(chuàng)建了可視化界面，實(shí)現(xiàn)了跨平臺(tái)功能的同時(shí)方便了遠(yuǎn)程終端的智能監(jiān)控，測試過程中視頻檢測的FPS基本保持在20以上，mAP達(dá)到86.7%（數(shù)據(jù)集由本團(tuán)隊(duì)制作，測試集共1518張圖片，測試設(shè)備為Nvidia AGX Xavier）

1 系統(tǒng)架構(gòu)

1.1 整體架構(gòu)

基于深度學(xué)習(xí)安全帽智能識(shí)別系統(tǒng)可分為兩個(gè)子系統(tǒng)，分別為以目標(biāo)檢測算法為主體的安全帽識(shí)別系統(tǒng)和以用戶操作為主體的智能終端交互系統(tǒng)。系統(tǒng)框架如圖1 所示。

圖1 系統(tǒng)整體架構(gòu)圖

1.2 系統(tǒng)運(yùn)行環(huán)境及框架版本要求

在檢測過程中，性能的開銷主要來源于神經(jīng)網(wǎng)絡(luò)對特征圖的卷積等操作和網(wǎng)絡(luò)中各層參數(shù)在存儲(chǔ)系統(tǒng)中頻繁的調(diào)度。本系統(tǒng)所采用的YOLOv3模型本身具有較好的并行性，但由于其運(yùn)行時(shí)存儲(chǔ)的圖像數(shù)據(jù)和模型參數(shù)會(huì)占用較大的存儲(chǔ)空間，所以過小的運(yùn)行內(nèi)存將會(huì)導(dǎo)致其檢測性能下降，因此需要使用擁有更大內(nèi)存空間的運(yùn)算平臺(tái)來支撐本系統(tǒng)的正常運(yùn)行，本系統(tǒng)使用Nvidia AGX Xavier作為計(jì)算平臺(tái)。

本系統(tǒng)設(shè)計(jì)的另一個(gè)目標(biāo)為跨平臺(tái)運(yùn)行，為實(shí)現(xiàn)該運(yùn)行效果，上位機(jī)系統(tǒng)開發(fā)階段要求所有功能均使用PyQt5框架提供的庫函數(shù)以保證系統(tǒng)的兼容性。本系統(tǒng)采用的PyQt版本為5.13.0。

2 基于深度學(xué)習(xí)的目標(biāo)檢測算法實(shí)現(xiàn)

2.1 YOLOv3模型框架

YOLO3模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖 2 所示，主要由三部分組成，分別是特征提取網(wǎng)絡(luò)、特征增強(qiáng)結(jié)構(gòu)和目標(biāo)檢測層。模型檢測的過程中，首先將攝像頭捕獲的圖像信息送入特征提取網(wǎng)絡(luò)Darknet-53進(jìn)行特征提取，該骨干網(wǎng)絡(luò)通過一系列的下采樣操作來提取圖像中不同層級的特征信息，其中殘差結(jié)構(gòu)通過將殘差塊的主干網(wǎng)絡(luò)處理后的特征圖和原始特征圖進(jìn)行疊加來抑制反向傳播時(shí)梯度消失的發(fā)生，該結(jié)構(gòu)使得深層網(wǎng)絡(luò)在進(jìn)行訓(xùn)練的時(shí)候也能穩(wěn)定地收斂。其次，在特征增強(qiáng)網(wǎng)絡(luò)中采用類FPN結(jié)構(gòu)（特征金字塔結(jié)構(gòu)），即連續(xù)地將Darknet-53骨干網(wǎng)絡(luò)中間層特征圖和后一層特征圖的上采樣結(jié)果進(jìn)行拼接，以融合不同層級特征圖中的語義信息。最后，得到 13×13、26×26、52×52 三種不同尺寸的特征圖輸出，以適用于圖像中不同大小的安全帽目標(biāo)檢測。

圖2 YOLOv3模型結(jié)構(gòu)圖[10]

2.2 Soft-NMS 優(yōu)化

傳統(tǒng)的NMS（非極大值抑制）算法有一定的缺陷，如當(dāng)兩個(gè)物體在圖像中距離較近時(shí)，NMS算法會(huì)將得分較低的檢測框直接刪除，最后可能導(dǎo)致漏檢的情況。針對該問題，本文采用Bodla等[11]提出的Soft-NMS算法，該算法的核心是“合理降低重疊預(yù)測框的置信度”，如果圖像中同一個(gè)物體有多個(gè)重疊的預(yù)測框，此時(shí)通過排序算法選出得分最高的預(yù)測框，再計(jì)算其他預(yù)測框和得分最高預(yù)測框的IoU值，值越大則該預(yù)測框置信度被降低得越多，經(jīng)過一輪操作后即可濾除重復(fù)的預(yù)測框，而保留正確的預(yù)測框。傳統(tǒng)NMS算法和Soft-NMS算法處理效果對比如圖3中(a)、(b)所示。

圖3 Soft NMS優(yōu)化對比圖

2.3 圖像增強(qiáng)

對于卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，數(shù)據(jù)集中圖像的數(shù)量和質(zhì)量會(huì)直接影響模型最終的檢測性能。模型訓(xùn)練的數(shù)據(jù)集由團(tuán)隊(duì)在實(shí)地中拍攝采集而來，對已有的訓(xùn)練圖像數(shù)據(jù)做圖像增強(qiáng)等預(yù)處理，能夠在一定程度上優(yōu)化訓(xùn)練的質(zhì)量，本文從以下兩個(gè)方面來完成圖像增強(qiáng)的操作：

（1）受到張等[12]提出的視覺相干圖像混合算法的啟發(fā)，應(yīng)用Mixup算法防止特征增強(qiáng)過程中檢測目標(biāo)發(fā)生畸變。采取保留圖像幾何特征的方式進(jìn)行混合，可以成功減輕網(wǎng)絡(luò)中由于批量數(shù)據(jù)的變換所帶來的擾動(dòng)，同時(shí)提升對復(fù)雜圖像的檢測能力。

11號礦體：該礦體的構(gòu)成為一套礦條和平行的扁豆體，在5～8線展布，總長為2 500 m，厚度為16.4～108.4 m，平均為42.7 m，走向呈北北東方向，傾向南東，傾角為80°～85°。

（2）同時(shí)結(jié)合傳統(tǒng)的數(shù)據(jù)預(yù)處理方式，包括隨機(jī)的顏色抖動(dòng)、隨機(jī)翻轉(zhuǎn)、旋轉(zhuǎn)和裁剪圖像，以提高泛化精度并避免過度擬合。

2.4 IoU 度量優(yōu)化

IoU是一種度量在特定數(shù)據(jù)集中檢測相應(yīng)物體準(zhǔn)確度的一個(gè)標(biāo)準(zhǔn)。但I(xiàn)oU作為度量和損失函數(shù)時(shí)存在以下問題:

（1）若圖像中兩個(gè)對象不重疊，IoU值將為零，則不能反映兩個(gè)對象之間的距離，在該情況下如果使用IoU作為損失函數(shù)的參考值，則梯度將為零，將無法對模型進(jìn)行優(yōu)化。

（2）IoU不能正確地區(qū)分兩個(gè)目標(biāo)之間不同的對齊形式，更確切地說，不同方向上有相同交叉級別的兩個(gè)重疊對象的IoU會(huì)完全相同。

針對存在的問題，本文采用了GIoU[13]的方法來計(jì)算損失，即首先計(jì)算兩個(gè)框的最小閉包區(qū)域的面積，同時(shí)計(jì)算出 IoU，再計(jì)算閉包區(qū)域中不屬于兩個(gè)框的區(qū)域占閉包區(qū)域的比重，最后用IoU減去這個(gè)比重得到GIoU，如公式（1）所示：

2.5 基于深度學(xué)習(xí)的目標(biāo)檢測模型訓(xùn)練及方案實(shí)現(xiàn)

基于深度學(xué)習(xí)的目標(biāo)檢測模型的訓(xùn)練步驟如下：

使用Python3.6.9+Pytorch1.7.0+CUDA10.2 搭建模型運(yùn)行平臺(tái)，通過遷移學(xué)習(xí)算法加載已經(jīng)ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練好的模型參數(shù)，提高下游任務(wù)的學(xué)習(xí)效率。

實(shí)地采集圖像數(shù)據(jù)，使用Labelimg工具給圖像數(shù)據(jù)打上標(biāo)簽，制作成模型訓(xùn)練、測試數(shù)據(jù)集。

使用圖像增強(qiáng)算法對訓(xùn)練數(shù)據(jù)集進(jìn)行擴(kuò)充。

將數(shù)據(jù)集接入模型，使用NAdam優(yōu)化器來實(shí)現(xiàn)對模型的優(yōu)化，同時(shí)采取余弦退火算法對學(xué)習(xí)率進(jìn)行一個(gè)動(dòng)態(tài)調(diào)節(jié)。

根據(jù)全插值方法把數(shù)據(jù)準(zhǔn)確率與召回率構(gòu)成的p-r曲線的函數(shù)進(jìn)行求積分操作以獲得AP，通過求出所有類別物體（未佩戴安全帽的工人和已佩戴安全帽的工人）的平均AP獲得mAP的值。

將訓(xùn)練好的模型參數(shù)導(dǎo)入網(wǎng)絡(luò)中，構(gòu)建成系統(tǒng)中的目標(biāo)檢測模型。

通過以上步驟訓(xùn)練得到的模型即可實(shí)現(xiàn)視頻圖像中安全帽的實(shí)時(shí)檢測。

3 交互設(shè)計(jì)與實(shí)現(xiàn)

3.1 顯示界面模塊

圖像顯示模塊的主要作用是將神經(jīng)網(wǎng)絡(luò)處理后的檢測結(jié)果信息顯示在GUI界面上，上位機(jī)顯示效果如圖4所示。

圖4 界面布局設(shè)計(jì)

團(tuán)隊(duì)使用PyQt5 平臺(tái)中的QGraphicsView作為顯示圖像的控件，方便讀取 QImage 中的內(nèi)容并進(jìn)行顯示。

3.2 界面元素布局模塊設(shè)計(jì)

PyQt5為開發(fā)者提供了QVBoxLayout、QHBoxLayout、QGridLayout等基本布局管理類[14]，這些基本布局管理類可以通過相互嵌套來實(shí)現(xiàn)自適應(yīng)窗口大小的功能，本系統(tǒng)采用了QVBoxLayout和QHBoxLayout的嵌套來實(shí)現(xiàn)該功能，為用戶設(shè)計(jì)了“打開文件”“開始/暫?！薄按蜷_攝像頭/退出系統(tǒng)”的功能按鍵，實(shí)現(xiàn)了對本地視頻文件的讀入、對工地現(xiàn)場攝像頭進(jìn)行操作等智能化功能。

3.3 文件存儲(chǔ)模塊設(shè)計(jì)

PyQt5中的QImage提供了文件讀取、存儲(chǔ)的功能，同時(shí)提供了編輯圖像單個(gè)像素點(diǎn)的接口，使得開發(fā)程序得到了簡化。QImage支持讀取和保存圖片的數(shù)據(jù)格式包括JPG、JPEG、PNG、BMP等。

4 基于深度學(xué)習(xí)的安全帽智能識(shí)別系統(tǒng)測試

本文在Nvidia AGX Xavier平臺(tái)上針對1518張測試數(shù)據(jù)集進(jìn)行了測試，其中包括了對密集人群檢測效果和遠(yuǎn)距離安全帽檢測效果的測試，測試效果如圖5(a)、(b)所示。

圖5 檢測效果圖

從檢測結(jié)果來看，系統(tǒng)的核心功能達(dá)到了團(tuán)隊(duì)的預(yù)期目標(biāo)，系統(tǒng)實(shí)時(shí)檢測的效率較高，對密集人群和遠(yuǎn)距離安全帽的檢測效果達(dá)到了理想的效果，其他正常環(huán)境下出現(xiàn)誤測的情況較少。同時(shí)對是否佩戴安全帽的工人采用了兩種不同顏色的檢測框來區(qū)分（白色為沒有佩戴安全帽，綠色為正確佩戴安全帽），為監(jiān)控人員了解施工人員的安全帽佩戴情況提供了良好的參考依據(jù)。

5 結(jié)論

本文采用改進(jìn)后的YOLOv3模型實(shí)現(xiàn)了對安全帽的實(shí)時(shí)準(zhǔn)確檢測，并基于PyQt5開源框架開發(fā)了用于展示檢測結(jié)果的跨平臺(tái)遠(yuǎn)程終端智能交互界面，最終實(shí)現(xiàn)的智能檢測系統(tǒng)填補(bǔ)了建筑行業(yè)安全帽智能識(shí)別系統(tǒng)的空缺，給現(xiàn)場作業(yè)人員的安全帶來了有效的保障。但是該系統(tǒng)依然存在一些缺陷，比如檢測效果受到光照條件影響較大、系統(tǒng)對運(yùn)行平臺(tái)的算力要求較高等問題，在今后的研究中，團(tuán)隊(duì)將針對這些問題繼續(xù)對檢測模型進(jìn)行優(yōu)化改進(jìn)。