王成龍, 趙 倩, 郭 彤

(上海電力大學(xué) 電子與信息工程學(xué)院, 上海 200090)

在我國,大量的施工工人在施工場(chǎng)所進(jìn)行長時(shí)間的勞動(dòng)工作。由于施工工人自身安全意識(shí)薄弱,應(yīng)急處置能力亟待提高[1],在施工場(chǎng)所難免出現(xiàn)意外事故,其中施工工人頭部受傷是造成傷亡的主要原因之一。安全帽能給施工工人一定程度的安全防護(hù),是施工現(xiàn)場(chǎng)必不可少的防護(hù)工具。盡管相關(guān)企業(yè)三令五申要求施工人員增強(qiáng)安全意識(shí),及時(shí)佩戴安全帽,但由于安全意識(shí)不強(qiáng),安全帽佩戴不嚴(yán)格,安全事故頻頻發(fā)生,所以必須采取監(jiān)督措施?，F(xiàn)實(shí)情況中,人工監(jiān)督費(fèi)時(shí)費(fèi)力,不僅造成人力資源的浪費(fèi),而且由于場(chǎng)景多變及檢測(cè)人員自身原因等因素很容易造成誤檢和漏檢[2]。隨著計(jì)算機(jī)技術(shù)、機(jī)器視覺和模式識(shí)別技術(shù)的發(fā)展,安全帽佩戴自動(dòng)監(jiān)測(cè)及預(yù)警系統(tǒng)的研究成為熱點(diǎn)。

安全帽檢測(cè)作為目標(biāo)檢測(cè)的一種,對(duì)于安全生產(chǎn)有著重要的意義和應(yīng)用價(jià)值,目前國內(nèi)外學(xué)者已經(jīng)做了大量的工作。杜思遠(yuǎn)[3]在背景差分法提取的前景目標(biāo)基礎(chǔ)上,根據(jù)人體長寬比特點(diǎn),采用最小矩形圖像分割法對(duì)前景目標(biāo)區(qū)域進(jìn)行分割,實(shí)現(xiàn)作業(yè)人員安全帽佩戴狀態(tài)區(qū)域的初步定位,然后利用方向梯度直方圖(Histogram of Oriented Gradient,HOG)特征的可變形部件模型完成安全帽佩戴狀態(tài)識(shí)別判斷。PARK M W等人[4]首先通過HOG特征提取來檢測(cè)人體,接著采用顏色直方圖識(shí)別安全帽。劉曉慧等人[5]采用膚色檢測(cè)的方法定位到人臉區(qū)域,然后提取臉部以上的Hu矩特征向量,最后利用svm完成對(duì)安全帽的識(shí)別。趙震[6]提出基于OpenCV的圖形圖像處理技術(shù),在人體識(shí)別的基礎(chǔ)上,辨別出施工人員安全帽配帶情況,在一定程度上降低安全隱患。但基于Haar級(jí)聯(lián)分類器訓(xùn)練的安全帽檢測(cè)算法精度低且受環(huán)境影響明顯,難以區(qū)分安全帽是否已經(jīng)佩戴。李琪瑞[7]提出了基于人體識(shí)別的安全帽視頻檢測(cè)系統(tǒng)的理論和算法,包括基于背景減除法的運(yùn)動(dòng)目標(biāo)檢測(cè)以及背景減除法的特點(diǎn)與適用場(chǎng)景,研究了如何定位頭部區(qū)域的方法以及安全帽顏色特征的計(jì)算,但該算法的精度過于依賴人體識(shí)別的準(zhǔn)確性,施工作業(yè)現(xiàn)場(chǎng)環(huán)境復(fù)雜,且設(shè)備繁多,人體過多被設(shè)備遮擋住,因此人體識(shí)別的準(zhǔn)確度會(huì)低于通常狀態(tài)?？傊?以上算法的實(shí)現(xiàn)效果可以在一定程度上滿足施工場(chǎng)地安全帽檢測(cè)的要求,但存在檢測(cè)精度較低、泛化能力差等問題,且這些方法的共同特點(diǎn)是基于人為設(shè)計(jì)選取的底層特征,采用傳統(tǒng)的機(jī)器學(xué)習(xí)算法進(jìn)行識(shí)別分類,要求算法設(shè)計(jì)者有較高的圖像知識(shí)和豐富的實(shí)驗(yàn)經(jīng)驗(yàn),不但費(fèi)時(shí)費(fèi)力,而且泛化能力較差[8]。

近年來,隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展,深度學(xué)習(xí)技術(shù)已經(jīng)廣受學(xué)術(shù)界和工業(yè)界的關(guān)注[9],出現(xiàn)了很多基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)的安全帽檢測(cè)算法,例如基于R-CNN等局部候選框分類算法或者類似于YOLO等基于端到端的目標(biāo)檢測(cè)算法,由端到端模式的算法相對(duì)于前一種基于局部候選框分類的模式,在犧牲部分精度的基礎(chǔ)上實(shí)現(xiàn)實(shí)時(shí)檢測(cè)速度的提高。

從目前的研究進(jìn)展來看,想要找到一種能夠在無論何種場(chǎng)景下都能自動(dòng)識(shí)別安全帽佩戴與否的算法比較困難。上班期間,在廠區(qū)入口處集中進(jìn)入的人員較多,要求安全帽檢測(cè)系統(tǒng)準(zhǔn)確且速度要快;而施工現(xiàn)場(chǎng)人員姿勢(shì)不統(tǒng)一,或站立或蹲著亦或互相遮擋,給檢測(cè)增加了難度。針對(duì)以上問題,本文提出一種采用面部特征與神經(jīng)網(wǎng)絡(luò)相結(jié)合的算法,在廠區(qū)入口處將考勤和安全帽檢測(cè)功能結(jié)合在一起,利用工人在進(jìn)入廠門口時(shí)正好是正面照的特點(diǎn),基于面部特征進(jìn)行臉部定位,再利用VGG深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行安全帽佩戴檢測(cè)。

1 面部檢測(cè)與安全帽定位

1.1 人臉檢測(cè)算法

人臉檢測(cè)的目標(biāo)是自動(dòng)檢測(cè)人臉位置,并輸出人臉框在圖像中的坐標(biāo)。人臉檢測(cè)與識(shí)別技術(shù)在考勤、智能人機(jī)交互、固定場(chǎng)所出入等眾多應(yīng)用領(lǐng)域中具有重要的應(yīng)用價(jià)值,目前已成為計(jì)算機(jī)技術(shù)應(yīng)用與模式識(shí)別領(lǐng)域中的一大研究熱點(diǎn)。

本文采用多任務(wù)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)(Multi-task Convolutional Neural Network,MTCNN)算法對(duì)人臉進(jìn)行檢測(cè)和關(guān)鍵點(diǎn)的粗略定位[10]。MTCNN算法穩(wěn)定,在不同光照條件、人臉較大幅度偏轉(zhuǎn)、俯仰以及部分遮擋的情況下,依然能夠準(zhǔn)確檢測(cè)到人臉并實(shí)現(xiàn)特征點(diǎn)的精確定位。該算法主要有3個(gè)階段組成:第1階段(P-Net),利用淺層的CNN網(wǎng)絡(luò)快速產(chǎn)生候選窗體;第2階段(R-Net),通過更復(fù)雜的CNN網(wǎng)絡(luò)精煉選擇丟棄大量的候選窗體,并根據(jù)得分高低去除重疊窗體;第3階段(O-Net),再次通過CNN網(wǎng)絡(luò)實(shí)現(xiàn)候選窗體精煉,最后保留最終候選窗口并顯示5個(gè)面部關(guān)鍵點(diǎn)。算法3階段結(jié)構(gòu)相似,P-Net和R-Net在產(chǎn)生候選框與初步篩選時(shí)只通過2個(gè)3×3卷積層,最后在O-Net候選框精煉時(shí)通過3個(gè)3×3卷積層。具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

1.2 頭部安全帽定位

在人臉檢測(cè)完成后進(jìn)行頭部安全帽定位。本文設(shè)計(jì)算法不僅檢測(cè)安全帽,而且要檢測(cè)安全帽是否佩戴。如果單獨(dú)檢測(cè)安全帽,無法辨別安全帽是否已經(jīng)佩戴(比如安全帽只是出現(xiàn)在施工工人手中),就不能避免基于現(xiàn)象產(chǎn)生的誤檢,因此先檢測(cè)人臉矩形區(qū)域,根據(jù)矩形區(qū)域計(jì)算人臉長度,然后按照安全帽工業(yè)標(biāo)準(zhǔn)尺寸與人臉檢測(cè)區(qū)域按比例擴(kuò)大重新定義選取,進(jìn)行后續(xù)安全帽佩戴檢測(cè)處理。

2 VGG深度卷積神經(jīng)網(wǎng)絡(luò)

VGGNet是一種典型的圖像分類網(wǎng)絡(luò),是由牛津大學(xué)計(jì)算機(jī)視覺組(Visual Geometry Group)和Google DeepMind公司研究工作人員聯(lián)合開發(fā)的深度CNN。其主要貢獻(xiàn)是展示出網(wǎng)絡(luò)的深度,即算法優(yōu)良性能的關(guān)鍵部分,并探索了網(wǎng)絡(luò)深度與網(wǎng)絡(luò)性能之間的關(guān)系。較常用的有VGG16(13層conv+3層FC)和VGG19(16層conv+3層FC)。其中,VGG16網(wǎng)絡(luò)更簡(jiǎn)單,應(yīng)用最廣泛。VGGNet可以看成是加深版的AlexNet,但不同的是VGGnet中使用的都是小尺寸的卷積核,大小都是3×3 ;池化層采用統(tǒng)一的2×2的最大值池化,步長為2,通過不斷加深網(wǎng)絡(luò)結(jié)構(gòu)提高性能[11]。

VGGNet中使用幾個(gè)小濾波器卷積層的組合比一個(gè)大濾波器卷積層得到的效果更好。2個(gè)3×3的卷積核與1個(gè)5×5的卷積核所獲得的感受野相同,而3個(gè)3×3卷積核和1個(gè)7×7的卷積核所獲得的感受野相同。雖然使用小的卷積核時(shí),需要的層數(shù)會(huì)更多,但3×3涉及的學(xué)習(xí)參數(shù)更少,層數(shù)增多可以帶來更多的網(wǎng)絡(luò)結(jié)構(gòu),引入更多的非線性因素,從而使網(wǎng)絡(luò)對(duì)特征的學(xué)習(xí)能力更強(qiáng),最終使決策函數(shù)的判別力更強(qiáng)[11],VGGNet網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 VGG網(wǎng)絡(luò)結(jié)構(gòu)

3 安全帽檢測(cè)算法設(shè)計(jì)

安全帽檢測(cè)算法流程如圖3所示。 該算法可以將動(dòng)態(tài)視頻數(shù)據(jù)轉(zhuǎn)化為靜態(tài)檢測(cè),檢測(cè)效果良好,檢測(cè)精度大幅度提高,有效減少參數(shù)過多、內(nèi)存占用過大等問題,具有較強(qiáng)的實(shí)際利用價(jià)值。

圖3 安全帽檢測(cè)算法流程

4 實(shí)驗(yàn)結(jié)果與對(duì)比分析

4.1 實(shí)驗(yàn)環(huán)境及樣本

實(shí)驗(yàn)硬件環(huán)境為Ubuntu16.04,Inter 酷睿i5-8300H四核2.3GHz,8GB RAM,NVIDIA RTX 2080ti。

本文采用的數(shù)據(jù)集來自實(shí)際工人場(chǎng)景圖片和網(wǎng)絡(luò)收集圖片,將圖片分為佩戴安全帽與未佩戴安全帽兩類,確立數(shù)據(jù)集后通過仿射變換(旋轉(zhuǎn)、加入噪聲等)來擴(kuò)大樣本數(shù),最終生成4 207張可用圖片。將數(shù)據(jù)集按照9∶1的比例分為訓(xùn)練集與測(cè)試集,模型分別訓(xùn)練測(cè)試3次,準(zhǔn)確率取3次平均值。

在圖片預(yù)處理過程中,首先,對(duì)圖片進(jìn)行尺寸處理,尺寸大小選擇為100×100,輸入VGG網(wǎng)絡(luò),訓(xùn)練預(yù)測(cè)模型;其次,設(shè)置圖片標(biāo)簽用以分類處理;最后,對(duì)算法的準(zhǔn)確率、測(cè)試速度及模型的魯棒性進(jìn)行評(píng)估,并測(cè)試算法對(duì)現(xiàn)場(chǎng)實(shí)時(shí)采集圖像識(shí)別的效果。圖4為部分樣本數(shù)據(jù)圖片。

圖4 部分樣本數(shù)據(jù)

4.2 網(wǎng)絡(luò)參數(shù)

實(shí)驗(yàn)參考VGG官網(wǎng)提供的初始參數(shù),并對(duì)實(shí)驗(yàn)參數(shù)進(jìn)行多次微調(diào),通過測(cè)試使訓(xùn)練模型達(dá)到網(wǎng)絡(luò)檢測(cè)效果最佳。實(shí)驗(yàn)參數(shù)設(shè)置如表1所示。

表1 網(wǎng)絡(luò)參數(shù)

4.3 實(shí)驗(yàn)結(jié)果

算法檢測(cè)過程中,結(jié)合MTCNN進(jìn)行特征提取,首先定位檢測(cè)場(chǎng)景中的人臉及關(guān)鍵點(diǎn),同時(shí)按照比例對(duì)臉部檢測(cè)框進(jìn)行擴(kuò)大框選,定位安全帽位置,以便后續(xù)進(jìn)行安全帽檢測(cè)。MTCNN檢測(cè)當(dāng)前場(chǎng)景生成5個(gè)關(guān)鍵點(diǎn)坐標(biāo)分別為 (245,168),(172,118),(120,82),(84,56),(58,38),人臉關(guān)鍵點(diǎn)檢測(cè)及擴(kuò)大框選流程如圖5所示。

圖5 人臉關(guān)鍵點(diǎn)檢測(cè)及擴(kuò)大框選流程

VGG網(wǎng)絡(luò)參數(shù)在訓(xùn)練初期隨著迭代次數(shù)的增加,損失下降速度較快,后期損失下降速度變慢并逐漸趨于平穩(wěn)。對(duì)訓(xùn)練模型進(jìn)行測(cè)試,3次測(cè)試結(jié)果如表2所示。

表2 安全帽佩戴測(cè)試結(jié)果

由表2可知,測(cè)試結(jié)果良好,網(wǎng)絡(luò)預(yù)測(cè)準(zhǔn)確率較高。對(duì)被檢測(cè)人員進(jìn)行了面部檢測(cè)以及擴(kuò)大框選處理后輸入已訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行安全帽佩戴識(shí)別。實(shí)時(shí)檢測(cè)效果如圖6所示。

圖6 實(shí)時(shí)檢測(cè)效果

通過圖6中檢測(cè)效果可以看出,得出了正確的識(shí)別結(jié)果。

4.4 實(shí)驗(yàn)對(duì)比

實(shí)驗(yàn)過程中MTCNN 3部分P-Net,R-Net,O-Net模型所需儲(chǔ)存空間分別為56 kB,429 kB,1.52 MB,安全帽檢測(cè)模型97 MB,總計(jì)占用內(nèi)存空間99 MB。實(shí)驗(yàn)采用文獻(xiàn)[12]中的YOLOv3和文獻(xiàn)[13]中的Faster rcnn目標(biāo)檢測(cè)算法與本文提出的算法進(jìn)行對(duì)比,以模型體積(Size)和每秒識(shí)別的幀數(shù)(FPS)作為評(píng)價(jià)標(biāo)準(zhǔn)。測(cè)試結(jié)果如表3所示。

表3 測(cè)試結(jié)果

由表3可以看出,本文提出的算法模型更小,檢測(cè)幀率更高,更加適合實(shí)際檢測(cè)場(chǎng)景。實(shí)驗(yàn)過程中,通過與文獻(xiàn)[6]中采用OpenCV級(jí)聯(lián)分類器檢測(cè)算法進(jìn)行對(duì)比發(fā)現(xiàn),本文提出的算法優(yōu)點(diǎn)比較明顯。OpenCV級(jí)聯(lián)分類器訓(xùn)練網(wǎng)絡(luò)檢測(cè)時(shí)只針對(duì)安全帽,無法辨別安全帽是否已經(jīng)佩戴,若安全帽只是出現(xiàn)在施工工人手中,基于此類算法便會(huì)出現(xiàn)誤檢現(xiàn)象,而本文提出的算法將面部特征與安全帽特征聯(lián)合進(jìn)行檢測(cè),有效避免此類情況的發(fā)生,使用 MTCNN進(jìn)行面部信息采集,準(zhǔn)確率高,結(jié)合神經(jīng)網(wǎng)絡(luò)進(jìn)行安全帽檢測(cè)效果良好。同時(shí),通過OpenCV級(jí)聯(lián)分類器進(jìn)行訓(xùn)練難以附加施工現(xiàn)場(chǎng)所需的其他功能,比如身份信息、疲勞檢測(cè)、性別等,而本文算法充分與考勤工作系統(tǒng)相結(jié)合,實(shí)現(xiàn)系統(tǒng)功能豐富的同時(shí)增強(qiáng)工人工作的安全性,更符合實(shí)際環(huán)境需求。

5 結(jié) 論

本文在人臉檢測(cè)的基礎(chǔ)上提出了安全帽自動(dòng)檢測(cè)算法,得出如下結(jié)論。

(1) 實(shí)驗(yàn)使用tensorflow與keras進(jìn)行VGG神經(jīng)網(wǎng)絡(luò)搭建。對(duì)采集到的圖片進(jìn)行數(shù)據(jù)處理與數(shù)據(jù)增強(qiáng),建立數(shù)據(jù)集進(jìn)行訓(xùn)練與測(cè)試,檢測(cè)模型占用內(nèi)存小,識(shí)別準(zhǔn)確率高,所以可以有效對(duì)施工人員進(jìn)行安全帽檢測(cè),改善施工現(xiàn)場(chǎng)安全狀況,給予施工人員更多的安全保障。

(2) 結(jié)合面部特征進(jìn)行檢測(cè)可以實(shí)時(shí)準(zhǔn)確地對(duì)視頻中出現(xiàn)的工作人員進(jìn)行安全帽檢測(cè),并確定人員信息,在實(shí)際應(yīng)用中具有可行性,同時(shí)可以在識(shí)別系統(tǒng)中添加多重特征輔助定位、多人檢測(cè)、疲勞檢測(cè)、工人身份信息等功能,將更有利于保障施工工人的人身安全,給施工工人提供有序的工作環(huán)境。