王 珩

(上海工業(yè)自動化儀表研究院有限公司，上海 200233)

0 引言

近年來，隨著工業(yè)4.0概念的提出和深度學(xué)習(xí)等高新技術(shù)的發(fā)展，場景目標(biāo)物體檢測逐漸成為計算機視覺領(lǐng)域的研究熱點[1-2]。傳統(tǒng)視頻監(jiān)控系統(tǒng)對于工廠生產(chǎn)過程中設(shè)備或人為的異常情況，只能通過即時的人為監(jiān)視或人工巡檢，以及事后通過歷史數(shù)據(jù)，查找當(dāng)時事件發(fā)生狀況。而智能檢測系統(tǒng)能夠在無人值守監(jiān)控的情況下，隨時隨地使用一套固定的邏輯，及時記錄不遵循規(guī)范的現(xiàn)場人員并通知相關(guān)人員[3]。因此，研究如何從監(jiān)控中提取有用信息，并對感興趣的信息進(jìn)行處理，具有重要的實際意義。

對于安全帽識別任務(wù)，目前大多數(shù)學(xué)者是基于傳統(tǒng)方法。其中，劉曉慧等[4]利用膚色信息定位，再借助支持向量機(support vector machine,SVM)，通過交叉驗證選定合適的核函數(shù)，最終實現(xiàn)安全帽佩戴狀態(tài)的識別；劉云波等[5]通過連續(xù)圖像檢測運動目標(biāo)，根據(jù)顏色特征判斷運動目標(biāo)是否佩戴安全帽。上述研究已經(jīng)取得了一些成果。但由于頭盔顏色形狀差異，以及相機角度、距離、光線等外界因素變化，這些安全帽識別算法的魯棒性較差，易受外界環(huán)境干擾。

綜上所述，對于安全帽識別任務(wù)，目前欠缺一種高魯棒性的分類算法。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展[6]，提出了多種基于深度學(xué)習(xí)的目標(biāo)檢測[7-8]和目標(biāo)跟蹤算法[9]，為研究者提供嶄新的思路。本研究將基于深度學(xué)習(xí)地神經(jīng)網(wǎng)絡(luò)識別方案，通過對工廠區(qū)域的視頻圖像機型處理，進(jìn)而識別工人安全帽的佩戴狀態(tài)。

1 YOLO網(wǎng)絡(luò)結(jié)構(gòu)模型

YOLO網(wǎng)絡(luò)是一個以目標(biāo)檢測為目的而設(shè)計的網(wǎng)絡(luò)。由于YOLO本身端到端的特性，它的計算速度比大多數(shù)深度網(wǎng)絡(luò)快，具有良好的實時性；此外，該網(wǎng)絡(luò)可以在具有良好魯棒性的前提下保持較高的準(zhǔn)確率?；谝陨蟽纱髢?yōu)勢，它被認(rèn)為可以滿足大部分工業(yè)檢測場景準(zhǔn)確性和實時性需求，具有良好的工業(yè)應(yīng)用前景，因而在最近幾年被廣泛研究。YOLOv3網(wǎng)絡(luò)是YOLO網(wǎng)絡(luò)作者根據(jù)初代YOLO網(wǎng)絡(luò)，經(jīng)過數(shù)次改良的產(chǎn)物，具有更好的性能。這也是本文選用YOLOv3進(jìn)行一系列研究的原因。

Darknet 53結(jié)構(gòu)單元如圖1所示。

圖1 Darknet 53結(jié)構(gòu)單元 Fig.1 Darknet53 structure units

YOLO網(wǎng)絡(luò)僅使用卷積層，屬于全卷積網(wǎng)絡(luò)。這在減少了參數(shù)變量的同時，加快了網(wǎng)絡(luò)的運行速度。相比于其他神經(jīng)網(wǎng)絡(luò)，YOLO系列神經(jīng)網(wǎng)絡(luò)通過合理的設(shè)計，成功地將目標(biāo)檢測問題轉(zhuǎn)化為回歸問題，因而直接通過網(wǎng)絡(luò)產(chǎn)生物體的位置和所屬類別信息。而其他主流網(wǎng)絡(luò)[10]，大多數(shù)需要對已經(jīng)過神經(jīng)網(wǎng)絡(luò)處理輸出的圖像進(jìn)行再處理。

YOLOv3主體卷積網(wǎng)絡(luò)是以Darknet 53[11]結(jié)構(gòu)為基礎(chǔ)。由圖1可知，Darknet 53結(jié)構(gòu)由53層卷積層搭建而成。為了防止梯度消失以及梯度爆炸現(xiàn)象，Darknet-53網(wǎng)路之間由加入了殘差單元，這樣可以讓網(wǎng)絡(luò)進(jìn)行層數(shù)更深的訓(xùn)練。由于殘差單元過多會導(dǎo)致其他不良的結(jié)果，因此Darknet-53選擇加入五個殘差單元(Resnetunit)[12]。每個殘差單元的搭建如圖1(a)所示，上層原始輸入不僅僅會通過兩個DBL單元輸入到更下層，還會跳過DBL單元直接到下層。換而言之，下層會收到原始上層數(shù)據(jù)以及處理過的上層數(shù)據(jù)。通過這種方式，構(gòu)建了一個殘差單元。DBL 單元結(jié)構(gòu)包含卷積層、批歸一化(batch normalization)層和leaky-relu激活函數(shù)層，共計3層結(jié)構(gòu)。

YOLOv3相比Darknet 53架構(gòu)，作出了一些改進(jìn)。YOLOv3整體架構(gòu)如圖2所示。

圖2 YOLOv3 整體架構(gòu)示意圖 Fig.2 YOLOv3 overall structure

YOLOv3加入了更多的卷積層，用于提取物體的深層特征。YOLOv3共有75個卷積層，包括跳躍連接和上采樣層。此外，它以2步長的卷積層替代了傳統(tǒng)的最大池化層。卷積與池化層相比，有了更多變化的可能。YOLOv3網(wǎng)絡(luò)對輸入圖片總共進(jìn)行了5 次降采樣，并分別在最后3次降采樣中對目標(biāo)進(jìn)行預(yù)測。最后3 次降采樣的輸出，可以理解為分別包含了3 個尺度目標(biāo)檢測的特征圖。當(dāng)尺度越大時，其提取的特征圖就越小。這些大小不同的特征圖也有各自的作用：小特征圖提供了深層次語義信息，大特征圖則提供了目標(biāo)位置信息。此外，YOLOv3網(wǎng)絡(luò)中事先準(zhǔn)備了通路，使得小特征圖可以經(jīng)過上采樣和大特征圖融合，從而使大特征圖中含有小特征圖中的特征信息。即使模型設(shè)定的檢測目標(biāo)較大，圖中小特征的丟失也較少。因此，YOLOv3網(wǎng)絡(luò)對于大小各異的目標(biāo)均有不錯的定位效果。

不同尺度的特征圖通過YOLOv3最底層的探測層，輸出為一張包含多尺度信息的最終特征圖。最終特征圖中，每一個尺寸下網(wǎng)格單元中包含了[B×(5+C)]的數(shù)據(jù)。其中，B為每個單元中預(yù)測框的個數(shù)，用于預(yù)測某一類特定物體，每個預(yù)測框有5個數(shù)據(jù)(即x、y、w、h、S+C)。其中：(x,y)為預(yù)測框的中心相對于單元格的偏移，(w,h)為預(yù)測框相對與對應(yīng)錨點的寬高偏移，S為置信值。

S=Pobject×U

(1)

式中:Pobject為預(yù)測框中物體的概率，1為存在，0為不存在；U為預(yù)測框與真實框的交并比(intersection over union,IOU)；C為C個類別的條件概率Pclass|object。

一般每個YOLO網(wǎng)絡(luò)單元中預(yù)測框個數(shù)B=3。最后，對這些預(yù)測框使用回歸算法，并通過非極大值抑制(non-maximum suppression,NMS)合理化輸出判斷結(jié)果，完成目標(biāo)檢測任務(wù)。

此外，YOLOv3算法使用了錨點框，以提高檢測的準(zhǔn)確性。因此，本次安全帽識別任務(wù)中也應(yīng)用了此方法。這部分內(nèi)容學(xué)習(xí)方法和前兩段的圖像特征學(xué)習(xí)有一定的區(qū)別，因此放在最后進(jìn)行說明。為了合理確定初始的錨點框的初始尺寸，本文使用Kmeans聚類方法，以訓(xùn)練樣本中已標(biāo)注的邊界框尺寸作為樣本，確定錨點框尺寸。選擇k個聚類中心(k為9)，以式(2)作為距離函數(shù)進(jìn)行聚類。其中,Ubbox，kmeans表示邊界框和聚類尺寸的交并比[13]。

dbbox,kmeans=1-Ubbox,kmeans

(2)

2 YOLO的遷移學(xué)習(xí)

如果將每一個網(wǎng)絡(luò)從頭到尾進(jìn)行訓(xùn)練，直到其能應(yīng)用于實際工程任務(wù)，那么有兩個條件是必要的。一是大量的訓(xùn)練數(shù)據(jù)集，二是有不進(jìn)入、反向傳播的驗證集。前者是訓(xùn)練網(wǎng)絡(luò)性能，得到更深層、有效的圖像特征；后者是為了防止過擬合現(xiàn)象，避免出現(xiàn)訓(xùn)練集精度變高而實際任務(wù)精度變低的情況。

為了將YOLOv3網(wǎng)絡(luò)應(yīng)用于安全帽識別任務(wù)，第一步就是得到上述兩類數(shù)據(jù)。本研究通過調(diào)用廠區(qū)工人作業(yè)的現(xiàn)場監(jiān)控視頻，得到原始圖像；然后，以人工標(biāo)注的方式，建立安全帽佩戴識別檢測數(shù)據(jù)集。然而，由于人工標(biāo)注信息消耗時間較大，加之原始有效圖像較少，因而有類標(biāo)的數(shù)據(jù)集共有465張圖片。因此，即使不將數(shù)據(jù)集分為訓(xùn)練集和數(shù)據(jù)集而是全部應(yīng)用于訓(xùn)練，所需要的訓(xùn)練數(shù)據(jù)集也是遠(yuǎn)遠(yuǎn)不夠的。不僅如此，YOLOv3是全卷積網(wǎng)絡(luò)。用于特征提取部分的卷積層更需要大量的樣本訓(xùn)練，才能提取到更易于分類的深層特征。可以預(yù)見，如果直接用此數(shù)據(jù)集訓(xùn)練YOLO網(wǎng)絡(luò)，必然很難得到具有泛化性的結(jié)果。

針對以上問題，本文采用遷移學(xué)習(xí)[14]的方法訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。由于YOLOv3已經(jīng)Image-Net上試驗過千分類任務(wù)，因此YOLOv3網(wǎng)絡(luò)的每個節(jié)點，實際上均已經(jīng)過參數(shù)訓(xùn)練。因此，可以將ImageNet[15]的分類數(shù)據(jù)集作為源域。首先，在YOLOv3的每個參數(shù)點載入這些參數(shù)。這是因為使用ImageNet數(shù)據(jù)集訓(xùn)練完分類網(wǎng)絡(luò)后，卷積核的權(quán)值經(jīng)過訓(xùn)練，已經(jīng)具備了可以提取泛化特征的能力。然后，使用模式識別的微調(diào)的方式，凍結(jié)網(wǎng)絡(luò)層的絕大部分，只對最后幾層(尤其是最后用于將特征向量轉(zhuǎn)化成概率輸出softmax[16]層)啟用反向傳播，進(jìn)行節(jié)點參數(shù)的數(shù)據(jù)更新。這是為了讓最后幾層的深度卷積層提取特定任務(wù)下的深層特征，從而使得YOLOv3可以應(yīng)用于本次任務(wù)。對于本研究而言，所希望提取的特征信息就是安全帽以及其相關(guān)像素點的計算機視覺特征。在使用了遷移學(xué)習(xí)后，就可以將數(shù)據(jù)集的一部分分割到驗證集之中，以防止過擬合現(xiàn)象的發(fā)生。在使用遷移學(xué)習(xí)后，將網(wǎng)絡(luò)性能訓(xùn)練到滿足要求已經(jīng)不再需要大量的訓(xùn)練集。在本次任務(wù)中，訓(xùn)練集有360個樣本集，用于訓(xùn)練回歸預(yù)測部分的卷積核參數(shù)；測試集有105個樣本，不進(jìn)入反向傳播而直接輸入網(wǎng)絡(luò)計算結(jié)果，用于客觀評價網(wǎng)絡(luò)的實際性能。

3 試驗結(jié)果及分析3.1 試驗方案設(shè)計

在試驗之前的準(zhǔn)備數(shù)據(jù)集階段，使用lableImg工具將數(shù)據(jù)集標(biāo)定為三類，即A類、B類、C類。A類表示人體上半身，B類正確佩戴安全帽的頭像，C類是沒有佩戴安全帽的頭像。將標(biāo)定好的數(shù)據(jù)集在服務(wù)器上，使用上述方式對YOLOv3網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后得到該網(wǎng)絡(luò)的模型參數(shù)。

試驗階段，每隔時間N秒從視頻圖像中取待測幀圖像，對待測圖像預(yù)處理，轉(zhuǎn)換待測圖像數(shù)據(jù)格式以及調(diào)整圖像尺寸；將預(yù)處理好的圖像載入已經(jīng)訓(xùn)練好的YOLO模型中，模型輸出A類、B類、C類。A類記作An，B類記作Bn，C類記作Cn。其中：n為檢測到各個類別的個數(shù)，n=1，2，…，N。

算法流程如圖3所示。

圖3 算法流程圖 Fig.3 Algorithm flowchart

3.2 試驗平臺

本試驗分模型訓(xùn)練階段和檢測階段。模型訓(xùn)練階段對硬件環(huán)境要求很高，使用了GTX1080Ti的GPU服務(wù)器進(jìn)行運算。檢測階段對硬件環(huán)境也有一定要求：使用了GTX1050的GPU臺式機，搭建了用于試驗的環(huán)境，包括Ubuntu16、CUDA、python、OpenCV、gcc 等常用環(huán)境，YOLOv3使用了Darknet-53 框架。使用YOLOv3官網(wǎng)上提供的權(quán)重參數(shù)作為網(wǎng)絡(luò)訓(xùn)練的初始化參數(shù)，對已標(biāo)定的安全帽佩戴檢測訓(xùn)練數(shù)據(jù)集中的圖片進(jìn)行網(wǎng)絡(luò)參數(shù)微調(diào)，從而使整個網(wǎng)絡(luò)檢測達(dá)到最好效果。

3.3 試驗數(shù)據(jù)集

對深度學(xué)習(xí)而言，試驗數(shù)據(jù)集是該算法能否有效的重要條件。然而，安全帽檢測的數(shù)據(jù)集目前在公開數(shù)據(jù)集中不存在。故本文使用工廠監(jiān)控視頻自制了安全帽的數(shù)據(jù)集，主要包括以下步驟。

①數(shù)據(jù)收集：數(shù)據(jù)主要來源于廠區(qū)工人作業(yè)的現(xiàn)場監(jiān)控視頻，以及沒有佩戴安全帽的頭部圖像。其中以廠區(qū)現(xiàn)場監(jiān)控視頻為主。

②數(shù)據(jù)預(yù)處理：廠區(qū)使用的是高清視頻攝像頭，因此數(shù)據(jù)預(yù)處理需要使用Opencv視頻開發(fā)庫把視頻文件轉(zhuǎn)換成圖像的PNG格式。轉(zhuǎn)化的圖像作為圖像數(shù)據(jù)集。圖像統(tǒng)一尺寸為(640×480)像素。

③數(shù)據(jù)標(biāo)定：使用labelImg數(shù)據(jù)標(biāo)定工具對安全帽佩戴檢測數(shù)據(jù)庫的圖片進(jìn)行標(biāo)記。該工具需要手工標(biāo)記出對圖片的自定義目標(biāo)，最后可根據(jù)輸入的標(biāo)記信息生成相關(guān)的配置文件。

3.4 YOLO模型訓(xùn)練

試驗使用360個樣本數(shù)據(jù)作為反向傳播遷移學(xué)習(xí)的訓(xùn)練數(shù)據(jù)。數(shù)據(jù)分辨率和自制數(shù)據(jù)集分辨率相同，均為(640×480)像素，檢測的類別包括A類、B類、C類。將標(biāo)定好的數(shù)據(jù)集在服務(wù)器上使用YOLOv3網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后得到該網(wǎng)絡(luò)的模型參數(shù)。使用360訓(xùn)練樣本訓(xùn)練YOLO模型。將105個樣本圖像輸入訓(xùn)練好的模型，進(jìn)行對場景類別和目標(biāo)位置的預(yù)測。當(dāng)YOLO神經(jīng)網(wǎng)絡(luò)預(yù)測的目標(biāo)邊界框與手工標(biāo)定的邊界框交并比u大于等于0.5時，則任務(wù)預(yù)測成功。本試驗采用準(zhǔn)確率、召回率作為評價標(biāo)準(zhǔn)。

訓(xùn)練效果如下。本試驗共進(jìn)行了2 500訓(xùn)練，每次喂入網(wǎng)絡(luò)圖片數(shù)量BATCH_SIZE為8。隨著訓(xùn)練輪數(shù)的增加，預(yù)測類別和真實類別、預(yù)測尺寸和真實尺寸的損失值都在逐漸減小。但是由于訓(xùn)練樣本不大，導(dǎo)致訓(xùn)練集和測試集最后出現(xiàn)過擬合。隨著以后增大訓(xùn)練樣本，該問題可以得到解決。

3.5 結(jié)果分析

在實際測試時，算法可以檢測出目標(biāo)未佩戴安全帽或者佩戴其他帽子的情況，準(zhǔn)確率在95%以上。同時，在實際測試中，基于YOLOv3安全帽檢測算法對多目標(biāo)檢測也有效果。試驗結(jié)果表明，本檢測方法能夠在保持較高檢測速率的同時，基本滿足實時檢測要求。

4 結(jié)論

本文使用YOLOv3網(wǎng)絡(luò)對是否正確佩戴安全帽的檢測方法進(jìn)行了研究。配合使用廠區(qū)監(jiān)控視頻作為數(shù)據(jù)集進(jìn)行了安全帽佩戴的檢測試驗，使用了YOLOv3網(wǎng)絡(luò)中多尺度特征檢測、目標(biāo)框尺寸聚類以及對輸出類進(jìn)行交并比檢測等方法，在保證較高檢測準(zhǔn)確率的同時，仍能夠有較快的檢測速度。下一步工作是增大數(shù)據(jù)集的圖片數(shù)量，以及每個標(biāo)定類別增加更多的圖片和樣式，從而增加檢測準(zhǔn)確率。