林 俊,黨偉超,潘理虎,2,白尚旺,張 睿

1(太原科技大學 計算機科學與技術學院,太原 030024)

2(中國科學院 地理科學與資源研究所,北京 100101)

圖像視頻中的場景目標物體檢測已經(jīng)成為當前人工智能、計算機視覺領域的一個研究熱點[1,2].而生產(chǎn)安全問題一直是一個社會關注度極高的問題,每年近百萬起安全事故給社會和家庭帶來巨大的壓力.根據(jù)相關報告顯示,95%的安全事故是由于工人的違規(guī)違章造成的.安全帽作為作業(yè)工人最基本的個體防護裝備,對工作人員的生命安全具有重要意義.但是,部分操作人員安全意識缺乏,不佩戴安全帽行為時有發(fā)生.安全帽檢測已經(jīng)成為構(gòu)建生產(chǎn)安全視頻監(jiān)控的一項重要技術,在煤礦、變電站、建筑工地等實際場景中需求廣泛.

目標檢測是指找出輸入圖像中的目標物體,包含物體分類和物體定位兩個子任務,判斷物體的類別和位置.傳統(tǒng)的目標檢測方法如幀差法[3]、光流法[4]、背景差分法[5]、viola-Jones 檢測器[6]、HOG 檢測器[7]、可變性部件模型(Deformable Part based Model,DMP)[8]等.這些方法在檢測時主要分為三個步驟：第一步獲取前景目標信息或者采用滑動窗口對圖像中的每一個尺度和像素進行遍歷,第二步進行特征提取,第三步利用提取到的特征建立數(shù)學模型或者利用分類器(如SVM[9]、AdaBoost[10])進行分類得到目標檢測結(jié)果.傳統(tǒng)的檢測方法在特定的場景下可以取得良好效果,但在開放環(huán)境下,如角度變換、光照不足、天氣變化等,其準確性難以得到保證,且泛化能力差.除此之外,基于傳統(tǒng)的手工特征設計依賴大量的先驗知識,主觀性強,分三步走的檢測過程繁瑣、計算開銷大,在一些要求實時檢測的場景,往往具有挑戰(zhàn)性.

近年來人工智能快速發(fā)展,計算機視覺作為人工智能的一個重要研究方向,也迎來了第三次熱潮[11].目標檢測作為計算機視覺領域的一個研究熱點,大量的基于卷積神經(jīng)網(wǎng)絡的優(yōu)秀目標檢測算法取得了巨大的成功[12],激勵著越來越多的學者開始致力于深度學習目標檢測算法的研究.YOLO[13](You Only Look Once)是由Joseph Redmon 等人最早在2016年CVPR 上提出的基于卷積神經(jīng)網(wǎng)絡、快速、高效、開放的目標檢測算法,截止2018年,已有3 個改進的版本：YOLO,YOLO9000[14],和YOLOv3[15].YOLO9000 在YOLO 的基礎上進行優(yōu)化和改進,加入了批標準化層(Batch Normalization,BN)和類Anchor 機制,在保證實時性的前提下,準確率有了較大的提升,可以檢測9000 類目標.YOLOv3 在YOLO和YOLO9000 的基礎上進行改進,采用特征融合和多尺度預測,在檢測速度和檢測精度上都達到了最先進的水平.

本文首先根據(jù)是否佩戴安全帽單類檢測,修改分類器,將輸出修改為18 維度的張量.之后采用YOLOv3在ImageNet 上的預訓練模型,在此基礎對實際場景下采集到的2010 張數(shù)據(jù)樣本進行標注并訓練,根據(jù)損失函數(shù)曲線和IOU 曲線對模型進行優(yōu)化,得到最優(yōu)的安全帽檢測模型.基于YOLOv3 的安全帽檢測方法能夠自主學習目標特征,減少手工特征設計人為因素干擾,具有較高的準確率,對復雜場景下的不同顏色、不同角度的安全帽檢測展現(xiàn)出很好的泛化能力和健壯性.

1 安全帽檢測

基于深度學習的目標檢測算法主要分為兩類：一類是以RCNN[16-18]系列算法為代表的、“兩步走”的基于候選區(qū)域的目標檢測算法,一類是以YOLO、SSD[19]為代表的、“一步走”的基于回歸的目標檢測算法.基于候選區(qū)域的目標檢測算法從理論上來講比基于回歸的目標檢測算法精準度更高,以Faster-RCNN 為代表,基于候選區(qū)域的目標檢測算法由卷積層(convolution layers)、區(qū)域候選網(wǎng)絡(Region Proposal Networks,RPN)、感興趣區(qū)域池化層(ROI Pooling)、分類層(Classification)四部分組成.卷積層由一組基礎的卷積層、激活層和池化層組成,用來提取特征,產(chǎn)生后續(xù)所需要的特征圖；區(qū)域候選網(wǎng)絡主要用于生成區(qū)域候選框；感興趣區(qū)域池化層負責收集特征圖和區(qū)域候選框,將信息綜合起來進行后續(xù)類別的判斷；最后一層分類層,根據(jù)區(qū)域候選網(wǎng)絡綜合的信息進行目標類別的判定,同時修正候選框的位置.總的來說,Faster-RCNN 首先采用RPN 網(wǎng)絡產(chǎn)生候選框,之后再對候選框進行位置的修定和目標的分類.由于其復雜的網(wǎng)絡構(gòu)成,檢測速度相對來說比較慢一點.基于回歸的目標檢測算法真正意義上實現(xiàn)了端到端的訓練,以YOLO為代表,基于回歸的目標檢測算法一次性完成目標的分類與定位,整個網(wǎng)絡結(jié)構(gòu)只由卷積層組成,輸入的圖像只經(jīng)過一次網(wǎng)絡,所以基于回歸的目標檢測算法更快.改進版的YOLOv3,不論在速度上還是在精度上都到達了最先進的水平.

由于YOLOv3 在目標檢測上取得優(yōu)異成績,將YOLOv3 算法應用于安全帽檢測.基于ImageNet 上的預訓練模型,修改分類器,用采集到的2010 張樣本數(shù)據(jù)訓練安全帽檢測器(Helmet Detector).利用訓練得到的安全帽檢測器對包含2000 張圖片的測試集進行測試,圖1展示了安全帽檢測器結(jié)構(gòu).

1.1 YOLOv3 網(wǎng)絡結(jié)構(gòu)

YOLOv3 以darknet-53 作為基礎網(wǎng)絡,采用多尺度預測(類FPN[20]) 的方法,分別在大小為13×13、26×26、52×52 的特征圖上進行預測.多尺度預測和特征融合提高了小目標的識別能力,從而提升整個網(wǎng)絡的性能.圖2顯示了YOLOv3 的網(wǎng)絡結(jié)構(gòu).

YOLOv3 整個網(wǎng)絡只由一些卷積層(convolution layers)、激活層(leaky relu)、批標準化層(Batch Normalization,BN)構(gòu)成.對于一張指定的輸入圖像,首先通過darknet-53 基礎網(wǎng)絡進行特征的提取和張量的相加,之后在得到的不同尺度的特征圖上繼續(xù)進行卷積操作,通過上采樣層與前一層得到的特征圖進行張量的拼接,再經(jīng)過一系列卷積操作之后,在不同特征圖上進行目標檢測和位置回歸,最后通過YOLO 檢測層(YOLO Detection)進行坐標和類別結(jié)果的輸出.

圖1 安全帽檢測器結(jié)構(gòu)

圖2 YOLOv3 網(wǎng)絡結(jié)構(gòu)

1.2 分類器設置

YOLOv3 算法在COCO 數(shù)據(jù)集上檢測80 種物體類別.本應用場景中,只需要檢測沒有佩戴安全帽一類,可以將安全帽檢測轉(zhuǎn)化為一個單分類問題,減少網(wǎng)絡計算開銷.

YOLOv3 輸出3 個不同尺度的特征圖：y1、y2、y3,如圖2所示.不同的特征圖對應不同的尺度,分別為13×13、26×26、52×52,深度均為255.在YOLOv3中,采用類Anchor 機制,通過維度聚類的方法確定模版框(anchor box prior),模版框的個數(shù)k=9,k為超參數(shù),在實驗的基礎上得出.9 個模版框由3 個輸出張量平分,每個輸出張量中的每個網(wǎng)格會輸出3 個預測框,所以針對有80 種類別的COCO 數(shù)據(jù)集來說,輸出張量的維度為3×(5+80)=255,其中3 代表每個網(wǎng)格預測的3 個模版框,5 代表每個預測框的坐標信息(x,y,w,h),以及置信度(confidence,c).

根據(jù)實際場景,修改分類器,改變網(wǎng)絡最后一層的輸出維度.只檢測不戴安全帽一類,輸出維度變?yōu)?×(5+1)=18.這樣可以在不影響實際需求的前提下,減少網(wǎng)絡運算量,提高檢測精度和速度.

2 實驗

2.1 數(shù)據(jù)集制作

實驗數(shù)據(jù)集來源于建筑工地3 號通道口視頻監(jiān)控.為了使訓練數(shù)據(jù)集具有較高的質(zhì)量、模型具有多場景檢測能力,采集到的監(jiān)控中工作人員佩戴安全帽樣本來自后方、前方、左側(cè)方、右側(cè)方等不同的檢測角度,不僅僅局限為某一特定方向.而且這些數(shù)據(jù)來源于一天中的不同時間階段,具有不同的光照條件.在這樣的數(shù)據(jù)集上進行模型訓練更具有代表性.制作數(shù)據(jù)集時,首先將獲取到的不同時間段的視頻監(jiān)控按1 幀/秒進行截圖,獲取訓練數(shù)據(jù)樣本后再進行篩選,過濾掉沒有目標的樣本,同時兼顧不同角度的樣本的數(shù)量,使各個角度的樣本數(shù)量基本達到均衡.根據(jù)Pascal VOC和COCO數(shù)據(jù)集的圖像標注標準,將獲取到的樣本使用yolomark 進行標注,產(chǎn)生訓練所需要的xml 文件.訓練樣本示例和標注后的訓練樣本示例如圖3和圖4所示.本實驗訓練集包括2010 張戴安全帽和不戴安全帽樣本,1500 張驗證數(shù)據(jù)集,以及2000 張測試集.訓練樣本、驗證樣本和測試樣本都不重復.如表1所示.

圖3 訓練樣本示例

圖4 標注后的訓練樣本示例

表1 數(shù)據(jù)集

2.2 模型訓練細節(jié)

制作好訓練集,采用darknet53.conv.74 預訓練權重和yolov3-cov.cfg 配置文件,在此基礎上利用標注好的訓練集進行YOLOv3 模型的訓練.在訓練過程中,保存日志文件和權重文件.從日志文件中提取loss值和IOU 值做圖,根據(jù)損失函數(shù)和IOU 的變化曲線圖進行優(yōu)化調(diào)參并確定最優(yōu)權重.在測試時,采用loss值最小的迭代次數(shù)產(chǎn)生的權重作為檢測的最終權重文件.

3 實驗結(jié)果分析

3.1 Loss和迭代次數(shù)實驗結(jié)果分析

Loss值是整個網(wǎng)絡結(jié)構(gòu)的損失函數(shù)部分,它的值越小越好,期望值為0.本實驗中將網(wǎng)絡結(jié)構(gòu)參數(shù)進行微調(diào),在學習率(learning rate)為0.001,steps=8000,12 000,scales=0.1,0.1 下迭代20 000 次.由圖5可以看出：在前200 次迭代中,損失函數(shù)值較大,在迭代到大約600 次的時候損失函數(shù)值驟然下降,從700 到8000 輪迭代過程中,損失函數(shù)值繼續(xù)較快速下降.在進行到8000 次的時候,學習率降低為之前的0.1,損失值緩慢下降.在12 000 次的時又將學習率降低為上一次的0.1,學習速度變慢,損失函數(shù)小幅度減小,16 000 次以后,損失函數(shù)值幾乎趨于平穩(wěn),不再減少.

圖5 平均loss

3.2 Avg IOU 實驗結(jié)果分析

Avg IOU (Intersection Over Union)指的是在當前迭代次數(shù)中,產(chǎn)生的候選框與原標記框之間交集與并集的比值,該值越大越好,期望值為1.本實驗從訓練日志文件中提取IOU 值信息,采用滑動平均算法對80 000條數(shù)據(jù)進行平均,使得曲線更加平滑,觀察變化趨勢.圖6可以看出,從第1 輪到50 000 輪,隨著迭代次數(shù)的增加,平均IOU 值總體呈上升趨勢,從50 000 輪以后,波動逐漸趨于平緩.

圖6 平均IOU

3.3 目標檢測準確度分析

對loss曲線分析,模型采用迭代17 000 次時的權重文件作為檢測模型的最終權重,將2000 張測試集用訓練好的模型進行測試驗證.分析實驗結(jié)果,得出檢測準確率.如表2所示.

表2 安全帽檢測器檢測結(jié)果分析

實驗在無GPU 的環(huán)境下,平均檢測速度達到了35 fps,滿足實時性的要求.同時,本實驗在較少訓練樣本下到達了98.7%的準確率,顯示了安全帽檢測方法的優(yōu)越性.圖7展示了安全帽檢測模型結(jié)果示例.

4 結(jié)論與展望

詳細闡述了基于YOLO 的安全帽檢測方法,包括分類器設置、訓練以及模型優(yōu)化.實驗結(jié)果表明,基于YOLO 的安全帽檢測方法不論在測試精度上還是在檢測速度上都取得了良好的效果.在2000 張測試集上進行評估,達到了98.7%的準確率；在無GPU 的環(huán)境下,平均檢測速度達到了35 fps.但是基于YOLO 的安全帽檢測模型在重疊目標上會出現(xiàn)漏檢現(xiàn)象,下一步可針對重疊場景、密集目標進行網(wǎng)絡結(jié)構(gòu)改進加子網(wǎng)絡進行重疊目標的判斷,也可以增加訓練樣本的多樣性、提高訓練樣本質(zhì)量,在未來需要深入探究.

圖7 安全帽檢測器結(jié)果示例