黃濤，劉春芽，鄭鳳飛

（蘭州朗青交通科技有限公司，甘肅 蘭州 730030）

隨著國民經(jīng)濟(jì)的不斷發(fā)展，中西部開發(fā)戰(zhàn)略的崛起，公路施工工地?cái)?shù)量呈現(xiàn)出逐年遞增的趨勢，與此同時(shí)，傳統(tǒng)工地管理的缺陷逐漸暴露，主要存在監(jiān)管難度大、人員管理復(fù)雜、安全事故頻發(fā)、缺乏安全預(yù)警等問題，很難對(duì)工地中人、車、料、物進(jìn)行實(shí)時(shí)跟蹤與識(shí)別，導(dǎo)致相關(guān)監(jiān)管單位協(xié)同監(jiān)管困難、施工效率低下、項(xiàng)目缺乏可追溯性以及存在嚴(yán)重的安全隱患。近些年，隨著深度學(xué)習(xí)的飛速發(fā)展，多目標(biāo)檢測方法已成為計(jì)算機(jī)視覺的熱門研究領(lǐng)域，多目標(biāo)檢測技術(shù)相對(duì)于單目標(biāo)檢測技術(shù)而言，雖然復(fù)雜度高，但其可以更好地獲取多目標(biāo)的深度特征，且應(yīng)用更為廣泛，該技術(shù)的發(fā)展為公路施工工地的管理帶來新的改革[1-3]。本文基于深度學(xué)習(xí)框架，采用多特征聯(lián)合的方法對(duì)智慧工地進(jìn)行多目標(biāo)識(shí)別與監(jiān)測，并提出構(gòu)建公路施工場地?cái)?shù)據(jù)集的方法，實(shí)現(xiàn)對(duì)施工工地人、車、料、物等目標(biāo)的檢測識(shí)別，實(shí)時(shí)把握工地作業(yè)的整體運(yùn)行，同時(shí)對(duì)施工工地狀態(tài)進(jìn)行預(yù)測，為管控人員提供準(zhǔn)確的態(tài)勢分析，從而提高施工工地的智能化監(jiān)管水平。

1 智慧工地多目標(biāo)檢測總體框架設(shè)計(jì)

1.1 智慧工地多目標(biāo)檢測系統(tǒng)框架

智慧工地多目標(biāo)檢測系統(tǒng)主要由工地?cái)?shù)據(jù)獲取、邊緣網(wǎng)管檢測、平臺(tái)側(cè)識(shí)別與分析3 部分組成，具體如圖1 所示。工地?cái)?shù)據(jù)獲取包含攝像機(jī)獲取的視頻流和抓拍獲取的圖像數(shù)據(jù)；邊緣網(wǎng)管檢測主要是基于深度學(xué)習(xí)的圖像目標(biāo)檢測技術(shù)，包含特征提取、區(qū)域提取、感興趣區(qū)域識(shí)別、分類與回歸以及檢測與定位五大部分，通過輸入已標(biāo)注的工地場景數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練分析，結(jié)合損失函數(shù)得出最佳模型，對(duì)未知場景進(jìn)行分析；平臺(tái)側(cè)識(shí)別與分析是利用生成的模型對(duì)智慧工地中的人、材料、車牌、安全帽、危險(xiǎn)區(qū)域等進(jìn)行識(shí)別，并利用統(tǒng)計(jì)學(xué)模型對(duì)工地目標(biāo)數(shù)據(jù)變化進(jìn)行統(tǒng)計(jì)、分析及可視化展示，達(dá)到對(duì)工地異常情況的智能提醒和通知的目的。

圖1 智慧工地多目標(biāo)檢測與分析框架示意圖

1.2 智慧工地多目標(biāo)檢測功能特點(diǎn)

智慧工地多目標(biāo)檢測系統(tǒng)檢測功能主要包含車輛檢測與識(shí)別、人臉檢測、安全帽佩戴識(shí)別、危險(xiǎn)區(qū)域檢測、設(shè)備工作狀態(tài)監(jiān)測、煙火識(shí)別、預(yù)警信息提示、數(shù)據(jù)可視化展示等，具體如下。

1.2.1 車輛檢測與識(shí)別

車輛檢測與識(shí)別系統(tǒng)是自動(dòng)從監(jiān)控視頻或抓拍系統(tǒng)中提取出車輛信息，主要包含車牌號(hào)碼、車牌顏色、車量類型等信息，將上述車輛信息通過云端進(jìn)行存儲(chǔ)與上傳至工地管理系統(tǒng)，同時(shí)統(tǒng)計(jì)工地出入口、施工區(qū)域的車流量信息，將車型進(jìn)行歸類，實(shí)時(shí)記錄車流量。

1.2.2 人臉檢測

智慧工地人臉檢測的目的是實(shí)現(xiàn)工地現(xiàn)場施工人員管理，為統(tǒng)計(jì)出施工人員數(shù)量、履約情況等提供有效手段。公路建設(shè)工地環(huán)境受天氣、光照、煙塵等影響因素，環(huán)境較為復(fù)雜，需要在復(fù)雜環(huán)境下實(shí)現(xiàn)精確人臉識(shí)別。該系統(tǒng)基于Faster R-CNN 深度學(xué)習(xí)算法，結(jié)合特征融合和多尺度訓(xùn)練等策略改進(jìn)模型，實(shí)現(xiàn)工地人員人臉識(shí)別。將識(shí)別出的人臉信息與后臺(tái)預(yù)設(shè)人員庫進(jìn)行比對(duì)，精確匹配工地出工人員信息，統(tǒng)計(jì)現(xiàn)場人員數(shù)量。

1.2.3 安全帽佩戴識(shí)別

安全帽佩戴的主要作用是工地施工人員或者監(jiān)管人員在受到高空墜落物體沖擊時(shí)，可以有效地消除或減輕其對(duì)人體的傷害，但許多工人因安全帽缺乏舒適感而選擇不佩戴，這將危及工人的生命安全，因此安全帽佩戴識(shí)別系統(tǒng)可以對(duì)未佩戴安全帽人員進(jìn)行及時(shí)的抓拍，并發(fā)出預(yù)警提示。該系統(tǒng)基于Faster R-CNN深度學(xué)習(xí)算法，結(jié)合金字塔多尺度方法的特征提取，獲得不同尺度的特征圖，以此實(shí)現(xiàn)對(duì)是否佩戴安全帽的檢測。

1.2.4 危險(xiǎn)區(qū)域檢測

由于公路施工場地屬于勞動(dòng)密集型產(chǎn)業(yè)，存在施工地點(diǎn)分散、農(nóng)民工安全意識(shí)低等問題，因此，在事故發(fā)生之前采取有效措施，減少事故發(fā)生，有助于工地智能化管理。危險(xiǎn)區(qū)域檢測系統(tǒng)對(duì)工地作業(yè)危險(xiǎn)場景進(jìn)行檢測識(shí)別，同時(shí)檢測危險(xiǎn)區(qū)域是否有工作人員。當(dāng)檢測到危險(xiǎn)區(qū)域有人進(jìn)入時(shí)，將抓拍信息和報(bào)警信息進(jìn)行可視化，以此保護(hù)工作人員的人身安全，降低工地?fù)p失。

1.2.5 設(shè)備工作狀態(tài)監(jiān)測

前端感知設(shè)備統(tǒng)一接入邊緣網(wǎng)管檢測平臺(tái)，通過反饋信號(hào)接入與解析，實(shí)現(xiàn)前端設(shè)備實(shí)時(shí)狀態(tài)采集。邊緣網(wǎng)管檢測平臺(tái)將解析后的結(jié)果數(shù)據(jù)傳輸至云端平臺(tái)側(cè)，供平臺(tái)側(cè)展示與預(yù)警，便于及時(shí)掌握前端感知設(shè)備運(yùn)行情況，確保所采集數(shù)據(jù)的時(shí)效性和準(zhǔn)確性。

1.2.6 煙火識(shí)別

公路施工工地現(xiàn)場臨建設(shè)施多，防火標(biāo)準(zhǔn)低；施工現(xiàn)場易燃、可燃材料多；動(dòng)火作業(yè)多、露天作業(yè)多、立體交叉作業(yè)多、違章作業(yè)多。防火關(guān)乎施工人員生命安全和現(xiàn)場材料安全，是工地管理的重要環(huán)節(jié)。本系統(tǒng)利用前端攝像機(jī)拍攝的視頻流數(shù)據(jù)和圖片數(shù)據(jù)，標(biāo)注ROI，利用Faster R-CNN 深度學(xué)習(xí)算法進(jìn)行煙火識(shí)別，并將識(shí)別出的預(yù)警信息進(jìn)行預(yù)警。

1.2.7 預(yù)警信息提示

通過分析攝像機(jī)的視頻流和抓拍獲取的圖像數(shù)據(jù)，獲取出車輛、人員、安全帽佩戴、危險(xiǎn)區(qū)域等信息，將這些信息在智慧工地平臺(tái)進(jìn)行實(shí)時(shí)展示，并根據(jù)正確指標(biāo)進(jìn)行預(yù)警，超出指標(biāo)范圍則向工地發(fā)出預(yù)警信息。同時(shí)，通過深度學(xué)習(xí)模型對(duì)智慧工地道路交通狀態(tài)進(jìn)行預(yù)測，預(yù)測系統(tǒng)可以根據(jù)輸入的擁堵指標(biāo)、預(yù)測間隔等數(shù)據(jù)，與實(shí)際工地車輛流量限制進(jìn)行對(duì)比分析，從而預(yù)測出工地交通狀態(tài)。

2 數(shù)據(jù)集構(gòu)建

在深度學(xué)習(xí)領(lǐng)域中，數(shù)據(jù)集的特點(diǎn)很大程度上決定了模型的魯棒性、穩(wěn)定性等特征。雖然目前有很多關(guān)于包含道路、行車、車輛等目標(biāo)的數(shù)據(jù)集，但是缺乏關(guān)于工地的數(shù)據(jù)集，因此數(shù)據(jù)集的構(gòu)建是本文的關(guān)鍵一步，數(shù)據(jù)集的構(gòu)建主要包含數(shù)據(jù)標(biāo)注與數(shù)據(jù)劃分兩部分。

2.1 數(shù)據(jù)標(biāo)注

數(shù)據(jù)標(biāo)注是為待標(biāo)注數(shù)據(jù)中不同的目標(biāo)增加不同標(biāo)簽。本文數(shù)據(jù)集主要是根據(jù)攝像頭和抓拍系統(tǒng)采集的實(shí)際工地?cái)?shù)據(jù)，采用LabelImage 工具人工框選出每一幀視頻圖像或抓拍圖像中的車輛、行人、物料、安全帽、危險(xiǎn)區(qū)域等目標(biāo)，并對(duì)每一類目標(biāo)賦不同的值進(jìn)行區(qū)分，完成數(shù)據(jù)集的標(biāo)注工作。

2.2 數(shù)據(jù)劃分

工地?cái)?shù)據(jù)劃分是把標(biāo)注好的數(shù)據(jù)按照訓(xùn)練集、驗(yàn)證集進(jìn)行劃分，將未標(biāo)注的數(shù)據(jù)作為測試集。其中訓(xùn)練集是為了訓(xùn)練模型獲取模型內(nèi)部參數(shù)，從而更好地進(jìn)行分類與跟蹤；驗(yàn)證集是用于檢驗(yàn)訓(xùn)練過程中模型的狀態(tài)，并輸出參數(shù)評(píng)價(jià)指標(biāo)；測試集是為了評(píng)價(jià)模型的泛化能力，同時(shí)也是對(duì)未標(biāo)注數(shù)據(jù)集進(jìn)行自主標(biāo)注的過程。本文按8∶1∶1 的比例進(jìn)行訓(xùn)練集、驗(yàn)證集、測試集的劃分，該比例獲取的模型，其魯棒性更強(qiáng)。

3 基于深度學(xué)習(xí)的多目標(biāo)檢測

3.1 多目標(biāo)檢測算法

近年來，隨著深度學(xué)習(xí)的廣泛應(yīng)用，多目標(biāo)檢測算法得到的飛速發(fā)展[4-5]?，F(xiàn)如今，通用的多目標(biāo)算法主要包含F(xiàn)aster R-CNN、Yolo、SSD 三類，其中Yolo算法主要應(yīng)用于圖像的小目標(biāo)檢測與分類，主要采用單級(jí)檢測器策略提高計(jì)算效率；SSD 也采用單級(jí)檢測器策略，對(duì)輸入圖像進(jìn)行分析，輸出目標(biāo)的邊界框位置及概率[6]。但是，單級(jí)檢測器往往不如兩級(jí)檢測器準(zhǔn)確，但其速度明顯更快。因此本文選擇基于Faster R-CNN 的多目標(biāo)檢測算法，其檢測結(jié)果較另兩者更加準(zhǔn)確。

3.2 基于Faster R-CNN 的多目標(biāo)檢測框架

3.2.1 候選區(qū)域檢測網(wǎng)絡(luò)

Region Proposal（候選區(qū)域）是根據(jù)輸入圖像信息，通過圖像的邊緣、顏色等特征信息，預(yù)先確定圖像中目標(biāo)的位置信息，從而保證模型在選取較少窗口的情況下，仍然具有較高的召回率。該方法比傳統(tǒng)的滑動(dòng)窗口方法獲取的質(zhì)量更高。其中，邊框回歸（Bouding Box Regression）算法是利用線性回歸算法對(duì)候選區(qū)域進(jìn)行糾正，驗(yàn)證了提取窗口與目標(biāo)窗口的吻合度。

3.2.2 基于Faster R-CNN 的多目標(biāo)檢測流程

Faster R-CNN 算法框架主要包含候選框提取模塊和檢測模塊兩部分。首先將候選區(qū)域網(wǎng)絡(luò)整合到CNN中，利用卷積神經(jīng)網(wǎng)絡(luò)生成候選區(qū)域，提高候選區(qū)域選取速率；然后設(shè)計(jì)共享卷積層，保證整個(gè)過程中只有一次特征提取，提高網(wǎng)絡(luò)識(shí)別速度；最后設(shè)計(jì)檢測網(wǎng)絡(luò)，將提取的區(qū)域候選特征輸入到池化層，獲取候選區(qū)域特征，并結(jié)合全連接層完成分類回歸任務(wù)。

Faster R-CNN 算法如圖2 所示。在智慧工地中，首先根據(jù)上文標(biāo)注的工地選取較為合適的預(yù)訓(xùn)練模型；然后通過數(shù)據(jù)訓(xùn)練不斷優(yōu)化網(wǎng)絡(luò)參數(shù)，使其模型誤差達(dá)到最小，從而得到智慧工地檢測的最優(yōu)模型；最后將待檢測數(shù)據(jù)放入模型中，輸出分類結(jié)果主要包含智慧工地中的目標(biāo)種類、名稱及召回率。

圖2 Faster R-CNN 算法網(wǎng)絡(luò)框架圖

4 結(jié)束語

本文主要研究基于深度學(xué)習(xí)的智慧工地多目標(biāo)檢測方法，通過對(duì)智慧工地場景的分析，提出智慧工地多目標(biāo)檢測整體框架，并提出工地?cái)?shù)據(jù)集制作的方法，結(jié)合Faster R-CNN 網(wǎng)絡(luò)闡述了多目標(biāo)檢測的基本流程，從而完成智慧工地多目標(biāo)檢測系統(tǒng)。該系統(tǒng)的研究實(shí)現(xiàn)了對(duì)公路施工場地的全面感知，從而解決了傳統(tǒng)監(jiān)管模式的效率低、數(shù)據(jù)獲取不及時(shí)、存在安全隱患等問題。相信隨著數(shù)字浪潮的不斷發(fā)展及在各界的共同努力下，智慧工地系統(tǒng)會(huì)更加完善，為社會(huì)可持續(xù)發(fā)展作出貢獻(xiàn)。