趙江平 張想卓 劉星星

（西安建筑科技大學(xué)，陜西 西安 710055）

0 引言

近年來，建筑行業(yè)發(fā)展迅猛，作為其中重要的一環(huán)，深基坑工程建設(shè)面積與深度越來越大。盡管近些年國內(nèi)對(duì)建筑施工安全越來越重視，也采取了各種措施，但仍有一些事故發(fā)生，迫使我們重新思考事故原因。近些年多起深基坑事故的風(fēng)險(xiǎn)源指向施工過程［1］，即大部分事故是在施工過程中發(fā)生的，其中作業(yè)人員未根據(jù)設(shè)計(jì)方案施工，如隨意更改、減少施工工序現(xiàn)象發(fā)生頻繁，而目前對(duì)此的監(jiān)管手段還停留在人力范疇。換言之，如果可以實(shí)時(shí)識(shí)別施工流程或工序，可極大提高監(jiān)管效率，減少事故的發(fā)生。

計(jì)算機(jī)技術(shù)的發(fā)展為各個(gè)領(lǐng)域提供了前所未有的改革空間，圖像識(shí)別成為智能監(jiān)控的一種重要手段，為實(shí)現(xiàn)作業(yè)過程的智能化監(jiān)管，許多學(xué)者應(yīng)用深度學(xué)習(xí)框架實(shí)現(xiàn)了作業(yè)流程的識(shí)別，且均取得了不錯(cuò)的效果。YAN J H 等［2］在工業(yè)4.0 和智能制造的背景下，先使用Yolov3（You Only Look Once）網(wǎng)絡(luò)確定了場(chǎng)景中每個(gè)操作員的工作區(qū)域，再利用VGG16（Visual Geometry Group）遷移學(xué)習(xí)模型預(yù)測(cè)動(dòng)作類別，旨在提高車間自動(dòng)化水平、規(guī)范操作人員動(dòng)作；HU H Y 等［3］基于雙流網(wǎng)絡(luò)（Two-Stream Convolutional Networks）對(duì)工廠作業(yè)流程進(jìn)行識(shí)別，采用注意力機(jī)制在一定程度上解決了復(fù)雜背景下識(shí)別精度的問題；胡海洋等［4］改進(jìn)了三維卷積網(wǎng)絡(luò)（3D Convolutional Networks，3DCNN），實(shí)現(xiàn)了物體的檢測(cè)與分割、多視圖特征向量的提取及人員作業(yè)的工作流程識(shí)別。作業(yè)工序或流程識(shí)別的研究大多針對(duì)工業(yè)生產(chǎn)或其他領(lǐng)域，而對(duì)建筑領(lǐng)域的研究較少。

本文著眼于建筑施工背景下深基坑作業(yè)工序的識(shí)別，以SlowFast為基礎(chǔ)網(wǎng)絡(luò)，提出基于目標(biāo)追蹤的工人作業(yè)工序識(shí)別方法，跟蹤作業(yè)主體，反映施工進(jìn)度。采用DeepSORT 算法追蹤目標(biāo)主體，減少遺漏；替換SlowFast 中原Faster RCNN 檢測(cè)器為Yolov5模型，增加識(shí)別的準(zhǔn)確率，最后利用遷移學(xué)習(xí)的方法增加網(wǎng)絡(luò)提取特征的能力，提高模型訓(xùn)練質(zhì)量，從而推進(jìn)深基坑施工過程監(jiān)管的智能化發(fā)展。

1 基于DeepSORT 的SlowFast 模型

1.1 Yolov5l&SlowFast 網(wǎng)絡(luò)模型

目前行為識(shí)別的主流模型有3 種類型，即三維卷積網(wǎng)絡(luò)、雙流網(wǎng)絡(luò)和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Long Shortterm Memory，LSTM），SlowFast 網(wǎng)絡(luò)作為一種類雙流網(wǎng)絡(luò)于2018 年被提出。雖然與雙流網(wǎng)絡(luò)的結(jié)構(gòu)類似，但SlowFast的2 條支路的作用并不相同［5］，F(xiàn)ast通道削弱空間建模能力，時(shí)間建模能力較強(qiáng)；Slow通道則專注于空間語義特征的提取［6］，這種使用不同通道的方法較2 條相同的支路更加輕量級(jí)。在本次識(shí)別任務(wù)中，由于更加注重實(shí)時(shí)性，故采用SlowFast網(wǎng)絡(luò)為框架，2 通道的主干網(wǎng)絡(luò)采用Resnet-50。Slow-Fast 網(wǎng)絡(luò)結(jié)構(gòu)［7］如圖1 所示，下方為Fast 支路，步長(zhǎng)為/ ，上方Slow 支路步長(zhǎng)為，為2 路徑之間的幀速率之比。支路每次特征提取之后以側(cè)向通道的方式融合，各路徑實(shí)現(xiàn)全局平均池化后會(huì)串聯(lián)特征向量，最終輸入全連接層［8］。

圖1 SlowFast 網(wǎng)絡(luò)模型

深度學(xué)習(xí)領(lǐng)域的目標(biāo)檢測(cè)模型主要可以分為2大類，以RCNN（Regions with CNN Features）為代表的兩階段算法與以Yolo、SSD（Single Shot MultiBox Detector）為代表的一階段算法，前者的網(wǎng)絡(luò)結(jié)構(gòu)決定了其檢測(cè)精度較高，而一階段算法的檢測(cè)速度略高一籌，更適用于視頻檢測(cè)［9］。

Yolo系列模型更新速度較快，2020年提出的Yolov5 模型的準(zhǔn)確率與速度比Yolov4 有了明顯提升，其主要模塊如圖2 所示。Yolov5 共包括Yolov5s、Yolov5m、Yolov5l 及Yolov5x 等4 種類型，4 種模型以2 個(gè)參數(shù)區(qū)分深度與寬度，其余結(jié)構(gòu)類似，本文采用Yolov5l 作為目標(biāo)模型。Yolov5 以Input、Backbone、Neck、Prediction 等4 部分結(jié)構(gòu)為主，Backbone部分用于生成特征圖，Yolov5 的Backbone主要采用了殘差CSP1（Cross Stage Partial Network）與Focus結(jié)構(gòu)，F(xiàn)ocus 結(jié)構(gòu)作“切片操作”使通道數(shù)成倍，在通道數(shù)由3 個(gè)增加至12 個(gè)的同時(shí)也保證了信息量的完整性［10］；CSP結(jié)構(gòu)共有2 個(gè)分支，1 個(gè)分支經(jīng)過卷積層，另1 個(gè)分支經(jīng)過CBL 層與殘差層，2 個(gè)分支會(huì)在后期融合；Neck 模塊中延續(xù)了FPN+PAN 思想，也加入了CSP2 結(jié)構(gòu)促進(jìn)特征融合，與CSP1 結(jié)構(gòu)不同的是，CSP2 結(jié)構(gòu)將Res unit 替換成為CBL模塊。

圖2 Yolov5 結(jié)構(gòu)主要模塊

1.2 DeepSORT 模塊

DeepSORT 是一種多目標(biāo)追蹤算法（Multiple Object Tracking，MOT），一般應(yīng)用于移動(dòng)軌跡追蹤等場(chǎng)景內(nèi)，是SORT（Simple Online and Realtime Tracking）算法的改進(jìn)，解決了長(zhǎng)時(shí)間遮擋問題?？柭鼮V波器與匈牙利算法為其中的核心算法，匈牙利算法將軌跡（Tracks）和檢測(cè)框（Detections）做最優(yōu)匹配以求分配成本最小，而卡爾曼濾波器的作用是基于Tracks 進(jìn)行狀態(tài)的預(yù)測(cè)與更新。由于SORT 采用的關(guān)聯(lián)度量?jī)H僅在狀態(tài)估計(jì)具有較低不確定性時(shí)才準(zhǔn)確，故改進(jìn)的DeepSORT 進(jìn)一步結(jié)合了運(yùn)動(dòng)和外觀信息，提高了檢測(cè)的魯棒性，使得同一個(gè)人的ID 變化次數(shù)減少［11］。

目標(biāo)追蹤模塊具體流程如圖3［12］所示，首先利用檢測(cè)器輸出的施工人員檢測(cè)信息與確定態(tài)的卡爾曼預(yù)測(cè)軌跡做數(shù)據(jù)關(guān)聯(lián)，如果有確定態(tài)但未匹配成功的情況出現(xiàn)，就進(jìn)一步使用IOU（Intersection Over Union）匹配與級(jí)聯(lián)匹配，以判斷是否為新軌跡；如果為不確定態(tài)，則直接進(jìn)行匹配。一旦匹配成功，更新數(shù)據(jù)后就可進(jìn)行下一步的檢測(cè)與預(yù)測(cè)；如果匹配失敗，在設(shè)定壽命之外的軌跡會(huì)直接被刪除。在目標(biāo)檢測(cè)的基礎(chǔ)上增加追蹤模塊，可以在保證檢測(cè)精度的基礎(chǔ)上進(jìn)一步減少漏檢，且保證較高的追蹤速度。

圖3 DeepSORT 網(wǎng)絡(luò)流程

1.3 本文網(wǎng)絡(luò)

本文在原SlowFast 網(wǎng)絡(luò)基礎(chǔ)上，加入目標(biāo)追蹤DeepSORT 模塊，模型的大致流程如圖4 所示。

圖4 施工行為識(shí)別流程

首先是視頻的分幀操作，輸入的原始視頻會(huì)被裁剪為大小相同的連續(xù)幀，隨后各幀進(jìn)入目標(biāo)檢測(cè)模塊，當(dāng)圖像中有多個(gè)施工人員第1 次出現(xiàn)時(shí)，由卷積神經(jīng)網(wǎng)絡(luò)（CNN）提取圖像特征，且只輸出識(shí)別結(jié)果為“人”的目標(biāo)檢測(cè)框（Person_Box）與坐標(biāo)信息；之后進(jìn)入目標(biāo)追蹤模塊，先計(jì)算不同人員的特征相似度，并以此為基礎(chǔ)計(jì)算是否為同一個(gè)人。當(dāng)被判斷為不是同一人后，不同的檢測(cè)框（Detecion）與卡爾曼濾波器預(yù)測(cè)的軌跡（Tracks）會(huì)根據(jù)匈牙利算法進(jìn)行數(shù)據(jù)關(guān)聯(lián)，DeepSORT模塊會(huì)賦予每個(gè)作業(yè)人員對(duì)應(yīng)的追蹤編號(hào)（Track_ID），每個(gè)ID 號(hào)會(huì)始終跟蹤此工序內(nèi)各作業(yè)人員的位置，直至消失［13］。如果出現(xiàn)其他主體，模型會(huì)自動(dòng)刪除軌跡，不進(jìn)行跟蹤。

2 數(shù)據(jù)處理

2.1 自定義數(shù)據(jù)集

因采用自建數(shù)據(jù)集，需要對(duì)現(xiàn)有樣本數(shù)據(jù)實(shí)現(xiàn)擴(kuò)增，故本文利用抽幀合成的手段擴(kuò)充數(shù)據(jù)，抽幀合成是指將原始視頻以固定頻率抽取部分幀，在不破壞原有時(shí)間序列特征的前提下合成新視頻。同時(shí)為減少標(biāo)注量，本文使用Yolov5 作為人物預(yù)標(biāo)注工具，之后采用via 網(wǎng)頁版標(biāo)注工具對(duì)標(biāo)注框進(jìn)行微小調(diào)整與修改，制作過程共分為4 個(gè)步驟：①將視頻裁剪為相同長(zhǎng)度，本文裁剪為3 s；②根據(jù)AVA 公開數(shù)據(jù)集格式，按30 幀/s 將每個(gè)視頻數(shù)據(jù)分為90 幀；③抽取視頻部分幀，使用Yolov5 模型輸出人物檢測(cè)框；④導(dǎo)入檢測(cè)框，并使用網(wǎng)頁版via 工具調(diào)整、修改預(yù)標(biāo)注框；⑤via 導(dǎo)出標(biāo)注文件，同時(shí)劃分訓(xùn)練集與驗(yàn)證集，微調(diào)格式后生成ava_train_v2.2.csv、ava_val_v2.2.csv、ava_action_list_v2.2_for_activitynet_2019.pbtxt 等文件用于訓(xùn)練數(shù)據(jù)。

AVA 數(shù)據(jù)集主要用于時(shí)空行為檢測(cè)（Spatial Temporal Action Detection），其中包含80 類標(biāo)簽，行為類別共有3 種：人的運(yùn)動(dòng)、體的運(yùn)動(dòng)及交互，數(shù)據(jù)源均來自于電影片段，比例約為100∶28。本文以AVA 為格式制作工人行為的自定義數(shù)據(jù)集，樣本來源為陜西省某建筑施工單位，采集對(duì)象為深基坑錨桿制作工序的施工人員，行為動(dòng)作主要包括鋼絞線的切割、成束及套管3 個(gè)連續(xù)的施工步驟，擴(kuò)增后樣本結(jié)構(gòu)如表1 所示。

表1 數(shù)據(jù)集結(jié)構(gòu)

2.2 評(píng)估指標(biāo)

本文采用的評(píng)估指標(biāo)為Top-1 與mAP，Top-1 指所有類別中精確率最高的1 個(gè)類別，如果測(cè)試動(dòng)作的類別是概率最高類別，則表明預(yù)測(cè)正確，反之預(yù)測(cè)錯(cuò)誤，Top-1 精確率即預(yù)測(cè)正確數(shù)與總數(shù)之比，如式（1）所示：

式中，PTop-1為類別的精確率；St1為類別中預(yù)測(cè)正確的數(shù)量；Sall為類別總數(shù)。

mAP（Mean Average Precision）為所有動(dòng)作類別的精確度平均值；AP（Average Precision）為每1 個(gè)類別的精確度平均值；P（Precision）為預(yù)測(cè)正確的動(dòng)作與測(cè)試總數(shù)之比，如式（2）—式（5）所示：

式中，TP（True Positives）為正樣本被識(shí)別為正樣本的數(shù)量；FP（False Positives）為負(fù)樣本被識(shí)別為正樣本的數(shù)量；FN（False Negatives）為負(fù)樣本被識(shí)別為負(fù)樣本的數(shù)量。

3 行為識(shí)別試驗(yàn)

3.1 遷移訓(xùn)練

監(jiān)督學(xué)習(xí)的表現(xiàn)結(jié)果離不開大量的數(shù)據(jù)樣本，但由于在建筑施工領(lǐng)域還沒有公開的數(shù)據(jù)集，從零開始訓(xùn)練數(shù)據(jù)也將耗費(fèi)大量的計(jì)算機(jī)資源，故本文采用遷移學(xué)習(xí)的方法訓(xùn)練自定義數(shù)據(jù)集。遷移學(xué)習(xí)（Transfer Learning）是將已經(jīng)訓(xùn)練完成的模型重新應(yīng)用到新的任務(wù)上，以幫助網(wǎng)絡(luò)進(jìn)行訓(xùn)練，是目前工業(yè)領(lǐng)域解決樣本問題的主要方式。針對(duì)本文識(shí)別任務(wù)，工人行為與其他場(chǎng)景動(dòng)作具有一定的相似性，可以使用源域與目標(biāo)域參數(shù)共享為主的訓(xùn)練方式，不需要對(duì)目標(biāo)域內(nèi)的新模型從零開始訓(xùn)練［14］。本任務(wù)中遷移訓(xùn)練的流程分為如下步驟：①將基于AVA 數(shù)據(jù)集訓(xùn)練的模型作為預(yù)訓(xùn)練模型載入；②從模型中獲取初始化參數(shù)；③凍結(jié)除輸出層之外的所有層，僅調(diào)整輸出層參數(shù)為3；④利用自定義數(shù)據(jù)集重新訓(xùn)練。

本文采用的GPU 為NVIDIA Tesla K80，16 G 顯存，主要訓(xùn)練環(huán)境為PyTorch1.7.0、Python3.8 與CUDA11.1，主框架使用SlowFast 開源代碼，batch_size 設(shè)置為8，epoch 設(shè)置為200 次。圖5 為學(xué)習(xí)率曲線變化，圖6 為準(zhǔn)確率變化曲線。

圖5 練過程損失變化曲線

圖6 準(zhǔn)確率變化曲線

3.2 試驗(yàn)結(jié)果

本文整理總結(jié)了數(shù)據(jù)集的試驗(yàn)結(jié)果，如表2 所示。在替換檢測(cè)器后，所有動(dòng)作的平均準(zhǔn)確率達(dá)到了90%，較原網(wǎng)絡(luò)的提高了2.9 百分點(diǎn)；同理Top-1準(zhǔn)確率達(dá)到了99%，較原來提高了3.0 百分點(diǎn)。3 個(gè)動(dòng)作中錨桿切割行為的識(shí)別率較高，為90.2%，其次為錨桿成束，準(zhǔn)確率為88.6%，套管行為識(shí)別率為82.6%，較可能的原因是工人切割行為的樣本質(zhì)量較好，與其他2 類動(dòng)作相比特征的指向性較強(qiáng)，對(duì)模型而言更易于識(shí)別。以上結(jié)果說明Yolov5 檢測(cè)器比原模型檢測(cè)器更適用于本文的檢測(cè)任務(wù)，在一定程度上提升了調(diào)整后網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率。

表2 SlowFast 網(wǎng)絡(luò)與Yolov5_SlowFast 準(zhǔn)確率對(duì)比單位：%

隨機(jī)測(cè)試樣本后將識(shí)別結(jié)果固定頻率分幀，3 類工序的測(cè)試結(jié)果分別如圖7—圖9 所示，圖7、圖9 結(jié)果表明，網(wǎng)絡(luò)可以正確識(shí)別和追蹤深基坑的成束與切割工序，并返回作業(yè)人員ID。

圖7 工序一網(wǎng)絡(luò)識(shí)別效果

圖8 工序二網(wǎng)絡(luò)識(shí)別效果

圖9 工序三網(wǎng)絡(luò)識(shí)別效果

由于在實(shí)際的深基坑施工過程中，時(shí)常會(huì)出現(xiàn)多人情景，由圖8 可知，調(diào)整后的SlowFast網(wǎng)絡(luò)能夠追蹤目標(biāo)作業(yè)人員的套管過程，并且區(qū)分了不同人員特征，返回了不同的ID標(biāo)簽1 person casing、2 person casing。

4 結(jié)論

1）在原SlowFast網(wǎng)絡(luò)基礎(chǔ)上加入DeepSORT模塊，在輸入分類網(wǎng)絡(luò)之前返回作業(yè)人員的ID 與檢測(cè)框信息，根據(jù)測(cè)試結(jié)果可知，調(diào)整后的網(wǎng)絡(luò)可以準(zhǔn)確追蹤作業(yè)主體。

2）替換原網(wǎng)絡(luò)中Faster RCNN 為Yolov5l 模型作人員檢測(cè)器，結(jié)果表明，準(zhǔn)確率有部分提高，即Yolov5 模型更適用于本場(chǎng)景下的識(shí)別任務(wù)。

3）主要解決智能化流程監(jiān)管中的識(shí)別問題，但并未考慮后續(xù)的預(yù)警問題，下一步將考慮把流程識(shí)別應(yīng)用于預(yù)警領(lǐng)域。