房 凱

(中國石油大學(xué)(華東)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,青島 266580)

1 引言

針對視頻行為分析技術(shù)[1]的應(yīng)用可以有效的提升公共場所的管制水平,對維護(hù)社會穩(wěn)定和人身安全有著重要意義.而將針對視頻的行為分析技術(shù)運(yùn)用在安防領(lǐng)域[2]中,不僅可以降低人工監(jiān)控的程度以減少人力物力,還可以避免因人力因素導(dǎo)致的重要監(jiān)控信息的遺漏,有效提高工作效率,從而達(dá)到對重大事故的預(yù)警及監(jiān)控作用,避免事故的發(fā)生,因此具有重要的研究意義.

圍欄作為施工現(xiàn)場實(shí)行封閉式管理的重要工具,在建筑施工作業(yè)中,是明令要求必須提前設(shè)置的.在作業(yè)現(xiàn)場對一些存在安全隱患的地方安裝圍欄隔離起來,最大程度的為施工安全提供保障,減少不必要的損失和傷害[3].但目前施工現(xiàn)場中對圍欄跨越的監(jiān)管大多依賴人工監(jiān)察,而且施工場地普遍存在作業(yè)面廣、施工人員管理困難,安監(jiān)人員難以及時準(zhǔn)確了解現(xiàn)場人員的分布和作業(yè)情況,加之工地中各單位安全責(zé)任劃分不明確,通常導(dǎo)致安全監(jiān)督檢查力度不夠,所以這種人工監(jiān)察的方式效率非常低下.而且盡管圍欄按照要求設(shè)置,但存在多數(shù)人員安全意識不強(qiáng),對圍欄跨越的危險性意識不到位.

在這種背景下,如果能設(shè)計(jì)一種智能化的圍欄跨越違規(guī)檢測算法,可以大大提升對于非施工人員跨越圍欄情況的監(jiān)管效率,實(shí)現(xiàn)智能化的安全管理,及時發(fā)現(xiàn)跨越圍欄人員并發(fā)出警報,為人員的安全做出了一定的保障.

2 相關(guān)工作

近年來,深度學(xué)習(xí)[4]在計(jì)算機(jī)視覺中得到了廣泛的應(yīng)用,基于深度學(xué)習(xí)的動作識別[5]是一種端到端的方法,使用深度網(wǎng)絡(luò)從原始視頻中自動學(xué)習(xí)特征[6]輸出分類結(jié)果.根據(jù)深度學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)的不同,基于深度學(xué)習(xí)的動作識別方法[7–9]主要分為基于雙流卷積網(wǎng)絡(luò)的動作識別和基于三維卷積網(wǎng)絡(luò)的動作識別.

2.1 基于雙流卷積網(wǎng)絡(luò)的動作識別

視頻的處理相對于單幀圖像來說更為復(fù)雜,主要原因在于單幀圖像僅僅包含空間位置信息,而視頻不僅具有單幀圖像的空間特征,還包含幀與幀之間的時序特征[10].因此,在視頻處理方面,需要同時考慮空間和時間兩大部分,這就要求深度網(wǎng)絡(luò)具備同時處理不同維度特征的能力[11].

但是,上述的空間流和時間流卷積神經(jīng)網(wǎng)絡(luò)均為2D 卷積,Two-stream 雙流卷積神經(jīng)網(wǎng)絡(luò)的基本網(wǎng)絡(luò)架構(gòu)如圖1所示.

圖1 Two-stream 雙流網(wǎng)絡(luò)結(jié)構(gòu)圖

在雙流卷積神經(jīng)網(wǎng)絡(luò)提出之前,動作識別的相關(guān)研究主要是從處理單幀圖像的角度出發(fā),通過結(jié)合分析關(guān)鍵幀中人體運(yùn)動姿態(tài)及其背景實(shí)現(xiàn)動作識別.這種方法的主要問題是沒有利用視頻本事特有的時間特征,僅分析每一幀圖像中的空間特征,因此識別效果有限.雙流卷積神經(jīng)網(wǎng)絡(luò)正是為了解決此問題而提出,相比于僅處理單幀圖像,雙流卷積神經(jīng)網(wǎng)絡(luò)可一次性輸入兩幀圖片,這樣在處理空間信息的基礎(chǔ)上還考慮到了一個動作本身持續(xù)性的時間變化特征,通過綜合利用兩部分特征[13–16]極大地提升了動作識別的準(zhǔn)確性.

2.2 基于三維卷積網(wǎng)絡(luò)的動作識別

二維卷積僅可以用來處理單幀圖像,對于視頻本身的時間維度上的信息難以處理.因此三維卷積的作用就顯現(xiàn)出來,它可以看作是對二維卷積的直接擴(kuò)展,在原本處理單幀圖像空間特征的基礎(chǔ)上,多了一個維度來捕獲時序信息.3D CNN 架構(gòu)由Ji 等[17]提出,3D 卷積通過堆疊多個連續(xù)的幀組成一個立方體,然后使用3D 卷積核進(jìn)行處理.2D 卷積與3D 卷積的本質(zhì)區(qū)別在于,處理視頻數(shù)據(jù)時2D 卷積操作后生成的特征圖還是二維的,相應(yīng)的多通道信息被完全壓縮,而3D 卷積操作后生成的特征圖仍然是三維的,因此保留了視頻時間維度上的信息.Tran 等[18]在前者的基礎(chǔ)上提出了一種 C3D (Convolutional 3D)的現(xiàn)代深層架構(gòu),如圖2所示,C3D 網(wǎng)絡(luò)包含8 次卷積操作,其中卷積核大小均為3×3×3,步長為1×1×1,5 次最大池化操作,除第一層池化的池化核大小和步長為1×2×2,其余均為2×2×2,最后網(wǎng)絡(luò)經(jīng)過兩次全連接層和Softmax 層輸出最終結(jié)果.實(shí)驗(yàn)結(jié)果表明,此C3D 方法在視頻動作識別精度上要優(yōu)于之前的方法,并且其不需要額外的計(jì)算光流,直接可以完成空間信息和時序信息特征的提取操作.

圖2 C3D 網(wǎng)絡(luò)結(jié)構(gòu)圖

為了優(yōu)化3D 卷積本身神經(jīng)網(wǎng)絡(luò)層數(shù)的限制,進(jìn)一步提高使用三維卷積進(jìn)行視頻動作識別的研究水平,Carreira 等[19]沿時間維度重復(fù)使用在ImageNet 上預(yù)先訓(xùn)練的二維濾波器,將用于圖像分類非常深的網(wǎng)絡(luò)拓展為空間-時間特征提取器.Qiu 等[20]提出了另一種構(gòu)建深度三維卷積網(wǎng)絡(luò)的方法:偽三維殘差網(wǎng)(Pseudo-3Dresidualnet,P3D ResNet).

三維網(wǎng)絡(luò)相比于雙流網(wǎng)絡(luò)更加簡單直接,可以更直觀的捕捉短時間內(nèi)的時間動態(tài),但三維網(wǎng)絡(luò)通?？紤]比較短的時間間隔,因此無法捕獲長期的時間信息.

3 基于深度學(xué)習(xí)的圍欄跨越行為檢測

針對作業(yè)現(xiàn)場圍欄跨越違規(guī)行為檢測問題,本文從計(jì)算機(jī)視覺角度提出一種智能化的檢測與識別方法.考慮到二維卷積可以用來解決空間定位問題,而三維卷積在處理視頻時相對傳統(tǒng)的雙流網(wǎng)絡(luò)更加簡單直接.因此提出此方法,通過結(jié)合二維卷積及三維卷積,其中三維卷積用于提取輸入剪輯中的時序特征,輸出特征維度為C′×H′×W′;二維卷積則提取當(dāng)前幀空間特征,解決定位問題,輸出特征維度為C′′×H′′×W′′.

本文擬采用的三維卷積架構(gòu)為3D-SE-ResNext-101,在3D-ResNext-101 的基礎(chǔ)上引入SE 模塊,相同深度的情況下提升了精度;采用Darknet-19 作為二維卷積架構(gòu),提取視頻中的空間位置特征;最后將得到的特征進(jìn)行通道融合,然后分類回歸,實(shí)現(xiàn)圍欄跨越行為檢測與識別.具體流程如圖3所示.

裝配式項(xiàng)目4D模型構(gòu)建采用的是Navisworks Management和Microsoft Project軟件工具組合進(jìn)行。

圖3 圍欄跨越行為檢測流程圖

3.1 3D-SE-ResNext-101

三維卷積不僅可以在空間維度上,而且可以在時間維度上應(yīng)用卷積運(yùn)算來捕獲運(yùn)動信息.眾所周知,殘差網(wǎng)絡(luò)可以有效解決神經(jīng)網(wǎng)絡(luò)隨深度增加而出現(xiàn)訓(xùn)練效果變差的問題,其內(nèi)部多個殘差塊使用跳躍連接,可以有效解決梯度消失現(xiàn)象.3D-ResNext 基本block 單元如圖4所示.

圖4 3D-ResNext 基本單元

SE 模塊主要包括Squeeze 和Excitation 兩個操作,可以適用于任何映射:

以卷積為例,卷積核為V=[v1,v2,···,vC],其中vc表示第c個卷積核.那么輸出U=[u1,u2,···,uc]:

3.2 Darknet-19

為了解決空間定位問題,并行提取當(dāng)前幀的二維特征.我們采用Darknet-19 作為基本架構(gòu),因?yàn)樗跍?zhǔn)確性和效率之間取得了很好的平衡.如表1所示,包含19 個卷積層和5 個最大池化層,同時使用batch normalization 來加速收斂.

圖5 3D-SE-ResNext module

表1 Darknet-19

3.3 損失函數(shù)設(shè)計(jì)

對于最終輸出特征圖尺寸H′×W′中的每個網(wǎng)格單元(gridcell),用K-means 方法事先選擇5 個先驗(yàn)框,因此最終輸出大小為[(5×(NumCls+5))×H′×W′],其中NumCls表示行為分類得分個數(shù),還有4 個坐標(biāo)和1 個置信度得分.對于訓(xùn)練集中的ground truth,中心落在哪個cell,那么該cell 的5 個Anchor box 對應(yīng)的邊界框就用來預(yù)測它,最終選擇IOU值最大的邊界框負(fù)責(zé)預(yù)測;與ground truth 匹配的先驗(yàn)框負(fù)責(zé)計(jì)算坐標(biāo)誤差,置信度誤差以及分類誤差,而其它4 個邊界框只計(jì)算置信度誤差.損失函數(shù)計(jì)算公式如下:

式中,W,H分別指的是特征圖的寬與高;A指的是先驗(yàn)框數(shù)目.L1,L2,L3如式(4)～式(6)所示.

計(jì)算各個預(yù)測框和所有g(shù)round truth 之間的IOU值,若最大值也小于閾值,則標(biāo)記此為background.

計(jì)算先驗(yàn)框與預(yù)測框的坐標(biāo)誤差.

這一部分計(jì)算與ground truth 匹配的預(yù)測框的坐標(biāo)損失,置信度損失以及分類損失之和.

4 實(shí)驗(yàn)與分析

本次實(shí)驗(yàn)自建圍欄跨越數(shù)據(jù)集,共采集視頻70 段,將每段視頻按幀截取并分別保存到不同文件夾,共包含圖片7000 余張.使用LabelMe 軟件標(biāo)注包含此動作的一系列幀生成相應(yīng)JSON 文件,編寫程序?qū)崿F(xiàn)將多個JSON 文件轉(zhuǎn)化為訓(xùn)練所需的txt 文件格式,并匯總到trainlist 文件中以開始訓(xùn)練.

實(shí)驗(yàn)顯卡配置NVIDIA GeForce RTX 2080Ti,處理器為Intel i7.學(xué)習(xí)率初始化為0.0001,并在30 k,40 k,50 k 和60 k 次迭代后分別降低0.5 倍.

4.1 效果展示

訓(xùn)練12 個epoch 后選取視頻測試,實(shí)驗(yàn)選取不同場景下的圍欄跨越違規(guī)動作模擬視頻以驗(yàn)證該方法的泛化性,實(shí)際測試效果如圖6所示.

從圖中可以看出,在不同的場景下使用此方法可以較為準(zhǔn)確的檢測出視頻中的圍欄跨越行為,具有一定的泛化能力.當(dāng)處理實(shí)時監(jiān)控時,使用OpenCV 不斷獲取視頻監(jiān)控截圖,將連續(xù)幀組成的剪輯作為輸入,經(jīng)格式化處理后輸入到訓(xùn)練好的模型中,若檢測到當(dāng)前幀存在違規(guī)動作,使用紅色方框標(biāo)記并預(yù)警,避免事故的發(fā)生,從而達(dá)到智能化管理.

4.2 對比實(shí)驗(yàn)

本次實(shí)驗(yàn)使用Frame-AP 作為評價指標(biāo).對所有包含預(yù)測框的幀,計(jì)算每一個預(yù)測框與真實(shí)框間的IOU值,若超過閾值(預(yù)先設(shè)置為0.5),則記為TP,否則為FP,漏檢記為FN;當(dāng)出現(xiàn)多個預(yù)測框同時匹配一個真實(shí)框的情況時,則只保留IOU值最大的預(yù)測框,記為TP,其余均為FP.相應(yīng)得出準(zhǔn)確率(Precision)及召回率(Recall).

為探究輸入剪輯長度以及下采樣率對圍欄跨越檢測模型的影響,選取剪輯長度為8 幀和16 幀,下采樣率d=1,2,3 進(jìn)行對比實(shí)驗(yàn).具體結(jié)果如表2所示.比較后,本次實(shí)驗(yàn)選取輸入剪輯長為16,下采樣率d取1.

探究不同3D backbones 對結(jié)果的影響(16-frames,d=1).如表3所示.從表3中可以看出,在3D-ResNext-101 基礎(chǔ)上加入SE 模塊后,達(dá)到最好效果,因此將其作為本文三維卷積backbone 使用.

探究本文(3D-SE-ResNext-101+Darknet-19)方法與其他方法在圍欄跨越行為檢測上的效果,測試結(jié)果如表4所示.

從結(jié)果可以看出,在保證Frame-AP 的情況下,本文方法在實(shí)際測試圍欄跨越違規(guī)行為時處理速度可以達(dá)到43 fps,實(shí)時性更強(qiáng).

5 結(jié)論與展望

針對圍欄跨越違規(guī)行為檢測問題,本文從計(jì)算機(jī)視覺角度出發(fā),提出一種基于視頻的智能化檢測與識別算法,使用三維卷積提取時序特征,同時在二維卷積上提取空間特征,解決定位問題.通過設(shè)置對比試驗(yàn)以尋找最優(yōu)方法.實(shí)驗(yàn)測試結(jié)果表明,該方法可以較為準(zhǔn)確的檢測出視頻中的跨越行為,具有較高的準(zhǔn)確性和魯棒性,大大提升了監(jiān)管效率,實(shí)現(xiàn)智能化管理.未來將會考慮在此基礎(chǔ)上加入目標(biāo)檢測模塊,重點(diǎn)檢測圍欄區(qū)域范圍內(nèi)的動作,以消除無關(guān)區(qū)域動作干擾,使圍欄跨越違規(guī)檢測與識別方法更加成熟.

圖6 不同場景下的實(shí)際測試效果

表2 輸入長度及下采樣率對結(jié)果的影響 (IOU=0.5)

表3 3D Backbone 對結(jié)果的影響 (IOU=0.5)

表4 不同方法測試效果(IOU=0.5)