孔天宇,戴激光

(遼寧工程技術(shù)大學 測繪與地理科學學院,遼寧 阜新 123000)

0 引言

近年來,路面井蓋事故受到了人們的廣泛關(guān)注,2017—2019年期間媒體報道窨井“吃人、傷人”事件已達到70余件[1]。加大城市路面井蓋巡檢,是避免井蓋事故的有效途徑。早期的路面井蓋監(jiān)管主要依靠人工巡查和硬件傳感設(shè)備,這不僅費時費力,而且巡查人員在檢查路面井蓋時還存在一定的安全隱患[2]。計算機視覺技術(shù)的發(fā)展,為路面井蓋的巡查及管理帶來了新的方式[3]。Wei等[4]將支持向量機與具有對稱特征的方向梯度直方圖相結(jié)合,分別利用激光點云和激光圖像的梯度圖像以及拍攝的路面影像,實現(xiàn)了井蓋的檢測和分類。喬瑞萍等[5]提出了一種多特征融合的方法,該方法利用先驗知識劃定檢測范圍,然后利用邊緣的連通性鎖定候選區(qū)域,通過多特征判定確定井蓋的具體位置。相比于早期方法,傳統(tǒng)的圖像檢測技術(shù)可以客觀、快速地對大量數(shù)據(jù)進行分析處理,在道路背景簡單的場景下表現(xiàn)良好。但傳統(tǒng)的檢測算法主要依賴于根據(jù)先驗知識建立的特征[6],當?shù)缆飞暇w的紋理顏色與路面相似時,表面特征與周圍路面難以區(qū)分,傳統(tǒng)的圖像檢測技術(shù)在檢測時容易出現(xiàn)漏檢或錯檢。

深度學習在目標檢測及圖像分割任務(wù)中被廣泛應(yīng)用且表現(xiàn)出色,這給井蓋的巡檢提供了新的解決方案[7]。與基于先驗特征的傳統(tǒng)算法相比,深度學習網(wǎng)絡(luò)具有強大的學習和特征表達能力,并且特征表示具有非常強的泛化能力[8]。趙文劍等[9]使用ResNet模型對車載智能手機拍攝到的路面影像進行井蓋識別的同時,結(jié)合手機采集到的車輛經(jīng)過沉陷井蓋時產(chǎn)生的加速度,可對井蓋進行塌陷分析。Zhou等[10]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的分類方法,該方法從智能手機采集影像中檢測井蓋,結(jié)合車載傳感器數(shù)據(jù)得到不同塌陷程度的井蓋。從以上研究結(jié)果來看,將深度學習技術(shù)應(yīng)用到井蓋病害檢測,可以實現(xiàn)道路區(qū)域范圍內(nèi)的自動化檢測,但目前工作著重于檢測塌陷井蓋,忽略了井蓋周圍路面破損問題,因而檢測結(jié)果并不完善。另外受限于手機拍攝方式難以避免受到行人、車輛對井蓋檢測的干擾,降低了井蓋病害的檢測精度。

針對上述問題,本文提出改進YOLOv5的路面井蓋病害檢測方法。本文主要研究內(nèi)容包括:針對城市道路上的各種井蓋病害,制定了路面井蓋的分類標準,制作了井蓋病害數(shù)據(jù)集;選取YOLOv5作為基礎(chǔ)模型,在主干部分及網(wǎng)絡(luò)中加入注意力機制,提出了針對井蓋病害的檢測模型AT-YOLO(Attention-YOLO),有效提升了模型對于路面井蓋病害的檢測效果。

1 研究方法

1.1 井蓋病害分類

井蓋作為城市道路的附屬構(gòu)造,在長期的車輛載荷以及自身材料、設(shè)計、施工等原因的多重作用下,井蓋或周圍路面會發(fā)生沉陷、破損等病害[11]。如圖1所示,由于井蓋病害成因因素眾多,井蓋也會出現(xiàn)復合病害問題,即多種病害同時出現(xiàn)在同一個井蓋上。北京市《數(shù)字化城市管理信息系統(tǒng)部件和事件處置》(DB11/T 932—2012)中,規(guī)定了由部件質(zhì)量引發(fā)的監(jiān)管案例,表1中列舉了正常井蓋、井周破損和塌陷井蓋等不同井蓋類別及其對比分析。

表1 不同井蓋狀態(tài)對比

圖1 井蓋對比

結(jié)合表1與圖1中的井蓋實例可以看出,正常井蓋與路面沒有明顯高差,且周圍路面完好無裂縫或坑槽,對車輛行駛不存在影響。井周破損的井蓋包括井蓋周圍保護圈的破壞和井周路面的破損,表現(xiàn)為從裂縫到坑洼的不同程度破損,且在行駛車輛的持續(xù)作用下井周破壞會逐漸增長擴大。塌陷井蓋從影像中可以看到與路面存在明顯的高差,塌陷嚴重的井蓋會影響到行駛車輛的穩(wěn)定性和舒適性。

1.2 面向病害井蓋的AT-YOLO網(wǎng)絡(luò)

在復雜多變的街景影像中,路面上的井蓋及其病害在不同的時間、光照條件和成像角度影響下,呈現(xiàn)出差異性的表面紋理特征,在影像中出現(xiàn)視覺形態(tài)上的區(qū)分,而視覺特征信息是基于街景影像進行路面井蓋及其病害檢測的主要依據(jù)。因此,本文在前文總結(jié)的井蓋病害表征特點的基礎(chǔ)上,提出了針對路面井蓋病害的目標檢測模型AT-YOLO。AT-YOLO模型結(jié)構(gòu)圖如圖2所示,其網(wǎng)絡(luò)結(jié)構(gòu)分為backbone(主干)、neck(頸部)和detect(檢測層) 3個部分。

圖2 AT-YOLO網(wǎng)絡(luò)結(jié)構(gòu)

在網(wǎng)絡(luò)的backbone中,AT-YOLO采用了本文提出的TAC3(triplet attention C3)作為網(wǎng)絡(luò)backbone中特征提取模塊的基本單元,其基本結(jié)構(gòu)為CSP結(jié)構(gòu)。網(wǎng)絡(luò)backbone中的SPP(spatial pyramid pooling)為空間金字塔池化模塊,可以將任意大小的特征圖轉(zhuǎn)換成固定大小的特征向量。本文在網(wǎng)絡(luò)backbone中添加convolutional block attention module(CBAM)[12]作為單獨的處理單元,來弱化由于背景信息及其他物體造成的干擾,減少誤檢率。

網(wǎng)絡(luò)的neck部分使用了特征金字塔網(wǎng)絡(luò)(feature pyramid networks,FPN)結(jié)構(gòu)對相同尺度的特征進行融合處理。除使用FPN的結(jié)構(gòu),在傳統(tǒng)的自頂向下路徑之外,自底向上的路徑可以有選擇地融合不同層次的特征,以更有效的方式捕獲各種尺度井蓋特征的語義變化。

網(wǎng)絡(luò)detect部分由3個輸出特征層來決定最終的檢測結(jié)果。在網(wǎng)絡(luò)的neck部分,來自不同模型深度的特征經(jīng)過融合以及上采樣操作后,輸出3個不同深度、不同大小的特征。對應(yīng)網(wǎng)絡(luò)resize(分辨率重構(gòu))后的輸入圖像大小為N,輸出特征大小分別為N/8、N/16和N/32。

1)主干網(wǎng)絡(luò)。在不同場景下采集到的影像受影像清晰度、路面光照強度、路面干燥程度和附帶干擾物等因素影響,使得部分井蓋沒有被網(wǎng)絡(luò)檢測到。從網(wǎng)絡(luò)設(shè)計來看,這是因為YOLOv5主干網(wǎng)絡(luò)特征提取能力相對不足,在特征分辨上存在困難,從而導致了井蓋和病害的漏檢。在檢測路面井蓋病害時不僅要檢測到井蓋的位置,還要根據(jù)井蓋和井蓋周圍路面的狀態(tài)判斷病害類別,這需要網(wǎng)絡(luò)具有較強的特征提取能力。因此本文對YOLOv5主干網(wǎng)絡(luò)基礎(chǔ)模塊BottleneckCSP進行了改進,提出了新的主干網(wǎng)絡(luò)TAC3,并利用混合注意力機制增強網(wǎng)絡(luò)對特征的提取能力。

如圖3所示,本文提出的TAC3相對于YOLOv5原主干網(wǎng)絡(luò)基本單元BottleneckCSP,標準卷積模塊中的激活函數(shù)由Leaky Relu更換為Silu,改善了網(wǎng)絡(luò)訓練過程中梯度爆炸的問題。將分支中的卷積層修改為卷積歸一化層,從而加速網(wǎng)絡(luò)收斂,提升網(wǎng)絡(luò)訓練速度。為了加強主干網(wǎng)絡(luò)對特征的提取能力,在輸出特征前增加了triplet attention module[13](三重注意模塊)。經(jīng)過整個主干網(wǎng)絡(luò)模塊輸出的特征圖的大小與輸入大小相同。

圖3 TAC3(上)與BottleneckCSP(下)

三重注意模塊不是從單一通道對特征進行處理,而是在計算注意力權(quán)重時捕獲跨維度間的信息,結(jié)合通道注意力與空間注意力,在關(guān)注井蓋病害視覺表面特征的同時,對井蓋所處的空間位置表現(xiàn)更多的關(guān)注。三重注意模塊結(jié)構(gòu)如圖4所示。三重注意模塊有3個分支,給定一個輸入特征圖X,每個分支都可捕獲來自H、W和C的任意兩個維度之間的跨維度交互信息。

圖4 triplet attention module

三重注意模塊強調(diào)捕捉跨域交互的重要性,而不是單獨計算空間注意和通道注意,這有助于獲取豐富的區(qū)域特征表示。由于其結(jié)構(gòu)簡單而高效,在加入AT-YOLO的主干網(wǎng)絡(luò)后,只是增加了微小的計算量,卻可以有效增強網(wǎng)絡(luò)提取到的特征中空間和通道維度上的特征,提升模型主干網(wǎng)絡(luò)的特征提取能力,能夠獲取有代表性的特征表示。

2)convolutional block attention module。街景影像中包含許多干擾因素,包括地面文字標記、圓形交通標識和水漬等,這些地物在特征提取過程中會產(chǎn)生特征污染,導致檢測井蓋時出現(xiàn)誤檢測問題。另一方面,路面病害中的龜網(wǎng)裂、瀝青橫縱向裂縫及坑槽/洞等幾類病害[14]的視覺表征與路面井蓋的病害存在相似部分,這容易導致誤檢測問題。為減少背景因素影響而產(chǎn)生的誤檢測,本文在網(wǎng)絡(luò)中添加注意力機制,通過對不同重要程度的特征分配不同大小的權(quán)重,弱化干擾特征,使網(wǎng)絡(luò)模型更加專注于與路面井蓋及其病害相關(guān)的特征,從而提升模型的檢測精度。

本文采用的注意力模塊是混合注意力CBAM,由通道注意力和空間注意力串聯(lián)組成,該模塊將通道注意圖和空間注意圖解耦以提高計算效率,并通過引入全局池化層來利用空間全局信息,CBAM結(jié)構(gòu)如圖5所示。CBAM有兩個順序連接的子模塊,按順序依次為通道注意力(channel attention model,CAM)與空間注意力(space attention model,SAM)。給定通道注意力模塊輸入特征圖X∈RC×W×H,依次推斷出1D通道注意力向量Sc∈RC和2D空間注意圖SS∈RW×H。

圖5 CBAM模塊

通道注意力與空間注意力分別在通道維度和空間維度上對應(yīng)學習注意的目標和位置[15],增加的模塊通過學習強調(diào)與路面井蓋有關(guān)的特征,抑制與井蓋不相關(guān)的其他特征,有效地幫助信息在網(wǎng)絡(luò)中流動。CBAM的加入使AT-YOLO網(wǎng)絡(luò)相比于YOLOv5基礎(chǔ)網(wǎng)絡(luò)更有效地聚焦于目標對象及目標對象所處的位置,在一定程度上降低了影像中背景及其他物體對檢測造成的干擾,減少了誤檢。

2 實驗與結(jié)果分析

2.1 實驗數(shù)據(jù)及實驗設(shè)置

本文實驗使用的影像均為移動數(shù)據(jù)采集車采集的影像,共計121 730張,包含遼寧省沈陽市及阜新市,共計240 km的路面影像,涵蓋了商業(yè)街、林蔭道等不同場景,圖像大小均為3 200像素×1 800 像素。從中挑選出包含病害井蓋的影像共計2 700張制作實驗數(shù)據(jù)集。以往勾畫樣本標注框緊貼目標邊緣,但本文在勾畫井蓋病害數(shù)據(jù)集時,使正常井蓋標注框也包含周圍一定范圍內(nèi)的路面,提供更多的信息以更好地判斷井蓋病害。破損井蓋則是以井周破損路面區(qū)域的最大外接矩形為標注區(qū)域。實驗將數(shù)據(jù)集劃分為3個部分,訓練集包含2 232幅圖像,驗證集包含254幅圖像,測試集包含214幅圖像。

由于訓練集規(guī)模較小,模型只訓練300個epoch,前5個epoch作為warmup_epochs。依據(jù)訓練經(jīng)驗,將初始學習率設(shè)置為0.01,動量與重量衰減分別設(shè)置為0.937和0.000 5,batch size(批次)設(shè)置為2。

2.2 評價指標

以現(xiàn)有研究工作[16]作為參考,本文選取precision(精確率)、recall(召回率)和F1-score(調(diào)和平均值)作精度評價指標。precision表示檢測結(jié)果中檢測正確的比例,recall表示檢測結(jié)果查全率,F1-score是準確率與召回率的調(diào)和平均數(shù),綜合了準確率與召回率兩個指標,其取值范圍為從0到1,1表示模型的檢測結(jié)果最好,0表示結(jié)果最差。

2.3 實驗與討論

為了驗證本文所提出的AT-YOLO網(wǎng)絡(luò)在路面井蓋及井蓋病害檢測上的優(yōu)越性,本文在實驗數(shù)據(jù)集上使用Retinanet[17]、Efficientdet[18]等目標檢測網(wǎng)絡(luò)進行了對比實驗,具體的對比結(jié)果顯示在圖6中。

圖6 對比模型精度對比

在圖6的對比結(jié)果中可以看出,本文提出的AT-YOLO模型在總體上體現(xiàn)了最高的檢測精度,對不同類別的井蓋病害檢測的具體精度略有不同。AT-YOLO在圖6(a)全部井蓋和圖6(d)正常井蓋中的檢測結(jié)果整體優(yōu)于其他網(wǎng)絡(luò),表明本文方法檢測到的井蓋更加全面,檢測到的井蓋正確率更高,且漏檢情況更少。

在圖6(b)檢測塌陷井蓋的精度對比中,本文方法在相比于其他方法取得了絕對領(lǐng)先。由于塌陷井蓋在數(shù)據(jù)集實例中的占比較少,其他對比網(wǎng)絡(luò)均出現(xiàn)了precision和recall相差懸殊的問題,說明其他的方法雖然檢測到的結(jié)果準確率高,但檢測到的塌陷井蓋較少,漏檢情況嚴重。本文方法的基礎(chǔ)網(wǎng)絡(luò)YOLOv5的綜合精度高于其他網(wǎng)絡(luò),本文方法相比YOLOv5又有了進一步的提高,說明AT-YOLO在檢測塌陷井蓋方面取得極大的精度提升。

在檢測出現(xiàn)井周路面破損的井蓋方面,圖6(c)顯示本文方法檢測結(jié)果中,precision和F1-score數(shù)值略低于SSD[19]、YOLOv4[20]等對比網(wǎng)絡(luò),recall指標與其他對比方法基本持平,但從整體檢測來說AT-YOLO仍然是最優(yōu)的路面井蓋病害檢測模型。出現(xiàn)這一情況原因在于,SSD、YOLOv4等模型結(jié)構(gòu)較復雜且參數(shù)量較多,而AT-YOLO網(wǎng)絡(luò)參數(shù)量更少,注重檢測速度與精度的均衡。結(jié)果表明AT-YOLO能夠檢測出井周路面破損的井蓋,檢測井周破損病害的準確性還有很大的提升空間。

在不同的自然條件下進行檢測可以驗證模型方法的穩(wěn)定性。針對本文檢測的幾種井蓋病害,圖7列舉了上述實驗的幾種模型在大規(guī)模街景影像上的檢測結(jié)果。

圖7 對比模型效果對

模型在進行井蓋病害檢測時,不僅要檢測影像中井蓋是否存在,還需要根據(jù)井蓋周圍路面的表現(xiàn)狀態(tài)及路面與井蓋的位置關(guān)系來判定井蓋類別。圖7第一列展示了各實驗網(wǎng)絡(luò)對井周出現(xiàn)破損的井蓋的檢測結(jié)果,可以看出本文方法對該類問題具有很好的適用性。對比實驗?zāi)Ｐ驮跈z測圖中井周出現(xiàn)破損時,只有SSD網(wǎng)絡(luò)檢測到了影像中井蓋,但未獲取準確的類別信息,并且出現(xiàn)了多個類別檢測框。相比之下,AT-YOLO具有更強的特征提取能力,在檢測到影像中井蓋的同時也正確判斷了井蓋的分類。

在圖7第2列對比圖中,圖中的右上方正常井蓋顏色相比于路面顏色較深,與路面背景之間的光譜差異明顯,所有網(wǎng)絡(luò)均檢測到了圖中的正常井蓋。但左下方出現(xiàn)塌陷問題的井蓋由于覆蓋塵土等雜物,只露出部分井蓋。塵土的干擾使得井蓋與路面背景極為相似,從而增加了檢測難度。第3列中的井蓋部分被綠化帶遮擋,并且表面覆蓋落葉等雜物,對比實驗的網(wǎng)絡(luò)模型均未檢測到該井蓋。由于AT-YOLO相比于其他網(wǎng)絡(luò)的抗干擾能力得到了增強,減少了在特征提取過程中干擾地物造成的特征污染,本文方法很好地檢測到了井蓋的位置,并且預(yù)測框準確地貼合在井蓋邊緣。

第4列及第5列中的井蓋均位于人行道內(nèi)。井蓋表面被斑馬線白色涂料覆蓋,這使得井蓋與路面背景之間的光譜差異被減弱了,井蓋與路面背景極為相似,白色涂料的存在對井蓋周圍的坑洼的識別也存在一定的干擾。從檢測結(jié)果對比中可看出,即使井蓋被涂料覆蓋,本文方法也可以檢測到對應(yīng)特征,檢測到了其他幾種網(wǎng)絡(luò)模型未檢測到的井蓋,并且準確地將其分類。

3 結(jié)束語

針對現(xiàn)有路面井蓋分類體系不完備以及檢測精度低等問題,本文基于YOLOv5,提出了一種路面井蓋病害檢測模型AT-YOLO,實現(xiàn)了街景影像中路面井蓋病害的快速檢測。在本文方法中,主要改進了網(wǎng)絡(luò)模型的backbone部分,在網(wǎng)絡(luò)backbone中應(yīng)用不同的混合注意力機制,增強了網(wǎng)絡(luò)的特征提取能力,并且減少由于背景信息干擾而引發(fā)的誤檢測。實驗在自制數(shù)據(jù)集上進行,通過大量影像證明了本文方法相對于其他方法的優(yōu)越性和穩(wěn)定性,路面井蓋病害整體檢測精度達到93%以上。在未來的工作中,本文一方面將繼續(xù)提升AT-YOLO模型對路面井蓋病害的檢測精度以及檢測速度,另一方面將探究如何建立長效的路面井蓋監(jiān)管預(yù)警機制。