彭雨諾 劉 敏 萬 智 蔣文博 何文軒 王耀南

中國橋梁數(shù)量位居世界首位[1],大量的橋梁改善了交通狀況,同時(shí),為保障橋梁的安全運(yùn)營,需要對橋梁進(jìn)行定期的檢查和養(yǎng)護(hù).橋梁在建造以及使用的過程中,受到施工材料、建筑工藝、極端天氣、車輛超載等因素的影響,不可避免地出現(xiàn)結(jié)構(gòu)性或非結(jié)構(gòu)性的損傷,進(jìn)而形成蜂窩、漏筋、孔洞、裂縫等表觀病害.若是能夠及時(shí)地對橋梁進(jìn)行檢查并修復(fù)損傷,將大大減少橋梁的維護(hù)成本,延長橋梁的使用壽命.到目前為止,橋梁健康狀況的評估大多仍是由人工目視進(jìn)行[2],工人在升降裝置的協(xié)助下,到達(dá)橋梁各個(gè)位置對病害進(jìn)行測量和統(tǒng)計(jì).然而,這種傳統(tǒng)方法檢測效率低下且結(jié)果受到工人主觀經(jīng)驗(yàn)的影響,因此,實(shí)現(xiàn)橋梁表觀病害的自動(dòng)化檢測具有重要意義.

隨著人工智能技術(shù)的發(fā)展,近年來越來越多的機(jī)器人被用于橋梁的自動(dòng)化檢查中,文獻(xiàn)[3-4]利用無人機(jī)獲取橋梁和鋼索的高清圖像并進(jìn)行病害的檢測,文獻(xiàn)[5]使用移動(dòng)機(jī)器人對橋梁進(jìn)行檢查,在文獻(xiàn)[6]開發(fā)了一種水下機(jī)器人對橋墩的水下部分進(jìn)行檢測.由湖南橋康智能科技有限公司研發(fā)的輕量化橋梁智能檢測機(jī)器人BIR-X-LITE,可海量地采集橋梁底部的高分辨率表觀圖像數(shù)據(jù).為了高效且準(zhǔn)確地評估橋梁健康狀況,需要利用橋梁表觀病害檢測算法對圖像進(jìn)行快速有效的分析.過去許多傳統(tǒng)病害檢測算法中,邊緣檢測器[7]和閾值檢測方法[8-9]被用于裂縫檢測.文獻(xiàn)[10] 利用基于局部熵的閾值算法檢測橋梁蜂窩病害.如果病害具有高對比度以及良好的連續(xù)性,傳統(tǒng)算法可實(shí)現(xiàn)高精度的檢測.但在實(shí)際應(yīng)用中,受到光照強(qiáng)度變化、噪聲、背景干擾等因素的影響,部分病害圖像特征不明顯,從而導(dǎo)致傳統(tǒng)算法無法實(shí)現(xiàn)準(zhǔn)確地病害檢測.

近年來,深度學(xué)習(xí)在計(jì)算機(jī)視覺等領(lǐng)域表現(xiàn)出了良好的性能[11-14],利用該技術(shù)在復(fù)雜條件下對橋梁表觀病害圖像進(jìn)行檢測已成為現(xiàn)實(shí).在文獻(xiàn)[15]利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks,CNN)對16×16 像素的圖像進(jìn)行分類,來判斷該圖像中是否存在裂縫病害.而Kim 等[16]將區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Region-CNN,R-CNN)與形態(tài)學(xué)后處理相結(jié)合,以檢測和分割橋梁裂縫病害.但是大部分深度學(xué)習(xí)方法只針對一種類型的病害進(jìn)行檢測,不能對橋梁的健康狀況進(jìn)行全面地評估.

隨著多尺度檢測網(wǎng)絡(luò)的發(fā)展,橋梁多病害檢測算法被相繼提出.Zhang 等[17]利用YOLO (You only look once)網(wǎng)絡(luò)實(shí)現(xiàn)了對橋梁裂縫、剝落、蜂窩和漏筋4 種病害的檢測.該方法在YOLOv3 的基礎(chǔ)上,引入了遷移學(xué)習(xí)方法和批量正則化等方法.Li 等[18]基于Dense-net 網(wǎng)絡(luò)和遷移學(xué)習(xí)方法,提出了新的全卷積神經(jīng)網(wǎng)絡(luò)(Fully convolutional networks,FCN),對裂縫、蜂窩、風(fēng)化和孔洞4 種病害進(jìn)行檢測和分割.然而,在上述網(wǎng)絡(luò)訓(xùn)練所使用的數(shù)據(jù)集中,各類病害從不相等的距離被拍攝,從而縮小了不同病害間的大小差異.

在實(shí)際應(yīng)用中,如Yang 等[19]、Mundt 等[20]和Hüthwohla 等[21]指出,不同類型的病害外觀差異顯著,且病害之間可能發(fā)生重疊,利用單個(gè)網(wǎng)絡(luò)完成所有橋梁表觀病害的檢測或分類是一個(gè)巨大的挑戰(zhàn).針對上述問題,文獻(xiàn)[19]通過引入距離加權(quán)系數(shù)對蜂窩和裂縫病害圖像進(jìn)行縮放對齊;文獻(xiàn)[20]在224×224 像素步長的滑動(dòng)窗口上對橋梁多病害進(jìn)行分類,但可能導(dǎo)致大型病害整體結(jié)構(gòu)信息的丟失;文獻(xiàn)[21]提出了三階段分類器,可將不健康的橋梁區(qū)域分為特定病害類型,以不同步長的滑動(dòng)窗口對圖像進(jìn)行了多次的分類,提高了分類的準(zhǔn)確性.

不同類型的病害外觀差異顯著,且病害之間可能發(fā)生重疊,加上光照強(qiáng)度變化、噪聲、背景干擾等影響,現(xiàn)有的目標(biāo)檢測算法無法在固定步長的滑動(dòng)窗口上實(shí)現(xiàn)橋梁多病害的快速魯棒檢測.針對上述問題,本文對YOLO[22-23]進(jìn)行了改進(jìn),提出了YOLOlump 和YOLO-crack,以提高網(wǎng)絡(luò)檢測多病害的能力,進(jìn)而形成基于雙網(wǎng)絡(luò)的橋梁表觀病害快速檢測算法.1) YOLO-lump 在1 280×1 280 像素步長的滑動(dòng)窗口上實(shí)現(xiàn)塊狀病害(包括蜂窩、漏筋和孔洞病害)的檢測,針對長寬比和大小多變的塊狀病害,提出了混合空洞金字塔模塊,采用空間金字塔池化[24]的并行采樣結(jié)構(gòu),并在不同的通道上利用混合空洞卷積[25]提取不同尺度的特征.該模塊可用于提取稀疏的多尺度特征,能在不顯著增加計(jì)算復(fù)雜度的情況下擴(kuò)展網(wǎng)絡(luò)的感受野,同時(shí)可以避免空洞卷積造成的局部信息丟失.2) YOLO-crack 在640×640 像素步長的滑動(dòng)窗口上實(shí)現(xiàn)裂縫病害的檢測,由于常規(guī)的下采樣方法可能會導(dǎo)致裂縫像素?fù)p失,受文獻(xiàn)[26-27]啟發(fā),提出了下采樣注意力模塊,其在額外的下采樣通道中,利用1×1 卷積和3×3 分組卷積分別解耦特征的通道相關(guān)性和空間相關(guān)性[28],以找到特征中重要的信息,然后疊加到原始的下采樣結(jié)果上.該模塊能夠增強(qiáng)下采樣過程中裂縫的前景響應(yīng),有利于裂縫細(xì)節(jié)特征的保留.為了提高網(wǎng)絡(luò)的檢測速度,基于文獻(xiàn)[29-30]對YOLO-crack進(jìn)行了輕量化的調(diào)整.此外,為了進(jìn)一步提升本文算法的性能,條件生成式對抗網(wǎng)絡(luò)[31]被用于生成新的訓(xùn)練樣本以提升病害檢測的魯棒性.而focal loss損失函數(shù)[32]被用于解決正負(fù)樣本不平衡的問題以優(yōu)化網(wǎng)絡(luò)訓(xùn)練過程.本文提出的算法可配合BIR-XLITE 機(jī)器人實(shí)現(xiàn)橋梁多病害的快速魯棒檢測,算法整體流程如圖1所示.綜上所述,本文主要貢獻(xiàn)如下:

圖1 雙網(wǎng)絡(luò)橋梁表觀病害快速檢測算法整體框架Fig.1 Overview of the dual deep network for fast bridge surface defect detection

1)建立了橋梁表觀圖像數(shù)據(jù)庫,共有169 621張高分辨率圖像,包括蜂窩、漏筋、孔洞和裂縫4 種常見病害類型.

2)提出了混合空洞金字塔模塊,結(jié)合了混合空洞卷積和空間金字塔池化,能有效擴(kuò)展網(wǎng)絡(luò)的感受野并保護(hù)特征連續(xù)性,提高網(wǎng)絡(luò)的多尺度檢測性能.

3)提出了下采樣注意力模塊,利用1×1 卷積和3×3 分組卷積分別解耦特征的通道相關(guān)性和空間相關(guān)性,能加強(qiáng)下采樣階段病害的前景響應(yīng),減少空間信息損失.

4)根據(jù)橋梁病害的實(shí)際情況,提出了雙網(wǎng)絡(luò)橋梁表觀病害快速檢測算法,其雙網(wǎng)絡(luò)分別為YOLOlump 和YOLO-crack 網(wǎng)絡(luò),配合BIR-X-LITE 機(jī)器人可實(shí)現(xiàn)橋梁多病害的檢測.實(shí)驗(yàn)結(jié)果證明,在本文數(shù)據(jù)集上,該算法性能優(yōu)于其他最新方法,且檢測一張5 120×5 120 像素的圖像僅花費(fèi)0.995 秒.

1 基于GAN 網(wǎng)絡(luò)的數(shù)據(jù)增廣

橋梁健康狀況評估是多階段的工作[33],由于橋梁機(jī)器人可海量地采集橋梁底部的高分辨率表觀圖像數(shù)據(jù),為了提高橋梁健康狀況評估效率,首先需要利用檢測網(wǎng)絡(luò)快速地篩除出病害區(qū)域.因此,檢測階段的性能會極大地影響橋梁健康狀況評估的結(jié)果.為了全面準(zhǔn)確地掌握橋梁健康狀況,需要實(shí)現(xiàn)魯棒性高的病害檢測.在圖像采集的過程中,受到光照強(qiáng)度變化、噪聲、機(jī)械振動(dòng)等因素的影響,少部分圖像成像質(zhì)量不佳從而形成困難樣本,導(dǎo)致病害檢測性能下降.為了增強(qiáng)網(wǎng)絡(luò)的魯棒性,提高網(wǎng)絡(luò)對于困難樣本的檢測能力,利用生成式對抗網(wǎng)絡(luò)[34](Generative adversarial networks,GAN)自動(dòng)生成困難樣本以對訓(xùn)練數(shù)據(jù)進(jìn)行增廣.近年來,GAN網(wǎng)絡(luò)被廣泛應(yīng)用于各類圖像處理任務(wù)中.劉建偉等[35-39]通過實(shí)驗(yàn)證明,GAN 網(wǎng)絡(luò)生成的數(shù)據(jù)具有一定的實(shí)用性.

利用條件GAN 網(wǎng)絡(luò)[31]對橋梁病害圖像進(jìn)行數(shù)據(jù)增廣,該網(wǎng)絡(luò)可以將橋梁表觀病害語義分割圖像合成為真實(shí)病害圖像.原始數(shù)據(jù)集包含597 張塊狀病害圖像和516 張裂縫病害圖像以及對應(yīng)的語義分割圖像.網(wǎng)絡(luò)的訓(xùn)練參數(shù)設(shè)置如下:初始學(xué)習(xí)率設(shè)置為0.0001,動(dòng)量設(shè)置為0.5,使用的優(yōu)化器為Adam,批量大小設(shè)置為1,訓(xùn)練迭代次數(shù)為100 輪.在新生成的病害圖像中,挑選出444 張塊狀病害圖像以及427 張裂縫病害圖像,部分生成圖像見圖2.

圖2 GAN 網(wǎng)絡(luò)生成的橋梁表觀病害圖像Fig.2 Bridge surface defect images generated by GAN network

2 雙網(wǎng)絡(luò)橋梁表觀病害快速檢測算法

2.1 混合空洞金字塔模塊

橋梁病害的長寬比及大小差異顯著,其中,漏筋病害特征細(xì)長,而蜂窩病害的尺寸幾乎可以任意變化,不同的蜂窩病害其面積差異可達(dá)到10 倍以上.由于YOLO 需要根據(jù)聚類結(jié)果先行設(shè)定錨框,然后網(wǎng)絡(luò)在特征圖上以設(shè)定好的錨框?qū)δ繕?biāo)進(jìn)行搜索與檢測.橋梁病害長寬比及大小的差異對聚類結(jié)果的準(zhǔn)確性造成了影響,當(dāng)目標(biāo)的長寬比及大小與聚類結(jié)果相差較大時(shí),會影響檢測網(wǎng)絡(luò)的定位準(zhǔn)確性.為解決上述問題,需要增強(qiáng)網(wǎng)絡(luò)的多尺度檢測性能,使網(wǎng)絡(luò)能夠更好地提取和識別不同橋梁病害的特征.

在過去工作中,空洞空間金字塔池化[40](Atrous spatial pyramid pooling,ASPP)被用于解決分割領(lǐng)域物體尺度變化大的問題,將空洞卷積添加到空間金字塔池化的框架中,以有效地提取多尺度上下文信息,但是空洞卷積的膨脹系數(shù)設(shè)置過大,不利于橋梁病害的檢測.為了對橋梁病害多尺度特征進(jìn)行提取,將ASPP 中高膨脹系數(shù)的空洞卷積分解為多個(gè)低膨脹系數(shù)的空洞卷積,空洞卷積膨脹系數(shù)的設(shè)置與文獻(xiàn)[25],這樣可以避免空洞卷積級聯(lián)后造成的局部信息丟失.為了減少計(jì)算量,在空洞卷積之前額外加入了1×1 卷積來減少特征通道數(shù)量.另一方面,由于1×1 卷積后引入了Mish 激活函數(shù)[41],可以增強(qiáng)模塊的非線性表達(dá),提升其特征提取能力.本文提出的混合空洞金字塔模塊如圖3所示,其中r代表空洞卷積的膨脹系數(shù).

圖3 混合空洞金字塔模塊Fig.3 The hybrid dilated pyramid module

在混合空洞金字塔模塊中,輸入特征被采樣到4 條相互獨(dú)立的通道之中,組成空間金字塔進(jìn)行并行采樣.首先,經(jīng)過1×1 卷積將特征通道數(shù)減少至輸入特征通道數(shù)的1/4.在第1 條通道內(nèi),特征圖不進(jìn)行額外的處理.而在另外3 條通道內(nèi),通過不同數(shù)量和膨脹系數(shù)的空洞卷積疊加,提取包含不同感受野的特征圖.從整體上看,每條特征提取通道內(nèi)的空洞卷積都只與輸入特征的一部分相連接,這有助于提取特征級的稀疏信息,提高特征的多樣性.最后,將4 條通道中的特征圖進(jìn)行合并,然后經(jīng)過1×1卷積,得到稀疏的多尺度輸出特征.此外,批量歸一化和Mish 激活函數(shù)被添加到每一次卷積操作之后.

2.2 下采樣注意力模塊

在深度神經(jīng)網(wǎng)絡(luò)中,常使用步長為2 的3×3 卷積實(shí)現(xiàn)圖像的下采樣,這在一定程度上丟失了上下文中包含的特征,造成特征圖分辨率的降低和病害空間信息的損失.為了減少下采樣過程中的信息損失,利用注意力機(jī)制加強(qiáng)病害的前景響應(yīng).

擠壓與激發(fā)(Squeeze and excitation,SE)[26]注意力模塊和卷積塊注意力模塊(Convolutional block attention module,CBAM)[27]是典型的包含注意力機(jī)制的模塊設(shè)計(jì).在這些注意力模塊內(nèi),首先利用全局池化將全局信息編碼到通道維度上或者是空間維度上,然后利用多層感知器和3×3 卷積分別解耦特征的通道相關(guān)性和空間相關(guān)性.但是全局池化的使用壓縮了特征的維度,造成細(xì)節(jié)信息的丟失,這不利于裂縫病害注意力特征圖的提取.為此,本文提出了下采樣注意力模塊.

文獻(xiàn)[28]指出,常規(guī)的卷積層在三維空間中學(xué)習(xí)提取特征,為了簡化任務(wù),可以利用1×1 的卷積和3×3 分組卷積分別映射特征的通道相關(guān)性和空間相關(guān)性.受此啟發(fā),本文在原有的下采樣通道上,額外的增加了一條通道,在該通道內(nèi),通過1×1 卷積和3×3 分組卷積實(shí)現(xiàn)特征間通道相關(guān)性和空間相關(guān)性的解耦,以判斷特征內(nèi)不同通道及空間位置信息的重要性;然后在原采樣特征的基礎(chǔ)上,對信息進(jìn)行增強(qiáng),來加強(qiáng)裂縫的前景響應(yīng).下采樣注意力模塊可以方便地添加到任何網(wǎng)絡(luò)框架下,其結(jié)構(gòu)如圖4 所示.

圖4 下采樣注意力模塊Fig.4 The downsampling attention module

在注意力通道內(nèi),先使用2×2 最大池化對特征進(jìn)行下采樣,之后通過兩個(gè)連續(xù)的1×1 卷積和3×3 分組卷積分別實(shí)現(xiàn)特征間通道相關(guān)性和空間相關(guān)性的解耦.在解耦特征相關(guān)性的過程中,每次卷積操作后均不添加批量歸一化,同時(shí)使用線性激活函數(shù),以避免破壞興趣流形[42].最后,將注意力通道的下采樣結(jié)果和原始的下采樣結(jié)果合并,得到下采樣注意力模塊的輸出.

2.3 雙網(wǎng)絡(luò)橋梁表觀病害檢測算法

在實(shí)際應(yīng)用中,首先利用BIR-X-LITE 機(jī)器人對橋梁表觀圖像進(jìn)行采集.該機(jī)器人由車身主體、相機(jī)裝置和控制室組成,分別如圖5(a1)～(a3)所示,工作方式如圖5(b)所示,典型橋梁表觀病害見圖5(c).

圖5 BIR-X-LITE 機(jī)器人數(shù)據(jù)采集過程Fig.5 The process of data acquisition by the BIR-X-LITE robot

由于不同病害以相等的距離進(jìn)行拍攝,部分病害如蜂窩和裂縫,在圖像內(nèi)表現(xiàn)出巨大的外觀差異.如圖6 所示,在5 120×5 120 像素的高分辨率圖像上,僅有巨大的蜂窩病害可被觀察到;在1 280×1 280 像素的子圖像上,蜂窩和漏筋病害表現(xiàn)出明顯的特征,但裂縫病害仍不能被很好地識別;在640×640 像素的子圖像上,裂縫病害可以被更好地觀察到,但這有可能導(dǎo)致蜂窩病害整體結(jié)構(gòu)信息的丟失.為了對橋梁多病害進(jìn)行快速魯棒地檢測,本文對YOLO進(jìn)行了改進(jìn),提出了YOLO-lump 和YOLO-crack網(wǎng)絡(luò),進(jìn)而形成基于雙網(wǎng)絡(luò)的橋梁表觀病害快速檢測算法.

圖6 不同病害之間大小比較Fig.6 Comparison of defects with different sizes

2.3.1 YOLO-lump 網(wǎng)絡(luò)

YOLO-lump 在1 280×1 280 像素步長的滑動(dòng)窗口上實(shí)現(xiàn)蜂窩、漏筋和孔洞3 種病害的檢測.YOLO-lump 由特征提取網(wǎng)絡(luò)CSPDarknet-53[23]和特征融合網(wǎng)絡(luò)PANet[43]組成.混合空洞金字塔模塊被添加到網(wǎng)絡(luò)第3 個(gè)下采樣層之前,用于提取稀疏的多尺度特征.正常情況下,正負(fù)樣本的比例應(yīng)該是比較接近的,現(xiàn)有的檢測模型正是基于這一假設(shè).然而在橋梁表觀病害檢測問題中,病害前景的區(qū)域(即正樣本)是遠(yuǎn)小于橋梁背景的區(qū)域(即負(fù)樣本)的.負(fù)樣本的梯度累計(jì),可能會掩蓋病害前景的作用,使得網(wǎng)絡(luò)在訓(xùn)練中無法充分學(xué)習(xí)到病害的特性信息.為了解決這一問題,focal loss 損失函數(shù)被用于計(jì)算置信度損失以及分類損失.

2.3.2 YOLO-crack 網(wǎng)絡(luò)

YOLO-crack 在640×640 像素步長的滑動(dòng)窗口上實(shí)現(xiàn)裂縫病害的檢測,在這一過程中將產(chǎn)生大量的滑窗圖像,網(wǎng)絡(luò)無法實(shí)現(xiàn)高效率地檢測.因此本文對網(wǎng)絡(luò)進(jìn)行了輕量化調(diào)整,以實(shí)現(xiàn)檢測精度和檢測速度的平衡.YOLO-crack 由特征提取網(wǎng)絡(luò)CSPDarknet-39 和跨階段局部特征金字塔(Cross stage partial feature pyramid networks,CSPFPN)特征融合網(wǎng)絡(luò)組成.與CSPDarknet-53 相比,CSPDarknet-39 網(wǎng)絡(luò)的深度減少了25%,特征通道數(shù)減少了19%.而對于標(biāo)準(zhǔn)的CNN 網(wǎng)絡(luò)來說,下采樣是必不可少的,常規(guī)的下采樣方法可能會造成裂縫空間信息的丟失,本文提出的下采樣注意力模塊,被添加到每一個(gè)下采樣階段,以加強(qiáng)裂縫的前景響應(yīng),減少空間信息的損失.

為了進(jìn)一步減少網(wǎng)絡(luò)參數(shù),本文使用特征金字塔網(wǎng)絡(luò)[44](Feature pyramid networks,FPN)作為YOLO-crack 的特征融合網(wǎng)絡(luò),并在FPN 中1×1卷積和3×3 卷積級聯(lián)的部分增加了跳躍連接[30],改進(jìn)后的網(wǎng)絡(luò)被稱為CSP-FPN.這可以將具有更多細(xì)節(jié)信息的底層特征和更多語義信息的高層特征融合,加強(qiáng)了特征的復(fù)用,有利于保留裂縫細(xì)節(jié)特征.在網(wǎng)絡(luò)輸入大小為640×640 像素時(shí),YOLO-crack的計(jì)算量相比YOLOv4 減少了52%.此外,YOLOcrack 的損失函數(shù)與YOLO-lump 一致.

3 實(shí)驗(yàn)結(jié)果與分析

本節(jié)首先介紹實(shí)驗(yàn)設(shè)定、數(shù)據(jù)集和評價(jià)指標(biāo),然后對實(shí)驗(yàn)結(jié)果進(jìn)行展示和分析.實(shí)驗(yàn)共分為4 個(gè)部分.第1 部分為改進(jìn)前后塊狀病害檢測網(wǎng)絡(luò)性能對比實(shí)驗(yàn),比較YOLO-lump 與其他目標(biāo)檢測算法在塊狀病害檢測上的性能差異;第2 部分用于驗(yàn)證本文提出的改進(jìn)對于裂縫病害檢測的有效性,比較YOLO-crack 與其他模型在裂縫病害檢測上的性能差異;第3 部分驗(yàn)證了YOLO-lump 和YOLOcrack 的實(shí)際應(yīng)用性能,在高分辨率圖像上對檢測結(jié)果進(jìn)行了分析.第4 部分用于驗(yàn)證雙網(wǎng)絡(luò)算法對于解決塊狀病害與裂縫病害差異過大問題的有效性.

3.1 實(shí)驗(yàn)說明

3.1.1 實(shí)驗(yàn)設(shè)定

本文實(shí)驗(yàn)程序運(yùn)行環(huán)境為Ubuntu18.04,深度學(xué)習(xí)顯卡為NVIDIA RTX 2080Ti,CUDA 版本為11.1.訓(xùn)練過程中所有網(wǎng)絡(luò)均不使用預(yù)訓(xùn)練模型,初始學(xué)習(xí)率設(shè)置為0.0005,動(dòng)量設(shè)置為0.94,衰減系數(shù)設(shè)置為0.0005,使用的優(yōu)化器為SGD,批量大小設(shè)置為2,訓(xùn)練迭代次數(shù)為100 輪.使用的數(shù)據(jù)增強(qiáng)方法有HSV 隨機(jī)變換、縮放變換、旋轉(zhuǎn)變換和翻轉(zhuǎn)變換.

3.1.2 數(shù)據(jù)集介紹

本文使用的數(shù)據(jù)由BIR-X-LITE 機(jī)器人以統(tǒng)一標(biāo)準(zhǔn)采集得到.所建立的橋梁表觀圖像數(shù)據(jù)庫中,包含不同地區(qū)共計(jì)10 座橋梁的表觀圖像數(shù)據(jù),其中有5 120×5 120 像素的高分辨率圖像共169 621張,總計(jì)大小792.7 GB,具體如表1 所示.由于大多數(shù)橋梁健康狀況良好,僅有少數(shù)圖像中包含了橋梁病害,從上述圖像中,挑選出1 151 張塊狀病害圖像和643 張裂縫病害圖像,并人工對病害位置進(jìn)行了標(biāo)注.

表1 橋梁表觀圖像數(shù)據(jù)庫Table 1 Dataset of the bridge surface images

實(shí)驗(yàn)中使用806 張塊狀病害圖像、450 張裂縫病害圖像和118 735 張無病害圖像進(jìn)行網(wǎng)絡(luò)的訓(xùn)練和性能驗(yàn)證,剩下的高分辨率圖像用于網(wǎng)絡(luò)性能的測試.然而受到計(jì)算資源的限制,無法在網(wǎng)絡(luò)中直接訓(xùn)練高分辨率圖像.為了對網(wǎng)絡(luò)進(jìn)行訓(xùn)練,依據(jù)前文所做的分析,將高分辨率圖像中的塊狀病害裁剪為1 280×1 280 像素大小的子圖像,將裂縫病害裁剪為640×640 像素大小的子圖像,建立的數(shù)據(jù)集見表2.部分訓(xùn)練數(shù)據(jù)見圖7,圖像經(jīng)不同比例縮放以方便展示.圖7(a)為大型蜂窩病害,圖7(b)為小型蜂窩病害,圖7(c)為孔洞病害,圖7(d)為漏筋和蜂窩病害,圖7(e)為嚴(yán)重漏筋病害,圖7(f)為小型筋病害,圖7(g)為顯著裂縫,圖7(h)為細(xì)小裂縫,圖7(i)為潮濕裂縫,圖7(j)～ (k)為背景.

圖7 訓(xùn)練數(shù)據(jù)示例Fig.7 Examples of the training dataset

表2 訓(xùn)練/驗(yàn)證/測試數(shù)據(jù)集Table 2 Training/validation/testing datasets

3.1.3 評價(jià)指標(biāo)

本實(shí)驗(yàn)中,評價(jià)指標(biāo)采用召回率、準(zhǔn)確率、F1(F1 Score)和mAP[45](Mean average precision).其中,召回率用于描述正確檢測到的病害數(shù)占應(yīng)該被正確檢測到的病害數(shù)的比例,準(zhǔn)確率用于描述正確檢測到的病害數(shù)占所有檢測到的病害數(shù)的比例,F1 為召回率和準(zhǔn)確率二者加權(quán)調(diào)和平均,mAP 體現(xiàn)了目標(biāo)檢測網(wǎng)絡(luò)的綜合性能.

3.2 塊狀病害檢測實(shí)驗(yàn)分析

3.2.1 網(wǎng)絡(luò)輸入大小對比實(shí)驗(yàn)

網(wǎng)絡(luò)輸入大小通常會對塊狀病害檢測結(jié)果有較大影響,在YOLOv4 網(wǎng)絡(luò)的訓(xùn)練階段,本文將塊狀病害子圖像縮放到不同大小,縮放大小分別設(shè)置為416×416 像素、512×512 像素、608×608 像素和704×704 像素.表3 為不同輸入大小下塊狀病害的檢測結(jié)果.由表3 可知,受到網(wǎng)絡(luò)設(shè)計(jì)的限制,網(wǎng)絡(luò)往往具有感受野上限,當(dāng)檢測物體分辨率過大時(shí),網(wǎng)絡(luò)無法捕捉到物體的全局信息.而過低的輸入分辨率會導(dǎo)致細(xì)節(jié)信息的丟失,這都會造成塊狀病害檢測性能的下降.當(dāng)輸入大小為512×512 像素時(shí),塊狀病害檢測mAP 為88.6%,相比于輸入大小為608×608 像素時(shí)mAP 降低了0.6%,但是檢測時(shí)間縮短為了18.8 ms,僅為后者的76.1%,因此綜合考慮檢測效率和檢測性能,本文選擇將塊狀病害圖像縮小至512×512 像素進(jìn)行檢測.

表3 不同輸入大小下塊狀病害檢測結(jié)果對比Table 3 Results of lump defect detection with different input sizes

3.2.2 YOLO-lump 網(wǎng)絡(luò)結(jié)構(gòu)消融實(shí)驗(yàn)

YOLO-lump 網(wǎng)絡(luò)結(jié)構(gòu)消融實(shí)驗(yàn),驗(yàn)證了本文提出的模塊和改進(jìn)對于塊狀病害檢測網(wǎng)絡(luò)性能的影響.以YOLOv4 網(wǎng)絡(luò)為基礎(chǔ),基于GAN 網(wǎng)絡(luò)生成新的樣本加入網(wǎng)絡(luò)訓(xùn)練中,得到的網(wǎng)絡(luò)被稱為YOLO-lump-A.將YOLO-lump-A 網(wǎng)絡(luò)的損失函數(shù)修改為focal loss,所得到的網(wǎng)絡(luò)被稱為YOLOlump-B.然后將ASPP 模塊加入到Y(jié)OLO-lump-B 網(wǎng)絡(luò)中,得到的網(wǎng)絡(luò)被稱為YOLO-lump-C.將膨脹系數(shù)全部設(shè)置為3 的混合空洞金字塔模塊添加到Y(jié)OLO-lump-B 網(wǎng)絡(luò)中,得到的網(wǎng)絡(luò)被稱為YOLO-lump-D.將膨脹系數(shù)依次設(shè)置為1、2、5 的混合空洞金字塔模塊添加到Y(jié)OLO-lump-B 網(wǎng)絡(luò)中,得到的網(wǎng)絡(luò)被稱為YOLO-lump.實(shí)驗(yàn)結(jié)果如表4 和圖8 所示.

圖8 不同塊狀病害檢測網(wǎng)絡(luò)的PR 曲線Fig.8 Precision-recall curves of different detectors on the lump dataset

表4 YOLO-lump 網(wǎng)絡(luò)消融實(shí)驗(yàn)Table 4 Ablation experiment on the YOLO-lump

通過YOLOv4 和YOLO-lump-A 的結(jié)果對比可知,利用GAN 網(wǎng)絡(luò)生成的困難樣本可以提升網(wǎng)絡(luò)的魯棒性.由YOLO-lump-A 與YOLO-lump-B的結(jié)果對比可知,focal loss 損失函數(shù)能夠有效解決塊狀病害檢測中正負(fù)樣本不平衡的問題,提升網(wǎng)絡(luò)性能.由YOLO-lump-B 與YOLO-lump-C 的結(jié)果對比可知,ASPP 中每條通道上空洞卷積膨脹系數(shù)過大,使得ASPP 在檢測網(wǎng)絡(luò)底層結(jié)構(gòu)中不能很好地提取特征,導(dǎo)致了網(wǎng)絡(luò)性能下降.由YOLO-lump-B 與YOLO-lump-D 的結(jié)果對比可知,在混合空洞金字塔模塊內(nèi)使用同一膨脹系數(shù)的空洞卷積,會導(dǎo)致局部信息的丟失和特征連續(xù)性的破壞,進(jìn)而造成病害檢測性能的下降.由YOLO-lump-D 與YOLOlump 的結(jié)果對比可知,膨脹系數(shù)設(shè)置合理的混合空洞金字塔模塊可以增強(qiáng)網(wǎng)絡(luò)獲取多尺度信息的能力,并避免了空洞卷積造成的局部信息丟失,能有效提高塊狀病害的檢測性能.最終本文提出的YOLO-lump 網(wǎng)絡(luò),在塊狀病害檢測上mAP 達(dá)到了92.7%.

此外,在YOLO-lump 的基礎(chǔ)上加入下采樣注意力模塊,得到的網(wǎng)絡(luò)被稱為YOLO-lump-E.由YOLO-lump 與YOLO-lump-E 的結(jié)果對比可知,下采樣注意力模塊可以增強(qiáng)下采樣過程中塊狀病害的前景響應(yīng),提升檢測性能.然而YOLO-lump 不是輕量化的網(wǎng)絡(luò),隨著下采樣注意力模塊中分組卷積數(shù)量的增加,計(jì)算效率也是成倍的下降.YOLOlump-E 檢測時(shí)間相較YOLO-lump 增加了19.1%,且塊狀病害檢測更依賴于多尺度的全局信息,下采樣注意力模塊對YOLO-lump 網(wǎng)絡(luò)性能提升相對有限.因此在YOLO-lump 網(wǎng)絡(luò)中使用下采樣注意力模塊不利于實(shí)現(xiàn)檢測精度和檢測速度的平衡.根據(jù)實(shí)際問題需求,本文使用YOLO-lump 檢測塊狀病害.

3.2.3 塊狀病害檢測算法對比

本實(shí)驗(yàn)將YOLO-lump 網(wǎng)絡(luò)的性能與SSD[46]、Faster-RCNN[47]、RetinaNet[32]、FCOS[48]、Efficient-Det[29]、YOLOv3、Improved-YOLOv3[17]以及YOLO-v4 網(wǎng)絡(luò)進(jìn)行了比較.實(shí)驗(yàn)結(jié)果如表5 所示.在對比的網(wǎng)絡(luò)內(nèi),本文算法有最好的性能,mAP 相比其他網(wǎng)絡(luò)至少保持著3.1%的領(lǐng)先,同時(shí)檢測時(shí)間相較于YOLOv4 僅增加了1.6 ms.

表5 塊狀病害檢測網(wǎng)絡(luò)對比實(shí)驗(yàn)Table 5 Comparison of different detectors on the lump dataset

圖9 為不同網(wǎng)絡(luò)在橋梁表觀圖像上的檢測結(jié)果.圖像Ⅰ～Ⅳ是指大型蜂窩病害圖像、蜂窩和漏筋病害圖像、細(xì)長漏筋病害圖像、蜂窩和孔洞病害圖像.其中,A 代表蜂窩病害,B 代表漏筋病害,C 代表孔洞病害,D 代表裂縫病害.由圖9 可知,SSD和Faster-RCNN 網(wǎng)絡(luò)在塊狀病害檢測中出現(xiàn)了較多漏檢和誤檢目標(biāo)框,且定位準(zhǔn)確度不高,說明其在特征區(qū)分度上低其他算法;而RetinaNet、FCOS和EfficientDet 網(wǎng)絡(luò)在檢測與正樣本相似的背景干擾時(shí),可能會出現(xiàn)錯(cuò)誤檢測現(xiàn)象,例如將圖Ⅴ中墻面的黑色痕跡錯(cuò)誤地識別為漏筋病害;在YOLO網(wǎng)絡(luò)(YOLOv3、Improved-YOLOv3、YOLOv4)上的檢測結(jié)果顯示,相比于以上算法,YOLO 網(wǎng)絡(luò)能夠更好地識別背景干擾,但是在部分場景下對大型蜂窩病害的定位不夠準(zhǔn)確,如在圖像Ⅱ中,當(dāng)蜂窩與漏筋病害發(fā)生重疊時(shí),網(wǎng)絡(luò)對蜂窩病害進(jìn)行檢測時(shí)丟失了左右兩側(cè)的信息;而本文提出的YOLOlump 網(wǎng)絡(luò)與YOLO 網(wǎng)絡(luò)相比,有更強(qiáng)的多尺度性能和更大的感受野,因此在大型塊狀病害的檢測上有更好的表現(xiàn),同時(shí),能夠較準(zhǔn)確地識別背景干擾.

圖9 本文方法和其他方法在不同橋梁表觀圖像上的測試結(jié)果Fig.9 Results of the proposed method and other methods on various bridge surface images

3.3 裂縫病害檢測實(shí)驗(yàn)分析

3.3.1 YOLO-crack 網(wǎng)絡(luò)結(jié)構(gòu)消融實(shí)驗(yàn)

通過YOLO-crack 網(wǎng)絡(luò)結(jié)構(gòu)消融實(shí)驗(yàn),驗(yàn)證了本文提出的模塊和改進(jìn)對于裂縫病害檢測網(wǎng)絡(luò)性能的影響.以YOLOv4 網(wǎng)絡(luò)為基礎(chǔ),基于GAN 網(wǎng)絡(luò)生成新的樣本加入網(wǎng)絡(luò)訓(xùn)練中,得到的網(wǎng)絡(luò)被稱為YOLO-crack-A.將YOLO-crack-A 網(wǎng)絡(luò)的損失函數(shù)修改為focal loss,得到的網(wǎng)絡(luò)被稱為YOLOcrack-B.對YOLO-crack-B 進(jìn)行輕量化調(diào)整,使用CSPDarknet-39 作為特征提取網(wǎng)絡(luò),使用FPN 作為特征融合網(wǎng)絡(luò),得到的網(wǎng)絡(luò)被稱為YOLO-crack-C.將YOLO-crack-C 的特征融合網(wǎng)絡(luò)改進(jìn)為CSPFPN,得到的網(wǎng)絡(luò)被稱為YOLO-crack-D.在YOLO-crack-D 中加入下采樣注意力模塊,提出的網(wǎng)絡(luò)被稱為YOLO-crack.實(shí)驗(yàn)結(jié)果如表6 和圖10所示.

圖10 不同裂縫病害檢測網(wǎng)絡(luò)的PR 曲線Fig.10 Precision-Recall curves of different detectors on the crack dataset

表6 YOLO-crack 網(wǎng)絡(luò)消融實(shí)驗(yàn)Table 6 Ablation experiment on the YOLO-crack

通過YOLOv4 和YOLO-crack-A 的結(jié)果對比可知,利用GAN 網(wǎng)絡(luò)生成的困難樣本可以提升網(wǎng)絡(luò)的魯棒性和網(wǎng)絡(luò)對正負(fù)樣本的識別能力,YOLO-crack-A 在裂縫病害檢測上準(zhǔn)確率最高.由YOLO-crack-A 和YOLO-crack-B 的結(jié)果對比可知,在YOLO-crack-A 中加入focal loss 損失函數(shù)后,網(wǎng)絡(luò)在正樣本上獲得充分的訓(xùn)練,能夠更全面地檢測裂縫病害,同時(shí)背景干擾信息也更容易被誤判為正樣本,YOLO-crack-B 在裂縫病害檢測上召回率最高.由YOLO-crack-B 與YOLO-crack-C 的結(jié)果對比可知,輕量化的網(wǎng)絡(luò)在不顯著降低裂縫檢測性能的前提下,大幅減少了檢測時(shí)間,有利于實(shí)現(xiàn)檢測精度和檢測速度的平衡.由YOLO-crack-C與YOLO-crack-D 的結(jié)果對比可知,CSP-FPN 相較于FPN,可以將具有更多細(xì)節(jié)信息的底層特征和更多語義信息的高層特征融合,加強(qiáng)了特征的復(fù)用,有利于裂縫病害的檢測.由YOLO-crack-D 與YOLO-crack 的結(jié)果對比可知,本文提出的下采樣注意力模塊可以減少下采樣過程中的信息損失,加強(qiáng)裂縫的前景響應(yīng),提高裂縫檢測的性能.最終本文提出的YOLO-crack 網(wǎng)絡(luò)在裂縫病害檢測上mAP 達(dá)到了86.2%.分析F1 和mAP 指標(biāo)可知,YOLO-crack-B 和YOLO-crack 在裂縫病害檢測上綜合性能優(yōu)于其他網(wǎng)絡(luò),但是YOLO-crack 檢測時(shí)間僅為YOLO-crack-B 的59.3%,可以實(shí)現(xiàn)高精度高效率的裂縫病害檢測.根據(jù)實(shí)際問題,本文使用YOLO-crack 檢測裂縫病害.

此外,在YOLO-crack 網(wǎng)絡(luò)的下采樣注意力模塊內(nèi),使用批量歸一化和非線性激活函數(shù),得到的網(wǎng)絡(luò)被稱為YOLO-crack-E.由YOLO-crack 與YOLO-crack-E 的結(jié)果對比可知,在解耦通道注意力和空間注意力過程中,使用批量歸一化和非線性激活函數(shù)會破壞興趣流形,造成下采樣注意力模塊性能的下降.

3.3.2 注意力模塊對比實(shí)驗(yàn)

為驗(yàn)證本文提出的下采樣注意力模塊的有效性,本文將YOLO-crack-D 網(wǎng)絡(luò)與注意力模塊有SE 注意力模塊、CBAM 注意力模塊、下采樣注意力模塊進(jìn)行對比實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果如表7 所示,此外,利用Grad-CAM++[49]算法生成了網(wǎng)絡(luò)的激活熱力圖見如圖11.

圖11 Grad-CAM++可視化結(jié)果Fig.11 Grad-CAM++visualization results

表7 注意力模塊對比實(shí)驗(yàn)Table 7 Comparison of different attention modules

Grad-CAM++算法可以清晰地展示網(wǎng)絡(luò)關(guān)注的區(qū)域.由實(shí)驗(yàn)結(jié)果可知,YOLO-crack-D 加下采樣注意力模塊的組合在裂縫病害檢測上有最好的性能.對比SE 和CBAM 注意力模塊,下采樣注意力模塊不需要對特征進(jìn)行全局池化,因此能夠更好地保留細(xì)節(jié)信息.加入下采樣注意力模塊后,能夠更有效地減少裂縫像素在下采樣階段的損失,有助于裂縫邊緣輪廓信息的保留,增強(qiáng)網(wǎng)絡(luò)對裂縫附近特征信息的提取.

3.3.3 裂縫病害檢測算法對比

YOLO-crack 與SSD、Faster-RCNN、RetinaNet、FCOS、EfficientDet、YOLOv3、Improved-YOLOv3、YOLOv4 和YOLOv4-crack 進(jìn)行對比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表8 所示.本文提出的模型有著最高的精度和最快的檢測速度,相較于其他的目標(biāo)檢測算法,YOLO-crack 在mAP 上至少保持著1.7%的領(lǐng)先,檢測時(shí)間僅需要17.6 ms.這是因?yàn)榕c其他網(wǎng)絡(luò)中采用的常規(guī)下采樣方法相比,本文提出的下采樣注意力模塊能增強(qiáng)裂縫的前景響應(yīng),有助于提升裂縫檢測的性能.而輕量化調(diào)整可以有效減少網(wǎng)絡(luò)參數(shù),提高檢測速度.

表8 裂縫病害檢測網(wǎng)絡(luò)對比實(shí)驗(yàn)Table 8 Comparison of different detectors on the crack dataset

圖9 中圖像V 和VI 是指顯著裂縫病害圖像和細(xì)小裂縫病害圖像,裂縫病害位置用字母D 標(biāo)記.由圖9 可知,SSD 和Faster-RCNN 網(wǎng)絡(luò)在裂縫檢測上表現(xiàn)相對較差,出現(xiàn)較多的錯(cuò)誤檢測案例,同時(shí)在單個(gè)病害上有多個(gè)重疊的檢測框;對于RetinaNet、FCOS 和EfficientDet 網(wǎng)絡(luò),在背景干擾與裂縫較為相似時(shí),網(wǎng)絡(luò)可能不能做出準(zhǔn)確地識別,如在圖像Ⅱ中,有一小段外漏的細(xì)鋼絲,而上述3 個(gè)網(wǎng)絡(luò)將其錯(cuò)誤識別成裂縫病害.YOLO 網(wǎng)絡(luò)的檢測結(jié)果顯示,其能有效減少裂縫病害的錯(cuò)誤檢測現(xiàn)象,但YOLO 網(wǎng)絡(luò)可能會丟失細(xì)小裂縫的信息從而導(dǎo)致漏檢;而本文對YOLO 進(jìn)行改進(jìn),提出了YOLOcrack 網(wǎng)絡(luò),能減少下采樣階段裂縫空間信息的損失,更完整地提取裂縫的細(xì)節(jié)特征,因此在裂縫病害檢測上有更好的表現(xiàn).

3.4 實(shí)際應(yīng)用性能測試

為了評估本文所提出的雙網(wǎng)絡(luò)算法在實(shí)際應(yīng)用中的性能,對345 張塊狀病害圖像、193 張裂縫病害圖像和50 886 張無病害圖像的高分辨率圖像進(jìn)行檢測.在檢測過程中,利用TensorRT 對YOLOlump 和YOLO-crack 網(wǎng)絡(luò)進(jìn)行了部署,Tensor-RT 是一個(gè)高性能的深度學(xué)習(xí)前向傳播優(yōu)化器,可以有效加快檢測速度.由于正負(fù)樣本的極度不平衡(1:189),相較于準(zhǔn)確率,召回率能更好地反映算法性能,因此在實(shí)驗(yàn)結(jié)果中,本文主要對召回率進(jìn)行計(jì)算,并對誤檢區(qū)域面積與檢測圖像總面積的比值進(jìn)行了統(tǒng)計(jì).實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)見表9 中,其中GT代表圖像中包含病害的總數(shù)量,TP代表被網(wǎng)絡(luò)檢測到并正確分類的病害數(shù)量,FN代表屬于病害但是沒有被正確檢測出來的病害數(shù)量,FP代表被錯(cuò)誤識別成病害的背景區(qū)域數(shù)量.

表9 實(shí)際應(yīng)用測試結(jié)果Table 9 Results of the practical application

由實(shí)驗(yàn)結(jié)果可知,在高分辨率橋梁表觀圖像上,本文算法能夠在1 s 以內(nèi)完成橋梁多病害的檢測,配合BIR-X-LITE 機(jī)器人可實(shí)現(xiàn)病害的實(shí)時(shí)檢測.同時(shí),對塊狀病害和裂縫病害檢測的平均召回率達(dá)到95%以上.而在沒有病害的圖像上,誤檢區(qū)域面積僅占檢測圖像總面積的1.655%.實(shí)驗(yàn)結(jié)果證明,本文算法可以實(shí)現(xiàn)高召回率的橋梁表觀病害檢測,并能夠在海量的橋梁表觀圖像中快速篩除大面積的無病害區(qū)域,提高橋梁健康狀況評估的效率.

3.5 雙網(wǎng)絡(luò)算法與單網(wǎng)絡(luò)性能對比實(shí)驗(yàn)

在本文的雙網(wǎng)絡(luò)算法中,使用了不同的滑窗大小,分別對塊狀病害和裂縫病害進(jìn)行檢測.實(shí)驗(yàn)重新訓(xùn)練了YOLOv4 網(wǎng)絡(luò)使其能檢測所有橋梁表觀病害,以驗(yàn)證雙網(wǎng)絡(luò)算法對于檢測性能的影響.為了使單網(wǎng)絡(luò)檢測過程中病害尺度保持一致,將高分辨率圖像中的塊狀與裂縫病害均裁剪為640×640像素大小的子圖像.雙網(wǎng)絡(luò)算法與單網(wǎng)絡(luò)檢測的實(shí)驗(yàn)結(jié)果見表10.

表10 雙網(wǎng)絡(luò)算法與單網(wǎng)絡(luò)性能比較Table 10 Comparison of performance between the dual deep network and the single network

由表10 分析可知,與單網(wǎng)絡(luò)檢測相比,雙網(wǎng)絡(luò)算法在蜂窩、漏筋、孔洞和裂縫病害的檢測上,mAP 分別提高了6.1%、5.4%、4.3%和4.4%.這是因?yàn)?塊狀病害體積較大,以640×640 像素對圖像進(jìn)行滑窗時(shí),往往無法得到完整的病害圖像,這可能會造成病害整體結(jié)構(gòu)信息的丟失,導(dǎo)致塊狀病害檢測性能的下降.比如高分辨率蜂窩病害的內(nèi)部看起來可能像是健康的混凝土表面.此外,在雙網(wǎng)絡(luò)算法中,塊狀病害和裂縫病害錨框的平均值分別為320×304像素和178×225 像素.在單網(wǎng)絡(luò)算法中,錨框的平均值為338×336 像素.錨框的變化會對裂縫病害檢測性能造成較大的影響.而雙網(wǎng)絡(luò)算法在不同的滑窗大小下對塊狀病害和裂縫病害進(jìn)行檢測,可以更加有效地提取不同病害的特征.同時(shí),雙網(wǎng)絡(luò)算法可以針對不同病害分別設(shè)定錨框,可以有效解決塊狀病害與裂縫病害差異過大的問題.在速度方面,雙網(wǎng)絡(luò)算法檢測病害所用的加權(quán)平均時(shí)間相比單網(wǎng)絡(luò)僅多了4.5 ms.總之,雙網(wǎng)絡(luò)算法能夠提升橋梁表觀病害檢測的性能.

4 結(jié)束語

本文基于改進(jìn)YOLO 提出了一個(gè)雙網(wǎng)絡(luò)橋梁表觀病害快速檢測算法,其雙網(wǎng)絡(luò)分別為YOLOlump 和YOLO-crack,配合BIR-X-LITE 機(jī)器人可實(shí)現(xiàn)橋梁多病害的自動(dòng)魯棒檢測.首先本文利用機(jī)器人對數(shù)十座橋梁進(jìn)行拍攝,建立了一個(gè)橋梁表觀圖像數(shù)據(jù)庫.針對長寬比和大小多變的塊狀病害,提出了混合空洞金字塔模塊,該模塊可以有效提高網(wǎng)絡(luò)的多尺度性能,擴(kuò)展網(wǎng)絡(luò)感受野.而針對細(xì)小的裂縫病害,提出了下采樣注意力模塊,通過對特征相關(guān)性的解耦,能減少裂縫在下采樣階段的信息損失.將本文算法與目前最新方法進(jìn)行對比,實(shí)驗(yàn)結(jié)果證明了本文方法的有效性,并適合移植到工業(yè)檢測環(huán)境.在未來的工作中,可從雙網(wǎng)絡(luò)之間的特征共享角度做適當(dāng)改進(jìn),進(jìn)而達(dá)到更好的檢測結(jié)果.