賈睿 JIA Rui;武旭娟 WU Xu-juan;趙紅巖 ZHAO Hong-yan
(①遼寧省交通高等??茖W(xué)校,沈陽(yáng) 110122;②遼寧省交通規(guī)劃設(shè)計(jì)院有限責(zé)任公司公路養(yǎng)護(hù)技術(shù)研發(fā)中心,沈陽(yáng) 110111)
近幾十年來(lái),我國(guó)隧道建設(shè)有了很大的進(jìn)展,在總里程和使用面積上有了很大飛躍,隧道交通工程正由“建設(shè)為主”向“建養(yǎng)并重”轉(zhuǎn)變。[1]國(guó)內(nèi)外的調(diào)查研究表明,在隧道的日常使用過(guò)程中,由于各種外部環(huán)境的影響,隧道出現(xiàn)不同程度的裂縫、滲漏水、涂層脫落等常見(jiàn)病害,這些病害會(huì)威脅到隧道結(jié)構(gòu)的安全性、穩(wěn)定性及耐久性,嚴(yán)重影響交通質(zhì)量[2]。因此,高效的隧道病害檢測(cè)方法可以為養(yǎng)護(hù)部門(mén)提供有力的技術(shù)支撐,是交通安全領(lǐng)域中重要的研究方向,具有重要的研究?jī)r(jià)值。根據(jù)隧道裂縫檢測(cè)技術(shù)的不同,目前方法主要分為:基于圖像處理的方法和基于深度學(xué)習(xí)的方法[3]。
基于圖像處理的裂縫檢測(cè)方法簡(jiǎn)單高效,包括邊緣和輪廓檢測(cè)、形態(tài)學(xué)處理等,但這些方法多采用人工設(shè)計(jì)的裂縫特征算子,易受光照、陰影和路面障礙等因素影響,檢測(cè)準(zhǔn)確率不高,難以應(yīng)對(duì)場(chǎng)景復(fù)雜多變的不同裂縫病害。
基于深度學(xué)習(xí)的裂縫檢測(cè)方法自動(dòng)提取輸入圖像的淺層局部特征信息及高層全局特征信息,兩者結(jié)合能定位物體邊界和識(shí)別物體分類,有效解決了傳統(tǒng)方法對(duì)于人工特征工程的依賴。目前將深度學(xué)習(xí)應(yīng)用于隧道裂縫檢測(cè)的主要方式有:裂縫圖像分類、裂縫區(qū)域檢測(cè)、裂縫語(yǔ)義分割[4]。其中圖像分割技術(shù)更加符合隧道裂縫檢測(cè)業(yè)務(wù)需求,能夠適應(yīng)裂縫尺寸變化多樣性,識(shí)別裂縫區(qū)域輪廓,獲取裂縫定量評(píng)估信息。
近年來(lái),隨著人工智能和深度神經(jīng)網(wǎng)絡(luò)的高速發(fā)展,相關(guān)技術(shù)在交通巡檢養(yǎng)護(hù)領(lǐng)域中也得到了廣泛應(yīng)用。Yang[5]使用FCN 網(wǎng)絡(luò)模型進(jìn)行裂縫檢測(cè),采用反卷積層進(jìn)行上采樣,但FCN 網(wǎng)絡(luò)缺少底層細(xì)節(jié)信息,導(dǎo)致檢測(cè)結(jié)果準(zhǔn)確率不高。劉凡提出了一種高效的裂縫檢測(cè)方法[6],通過(guò)建立多尺度空洞卷積模塊來(lái)獲取裂縫的上下文信息,并在此基礎(chǔ)上引入一種注意力機(jī)制,進(jìn)一步提取高層特征,為解決裂縫與周圍路面對(duì)比度低的問(wèn)題。韓曉健[7]提出基于卷積神經(jīng)網(wǎng)絡(luò)的裂縫自動(dòng)檢測(cè)模型,使用三段線性變換算法和雙邊濾波算法進(jìn)行預(yù)處理,利用改進(jìn)的邊緣梯度法來(lái)實(shí)現(xiàn)裂縫最大寬度的定位和裂縫最大寬度的自動(dòng)獲取。翟軍治提出了一種多尺度特征增強(qiáng)的路面裂縫檢測(cè)網(wǎng)絡(luò)MFENet,實(shí)現(xiàn)端到端的路面裂縫圖像檢測(cè)、分類和分割處理[8]。楊澤提出一種改進(jìn)網(wǎng)絡(luò)Self-Attention-Unet[9]對(duì)路面裂縫區(qū)域進(jìn)行高精度分割,引入自注意力機(jī)制增強(qiáng)模型裂縫特征提取能力,提高分割精度。
本文針對(duì)隧道襯砌裂縫病害檢測(cè)存在的準(zhǔn)確率低、檢測(cè)速度慢、抗干擾能力差等問(wèn)題,提出基于多層級(jí)特征融合的隧道襯砌裂縫檢測(cè)模型CS-Net(Crack Segmentation Network)。該模型采用輕量級(jí)特征提取骨干網(wǎng)絡(luò),設(shè)計(jì)不同語(yǔ)義層級(jí)特征融合模塊,實(shí)現(xiàn)低層細(xì)節(jié)特征與高層語(yǔ)義特征的有機(jī)融合,并利用金字塔池化模塊對(duì)高層語(yǔ)義特征進(jìn)行多尺度聚合處理。在特征提取時(shí)嵌入通道注意力模塊,使模型更加關(guān)注信息量最大的特征通道。CS-Net 模型主要包括特征提取骨干網(wǎng)、特征融合模塊和分割Head,其模型網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。
圖1 CS-Net 網(wǎng)絡(luò)結(jié)構(gòu)圖
特征提取骨干網(wǎng)采用多個(gè)STDC 模塊,利用多個(gè)卷積進(jìn)行特征提取,第1 個(gè)卷積核尺寸為1×1,其余3 個(gè)卷積核尺寸為3×3。關(guān)注多尺度信息,淺層網(wǎng)絡(luò)需要足夠的通道來(lái)提取小感受野的細(xì)節(jié)信息,更大感受野的深層網(wǎng)絡(luò)關(guān)注高級(jí)語(yǔ)義信息。因此將淺層網(wǎng)絡(luò)通道數(shù)設(shè)置的較大使其保留更多的細(xì)節(jié)信息,深層網(wǎng)絡(luò)的通道數(shù)設(shè)置較小來(lái)降低信息冗余。
在特征融合模塊中,采用金字塔模塊、空間注意力、通道注意力等對(duì)提取的裂縫圖像特征進(jìn)行融合處理,使模型更加關(guān)注信息量最大的特征,弱化非裂縫背景和噪聲對(duì)模型帶來(lái)的影響。引入金字塔模塊,對(duì)骨干網(wǎng)最后一層特征進(jìn)行多尺度融合處理。引入通道注意力模塊對(duì)低層細(xì)節(jié)特征進(jìn)行處理,自動(dòng)學(xué)習(xí)到各個(gè)特征通道的重要程度,建模特征通道間的相關(guān)性。最后,采用空間注意力機(jī)制,在通道維度取最大值和平均值并融合,得出空間注意力權(quán)重值α,采用x*α+y*(1-α)方式融合高語(yǔ)義全局特征和低語(yǔ)義細(xì)節(jié)特征,建模不同層級(jí)特征間依賴關(guān)系,提升裂縫特征語(yǔ)義表達(dá)能力。分割頭模塊對(duì)融合后的多層次特征分別進(jìn)行預(yù)測(cè),并根據(jù)設(shè)定的權(quán)重參數(shù),加權(quán)融合多個(gè)分割預(yù)測(cè)圖,得到最終的預(yù)測(cè)結(jié)果。
本文采用裂縫數(shù)據(jù)集為CrackForest、CrackTree 和Crack500。CrackForest 包含118 張大小為480×320 的裂縫圖像。CrackTree 包含206 張大小為800×600 的不同場(chǎng)景裂縫圖像。Crack500 包含1896 張訓(xùn)練圖像、348 張驗(yàn)證圖像、1123 張測(cè)試圖像,圖片經(jīng)過(guò)預(yù)處理后調(diào)整為640×360。三個(gè)裂縫數(shù)據(jù)使用隨機(jī)翻轉(zhuǎn)、水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)等變換方式進(jìn)行數(shù)據(jù)增強(qiáng)處理,并采用7:2:1 的比例進(jìn)行訓(xùn)練、驗(yàn)證和測(cè)試數(shù)據(jù)劃分。
考慮到裂縫數(shù)據(jù)集中存在類別分布不平衡的情況,因此本文采用平均交并比(mIoU)、類別平均精準(zhǔn)率(mPA)來(lái)進(jìn)行模型評(píng)估。平均交并比是用于評(píng)估模型對(duì)于裂縫與非裂縫的分割效果,對(duì)前景和背景類別分別計(jì)算交并比。類別平均精準(zhǔn)率分別計(jì)算每個(gè)類被正確分類像素?cái)?shù)的比例,然后累加求平均評(píng)價(jià)??紤]到模型性能和模型參數(shù)量,增加了Flops 和Params 兩個(gè)評(píng)價(jià)指標(biāo)。
為驗(yàn)證算法有效性,綜合比較各圖像分割模型對(duì)裂縫檢測(cè)性能,分別在多個(gè)裂縫數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),將本文提出的CS-Net 模型與FCN、BiseNetV2、PP-LiteSeg 等主流網(wǎng)絡(luò)模型進(jìn)行比較。為了解決裂縫和背景像素點(diǎn)不均衡的問(wèn)題,采用Dice 損失作為損失函數(shù),并在計(jì)算交并比時(shí)去除背景和噪聲像素點(diǎn),從而得到更準(zhǔn)確的裂縫分割結(jié)果。
從表1 中可以看出,在三份不同裂縫數(shù)據(jù)集上,本文提出的CS-Net 裂縫檢測(cè)模型的mIoU 指標(biāo)明顯優(yōu)于其他模型,其值分別為73.53%、77.04%、82.02%,mPA 分別為99.05%、99.83%、97.67%。同時(shí),考慮到病害圖片中裂縫像素占比少,單獨(dú)評(píng)估裂縫IoU 指標(biāo),其分別為48.01%、54.26%、66.49%,優(yōu)于其他三種對(duì)比模型。實(shí)驗(yàn)數(shù)據(jù)表明CS-Net 裂縫檢測(cè)模型具有很好的泛化性能,證明通過(guò)融合多層級(jí)特征可以明顯提升裂縫識(shí)別模型在復(fù)雜環(huán)境下的能力。
表1 不同裂縫數(shù)據(jù)集上模型準(zhǔn)確度/運(yùn)行性能/參數(shù)量對(duì)比
圖2 是裂縫檢測(cè)模型的預(yù)測(cè)結(jié)果可視化對(duì)比??梢钥闯鰧?duì)于單一裂縫,四種檢測(cè)模型都能很好地工作,但對(duì)于形狀復(fù)雜裂縫、陰影處裂縫等,CS-Net 模型能夠高效識(shí)別出裂縫邊緣和形狀輪廓,不易受到各種噪聲影響,尤其對(duì)于裂縫邊緣處理情況較理想。
圖2 裂縫檢測(cè)對(duì)比實(shí)驗(yàn)圖
本文為實(shí)現(xiàn)隧道襯砌裂縫病害的智能檢測(cè),提出一種CS-Net 裂縫檢測(cè)模型。該模型設(shè)計(jì)多層級(jí)特征融合模塊,融合淺層細(xì)節(jié)特征和高層抽象語(yǔ)義特征,提高全局的特征表達(dá)能力,嵌入注意力模塊來(lái)建模不同層級(jí)特征間依賴關(guān)系,并使用Dice 損失函數(shù)來(lái)應(yīng)對(duì)像素不平衡問(wèn)題,提升檢測(cè)性能,增加魯棒性。
實(shí)驗(yàn)結(jié)果表明,CS-Net 裂縫檢測(cè)模型在CrackForest、CrackTree 和Crack500 三個(gè)數(shù)據(jù)集上的mIoU 分別為73.53%、77.04%、82.02%,mPA 分別為99.05%、99.82%、97.67%,在平均交并比和類別平均精準(zhǔn)率兩個(gè)綜合評(píng)價(jià)指標(biāo)上證明了該模型的能力。在多個(gè)數(shù)據(jù)集上取得很好的結(jié)果,表明此檢測(cè)模型提升裂縫識(shí)別模型在復(fù)雜環(huán)境下的分割能力,具有很好的泛化性能。在后續(xù)的工作中會(huì)近一步優(yōu)化裂縫特征提取與融合機(jī)制,著重提升模型運(yùn)算效率,降低模型參數(shù)量。