劉光輝， 陳 健， 孟月波， 徐勝軍

（1. 西安建筑科技大學(xué) 信息與控制工程學(xué)院，陜西 西安 710055；2. 建筑機(jī)器人陜西省高等學(xué)校重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710055；3. 西安市建筑制造智動(dòng)化技術(shù)重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710055）

1 引 言

裂縫作為混凝土表面常見的病害之一，過大的裂縫會(huì)降低混凝土工程結(jié)構(gòu)的承載力、防水性能以及耐久性。如果混凝土表面的裂縫不能及時(shí)發(fā)現(xiàn)修補(bǔ)，可能會(huì)導(dǎo)致嚴(yán)重的安全事故發(fā)生。因此，定期對(duì)混凝土建筑表面進(jìn)行裂縫檢測至關(guān)重要。早期的裂縫檢測依靠經(jīng)驗(yàn)豐富的工作人員進(jìn)行人工檢測，速度慢、成本高，存在主觀臆斷性，無法滿足現(xiàn)代建筑健康監(jiān)測的需求。隨著計(jì)算機(jī)視覺技術(shù)的日益發(fā)展，研究人員開始將其應(yīng)用于裂縫檢測中，提出大量的裂縫檢測方法。這些方法主要分為兩類：一種是基于傳統(tǒng)方法的裂縫分割，另一種是基于深度學(xué)習(xí)的裂縫分割。

傳統(tǒng)的裂縫分割方法通過人工或機(jī)器學(xué)習(xí)方法獲取淺層特征來實(shí)現(xiàn)裂縫分割。文獻(xiàn)［1］提出一種結(jié)合自適應(yīng)Canny 算法和迭代閾值分割算法的裂縫分割方法，使用自適應(yīng)高斯濾波器平滑圖像，并采用迭代閾值分割算法計(jì)算圖像二值化閾值。文獻(xiàn)［2］提出基于鄰近差分直方圖（NDHM）的裂縫圖像閾值分割算法，通過構(gòu)造目標(biāo)像素與周圍像素之間差異最大化的目標(biāo)函數(shù)，形成裂縫圖像的差分直方圖，從而確定分割閾值。文獻(xiàn)［3］通過小波分解去除圖像噪聲以及增強(qiáng)裂縫邊緣，然后使用閾值分割裂縫。文獻(xiàn)［4］利用隨機(jī)化結(jié)構(gòu)森林去生成裂縫檢測模型，并且通過特征直方圖去區(qū)分裂縫和噪聲。雖然傳統(tǒng)裂縫分割方法取得一定效果，但分割精度不佳，易受外界環(huán)境因素干擾，且模型魯棒性差，難以滿足實(shí)際場景的應(yīng)用需求。

隨著深度學(xué)習(xí)的快速發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型被廣泛應(yīng)用于裂縫分割之中。如文獻(xiàn)［5］提出使用全卷積網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）分割不同尺度的裂縫，但網(wǎng)絡(luò)在面對(duì)背景復(fù)雜多變的裂縫圖像時(shí)，其特征提取能力較弱，導(dǎo)致裂縫分割精度較低。文獻(xiàn)［6］利用殘差網(wǎng)絡(luò)ResNet-34 作為編碼器，一方面借此加深網(wǎng)絡(luò)層數(shù)來提高編碼器的特征提取能力，另一方面利用殘差結(jié)構(gòu)避免因網(wǎng)絡(luò)加深發(fā)生梯度消失的問題；文獻(xiàn)［7］引入可變形卷積，通過其空間幾何形變能力自適應(yīng)地提取不同形態(tài)的裂縫特征，增強(qiáng)網(wǎng)絡(luò)對(duì)裂縫特征的學(xué)習(xí)。這些方法增強(qiáng)了網(wǎng)絡(luò)在復(fù)雜背景下裂縫特征的獲取，但缺乏對(duì)裂縫結(jié)構(gòu)信息的描述，導(dǎo)致分割出的裂縫總體結(jié)構(gòu)模糊不清晰。為此，文獻(xiàn)［8］通過多尺度監(jiān)督學(xué)習(xí)融合不同卷積階段的輸出結(jié)果，提高網(wǎng)絡(luò)對(duì)裂縫線性結(jié)構(gòu)的捕捉能力；文獻(xiàn)［9］依靠Transformer 建模長距離依賴關(guān)系，從而獲取長距離裂縫的結(jié)構(gòu)信息。與此同時(shí)，為解決傳統(tǒng)卷積感受野受限，無法納入更大范圍裂縫信息的缺陷。文獻(xiàn)［10-13］在不降低特征圖分辨率和減少細(xì)節(jié)信息丟失的情況下，利用空洞卷積擴(kuò)大感受野，捕獲更大范圍的裂縫信息；為了讓網(wǎng)絡(luò)應(yīng)對(duì)尺寸多變的裂縫形狀，文獻(xiàn)［14］提出串并聯(lián)相結(jié)合的空洞卷積模塊，通過不同擴(kuò)張率的空洞卷積，去囊括不同尺度的裂縫特征。為提高網(wǎng)絡(luò)的裂縫分割性能，研究人員嘗試改變編解碼端淺層和高層特征的融合方式。文獻(xiàn)［15］設(shè)計(jì)特征融合模塊將包含邊緣細(xì)節(jié)信息的中層特征與包含大量語義信息的深層特征相融合，從而細(xì)化裂縫邊界。并且通過不同擴(kuò)張率的空洞卷積提取多尺度上下文信息，整合更多有價(jià)值信息，提高裂縫分割的準(zhǔn)確度；文獻(xiàn)［16］通過多尺度特征融合模塊，將編解碼端的最深層特征逐次引入其他中淺層特征中進(jìn)行特征融合，充分利用最深層特征中的高級(jí)語義信息，并且通過深度監(jiān)督策略促進(jìn)多尺度特征融合和模型收斂。

雖然上述基于深度學(xué)習(xí)的裂縫分割方法取得不錯(cuò)成效，但仍存在以下不足：編解碼特征在提取過程中，網(wǎng)絡(luò)專注挖掘最顯著的裂縫特征信息，容易忽略局部細(xì)微裂縫信息；編碼器淺層特征包含豐富空間信息，但同時(shí)帶來了背景噪聲，對(duì)后續(xù)編解碼特征融合造成背景干擾；雖然空洞卷積能夠擴(kuò)大網(wǎng)絡(luò)感受野，但無法有效捕捉到裂縫的線性結(jié)構(gòu)。鑒于此，本文提出一種線性引導(dǎo)與網(wǎng)格優(yōu)化聯(lián)合網(wǎng)絡(luò)（Linear Guidance and Mesh Optimization Joint Network，LGMO-Net），首先在模型編碼階段加入多分支線性引導(dǎo)模塊（Multi-branch Linear Guidance Module，MLGM），通過自適應(yīng)單維度池化提高網(wǎng)絡(luò)對(duì)裂縫線性結(jié)構(gòu)的捕獲能力，加強(qiáng)空間不同區(qū)域之間的信息交流，增強(qiáng)模型全局信息感知能力，從而提高網(wǎng)絡(luò)分割精度。其次通過設(shè)計(jì)網(wǎng)格細(xì)節(jié)優(yōu)化 模 塊（Mesh Detail Optimization Module，MDOM），利用分區(qū)-優(yōu)化-合并三步驟，對(duì)特征圖空間區(qū)域進(jìn)行網(wǎng)格劃分，學(xué)習(xí)網(wǎng)格中局部細(xì)節(jié)信息，避免細(xì)微裂縫特征信息丟失。與此同時(shí)采用混合注意力模塊（Mixed Attention Module，MAM），過濾編碼器淺層特征中的背景噪聲，在空間與通道雙維度突出裂縫特征信息，抑制背景信息對(duì)裂縫分割結(jié)果的干擾。

2 線性引導(dǎo)和網(wǎng)格優(yōu)化聯(lián)合網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

線性引導(dǎo)和網(wǎng)格優(yōu)化聯(lián)合網(wǎng)絡(luò)框架具體如圖1 所示，主要包括主干網(wǎng)絡(luò)U-Net、多分支線性引導(dǎo)模塊MLGM、網(wǎng)格細(xì)節(jié)優(yōu)化模塊MDOM、混合注意力模塊MAM。首先，網(wǎng)絡(luò)在編碼器端添加MLGM 模塊，通過自適應(yīng)單維度池化提高網(wǎng)絡(luò)對(duì)裂縫線性拓?fù)浣Y(jié)構(gòu)的捕捉能力，獲取圖像全局感受野。同時(shí)在編碼端加入MDOM 模塊，避免因連續(xù)卷積和池化操作導(dǎo)致細(xì)節(jié)信息丟失，造成細(xì)微裂縫漏分。對(duì)于編碼器輸出的淺層特征包含了大量的空間信息，但同時(shí)也帶來背景噪聲。這對(duì)編碼特征與解碼特征在跳躍連接處進(jìn)行特征融合帶來背景干擾。為此，本文在跳躍連接處嵌入MAM 模塊，通過注意力機(jī)制過濾編碼特征中的背景噪聲。同時(shí)改變跳躍連接方式，先將經(jīng)過背景噪聲過濾后的淺層特征與深層特征進(jìn)行特征融合，再將經(jīng)過特征融合的淺層特征與深層特征進(jìn)行通道合并，彌補(bǔ)之前跳躍連接方式在語義融合上的不足。

圖1 線性引導(dǎo)和網(wǎng)格優(yōu)化聯(lián)合網(wǎng)絡(luò)框架Fig.1 Linear Guided and Mesh Optimization Joint Network Framework

2.2 多分支線性引導(dǎo)模塊

圖2 是裂縫圖像，圖中裂縫呈現(xiàn)出細(xì)長且不規(guī)則的結(jié)構(gòu)。如圖2（a）所示，當(dāng)網(wǎng)絡(luò)采用常規(guī)池化進(jìn)行信息聚合時(shí)，因其池化核與裂縫形狀不契合，無法捕捉裂縫的線性結(jié)構(gòu)，并且將裂縫和背景的特征信息匯聚在一起，導(dǎo)致分割精度不高。同時(shí)裂縫分布于全圖，通過常規(guī)池化操作，只能獲取局部區(qū)域的裂縫信息，造成區(qū)域信息交流閉塞，區(qū)域之間的裂縫無法建立聯(lián)系，難以獲取完整的裂縫。

圖2 自適應(yīng)單維度池化和常規(guī)池化對(duì)比Fig.2 Comparison of adaptive single-dimensional pooling and regular pooling

針對(duì)上述問題，借鑒文獻(xiàn)[17]的思想，本文使用自適應(yīng)單維度池化代替常規(guī)池化。與固定尺寸的常規(guī)池化不同，自適應(yīng)單維度池化的形狀會(huì)根據(jù)輸入特征圖的尺寸進(jìn)行自適應(yīng)調(diào)整，讓其形狀與目標(biāo)尺度相匹配。并且自適應(yīng)單維度池化只沿高度或?qū)挾染S度進(jìn)行信息聚合。當(dāng)輸入特征圖空間維度大小為H×W時(shí)，自適應(yīng)單維度池化形狀為(α?H)×1 或1×(α?W)，α為延伸率。如圖2（b）所示，自適應(yīng)單維度池化其形狀更加契合裂縫的形態(tài)結(jié)構(gòu)，能夠更好捕獲裂縫的線性結(jié)構(gòu)。并且讓圖像不同區(qū)域的裂縫建立聯(lián)系，避免區(qū)域之間孤立?；谏鲜龇治觯疚脑O(shè)計(jì)了基于自適應(yīng)單維度池化的多分支線性引導(dǎo)模塊，其結(jié)構(gòu)如圖3 所示，通過對(duì)特征圖執(zhí)行自適應(yīng)單維度池化操作，學(xué)習(xí)到更豐富的裂縫信息。

圖3 多分支線性引導(dǎo)模塊Fig.3 Multi-branch Linear Guidance Module

具體的，多分支線性引導(dǎo)模塊包含1 條全局平均池化分支以及3 條自適應(yīng)單維度池化分支。對(duì)于全局平均池化分支，采用公式（4）對(duì)輸入特征圖Finput∈RC×H×W執(zhí)行全局平均池化操作，得到輸出特征圖Fs4∈RC×H×W。通過上述方式，特征圖Fs4獲得輸入特征圖的全局上下文信息，提高模型對(duì)裂縫圖像的整體感受能力。而對(duì)于自適應(yīng)單維度池化分支，分別采用公式（1）~公式（3）對(duì)輸入特征圖Finput執(zhí)行自適應(yīng)單維度池化操作，得到輸出特征圖(Fs1，F(xiàn)s2，F(xiàn)s3)∈(RC×H×W，RC×H×W，RC×H×W)。為了應(yīng)對(duì)裂縫尺寸多變的問題，三條自適應(yīng)單維度池化分支的延伸率各不相同，延伸率α分別為1、0.5 和0.25。并且每條自適應(yīng)單維度池化分支還分別設(shè)置沿高度和寬度方向的自適應(yīng)單維度池化子分支，去盡可能獲取沿高度和寬度方向延伸的裂縫信息。

其中：Conv1×1表示核大小為1×1 的卷積；Up表示上采樣操作；GAP表示全局平均池化操作；Avgα=1表示核大小為H×1 和1×W的自適應(yīng)單維度池化；Avgα=0.5表示核大小為H2×1 和1×W2 的自適應(yīng)單維度池化；Avgα=0.25表示核大小為H4×1 和1×W4 的自適應(yīng)單維度池化。

最后，將全局平均池化和自適應(yīng)單維度池化分支輸出的特征圖進(jìn)行逐元素特征融合。該步驟在保持特征圖維度不變的情況下，增加特征圖空間與通道維度的信息量，有效降低因特征融合所帶來的參數(shù)和計(jì)算量，生成含有豐富裂縫信息的特征圖。之后通過1×1 卷積操作，實(shí)現(xiàn)特征圖的跨通道信息交互，獲得最優(yōu)特征圖Foutput，其過程如式（5）所示：

式中，⊕表示逐元素相加。

2.3 網(wǎng)格細(xì)節(jié)優(yōu)化模塊

由于網(wǎng)絡(luò)在編碼階段不斷地卷積和池化操作過程中，圖像細(xì)節(jié)信息丟失嚴(yán)重，導(dǎo)致細(xì)微裂縫漏分。因此，本文設(shè)計(jì)了網(wǎng)格細(xì)節(jié)優(yōu)化模塊，以減少模型在下采樣過程中細(xì)節(jié)信息的損失，增強(qiáng)網(wǎng)絡(luò)對(duì)小尺度裂縫的關(guān)注度。

網(wǎng)格細(xì)節(jié)優(yōu)化模塊結(jié)構(gòu)如圖4 所示，首先，沿著通道維度對(duì)輸入特征圖F∈RC×H×W執(zhí)行切片操作得到切片特征Fi(Fi∈RH×W×C4，i=1，2，3，4)；其次對(duì)每個(gè)切片特征Fi執(zhí)行分區(qū)-優(yōu)化-合并三步驟。

圖4 網(wǎng)格細(xì)節(jié)優(yōu)化模塊Fig.4 Mesh Detail Optimization Module

以切片特征F1為例，首先進(jìn)行分區(qū)操作，使用3×3 平均池化對(duì)切片特征F1進(jìn)行空間區(qū)域劃分，將整個(gè)空間域劃分為若干個(gè)網(wǎng)格，得到網(wǎng)格描述特征，其具體過程如式（6）所示：

其中：z表示網(wǎng)格描述特征，表示分區(qū)操作。其次對(duì)網(wǎng)格描述特征z進(jìn)行細(xì)節(jié)優(yōu)化操作，利用卷積操作提取每個(gè)網(wǎng)格中的細(xì)節(jié)信息，其具體過程如公式（7）所示：

其中：s表示局部細(xì)節(jié)特征，fex( ?)表示細(xì)節(jié)優(yōu)化操作，Conv表示卷積操作，BN代表批歸一化，δ代表ReLU 激活函數(shù)。

最后進(jìn)行網(wǎng)格細(xì)節(jié)合并操作，通過雙線性插值對(duì)局部細(xì)節(jié)特征s進(jìn)行上采樣，合并各個(gè)網(wǎng)格的信息，將細(xì)節(jié)特征非線性映射到整個(gè)空間域。其具體過程如下所示：

其中：Y1是包含細(xì)節(jié)信息的分支特征，fbi( ?)表示網(wǎng)格細(xì)節(jié)合并操作，Bilinear表示雙線性插值操作。

對(duì)于四個(gè)切片特征Fi(Fi∈RH×W×C4)，使用不同尺寸的池化執(zhí)行分區(qū)-優(yōu)化-合并三步驟。其計(jì)算過程如下：

其中：Conv表示卷積操作，concat表示通道拼接操作。

2.4 混合注意力模塊

在裂縫分割任務(wù)中，為了在復(fù)雜背景下實(shí)現(xiàn)對(duì)裂縫區(qū)域、背景區(qū)域進(jìn)行準(zhǔn)確分割，設(shè)計(jì)了空間-通道混合注意力模塊，將其嵌入網(wǎng)絡(luò)的跳躍連接處。通過混合注意力模塊，特征圖中裂縫區(qū)域被賦予較高權(quán)重，而背景區(qū)域被賦予較低權(quán)重，使網(wǎng)絡(luò)聚焦于裂縫區(qū)域的分割，提高網(wǎng)絡(luò)的特征學(xué)習(xí)和表達(dá)能力，改善分割效果。

2.4.1 空間注意力模塊

空間注意力機(jī)制通過對(duì)特征圖不同位置的像素元素重新賦予權(quán)重，挖掘特征圖空間信息，更好地聚焦裂縫區(qū)域。空間注意力模塊結(jié)構(gòu)如圖5 所示：

圖5 混合注意力模塊Fig.5 Mixed Attention Module

首先，空間注意力模塊通過1×1 卷積操作，將特征圖U∈RC×H×W沿著通道方向進(jìn)行特征壓縮，去除特征對(duì)通道維度的依賴性，得到特征圖U1∈R1×H×W。與此同時(shí)，通過3×3 池化操作，將廣泛的上下文信息聚集到局部特征中，得到特征圖U2∈R1×H3×W3。之后通過3×3 卷積操作，加強(qiáng)區(qū)域之間的信息交流，建立空間關(guān)聯(lián)性。然后上采樣成大小為H×W×1 特征圖，最后通過ReLU 激活和sigmoid 函數(shù)映射后生成空間特征權(quán)重矩陣Ws。利用該權(quán)重與輸入特征圖進(jìn)行相乘，即實(shí)現(xiàn)空間維度上特征重標(biāo)定，其計(jì)算過程如下：

其中：σ為sigmoid激活函數(shù)，Up表示上采樣，Conv3×3表示卷積核為3×3 的卷積層，Conv1×1表示卷積核為1×1 的卷積層，Avg3×3表示池化核為3×3 的池化層，?表示逐元素相乘，USFR表示經(jīng)過空間維度重標(biāo)定的特征圖。

2.4.2 通道注意力模塊

通道注意力模塊通過建模各個(gè)通道的重要程度，自適應(yīng)的建立特征通道間的依賴關(guān)系，根據(jù)依賴關(guān)系對(duì)原特征圖各通道進(jìn)行加權(quán)處理，使網(wǎng)絡(luò)關(guān)注某些權(quán)重值大的通道。在通道注意力機(jī)制中，通常采用全局池化方法將通道信息全局編碼，但容易忽略位置信息和空間結(jié)構(gòu)，造成分割精度降低。為此，本文設(shè)計(jì)了全新的通道注意力模塊，如圖5 所示：

首先，通道注意力模塊為了避免全局池化造成位置信息丟失，將二維的全局池化分解為2 個(gè)并行的自適應(yīng)單維度池化。 把特征圖U∈RC×H×W，沿著高度和寬度方向?qū)⑦M(jìn)行特征聚合，得到2 個(gè)注意力特征圖Uh∈RC×1×W和Uw∈RC×H×1。該步驟讓通道注意力模塊在獲取一個(gè)空間方向的遠(yuǎn)程依賴關(guān)系時(shí)，同時(shí)保存沿另一個(gè)空間方向的精確位置信息。對(duì)兩個(gè)注意力特征圖進(jìn)行降維融合，得到每一個(gè)通道特征圖的全局信息特征圖Ug∈RC×1×1。經(jīng)過1×1 卷積進(jìn)行瓶頸操作，將通道數(shù)由C變?yōu)镃4。之后經(jīng)過卷積和ReLU 操作后，將通道數(shù)恢復(fù)為C。最后，經(jīng)過sigmoid 函數(shù)映射后生成通道特征權(quán)重矩陣Wc，與特征圖USFR相乘，從而實(shí)現(xiàn)通道方向上特征重標(biāo)定。其計(jì)算過程如下：

其中：σ為sigmoid激活函數(shù)，Conv1×1表示卷積核為1×1 的卷積層，GAP表示全局平均池化，AvgH×1和Avg1×W分別表示池化核尺寸為H×1和1×W的自適應(yīng)單維度池化操作，UCFR表示經(jīng)過通道維度重標(biāo)定的特征圖。

2.5 損失函數(shù)

損失函數(shù)是用于衡量標(biāo)簽真實(shí)值與網(wǎng)絡(luò)輸出預(yù)測值之間差距的指標(biāo)，通過不斷減小損失值來訓(xùn)練網(wǎng)絡(luò)模型，從而更好地?cái)M合樣本數(shù)據(jù)。本文采用二分類交叉熵?fù)p失函數(shù)，yt表示像素點(diǎn)的真實(shí)標(biāo)簽，yp表示像素點(diǎn)的預(yù)測值，二分類交叉熵?fù)p失函數(shù)的計(jì)算公式如式（23）所示：

3 實(shí)驗(yàn)分析與討論

3.1 實(shí)驗(yàn)配置和數(shù)據(jù)集

本文實(shí)驗(yàn)是在Ubuntu 18.04.2 系統(tǒng)下進(jìn)行，GPU 型號(hào)為GTX2080Ti。深度學(xué)習(xí)框架采用Pytorch-1.10.2，實(shí)驗(yàn)環(huán)境配置為CUDA 11.4+python3.6.8。在網(wǎng)絡(luò)訓(xùn)練過程中，設(shè)置訓(xùn)練參數(shù)batch_size 為8，epoch 為400 輪，初始學(xué)習(xí)率為0.000 5，使用Adam 優(yōu)化器進(jìn)行網(wǎng)絡(luò)優(yōu)化，學(xué)習(xí)率衰減策略采用余弦退火方法。

為了驗(yàn)證LGMO-Net 的有效性，采用Crack500［18］、Deepcrack537［19］和CFD［4］公共裂縫數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)對(duì)比。Deepcrack537 裂縫數(shù)據(jù)集共有537 張大小為544×384 的裂縫圖像，包括300 張訓(xùn)練圖像和237 張測試圖像以及對(duì)應(yīng)的標(biāo)簽圖。部分裂縫圖像中含有較多的噪聲干擾，如水坑、斑點(diǎn)、碎石、陰影等噪聲，用以驗(yàn)證LGMONet 在噪聲干擾下的性能。Crack500 裂縫數(shù)據(jù)集由3 368 張裂縫圖像構(gòu)成，圖像中包含橫向、縱向、龜裂等形狀各異的裂縫，并且部分圖像中裂縫與背景顏色相似，分割難度較大。該數(shù)據(jù)集按照訓(xùn)練集（1 896 張）、驗(yàn)證集（1 124 張）和測試集（348 張）進(jìn)行劃分。CFD 裂縫數(shù)據(jù)集由118 張大小為480×320 的裂縫圖像構(gòu)成，這些圖像中的裂縫都是具有一定分割難度的狹長裂縫，裂縫占比小且難以辨認(rèn)。該數(shù)據(jù)集按照8∶2 比例隨機(jī)劃分為訓(xùn)練集和測試集。

3.2 分割評(píng)價(jià)指標(biāo)

為了更好評(píng)價(jià)網(wǎng)絡(luò)的分割性能，本文使用了4 種常見的分割評(píng)價(jià)指標(biāo)，包括準(zhǔn)確率、召回率、F1-score 和IoU。將裂縫定義為正樣本，非裂縫定義為負(fù)樣本。上述的評(píng)價(jià)指標(biāo)可以通過混淆矩陣進(jìn)行計(jì)算，其中TP，F(xiàn)N，F(xiàn)P，TN 的含義如表1 所示：

表1 混淆矩陣Tab.1 Confusion matrix

準(zhǔn)確率（Precision）也稱查準(zhǔn)率，反映了預(yù)測為裂縫的樣本中有多少實(shí)際為裂縫樣本的概率，公式為：

召回率（Recall）也稱查全率，表示實(shí)際為裂縫的樣本中有多少被預(yù)測為裂縫樣本的概率，公式為：

F1-score 用于描述準(zhǔn)確率和召回率之間關(guān)系，更好反映模型的分割性能，公式為：

交并比（IoU）表示預(yù)測為裂縫區(qū)域與實(shí)際為裂縫區(qū)域之間交集與并集的比值，公式為：

3.3 實(shí)驗(yàn)結(jié)果分析

為了證明LGMO-Net 模型的優(yōu)越性，與UNet，PSPNet，DeepCrack18，LightCrackNet［20］，F(xiàn)FEDN［21］等網(wǎng)絡(luò)模型分別在Deepcrack537，Crack500 和CFD 裂縫數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)。并且為了驗(yàn)證LGMO-Net 模型各模塊對(duì)混凝土裂縫分割任務(wù)的有效性，在Deepcrack537，Crack500 和CFD 裂縫數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)。

3.3.1 Crack500 裂縫數(shù)據(jù)集實(shí)驗(yàn)結(jié)果分析

圖6 是在Crack500 數(shù)據(jù)集上，LGMO-Net 模型與其他網(wǎng)絡(luò)模型的分割結(jié)果對(duì)比（彩圖見期刊電子版）。通過對(duì)比圖6（a）和圖6（b）的紅框區(qū)域，可以看出FCN，SegNet 等網(wǎng)絡(luò)都出現(xiàn)了不同程度裂縫漏分現(xiàn)象，部分裂縫區(qū)域沒有分割出來。而LGMO-Net 所提出的多分支線性引導(dǎo)模塊，能夠精確關(guān)注到裂縫的線性結(jié)構(gòu)，獲取更加豐富的裂縫特征信息，較為完整的分割出整個(gè)裂縫。通過圖6（c）的紅框區(qū)域，可以看出SegNet等模型在裂縫分割過程中丟失了特征圖的細(xì)節(jié)信息，導(dǎo)致細(xì)微裂縫分割效果不佳。而LGMONet 利用網(wǎng)格細(xì)節(jié)優(yōu)化模塊，提取空間網(wǎng)格中的細(xì)節(jié)信息，較好分割出細(xì)微裂縫。在圖6（d）的紅框中，由于裂縫圖像中裂縫與背景特征相似，導(dǎo)致DeeplabV3、DeepCrack18 等模型將背景錯(cuò)分割成裂縫。而LGMO-Net 利用混合注意力模塊在空間和通道兩個(gè)維度強(qiáng)化裂縫特征，抑制背景噪聲干擾，沒有出現(xiàn)將背景錯(cuò)分為裂縫的現(xiàn)象。

圖6 Crack500 數(shù)據(jù)集各種模型的裂縫分割結(jié)果Fig.6 Crack segmentation results of various models of Crack500 dataset

不同模型在Crack500 數(shù)據(jù)集中分割結(jié)果的定量分析如表2 所示，在Crack500 數(shù)據(jù)集上，本文所提的LGMO-Net 在準(zhǔn)確率、召回率、F1-score 和IoU 評(píng)價(jià)指標(biāo)上，分別達(dá)到78.11%，70.64%，74.19% 和58.96%，其中準(zhǔn)確率、F1-score 和IoU 獲得最高分?jǐn)?shù)。FFEDN 網(wǎng)絡(luò)在裂縫分割過程中，通過注意力和深度監(jiān)督機(jī)制減少裂縫樣本漏分現(xiàn)象發(fā)生，使其召回率指標(biāo)獲得最高分?jǐn)?shù)。LGMO-Net 相比于FFEDN 網(wǎng)絡(luò)，更專注于獲取裂縫特征信息，提高裂縫分割準(zhǔn)確率，其召回率有待提高。與其他算法相比，雖然本文算法在Recall 指標(biāo)沒有獲得最高分?jǐn)?shù)，但Precision指標(biāo)遠(yuǎn)超其他算法，并且在綜合考慮準(zhǔn)確率和召回率的F1-score 指標(biāo)上取得最高分?jǐn)?shù)，表明LGMO-Net 分割性能更佳。與主干網(wǎng)絡(luò)U-Net 相比，本文方法的準(zhǔn)確率提高8.82%，F(xiàn)1-score 提高2.75%，IoU 提高3.39%。與最佳對(duì)比算法FFEDN 相比，LGMO-Net 的評(píng)價(jià)指標(biāo)得到一定程度的提升，準(zhǔn)確率提高7.1%，IoU 提高0.4%，F(xiàn)1-score 提高0.32%，說明LGMO-Net 通過多分支線性引導(dǎo)和網(wǎng)格細(xì)節(jié)優(yōu)化模塊提高網(wǎng)絡(luò)對(duì)裂縫線性結(jié)構(gòu)的捕獲能力，在一定程度上緩解裂縫圖像分割過程中細(xì)微裂縫漏分問題，并通過混合注意力機(jī)制抑制背景因素干擾，提高網(wǎng)絡(luò)分割精度。

表2 Crack500 數(shù)據(jù)集定量分析實(shí)驗(yàn)結(jié)果Tab.2 Experimental results of quantitative analysis of Crack500 dataset

3.3.2 Deepcrack537 裂縫數(shù)據(jù)集實(shí)驗(yàn)結(jié)果分析

LGMO-Net 與其他網(wǎng)絡(luò)在Deepcrack537 數(shù)據(jù)集上的可視化結(jié)果如圖7 所示（彩圖見期刊電子版）。從圖7（a）紅框區(qū)域可以看出，HRNet、UNet 等模型的分割效果較差，裂縫漏分現(xiàn)象嚴(yán)重，整體分割效果不理想。此外在圖7（b）的紅框區(qū)域中，SegNet 和U-Net 錯(cuò)分現(xiàn)象較為嚴(yán)重，把背景區(qū)域錯(cuò)分為裂縫。而本文方法在上述的紅框區(qū)域都能進(jìn)行精確的裂縫分割，表明LGMO-Net與其他方法相比能夠獲得更加豐富的裂縫特征信息，并且對(duì)于復(fù)雜背景下各種強(qiáng)干擾具有較好的魯棒性。在圖7（c）~7（e）中，其他網(wǎng)絡(luò)對(duì)于大面積裂縫區(qū)域分割效果較好，但容易出現(xiàn)細(xì)微裂縫漏分。而LGMO-Net 明顯改善了細(xì)微裂縫漏分問題，對(duì)于小尺度裂縫分割效果更為突出。

圖7 Deepcrack537 數(shù)據(jù)集各種模型的裂縫分割結(jié)果Fig.7 Crack segmentation results of various models of Deepcrack537 dataset

在Deepcrack537 裂縫數(shù)據(jù)集上，對(duì)各種網(wǎng)絡(luò)模型的分割結(jié)果進(jìn)行定量分析，結(jié)果如表3 所示。本文所提出的LGMO-Net 在Precision，Recall，F(xiàn)1-score 和IoU 指標(biāo)上，分別達(dá)到84.61%，89.64%，87.05%和77.07%。與其他網(wǎng)絡(luò)模型相比，本文算法的Recall，F(xiàn)1-score 和IoU 指標(biāo)獲得最高分?jǐn)?shù)。對(duì)比主干網(wǎng)絡(luò)U-Net，LGMO-Net各項(xiàng)評(píng)價(jià)指標(biāo)都得到大幅度提升，準(zhǔn)確率提高3.28%，召回率提高1.50%，IoU 提高2.45%，以及F1-score 提高3.76%。與對(duì)比算法FFEDN 相比，召回率、F1-score 和IoU 分別提高4.02%，0.88%和1.37%。

表3 Deepcrack537 數(shù)據(jù)集定量分析實(shí)驗(yàn)結(jié)果Tab.3 Experimental results of quantitative analysis of Deepcrack537 dataset

3.3.3 CFD 裂縫數(shù)據(jù)集實(shí)驗(yàn)結(jié)果分析

在CFD 數(shù)據(jù)集中，裂縫形狀細(xì)長且難以辨認(rèn)，分割難度較大。為進(jìn)一步驗(yàn)證LGMO-Net 模型有效性，各模型在CFD 裂縫數(shù)據(jù)集進(jìn)行裂縫分割對(duì)比實(shí)驗(yàn)，對(duì)比結(jié)果如圖8 所示。在圖8（c）的紅框區(qū)域中，F(xiàn)CN、DeeplabV3 等網(wǎng)絡(luò)模型對(duì)細(xì)微裂縫進(jìn)行分割時(shí)，出現(xiàn)漏分現(xiàn)象。而LGMO-Net 通過網(wǎng)格細(xì)節(jié)優(yōu)化模塊保留裂縫細(xì)節(jié)信息，能夠完整分割出細(xì)微裂縫。在圖8（b）中，裂縫圖像左下角存在陰影區(qū)域，干擾模型分割結(jié)果。如DeepCrack18 網(wǎng)絡(luò)受陰影區(qū)域干擾，將陰影區(qū)域錯(cuò)分為裂縫。并且U-Net，HRNet 等網(wǎng)絡(luò)模型在陰影區(qū)域發(fā)生裂縫漏分問題，分割效果表現(xiàn)不佳。而LGMO-Net 能夠克服陰影干擾，成功分割出裂縫。從圖8 的整體分割結(jié)果可以看出，LGMO-Net 相比于其他網(wǎng)絡(luò)模型分割效果更佳，說明本文算法對(duì)于細(xì)長結(jié)構(gòu)的裂縫，具有更好的特征捕獲能力。

圖8 CFD 數(shù)據(jù)集各種模型的裂縫分割結(jié)果Fig.8 Crack segmentation results of various models of CFD dataset

不同模型在CFD 裂縫數(shù)據(jù)集分割結(jié)果的定量分析如表4 所示，在CFD 數(shù)據(jù)集上，本文所提的LGMO-Net 在準(zhǔn)確率、召回率、F1-score 和IoU評(píng)價(jià)指標(biāo)上，分別達(dá)到71.07%，73.46%，72.24%和56.55%，其中準(zhǔn)確率、F1-score 和IoU獲得最高分?jǐn)?shù)。與U-Net 相比，本文方法的準(zhǔn)確率提高3.09%，召回率提高0.33%，IoU 提高2.16%，F(xiàn)1-score 提高1.78%。

表4 CFD 數(shù)據(jù)集定量分析實(shí)驗(yàn)結(jié)果Tab.4 Experimental results of quantitative analysis of CFD dataset

綜上所述，從DeepCrack537，Crack500 和CFD 裂縫數(shù)據(jù)集對(duì)比實(shí)驗(yàn)的可視化結(jié)果和定量分析上，可以看出LGMO-Net 模型的裂縫分割效果十分顯著，有效地解決了網(wǎng)絡(luò)分割精度低、細(xì)微裂縫漏分、背景干擾等問題，能準(zhǔn)確分割出混凝土的裂縫區(qū)域。

3.3.4 消融實(shí)驗(yàn)

為了更好的驗(yàn)證所提模型以及各個(gè)模塊對(duì)混凝土裂縫分割的有效性，在Deepcrack537、Crack500 和CFD 裂縫數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)。所提模型是以U-Net 為主干網(wǎng)絡(luò)，MLGM 表示多分支線性引導(dǎo)模塊，MDOM 表示網(wǎng)格細(xì)節(jié)優(yōu)化模塊，MAM 表示混合注意力模塊。表5 給出了在Deepcrack537 數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果，UNet 的Precision，Recall，F(xiàn)1-score 和IoU 的結(jié)果分別是81.33%，88.14%，84.60% 和73.31%；添加MLGM 模塊后，指標(biāo)分別上升1.19%，0.81%，1.04%和1.57%；添加MDOM 模塊后，指標(biāo)相比主干網(wǎng)絡(luò)U-Net 分別上升1.21%，0.87%，1.05% 和1.60%；添加MAM 模塊后，Precision，F(xiàn)1-score 和IoU 三個(gè)指標(biāo)分別上升2.97%，0.71% 以及1.07%。 表6 展示了在Crack500 數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果，當(dāng)主干網(wǎng)絡(luò)U-Net 添加MLGM 模塊后，Precision，F(xiàn)1-score 和IoU 分別提高7.8%，2.56% 和3.16%；添加MDOM 模塊后，指標(biāo)相比U-Net 分別上升3.89%，1.81% 和2.22%；添加MAM 模塊后，Precision，F(xiàn)1-score 和IoU 三個(gè)指標(biāo)分別上升5.75%，2.00% 以及2.46%。CFD 數(shù)據(jù)集的消融實(shí)驗(yàn)結(jié)果如表7 所示，U-Net 添加MLGM 模塊后，Precision，F(xiàn)1-score 和IoU 分別提高2.24%，0.23% 和0.28%；添加MDOM 模塊后，Recall，F(xiàn)1-score 和IoU 指標(biāo)相比U-Net 網(wǎng)絡(luò)分別上升2.41%，0.15%以及0.18%；添加混合注意力模塊后，Recall，F(xiàn)1-score 和IoU 三個(gè)指標(biāo)分別上升4.29%，1.36%和1.64%。

表5 Deepcrack537 數(shù)據(jù)集消融實(shí)驗(yàn)結(jié)果Tab.5 Deepcrack537 dataset ablation experiment results

表6 Crack500 數(shù)據(jù)集消融實(shí)驗(yàn)結(jié)果Tab.6 Crack500 dataset ablation experiment results

表7 CFD 數(shù)據(jù)集消融實(shí)驗(yàn)結(jié)果Tab.7 CFD dataset ablation experiment results

圖9 為消融實(shí)驗(yàn)的可視化結(jié)果對(duì)比圖（彩圖見期刊電子版），在圖9（c）的紅框區(qū)域中，U-Net網(wǎng)絡(luò)分割出的裂縫形狀粗糙，并且出現(xiàn)將背景錯(cuò)分為裂縫以及細(xì)微裂縫漏分問題。而圖9（d）紅框區(qū)域內(nèi)，當(dāng)U-Net 添加MLGM 和MDOM 模塊后，網(wǎng)絡(luò)分割出的裂縫整體更加完整，沒有發(fā)生細(xì)微裂縫漏分現(xiàn)象。 在圖9（e）紅框區(qū)域內(nèi)，當(dāng)U-Net 添加MAM 模塊后，網(wǎng)絡(luò)通過注意力機(jī)制抑制背景區(qū)域?qū)Ψ指罱Y(jié)果干擾，未將背景區(qū)域錯(cuò)分為裂縫。在圖9（f）紅框中，LGMO-Net 相比于U-Net 網(wǎng)絡(luò)在細(xì)節(jié)和背景干擾方面表現(xiàn)良好，極大地減少了漏分、誤分問題。

圖9 消融實(shí)驗(yàn)的可視化結(jié)果Fig.9 Visualization results of ablation experiments

消融實(shí)驗(yàn)結(jié)果充分表明，本文所提多分支線性引導(dǎo)模塊MLGM、網(wǎng)格細(xì)節(jié)優(yōu)化模塊MDOM以及混合注意力模塊MAM，對(duì)模型的整體分割精度提升較為顯著，在不同數(shù)據(jù)集中的分割效果均十分優(yōu)異，說明了本文方法在面對(duì)不同裂縫分割任務(wù)時(shí)均具有一定的適應(yīng)性和魯棒性，整體性能表現(xiàn)良好。

3.3.5 不同延伸率組合的對(duì)比實(shí)驗(yàn)

在實(shí)驗(yàn)過程中，采用本文算法LGMO-Net 進(jìn)行實(shí)驗(yàn)。通過改變LMGO-Net 中MLGM 模塊的延伸率α組合，驗(yàn)證不同延伸率組合對(duì)LGMONet 性能的影響，并在Deepcrack537，CFD 數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)。

表8 給出了在Deepcrack537 數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)結(jié)果，當(dāng)MLGM 的延伸率選擇1，0.5 和0.25 組合時(shí)，LGMO-Net 網(wǎng)絡(luò)的Precision，Recall，F(xiàn)1-score 和IoU 指標(biāo)分別為84.61%，89.64%，87.05%和77.07%。而當(dāng)MLGM 的延伸率為1，0.75，0.5 和0.25 的組合時(shí)，LGMONet 網(wǎng)絡(luò)指標(biāo)分別下降3.25%，0.71%，2.07%，3.19%。表9 給出了在CFD 數(shù)據(jù)集上對(duì)比實(shí)驗(yàn)結(jié)果，當(dāng)MLGM 的延伸率選擇1，0.5 和0.25 組合時(shí)，LGMO-Net 的Precision，Recall，F(xiàn)1-score 和IoU 指標(biāo)分別為71.07%，73.46%，72.24% 和56.55%。而當(dāng)MLGM 的延伸率為1，0.75，0.5和0.25 組合時(shí)，LGMO-Net 的Precision，F(xiàn)1-score 和IoU 指標(biāo)分別下降5.29%，2.34% 和2.82%。

表8 Deepcrack537 數(shù)據(jù)集對(duì)比實(shí)驗(yàn)結(jié)果Tab.8 Comparative experimental results of Deepcrack537 dataset

表9 CFD 數(shù)據(jù)集對(duì)比實(shí)驗(yàn)結(jié)果Tab.9 Comparative experimental results of CFD dataset

從上述實(shí)驗(yàn)結(jié)果的定量分析中，可以發(fā)現(xiàn)當(dāng)LGMO-Net 中MLGM 模塊的延伸率選擇1，0.75，0.5，0.25 組合時(shí)，模型的各項(xiàng)評(píng)價(jià)指標(biāo)有一定幅度下降，模型的分割性能不佳，并且隨著MLGM 模塊分支數(shù)增多會(huì)導(dǎo)致其參數(shù)量上升。因此，本文MLGM 模塊選擇延伸率為1，0.5，0.25 組合。

3.4 復(fù)雜性分析

表10 展示了不同模型的復(fù)雜度比較結(jié)果，表中Params 表示模型參數(shù)量，能夠衡量模型空間復(fù)雜度；表中的FLOPs（Floating-point Operations）表示浮點(diǎn)運(yùn)算次數(shù)，能夠衡量模型時(shí)間復(fù)雜度。為了統(tǒng)一衡量各個(gè)模型復(fù)雜度，所有模型的輸入都是大小為512×512×3 的張量。通過表10 的比較結(jié)果可見，本文方法的模型參數(shù)量相較U-Net 增加10.98 M，但相較PSPNet 減少25.08 M。與U-Net 相比，LGMO-Net 在增加少數(shù)參數(shù)量的情況下實(shí)現(xiàn)更優(yōu)越的裂縫分割性能。而與PSPNet 相比，LGMO-Net 在模型參數(shù)量更小的情況下表現(xiàn)出更出色的分割性能。綜合而言，LGMO-Net 在模型復(fù)雜度和模型精度之間實(shí)現(xiàn)了良好的平衡。

表10 參數(shù)量和浮點(diǎn)運(yùn)算次數(shù)Tab.10 Number of parameters and number of floatingpoint operations

4 結(jié) 論

針對(duì)混凝土裂縫分割精度低以及容易出現(xiàn)復(fù)雜背景干擾、細(xì)微裂裂縫漏分等問題，本文提出一種LGMO-Net 模型用于混凝土裂縫分割。所提模型在U-Net 模型基礎(chǔ)上，在網(wǎng)絡(luò)的編碼階段運(yùn)用多分支線性引導(dǎo)模塊，來引導(dǎo)網(wǎng)絡(luò)捕獲裂縫線性結(jié)構(gòu)，提高裂縫分割精度。同時(shí)利用網(wǎng)格細(xì)節(jié)優(yōu)化模塊，提取特征網(wǎng)格中的細(xì)節(jié)信息，避免細(xì)微裂縫特征信息丟失，進(jìn)一步提高分割精度。并且改變編碼階段和解碼階段的跳躍連接方式，在跳躍連接上運(yùn)用空間-通道混合注意力模塊過濾編碼器特征中的背景噪聲，減少背景因素干擾。本文所提出的網(wǎng)絡(luò)在Deepcrack537，Crack500 和CFD 三個(gè)公開裂縫數(shù)據(jù)集上的F1-score 指標(biāo)為87.05%，74.19% 和72.24%，IoU指標(biāo)為77.07%，58.96% 和56.55%，兩個(gè)指標(biāo)均獲得最高分?jǐn)?shù)。實(shí)驗(yàn)結(jié)果表明，所提網(wǎng)絡(luò)具有較好的裂縫分割能力。