王墨川， 王 波， 王熊玨， 夏文祥， 阮小麗

(1 湖北工業(yè)大學(xué)電氣與電子工程學(xué)院， 湖北 武漢 430068；2 橋梁結(jié)構(gòu)健康與安全國(guó)家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430034; 3 中鐵大橋科學(xué)研究院有限公司，湖北 武漢 430034)

裂縫作為最主要的橋梁病害之一，嚴(yán)重影響著橋梁的安全，準(zhǔn)確高效地檢測(cè)裂縫對(duì)橋梁養(yǎng)護(hù)有著積極的意義。目前，噪聲背景下的全自動(dòng)裂縫檢測(cè)仍然是一個(gè)挑戰(zhàn)[1]。

橋梁裂縫檢測(cè)方法分為邊緣檢測(cè)和圖像分割，在輸入圖像質(zhì)量高、裂縫具有良好的連續(xù)性和高對(duì)比度情況下，傳統(tǒng)的邊緣檢測(cè)[2]和圖像分割[3-4]，都可以高精度的檢測(cè)出裂縫。然而，在實(shí)踐中，背景噪聲、陰影、曝光方向或裂縫本身形狀多樣、尺度多變等都可能影響傳統(tǒng)方法的裂縫檢測(cè)性能。近年來(lái)，深度學(xué)習(xí)在圖像分類(lèi)[5]、圖像分割[6]、語(yǔ)音識(shí)別[7]等方面取得了巨大成功。基于深度學(xué)習(xí)的圖像分割對(duì)圖像整體分割，通常采用編碼器-解碼器架構(gòu)。編碼階段中池化層的索引可以提高邊界定位的準(zhǔn)確性[8]。在編解碼融合過(guò)程中，全卷積網(wǎng)絡(luò)[9]對(duì)多尺度特征逐點(diǎn)相加(add)融合，可以提高分割的準(zhǔn)確性；與全卷積網(wǎng)絡(luò)不同，U-Net[10]采用了對(duì)應(yīng)層卷積通道拼接(concat)的方式來(lái)共享編碼器的各層信息，提高目標(biāo)檢測(cè)能力。解碼階段的卷積特征可以提高語(yǔ)義分割的性能，Chen等[8]提出了基于空洞卷積的空間金字塔池化(ASPP)，獲取不同尺度上的卷積特征。Gu等[11]提出在編碼器-解碼器網(wǎng)絡(luò)中加入空間金字塔池化(SPP)，降低在編碼過(guò)程中因?yàn)榫矸e層和池化層造成的細(xì)節(jié)損失，提高分割的準(zhǔn)確率。

由于ASPP易出現(xiàn)棋盤(pán)偽影，SPP采用池化易出現(xiàn)局部信息的損失，為了更好的檢測(cè)橋梁裂縫，本文提出了一種基于高語(yǔ)義特征與注意力機(jī)制的橋梁裂縫檢測(cè)網(wǎng)絡(luò)，該網(wǎng)絡(luò)采用編碼器-解碼器框架，編碼器基于SegNet，在下采樣中利用最大池化索引捕獲并記錄特征圖中的邊界信息，避免細(xì)節(jié)缺失；在編碼器和解碼器間加入高語(yǔ)義特征融合(HSFF)模塊，該模塊根據(jù)分層的卷積模塊提取更高語(yǔ)義特征，再根據(jù)融合后的更高語(yǔ)義特征提取編碼器的高語(yǔ)義特征，得到最終的高語(yǔ)義特征；在解碼器階段，不是簡(jiǎn)單的高低層特征融合，而是引入混合域注意力機(jī)制來(lái)恢復(fù)橋梁裂縫細(xì)節(jié)，實(shí)現(xiàn)對(duì)橋梁裂縫的準(zhǔn)確定位，從而提高橋梁裂縫檢測(cè)的性能。

1 基于高語(yǔ)義特征與注意力機(jī)制的橋梁裂縫檢測(cè)網(wǎng)絡(luò)

為實(shí)現(xiàn)對(duì)橋梁裂縫的有效檢測(cè)，提出基于高語(yǔ)義特征與注意力機(jī)制的橋梁裂縫檢測(cè)(DBCB)網(wǎng)絡(luò)，該網(wǎng)絡(luò)采用編碼器-解碼器框架。該網(wǎng)絡(luò)由三部分組成：編碼器、高語(yǔ)義特征融合模塊和帶有注意力機(jī)制的解碼器。DBCB基于Segnet編碼網(wǎng)絡(luò)，DBCB利用高低層融合連接編碼器和解碼器網(wǎng)絡(luò)(圖1)。編碼器網(wǎng)絡(luò)和解碼器網(wǎng)絡(luò)的特征圖在編碼器的卷積階段和解碼器的混合域注意力機(jī)制(HDAM)階段拼接(concat)融合，并且將所有尺度的融合圖拼接(concat)融合，得到DBCB網(wǎng)絡(luò)的輸出。DBCB的特點(diǎn)表現(xiàn)在三個(gè)方面：1)在編碼器的下采樣步驟中利用最大池化索引捕獲并記錄特征圖中的邊界信息，避免細(xì)節(jié)缺失。2)在編碼器和解碼器之間引入高語(yǔ)義特征融合(HSFF)模塊，使網(wǎng)絡(luò)在進(jìn)行特征提取時(shí)采用不同的卷積核提取高語(yǔ)義特征，更加專(zhuān)注于裂縫及其相關(guān)信息，可以更好地提取裂縫的特征，實(shí)現(xiàn)對(duì)不同尺度裂縫識(shí)別的魯棒性。3)將混合域注意力機(jī)制(HDAM)模塊引入到解碼器中，可以保證解碼器網(wǎng)絡(luò)在解碼過(guò)程中更加關(guān)注裂縫的細(xì)節(jié)信息，使得裂縫細(xì)節(jié)更加豐富、定位更準(zhǔn)確。

圖 1 DBCB結(jié)構(gòu)

1.1 編碼器模塊

編碼器網(wǎng)絡(luò)結(jié)構(gòu)與VGG16[14]網(wǎng)絡(luò)結(jié)構(gòu)類(lèi)似，編碼器網(wǎng)絡(luò)主要用于特征提取，采用VGG16的前13個(gè)卷積層和5個(gè)下采樣池化層。丟棄完全連接層，有助于在最深的編碼器輸出處得到較高分辨率的特征圖。每個(gè)編碼器由卷積層、批歸一化層、RELU構(gòu)成。隨后，執(zhí)行最大池化層，窗口設(shè)置為2×2、步幅設(shè)置為2(非重疊窗口)，輸出結(jié)果等價(jià)于下采樣(系數(shù)為二)。步長(zhǎng)大于1的最大池化操作可以減少特征圖的比例，同時(shí)不會(huì)在小的空間移位上引起平移變化，但是下采樣將導(dǎo)致空間分辨率的損失，這可能導(dǎo)致邊界的偏差。為避免細(xì)節(jié)的缺失，當(dāng)執(zhí)行下采樣時(shí)，最大池化索引用于捕獲并記錄編碼器特征圖中的邊界信息。每經(jīng)過(guò)一個(gè)編碼器，輸出特征圖尺寸縮小為輸入特征圖的一半，通道數(shù)變?yōu)檩斎胩卣鲌D的兩倍，通過(guò)編碼器后輸出的特征圖尺寸為16×16×512。

1.2 高語(yǔ)義特征融合模塊

由于橋梁裂縫形狀、長(zhǎng)度和寬度在圖像占比中不盡相同，給橋梁裂縫的識(shí)別帶來(lái)了一定的困難。為了解決橋梁裂縫多尺度變化的問(wèn)題，許多研究者提出了相關(guān)方法，例如采用ASPP或SPP結(jié)構(gòu)，這些結(jié)構(gòu)使得識(shí)別率有一定的提高，但是這些方法存在一些問(wèn)題：ASPP的空洞卷積操作易出現(xiàn)棋盤(pán)偽影效應(yīng)，SPP結(jié)構(gòu)的池化操作以損失局部信息為代價(jià)[12]。在缺乏相關(guān)信息情況下，融合各尺度特征圖，提升的效果有限。為此，本文提出高語(yǔ)義特征融合(HSFF)模塊，在編碼器獲得高層特征后，通過(guò)分層的連續(xù)卷積操作來(lái)提取更高層特征，然后將各層的高層特征統(tǒng)一尺寸后執(zhí)行相加融合操作，最后將各層的融合結(jié)果與執(zhí)行了1×1卷積操作的高層特征執(zhí)行相乘融合，獲得最終的高語(yǔ)義特征。通過(guò)高語(yǔ)義特征融合模塊，利用不同的卷積核提取更高層特征，以實(shí)現(xiàn)對(duì)不同尺度橋梁裂縫識(shí)別的魯棒性，解決因橋梁裂縫尺寸不同導(dǎo)致識(shí)別困難的問(wèn)題。

HSFF結(jié)構(gòu)如圖2所示。模塊邊的數(shù)字表示輸出的特征圖的尺寸。HSFF與編碼器直接相連，HSFF的輸入是編碼器輸出的高層特征(圖像尺寸為16×16×512)，該特征同時(shí)輸入到上下兩條支路中：上條支路直接對(duì)輸入特征進(jìn)行1×1卷積操作；下條支路首先通過(guò)分層的卷積(conv)模塊提取更高層特征，上一層conv的輸出作為下一層conv的輸入，一共3層。conv模塊采用不同的卷積核對(duì)特征圖分別進(jìn)行卷積，再將結(jié)果相加融合，其結(jié)構(gòu)如圖2所示。conv1、conv3、conv5均采用3×3的卷積核，conv2、conv4、conv6均采用5×5的卷積核，conv1-conv6步長(zhǎng)均為3。前兩層卷積層的輸出不僅進(jìn)入下一層卷積層，而且分別再進(jìn)行一次7×7和5×5的卷積操作。第三層再進(jìn)行一次3×3的卷積操作之后，經(jīng)過(guò)2倍上采樣，通過(guò)反卷積操作后與上一層(第二層)的卷積結(jié)果進(jìn)行逐點(diǎn)相加(add)融合。同理，在第二層中，第一次融合的輸出結(jié)果經(jīng)過(guò)2倍上采樣后與上一層(第一層)卷積結(jié)果逐點(diǎn)相加(add)融合，最后第二次的融合結(jié)果經(jīng)過(guò)2倍上采樣后與上條支路的輸出進(jìn)行逐點(diǎn)相乘(求積)融合，從而得到HSFF的輸出。

圖 2 HSFF結(jié)構(gòu)

1.3 混合域注意力機(jī)制解碼器模塊

在編碼器-解碼器體系中，解碼器主要作用是逐層恢復(fù)圖像中目標(biāo)的細(xì)節(jié)。傳統(tǒng)的解碼器工作原理是將高層特征進(jìn)行上采樣、卷積操作后與對(duì)應(yīng)編碼器的低層特征融合，實(shí)現(xiàn)目標(biāo)細(xì)節(jié)的逐漸恢復(fù)。但是簡(jiǎn)單的高底層特征融合對(duì)橋梁裂縫細(xì)節(jié)恢復(fù)有限。人類(lèi)的視覺(jué)注意力機(jī)制能夠從圖像中快速聚焦于重要的部分，忽略不重要信息。深度學(xué)習(xí)注意力機(jī)制源于人類(lèi)的視覺(jué)注意力。深度學(xué)習(xí)注意力機(jī)制主要分為通道域、空間域和混合域注意力機(jī)制，通道域注意力機(jī)制主要關(guān)注學(xué)習(xí)通道域的權(quán)重，空間域注意力機(jī)制主要關(guān)注空間信息，而混合域注意力機(jī)制結(jié)合了兩者特點(diǎn)?；旌嫌蜃⒁饬C(jī)制不僅可以作用于底層特征，而且可以作用于高層特征，更加適用于高低層融合特征[13]。本文通過(guò)在高低層融合的過(guò)程中引入混合域注意力機(jī)制，使網(wǎng)絡(luò)提高恢復(fù)裂縫細(xì)節(jié)的能力，抑制無(wú)關(guān)信息，準(zhǔn)確定位，提高輸出質(zhì)量。高低層融合的結(jié)構(gòu)如圖3所示。

圖 3 高低層融合的結(jié)構(gòu)

首先，來(lái)自高語(yǔ)義特征融合模塊的特征圖經(jīng)過(guò)反卷積操作后，引入混合域注意力機(jī)制(HDAM)，HDAM結(jié)構(gòu)如圖4所示，將通道注意力模塊(CA)[14]的輸出作為空間注意力模塊(SA)[14]的輸入，以著重關(guān)注裂縫的特征信息，去除冗余信息，提高輸出特征圖質(zhì)量。其次，將HDAM的輸出與解碼器網(wǎng)絡(luò)中相應(yīng)尺度的最后一個(gè)卷積層拼接(concat)。再次，1×1 卷積層將多通道特征圖減少到1個(gè)通道。最后，為了計(jì)算每個(gè)尺度中的像素級(jí)損失，加入反卷積層以對(duì)特征圖進(jìn)行上采樣，并使用裁剪層將上采樣結(jié)果裁剪成輸入圖像的大小。經(jīng)過(guò)這些運(yùn)算，可以得到與橋梁裂縫原始圖像大小相同的各尺度的預(yù)測(cè)圖。在五個(gè)不同尺度中生成的預(yù)測(cè)圖進(jìn)一步拼接(concat)，并且添加1×1 卷積層，用以融合所有尺度的輸出，得到最終的多尺度融合圖。

圖 4 HDAM結(jié)構(gòu)

2 實(shí)驗(yàn)分析

為驗(yàn)證DBCB的有效性，采用現(xiàn)場(chǎng)真實(shí)拍攝的橋梁裂縫圖像數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，橋梁裂縫圖像是由大疆無(wú)人機(jī)經(jīng)緯M300 RTK、禪思H20系列云臺(tái)相機(jī)采集的，要求無(wú)人機(jī)相機(jī)平行于橋梁構(gòu)件表面拍攝，并且拍攝距離保持在3m，角度偏差不大于15°。一共采集了1400張?jiān)紭蛄毫芽p圖像，大小為512×512，并將這1400張橋梁裂縫圖像分為集合A(700張)、集合B(200張)、集合C(500張)。對(duì)集合A中的700張圖像利用圖像平移、水平鏡像、垂直鏡像，加入高斯隨機(jī)噪聲和隨機(jī)噪聲的方法進(jìn)行數(shù)據(jù)擴(kuò)增，用于構(gòu)建DBCB的訓(xùn)練集。擴(kuò)增后，挑選出 3100張圖像作為訓(xùn)練集。訓(xùn)練集樣本的標(biāo)簽使用labelme的Linstrip標(biāo)注，line_width設(shè)置為1。集合B作為驗(yàn)證集，集合C作為測(cè)試集。

2.1 實(shí)驗(yàn)設(shè)置

在編碼器網(wǎng)絡(luò)中的每個(gè)卷積層之后都使用批量歸一化，加快訓(xùn)練過(guò)程中的收斂。整個(gè)網(wǎng)絡(luò)中卷積層權(quán)重初始化的方法為“msra”，偏差初始化為0。初始全局學(xué)習(xí)率設(shè)置為0.00002，Batchsize設(shè)置為8，shuffle設(shè)置為T(mén)rue，最大訓(xùn)練輪數(shù)設(shè)置為400，優(yōu)化器選用Adam，損失函數(shù)采用交叉熵。在訓(xùn)練時(shí)，每20輪訓(xùn)練，將學(xué)習(xí)率設(shè)置為原來(lái)的一半；驗(yàn)證集的損失函數(shù)值降低幅度不超過(guò)5%，則提前結(jié)束訓(xùn)練。

實(shí)驗(yàn)環(huán)境為NVIDIA GeForce TITAN RTX GPU，Intel(R)Xeon(R)Gold 6146 CPU，32GB內(nèi)存，Windows10操作系統(tǒng)，在Pytorch上編程實(shí)現(xiàn)。

2.2 識(shí)別結(jié)果分析

為說(shuō)明DBCB在橋梁裂縫檢測(cè)中的有效性，將本網(wǎng)絡(luò)與U-Net[15]、SegNet[16]、DANet[17]和PSPNet[18]進(jìn)行比較，圖5各行展示了本文方法與對(duì)比方法的測(cè)試效果，圖中第一列至第七列分別為橋梁原始圖像、人工標(biāo)注圖像、本文方法的識(shí)別結(jié)果、U-Net的識(shí)別結(jié)果、SegNet的識(shí)別結(jié)果、DANet的識(shí)別結(jié)果、PSPNet的識(shí)別結(jié)果。從圖5可知，與其他網(wǎng)絡(luò)相比，整體而言，本文網(wǎng)絡(luò)檢測(cè)出的裂縫細(xì)節(jié)信息更豐富，定位更準(zhǔn)確，與人工標(biāo)注的裂縫較吻合，其檢測(cè)效果明顯優(yōu)于其它網(wǎng)絡(luò)。

圖 5 識(shí)別效果對(duì)比

為對(duì)本文提出的橋梁裂縫檢測(cè)網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果進(jìn)行量化分析，引入計(jì)算機(jī)視覺(jué)中常用的精確率P(Precesion)、召回率R(Recall)、F值[19]以及平均交并比(mIoU)[20]進(jìn)行評(píng)估，各指標(biāo)定義如下

(1)

其中，TP表示真陽(yáng)性、FP表示假陽(yáng)性、FN表示假陰性，k+1表示類(lèi)別數(shù)，包含背景與裂縫兩類(lèi)，k取為1。不同方法的識(shí)別結(jié)果與人工標(biāo)注進(jìn)行比對(duì)，各種網(wǎng)絡(luò)在測(cè)試集中的檢測(cè)結(jié)果見(jiàn)表1。

表1 不同網(wǎng)絡(luò)的定量比較

由表1可知，DBCB的P分別比U-Net、SegNet、DANet、PSPNet高出1.69%、2.46%、0.67%、1.38%，R分別高出2.39%、2.54%、1.37%、1.19%，F(xiàn)分別高出2.04%、2.50%、1.02%、1.29%，mIoU分別高出2.77%、5.12%、0.59%、1.52%。因此，DBCB橋梁裂縫檢測(cè)精度最好。在圖像處理時(shí)間上，SegNet效率最高，增加模塊處理時(shí)間會(huì)增加。

3 結(jié)論

本文針對(duì)橋梁裂縫難以檢測(cè)的問(wèn)題，利用深度神經(jīng)網(wǎng)絡(luò)，通過(guò)在編碼階段加入最大池化索引，在編碼器和解碼器之間引入高語(yǔ)義特征融合模塊，在解碼階段引入混合域注意力機(jī)制，構(gòu)建了一種基于高語(yǔ)義特征與注意力機(jī)制的橋梁裂縫檢測(cè)網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)網(wǎng)絡(luò)相比，本網(wǎng)絡(luò)具有更好的檢測(cè)效果和更高的檢測(cè)精度。

未來(lái)將結(jié)合MMX、SSE等優(yōu)化算法，在提高算法檢測(cè)準(zhǔn)確率的情況下，進(jìn)一步提高算法的處理效率，使得網(wǎng)絡(luò)在實(shí)際應(yīng)用中表現(xiàn)出更好的性能。