顧書豪，李小霞，2，王學(xué)淵，2，張 穎，陳菁菁

1.西南科技大學(xué) 信息工程學(xué)院，四川 綿陽621010

2.特殊環(huán)境機(jī)器人技術(shù)四川省重點(diǎn)實(shí)驗室，四川 綿陽621010

裂縫是最常見的路面缺陷之一，為保障行車安全，準(zhǔn)確檢測路面裂縫具有重要的研究價值[1]。在過去的幾年中裂縫檢測已成為道路養(yǎng)護(hù)系統(tǒng)研究的熱點(diǎn)。傳統(tǒng)的人工道路裂縫檢測方法非常耗時且易受主觀判斷影響，隨著計算機(jī)視覺技術(shù)的發(fā)展，人們開始致力于將計算機(jī)視覺技術(shù)應(yīng)用于裂縫的自動檢測[2]。研究人員已提出了各種基于視覺的方法來檢測道路裂縫，早期多采用人工設(shè)計特征的裂縫檢測算法，例如灰度特征[3]、邊緣特征[4]、Gabor濾波器[5]以及方向梯度直方圖（Histogram of Oriented Gradient，HOG）[6]。這些方法檢測效果依賴于特征的選擇，極容易出現(xiàn)空洞、相近特征區(qū)域之間相互“污染”以及誤識等問題。同時，由于道路路面狀況復(fù)雜多樣，裂紋像素附近的對比度較差，給裂縫的識別和檢測帶來了極大挑戰(zhàn)，在這樣復(fù)雜的情況下，人工設(shè)計單個或多個特征難以檢測不同道路的圖像裂縫。

近年來，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）已廣泛應(yīng)用于計算機(jī)視覺中的目標(biāo)檢測[7]。不同于人工設(shè)計特征的方法，CNN 具有自動學(xué)習(xí)特征的能力，同時不同層次學(xué)習(xí)不同的特征：低層的卷積層能表達(dá)圖像的細(xì)節(jié)信息，學(xué)習(xí)圖像的局部區(qū)域特征，有利于圖像中各目標(biāo)區(qū)域邊界的定位；高層的卷積層能表達(dá)圖像的語義信息，學(xué)習(xí)深層次的抽象特征，有利于圖像中各目標(biāo)區(qū)域的分類。一些研究人員提出將基于CNN的目標(biāo)檢測算法[8]用于道路路面、混凝土建筑等的裂縫自動檢測，并取得了較好的效果，但是僅能定性分析裂縫的有無，難以對裂縫進(jìn)行定量的分析與尺寸測量。Yang等人[9]將全卷積網(wǎng)絡(luò)[10]（Fully Convolutional Network，F(xiàn)CN）應(yīng)用于像素級裂縫檢測，F(xiàn)CN采用反卷積結(jié)構(gòu)進(jìn)行上采樣，彌補(bǔ)多次標(biāo)準(zhǔn)卷積和池化層引起的細(xì)節(jié)損失，但網(wǎng)絡(luò)缺少局部細(xì)節(jié)信息和語義信息，出現(xiàn)較為嚴(yán)重的類內(nèi)不一致現(xiàn)象。Ronneberger 等人[11]提出UNet 模型，其編碼器和解碼器呈對稱結(jié)構(gòu)，結(jié)合底層和高層的信息逐級上采樣恢復(fù)圖像細(xì)節(jié)。Badrinarayanan等人[12]提出SegNet模型，利用池化索引對高層特征進(jìn)行細(xì)節(jié)修復(fù)，具有較好的圖像分割效果，但其有效感受野[13]較小，高層的語義信息不足。Chen等人[14]提出DeepLab模型，利用擴(kuò)張卷積（Dilated Convolution）[15]擴(kuò)大特征提取網(wǎng)絡(luò)的有效感受野，提高高層語義信息，但缺失了圖像的細(xì)節(jié)信息。Peng 等人[16]提出全局卷積網(wǎng)絡(luò)（Global Convolutional Network，GCN）將編碼器-解碼器結(jié)構(gòu)與大卷積核相結(jié)合，以獲取更大的感受野。

然而，上述方法均存在網(wǎng)絡(luò)高層的感受野較小，高層特征圖的語義信息不足的問題，導(dǎo)致網(wǎng)絡(luò)分類性能較差。同時，在卷積網(wǎng)絡(luò)中多重池化下采樣導(dǎo)致圖像的細(xì)節(jié)信息丟失，加上網(wǎng)絡(luò)高層與低層特征在特征表示級別上有所不同，簡單的特征融合方式并不能有效恢復(fù)圖像細(xì)節(jié)信息，使得網(wǎng)絡(luò)難以有效提取裂縫特征進(jìn)行精確的預(yù)測。

基于此，本研究提出了一種增強(qiáng)語義信息與多通道特征融合的全卷積語義分割網(wǎng)絡(luò)實(shí)現(xiàn)像素級裂縫檢測，采用編碼器-解碼器結(jié)構(gòu)有利于恢復(fù)圖像細(xì)節(jié)信息，并在網(wǎng)絡(luò)高層采用擴(kuò)張卷積替換標(biāo)準(zhǔn)卷積，擴(kuò)大有效感受野，整合圖像上下文信息，增強(qiáng)高層特征的語義表達(dá)能力。同時提出了基于注意力機(jī)制的多通道特征融合方法，能夠更好地關(guān)注裂縫像素的前景信息，利用高層特征全局語義信息指導(dǎo)語義與細(xì)節(jié)特征逐級融合，幫助圖像更加精確地恢復(fù)細(xì)節(jié)信息，生成更具判別性的特征圖，進(jìn)一步提升圖像中裂縫像素的分割效果。最后在公開的裂縫數(shù)據(jù)集上對本文提出的裂縫檢測網(wǎng)絡(luò)進(jìn)行訓(xùn)練，對裂縫圖像中的裂縫和非裂縫像素分類，并評估裂縫檢測精度。

1 裂縫檢測方法

圖1 裂縫檢測網(wǎng)絡(luò)模型

本文提出的增強(qiáng)語義信息與多通道特征融合的路面裂縫檢測模型，能夠有效解決高層語義信息不足的問題，以及更好地融合多通道特征達(dá)到更優(yōu)的檢測效果。網(wǎng)絡(luò)整體為編碼器-解碼器結(jié)構(gòu)，如圖1所示。其中，CB為標(biāo)準(zhǔn)卷積模塊（Convolution Block），由兩層3×3 的標(biāo)準(zhǔn)卷積構(gòu)成；ΜaxPooling 為最大池化下采樣。同時，在編碼器末端采用增強(qiáng)語義信息的多層擴(kuò)張卷積模塊（Cascade Dilated Conv），以有效解決高層特征語義不足的問題。在解碼器部分，提出一種基于注意力機(jī)制的多通道特征融合（Attention-based Feature Fusion，AFF）模塊，使網(wǎng)絡(luò)能更好地關(guān)注裂縫圖像前景信息。

1.1 增強(qiáng)圖像語義信息的擴(kuò)張卷積模塊

擴(kuò)張卷積（Dilated Convolution）目前廣泛運(yùn)用于語義分割任務(wù)中，假設(shè)標(biāo)準(zhǔn)卷積核的大小為k×k，則擴(kuò)張率為r 的擴(kuò)張卷積k'大小可由式（1）計算：

如圖2所示，是連續(xù)的兩層卷積核大小為，圖（a）是擴(kuò)張率r=1 的普通卷積，圖（b）為擴(kuò)張率r=2 的擴(kuò)張卷積，紅點(diǎn)表示實(shí)際參與計算的卷積核，藍(lán)色代表感受野大小。相比普通卷積，擴(kuò)張卷積能夠有效增加卷積網(wǎng)絡(luò)的感受野，同時網(wǎng)絡(luò)參數(shù)量保持不變。

圖2 普通卷積與擴(kuò)張卷積對比圖

通常，裂縫具有多種尺度以及拓?fù)浣Y(jié)構(gòu)，采用普通卷積難以有效提取到裂縫的特征，同時網(wǎng)絡(luò)的感受野較小，如圖3（a）所示，3 層3×3 的普通卷積僅能增加7×7的感受野，特征圖語義信息不足，導(dǎo)致裂縫檢測存在困難。因此，本文提出在編碼器末端采用多層擴(kuò)張卷積，使網(wǎng)絡(luò)高層特征圖具有更大的有效感受野，能夠有效利用全局信息的相關(guān)性，增強(qiáng)高層特征的語義表達(dá)能力。

同時為避免堆疊的擴(kuò)張卷積造成大范圍像素信息不相關(guān)，出現(xiàn)空洞或邊緣缺失等問題，需要對擴(kuò)張率大小進(jìn)行限制。假設(shè)有3層卷積核大小k=3 的擴(kuò)張卷積，其擴(kuò)張率分別為{r1,r2,r3}，定義兩個非零權(quán)重之間的最大距離為M3=r3，代表第i 層卷積中非零權(quán)重之間的最大距離，其中M3=r3，當(dāng)M2≤k=3 時符合設(shè)計要求，其計算公式如式（2）：

如圖3（b）所示，采用擴(kuò)張率分別為{1，2，5}的擴(kuò)張卷積堆疊，此時特征圖最終感受野增加了17×17，能夠提取到更多的像素語義信息，有效避免像素之間缺乏相關(guān)性，有利于提高像素分類準(zhǔn)確率。

如圖4所示，輸入A 表示輸入特征圖中受限的有效感受野，而輸出A'表示經(jīng)過擴(kuò)張卷積后特征圖的有效感受野擴(kuò)大。采用擴(kuò)張率分別為1、2、5 組合而成的多層擴(kuò)張卷積，能夠擴(kuò)大有效感受野并保持圖像細(xì)節(jié)，增強(qiáng)高層特征圖語義信息，提高網(wǎng)絡(luò)分類精度。擴(kuò)張率組合實(shí)驗結(jié)果對比分析見2.4節(jié)。

圖3 普通卷積與多重擴(kuò)張卷積有效感受野示意圖

圖4 增強(qiáng)語義信息的多層擴(kuò)張卷積模塊

1.2 基于注意力機(jī)制的多通道特征融合模塊

自然場景下的裂縫圖像通常包含大量前景和復(fù)雜的背景信息。在裂縫檢測任務(wù)中，精確地提取裂縫前景信息，能夠提高模型的分類性能。本文采用注意力機(jī)制來更多地關(guān)注裂縫圖像的前景區(qū)域，生成更具有判別性的特征，從而有助于進(jìn)一步提高裂縫檢測精度。

注意力機(jī)制可以被視作一種信息選擇機(jī)制，利用權(quán)重對輸入信息進(jìn)行再編碼，使之更接近于真實(shí)標(biāo)簽。常用的注意力機(jī)制可以看作注意力權(quán)重向量α 與輸入特征y 對應(yīng)位置元素的點(diǎn)積，如式（3）所示，其中c ∈{1,2,…,C}，C 表示通道數(shù)總數(shù)，真實(shí)標(biāo)簽為yT。

在語義分割網(wǎng)絡(luò)中，二者在特征表達(dá)上存在差異，簡單的特征融合，如像素求和與通道拼接等，往往忽略了語義信息與細(xì)節(jié)特征之間的不一致。由此，本文設(shè)計了一種基于注意力機(jī)制的多通道特征融合模塊，利用高級特征提供語義信息來指導(dǎo)多通道的特征融合，使網(wǎng)絡(luò)能夠正確關(guān)注到裂縫圖像的前景信息，從而生成更具判別性的融合特征。

如圖5 所示，H 表示來自網(wǎng)絡(luò)高層的語義特征，L表示來自低層的細(xì)節(jié)特征。首先，將高層語義特征和低層細(xì)節(jié)特征串聯(lián)，利用批量歸一化來平衡特征的數(shù)據(jù)分布，經(jīng)過Relu激活函數(shù)得到特征向量x，如式（4）所示。

其次，如式（5）所示，對于特征向量x，采用全局平均池化（Global Average Pooling，GAP）提取出全局平均向量，依次通過Relu激活函數(shù)和Sigmoid激活函數(shù)得到最終的權(quán)重向量α。

最后，利用該權(quán)重向量與低級特征相乘，對低級特征進(jìn)行加權(quán)，如式（6），將高級特征與加權(quán)后的低級特征相加得到融合后的特征圖：

在本文的裂縫檢測網(wǎng)絡(luò)中，在解碼器部分逐級應(yīng)用基于注意力的特征融合模塊AFF模塊，使網(wǎng)絡(luò)更好地關(guān)注裂縫前景信息，并通過逐級上采樣，融合來自網(wǎng)絡(luò)高低層的不同特征圖以恢復(fù)圖像細(xì)節(jié)信息，達(dá)到更好的預(yù)測結(jié)果。特征融合方式對比實(shí)驗結(jié)果見2.4節(jié)。

2 實(shí)驗與分析

2.1 實(shí)驗數(shù)據(jù)與設(shè)置

本文采用的實(shí)驗配置如下：CPU 為Intel?CoreTΜi7-7700Κ，主頻為4.20 GHz，內(nèi)存為16 GB；GPU 為GeForce GTX 1080Ti，顯存為11 GB。本文實(shí)驗所用深度學(xué)習(xí)框架為TensorFlow1.8，使用CuDNN V7 和Cuda9.1 版本。采用的裂縫數(shù)據(jù)集為CRACΚ500[17]與CrackForest[18]裂縫公共數(shù)據(jù)集。

CRACΚ500數(shù)據(jù)集：訓(xùn)練數(shù)據(jù)包含1 896張圖像，驗證數(shù)據(jù)包含348 張圖像，測試數(shù)據(jù)包含1 124 張圖像。驗證數(shù)據(jù)用于在訓(xùn)練過程中選擇最佳模型，防止出現(xiàn)過擬合。訓(xùn)練結(jié)束后，在測試數(shù)據(jù)和其他數(shù)據(jù)集上進(jìn)行測試以評估泛化性能。

CrackForest 數(shù)據(jù)集（CFD）：由118 張RGB 圖像組成，分辨率為480×320。所有圖片拍攝于中國北京的人行道，可以反映北京市現(xiàn)有的城市人行道表面狀況。這些圖像照明不均勻，并包含陰影、油斑和水漬等噪聲，這使得裂縫檢測非常困難，可直接用于評估算法性能。

由于裂縫圖像數(shù)量較少，很容易導(dǎo)致訓(xùn)練過程中出現(xiàn)過擬合，同時為保留圖像原有的色彩信息，僅采用隨機(jī)逆時針旋轉(zhuǎn)30°、60°、90°、水平和豎直翻轉(zhuǎn)等數(shù)據(jù)增強(qiáng)手段，如圖6所示。在訓(xùn)練時訓(xùn)練集圖像大小縮放為256×256，驗證和測試期間不使用數(shù)據(jù)擴(kuò)充。

使用二分類交叉熵（Binary Cross Entropy，BCE）+骰子系數(shù)損失（Dice Loss）作為訓(xùn)練過程中的損失函數(shù)。使用Μomentum 優(yōu)化器訓(xùn)練100 輪，學(xué)習(xí)率初始化為0.001。訓(xùn)練批次大小設(shè)置為8，動量為0.9，權(quán)重衰減為0.000 5。

二分類交叉熵?fù)p失函數(shù)如式（7）：

其中，N 表示圖像包含的像素數(shù)目，yi和pi分別為第i個像素點(diǎn)的標(biāo)簽值和預(yù)測概率。

圖5 基于注意力的特征融合（AFF）模塊

圖6 數(shù)據(jù)增強(qiáng)示意圖

骰子系數(shù)損失函數(shù)表達(dá)式如式（8），ε 為設(shè)置值，作用為防止過擬合，可設(shè)置為1：

綜上，本文采用的組合損失函數(shù)如式（9）所示：

組合損失函數(shù)能同時關(guān)注像素級別的分類正確率和圖像前景的分割效果，使模型訓(xùn)練更加穩(wěn)定，同時能有效克服裂縫圖像中正負(fù)樣本分布不均衡的問題，從而獲得更加精確的像素級檢測結(jié)果。

2.2 評估指標(biāo)

由于裂縫圖像前后景類別分布不均，使用準(zhǔn)確率和召回率評估模型性能均存在一定的偏差，本文采用F1score 和平均交并比（Intersection over Union，IoU）來評估提出的網(wǎng)絡(luò)模型，F(xiàn)1score 主要用于評價網(wǎng)絡(luò)對于裂縫像素與背景像素的分類精度，同時兼顧了分類模型的精確率和召回率。交并比是用于評價網(wǎng)絡(luò)模型對于裂縫像素的分割效果，平均交并比是對所有類別取平均值。F1score 和平均交并比這兩項指標(biāo)越高，代表網(wǎng)絡(luò)對裂縫的檢測性能越好。

2.3 對比實(shí)驗

為了充分比較各模型對裂縫圖像的像素級檢測性能，以驗證本文方法的有效性，將提出的模型結(jié)構(gòu)與UNet、SegNet、FC-DenseNet56[19]和GCN等先進(jìn)的編碼器-解碼器結(jié)構(gòu)網(wǎng)絡(luò)模型進(jìn)行實(shí)驗比較。在CRACΚ500 等公開裂縫數(shù)據(jù)集上進(jìn)行模型訓(xùn)練和測試。在CRACΚ500數(shù)據(jù)集上完成模型訓(xùn)練后，首先在CRACΚ500 測試集上測試，為了進(jìn)一步驗證算法通用性能和可遷移性，在CRACΚ500訓(xùn)練后的模型不經(jīng)過任何微調(diào)，直接在CFD數(shù)據(jù)集上測試，并與GCN 等編解碼器結(jié)構(gòu)的先進(jìn)語義分割網(wǎng)絡(luò)進(jìn)行對比，實(shí)驗結(jié)果如表1所示。

表1 不同裂縫數(shù)據(jù)集上模型性能指標(biāo)對比

從表1 中可以看出，在CRACΚ500 測試集上測試，本文提出的方法明顯優(yōu)于現(xiàn)有的先進(jìn)語義分割算法，平均IoU達(dá)到72.5%，F(xiàn)1score達(dá)到96.8%，能夠?qū)α芽p圖像進(jìn)行更好的分割，且相比UNet 與GCN 等方法參數(shù)更少，僅有1.66×107。在CRACΚ500數(shù)據(jù)集上訓(xùn)練的模型直接在CFD數(shù)據(jù)集上測試，本文方法取得了最高的IoU和F1score，平均IoU和F1score分別達(dá)到71.8%和95.2%，表明模型具有很好的泛化性能，可以推廣到其他裂縫檢測任務(wù)上。

圖7 是本文方法與其他方法在CRACΚ500 測試集的預(yù)測結(jié)果對比，本文方法在分割裂縫時準(zhǔn)確度更高，較少出現(xiàn)斷裂和孔洞，對于圖7中第三行的低對比度圖像分割效果更好，而其他方法出現(xiàn)大量的誤分類和漏分。

圖8 是本文方法與UNet 和GCN 等算法在CFD 數(shù)據(jù)集上的測試結(jié)果比較，可以看出本文方法對裂縫分割效果更好，對于第三行圖像中的斷裂處能夠正確分割，且較少出現(xiàn)誤分和漏分，證明本文方法具有較好的通用性和可遷移性。

2.4 消融實(shí)驗

為了驗證本文方法中擴(kuò)張率參數(shù)選取的合理性以及特征融合方式的有效性，在CRACΚ500 數(shù)據(jù)集上進(jìn)行測試，特征融合方式包括逐像素相加（Sum）、通道拼接（Concat）和基于注意力的特征融合（AFF，本文方法）。表2 是在滿足式（2）設(shè)計要求下，不同擴(kuò)張率的卷積組合與特征融合方式在CRACΚ500 上的分割效果對比。{1，1，1}表示采用標(biāo)準(zhǔn)卷積提取特征。

圖7 CRACΚ500測試集實(shí)驗結(jié)果對比

圖8 CFD數(shù)據(jù)集測試結(jié)果對比

由表2 可以看出，在卷積擴(kuò)張率組合為{1，2，5}以及采用基于注意力機(jī)制的特征融合方式在CRACΚ500測試數(shù)據(jù)集上達(dá)到最高的交并比（IoU）與F1score 指標(biāo)。由不同擴(kuò)張率的組合實(shí)驗可以看出，在加入了擴(kuò)張卷積模塊的情況下，隨著擴(kuò)張率的變化，此時特征圖有效感受野擴(kuò)大，圖像能夠接收到更多的上下文信息，豐富了高層特征中的語義信息，切實(shí)提高裂縫預(yù)測準(zhǔn)確率，IoU 和F1score 隨著感受野擴(kuò)大而提高。此外，特征融合方式的對比實(shí)驗結(jié)果表明，加入注意力特征融合模塊之后，網(wǎng)絡(luò)對于裂縫的分割效果普遍優(yōu)于普通特征融合的分割方法，平均IoU和F1score最高提升了1.5個百分點(diǎn)以上，同時比通道拼接的特征融合方式參數(shù)上更優(yōu)。

此外，為驗證本文設(shè)計的多層擴(kuò)張卷積模塊與多通道特征融合模塊對于裂縫檢測性能的提升，需要進(jìn)行模塊之間的消融實(shí)驗，實(shí)驗結(jié)果對比見表3。

表3 為語義增強(qiáng)模塊與多通道特征融合模塊的消融實(shí)驗結(jié)果。其中，對比實(shí)驗0和實(shí)驗1可知，語義增強(qiáng)模塊在不增加參數(shù)量的情況下，平均IoU 提升了2.8 個百分點(diǎn)，F(xiàn)1score 提升了3.4 個百分點(diǎn)。對比實(shí)驗0 和實(shí)驗2 可知，采用多通道特征模塊，平均IoU 提升了2.3 個百分點(diǎn)，F(xiàn)1score 提升了3.1 個百分點(diǎn)。對比實(shí)驗0 和實(shí)驗3 可知，語義增強(qiáng)模塊和多通道特征模塊的組合，相比最原始的網(wǎng)絡(luò)平均IoU 最高提升了3.2 個百分點(diǎn)，F(xiàn)1score最高提升了3.6個百分點(diǎn)。綜上所述，本文提出的語義增強(qiáng)模塊與多通道特征融合模塊均能提升裂縫檢測性能，且組合起來能達(dá)到最優(yōu)的檢測精度與分割效果。

由上述實(shí)驗結(jié)果可知，利用多層擴(kuò)張卷積增大網(wǎng)絡(luò)感受野，有效地增強(qiáng)了特征圖的語義表征能力。同時本文提出的基于注意力機(jī)制的多通道特征融合模塊，融合語義信息與圖像細(xì)節(jié)特征，能夠有效提高上采樣后對于圖像細(xì)節(jié)信息的修復(fù)效果，使生成的特征圖更具有判別性，進(jìn)一步提升了圖像中裂縫的分割精度。

3 結(jié)束語

本文針對現(xiàn)有裂縫檢測算法準(zhǔn)確率低的問題，提出了一種新的裂縫自動檢測算法。以編碼器-解碼器結(jié)構(gòu)的全卷積分割網(wǎng)絡(luò)為基礎(chǔ)，設(shè)計了增強(qiáng)語義信息的多層擴(kuò)張卷積模塊以及基于注意力機(jī)制的多通道特征融合模塊，從而有效融合語義信息和細(xì)節(jié)特征。在兩個不同的裂縫數(shù)據(jù)集上進(jìn)行了對比實(shí)驗，結(jié)果表明本文方法有效提高了裂縫檢測的準(zhǔn)確率，能夠穩(wěn)健地在復(fù)雜場景的裂縫圖像中檢測出裂縫。在CRACΚ500 等數(shù)據(jù)集上獲得更好的裂縫像素檢測效果，評估指標(biāo)達(dá)到72.5%的平均IoU 和96.8%的F1score，優(yōu)于現(xiàn)有的先進(jìn)方法。同時，在CrackForest數(shù)據(jù)集上的結(jié)果表明本文方法具有很好的泛化性能，可廣泛用于裂縫圖像的自動標(biāo)注以及道路質(zhì)量評估等實(shí)際場景中。

表2 擴(kuò)張率與特征融合方式CRACΚ500測試集指標(biāo)對比

表3 模塊間消融實(shí)驗結(jié)果對比