游江川

（昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650500）

0 引 言

裂縫是反映路面質(zhì)量的重要指標(biāo)。裂縫的形成會(huì)加速道路的老化，影響路基的強(qiáng)度和穩(wěn)定性。如果裂縫不能得到及時(shí)維護(hù)，就會(huì)產(chǎn)生更嚴(yán)重的缺陷，甚至影響交通安全，造成人員傷亡或材料浪費(fèi)。在針對(duì)路面裂縫的檢測(cè)中，傳統(tǒng)的人工檢測(cè)方法存在檢測(cè)效率低、影響正常交通、耗時(shí)且不安全等問題[1]，因此自動(dòng)化裂縫檢測(cè)方法已成為研究的重點(diǎn)。

隨著圖像處理技術(shù)的發(fā)展，研究人員提出了一系列路面裂縫的自動(dòng)檢測(cè)方法。文獻(xiàn)[2]提出了一種基于直方圖和大津閾值法的裂縫圖像分割方法。該方法將輸入圖像分成4 個(gè)大小相同的子圖像，然后對(duì)每個(gè)子圖像進(jìn)行裂縫搜索，最后將子圖像重新組合成預(yù)測(cè)圖像。這種無監(jiān)督學(xué)習(xí)方法適用于低信噪比圖像下瀝青路面裂縫的粗略檢測(cè)。文獻(xiàn)[3]結(jié)合二維經(jīng)驗(yàn)?zāi)B(tài)分解（BEMD）和Sobel 邊緣檢測(cè)器用于路面裂縫檢測(cè)。首先，使用BEDM 對(duì)圖像進(jìn)行過濾以去除噪聲，然后使用Sobel 邊緣檢測(cè)器對(duì)剩余圖像進(jìn)行分析，但是邊緣檢測(cè)容易受到噪聲的影響。文獻(xiàn)[4]使用連續(xù)小波變換在路面圖像中進(jìn)行自動(dòng)裂縫檢測(cè)，但基于小波的裂縫圖像處理方法不適用于具有大量裂縫的圖像。文獻(xiàn)[5]提出了一種基于紋理分析和形狀描述的裂縫檢測(cè)方法。該方法使用形狀描述來區(qū)分不規(guī)則裂縫和不均勻的亮度特征，最后使用SVM 分類器輸出預(yù)測(cè)結(jié)果。與邊緣檢測(cè)相比，該方法提高了復(fù)雜背景下裂縫檢測(cè)的準(zhǔn)確率。文獻(xiàn)[6]使用機(jī)器學(xué)習(xí)方法對(duì)路面裂縫進(jìn)行分類，但路面裂縫的分類精度僅為85%左右，與實(shí)際工程應(yīng)用仍有差距。文獻(xiàn)[7]基于機(jī)器學(xué)習(xí)算法構(gòu)建了適用于瀝青路面裂縫檢測(cè)和分類任務(wù)的模型。該模型最高分類準(zhǔn)確率達(dá)到87.50%，可用于輔助專業(yè)人士評(píng)估路況，但基于圖像處理技術(shù)的裂縫檢測(cè)方法對(duì)裂縫圖像中的噪聲敏感。當(dāng)應(yīng)用于實(shí)際任務(wù)時(shí)，由于圖像的變化、裂縫背景的復(fù)雜性、裂縫的多樣性以及光照的不均勻性，此方法的性能并不是很理想。路面裂縫的自動(dòng)檢測(cè)對(duì)于研究人員來說仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。為了提升路面裂縫的檢測(cè)效果，本文在原始Deeplab V3+網(wǎng)絡(luò)[8]的基礎(chǔ)上將主干網(wǎng)絡(luò)替換成resnet-50 網(wǎng)絡(luò)，并對(duì)空洞空間卷積池化金字塔模塊（Atrous Spatial Pyramid Pooling，ASPP）進(jìn)行了級(jí)聯(lián)操作。本文通過在CRACK500 數(shù)據(jù)集上與原始Deeplab V3+網(wǎng)絡(luò)進(jìn)行檢測(cè)結(jié)果對(duì)比，證明了本文改進(jìn)方法的優(yōu)越性及有效性。

1 Deeplab V3+算法

1.1 算法原理

Deeplab V3+深度卷積神經(jīng)網(wǎng)使用Xception 作為主干網(wǎng)絡(luò)，并對(duì)它進(jìn)行了調(diào)整以更適合語(yǔ)義分割任務(wù)：加深Xception 的深度，原來重復(fù)了8 遍卷積的Middle Flow 模塊，在Deeplab V3+網(wǎng)絡(luò)中重復(fù)了16 遍卷積以更適合于語(yǔ)義分割I(lǐng)mageNet-1K 數(shù)據(jù)集；所有的最大池化步驟采用步長(zhǎng)為2 的深度可分離卷積代替，這不僅便于隨時(shí)替換為空洞卷積，還能在維持分割結(jié)果表現(xiàn)下降低模型的計(jì)算復(fù)雜度；并且，在深度可分離卷積后面加入BN 層和ReLu 激活函數(shù)，這能防止梯度消失并加快網(wǎng)絡(luò)收斂速度。

輸入圖片經(jīng)過主干深度卷積神經(jīng)網(wǎng)絡(luò)之后的結(jié)果分為兩部分，一部分經(jīng)過1×1 卷積降低通道后傳入解碼器結(jié)構(gòu)，另一部分經(jīng)過并行的空洞卷積，分別用不同rate 的空洞卷積進(jìn)行特征提取并合并，再進(jìn)行1×1 卷積壓縮特征。在之前的Deeplab V3網(wǎng)絡(luò)中，編碼器之后就直接使用16 倍的雙線性插值恢復(fù)原圖像大小，這會(huì)使得物體邊緣部分的分類出現(xiàn)問題，所以Deeplab V3+借用了類似U-net[9]的思想，將之前主干網(wǎng)絡(luò)輸出經(jīng)過并行空洞卷積并壓縮后的特征圖上采樣4 倍與主干網(wǎng)絡(luò)中的低層特征進(jìn)行拼接用于恢復(fù)邊緣信息，然后利用3×3 卷積對(duì)合并后的總特征進(jìn)行融合，用4 倍的雙線性插值上采樣，最后得到分割結(jié)果。Deeplab V3+網(wǎng)絡(luò)最大的特點(diǎn)就是引入了空洞卷積，即跨像素地提取特征點(diǎn)，這能在不損失信息的情況下，加大感受野，讓每個(gè)卷積輸出都包含較大范圍的信息，使得任意大小的特征圖利用多尺度特征提取都能夠轉(zhuǎn)換成固定大小的特征向量。

1.2 損失函數(shù)

Deeplab V3+算法的損失函數(shù)是逐像素的交叉熵?fù)p失函數(shù)，以下是Softmax 的輸出公式：

式中：f(zc)為式（1）的f(zk)，是Softmax 的輸出值，表示像素屬于類別yc的概率，yc是類別c的損失權(quán)重。

2 改進(jìn)的Deeplab V3+網(wǎng)絡(luò)分割模型

原始Deeplab V3+網(wǎng)絡(luò)對(duì)于過于細(xì)小的路面裂縫檢測(cè)率還是較低，本文對(duì)原始Deeplab V3+網(wǎng)絡(luò)進(jìn)行改進(jìn)。首先，對(duì)于主干網(wǎng)絡(luò)，將Xception 網(wǎng)絡(luò)替換成resnet-50 網(wǎng)絡(luò)，這能在一定程度上提升路面裂縫分割的準(zhǔn)確性。其次，將原本Encoder 模塊的ASPP 結(jié)構(gòu)改進(jìn)為級(jí)聯(lián)的ASPP 結(jié)構(gòu)，以提高空洞卷積的感受野和特征圖的信息利用率。

原始Deeplab V3+網(wǎng)絡(luò)的主干網(wǎng)絡(luò)雖然能較好地對(duì)通用數(shù)據(jù)集進(jìn)行語(yǔ)義分割，但對(duì)于本文用到的CRACK500 數(shù)據(jù)集來說效果還有待提升。本文利用resnet-50 網(wǎng)絡(luò)替換了原始的Xception 主干網(wǎng)絡(luò)，發(fā)現(xiàn)對(duì)于CRACK500 數(shù)據(jù)集的路面裂縫檢測(cè)結(jié)果有較大的提升，證明了改進(jìn)的有效性?？斩淳矸e（dilated convolution）[10]廣泛應(yīng)用于語(yǔ)義分割和目標(biāo)檢測(cè)等任務(wù)。通過設(shè)置不同的空洞率（dilation rate）獲得不同的感受野，既獲得了多尺度的信息，又不影響特征圖的尺寸。但是隨著空洞率的增加，網(wǎng)格狀的卷積核會(huì)造成信息越發(fā)不連續(xù)，相互之間依賴性缺失，這對(duì)小目標(biāo)的檢測(cè)影響較大，這被稱為網(wǎng)格效應(yīng)。同時(shí)，由于空洞卷積的采樣輸入信號(hào)稀疏，遠(yuǎn)距離獲取的信息沒有相關(guān)性，會(huì)影響分類的結(jié)果。本文通過對(duì)ASPP 模塊進(jìn)行級(jí)聯(lián)操作，有效地解決了上述問題，從而進(jìn)一步提升了路面裂縫的檢測(cè)結(jié)果。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集與實(shí)驗(yàn)運(yùn)行環(huán)境

本文采用CRACK500 數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)集[11-12]，其中包括3 792 副圖像作為訓(xùn)練集，696副圖像作為驗(yàn)證集，2 248 副圖像作為測(cè)試集。實(shí)驗(yàn)環(huán)境如下：CPU 為Inter（R） Core i9-10900KF CPU @ 3.70 GHz，顯卡為NVIDIA Geforce GTX 1080 Ti，內(nèi)存32 GB，操作系統(tǒng)為Ubuntu20.04.3LTS，編譯器為Pycharm，編程語(yǔ)言為Python，軟件環(huán)境為CUDA10.0，Cudnn10.0，采 用Pytorch1.2.0 深 度 學(xué)習(xí)框架。訓(xùn)練時(shí)采用Adam[13]作為優(yōu)化器，初始學(xué)習(xí)率設(shè)為0.000 1，批大?。╞atch size）設(shè)為2，訓(xùn)練100 個(gè)epoch。

3.2 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

本文采用平均像素精度（Mean Pixel Accuracy，MPA）和平均交并比（Mean Intersection over Union，MIoU）作為精度評(píng)價(jià)標(biāo)準(zhǔn)[14-15]。MPA 是指分別計(jì)算每個(gè)類別分類正確的像素?cái)?shù)占所有預(yù)測(cè)為該類別像素?cái)?shù)比例的平均值；將標(biāo)簽圖像和預(yù)測(cè)圖象看成兩個(gè)集合，計(jì)算兩個(gè)集合的交集和并集的比值，MIoU 即計(jì)算所有類的比值后取平均，MPA 和MIoU 的計(jì)算公式如下：

式中：n+1 為像素類別數(shù)量，在本文路面裂縫分割的任務(wù)中，n=1，共有路面裂縫和背景2 個(gè)類別；pij表示屬于第i類卻被分到第j類的像素?cái)?shù)量；pii代表正確分類的像素?cái)?shù)量。

3.3 實(shí)驗(yàn)結(jié)果與分析

本文在CRACK500 數(shù)據(jù)集上與原始Deeplab V3+網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)，評(píng)價(jià)指標(biāo)MIoU 和MPA 的對(duì)比結(jié)果如表1 所示。從表1 可以看出，本文改進(jìn)后的Deeplab V3+網(wǎng)絡(luò)對(duì)于CRACK500 數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果的MIoU 和MPA 分別比原始Deeplab V3+網(wǎng)絡(luò)高2.71%和3.96%，由此可證明本文對(duì)Deeplab V3+網(wǎng)絡(luò)改進(jìn)的可行性。

表1 裂縫檢測(cè)結(jié)果對(duì)比

裂縫檢測(cè)實(shí)驗(yàn)結(jié)果中，三幅示例圖的檢測(cè)結(jié)果分別如圖1、圖2、圖3 所示。對(duì)比可知，本文改進(jìn)的Deeplab V3+網(wǎng)絡(luò)得到的路面裂縫檢測(cè)結(jié)果進(jìn)一步避免了噪聲的干擾，同時(shí)提升了路面裂縫的檢測(cè)準(zhǔn)確度，體現(xiàn)了本文改進(jìn)算法的優(yōu)越性及可行性。

圖1 示例一的檢測(cè)結(jié)果

圖2 示例二的檢測(cè)結(jié)果

圖3 示例三的檢測(cè)結(jié)果

4 結(jié) 語(yǔ)

本文提出了一種基于改進(jìn)Deeplab V3+網(wǎng)絡(luò)的路面裂縫檢測(cè)方法。本文在原始Deeplab V3+網(wǎng)絡(luò)的基礎(chǔ)上將主干網(wǎng)絡(luò)替換成resnet-50 網(wǎng)絡(luò)，并對(duì)ASPP 模塊進(jìn)行了級(jí)聯(lián)操作。對(duì)比實(shí)驗(yàn)結(jié)果可證明，本文的方法比原始Deeplab V3+網(wǎng)絡(luò)在CRACK500數(shù)據(jù)集上有更好的裂縫檢測(cè)效果，能進(jìn)一步避免路面噪聲的影響，并進(jìn)一步提升路面裂縫的檢測(cè)效果。本文的方法還有進(jìn)一步提升的空間，在未來的研究中將在路面裂縫檢測(cè)精度和檢測(cè)速度上進(jìn)行更深入的研究。