鄧硯學(xué)， 張志華*， 張新秀

(1.蘭州交通大學(xué)測繪與地理信息學(xué)院， 蘭州 730070； 2.蘭州交通大學(xué)地理國情監(jiān)測技術(shù)應(yīng)用國家地方聯(lián)合工程研究中心， 蘭州 730070；3.甘肅省地理國情監(jiān)測工程實驗室， 蘭州 730070； 4.甘肅省公路路網(wǎng)檢測重點實驗室， 蘭州 730070)

灌封裂縫作為瀝青路面最常見的病害之一，其檢測結(jié)果為路面技術(shù)狀況評定及路面養(yǎng)護(hù)管理決策提供技術(shù)依據(jù)。雖然人工現(xiàn)場病害檢測精度高，但檢測效率低且主觀性較強(qiáng)。傳統(tǒng)的路面病害提取方法，通過道路檢測車快速采集路面圖像，運用基于圖像視覺的路面病害檢測方法，如自適應(yīng)閾值分割法、邊緣檢測法、形態(tài)法、小波分析等算法[1]，實現(xiàn)瀝青路面病害識別與提取。路面病害圖像包含各種道路場景、車道線、油漬、不同的光照背景和其他污漬。傳統(tǒng)方法只能處理特定類型的病害圖像[2]，易受光照條件的影響[3]，效率較低[4]。

近年來，得益于深度學(xué)習(xí)強(qiáng)大的非線性擬合能力和高效的圖像處理能力[5]，基于深度學(xué)習(xí)的路面病害檢測方法極大地提高了病害檢測效率。Cha等[6]結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks， CNN)和滑動窗口技術(shù)識別裂縫，驗證精度和測試速度均有明顯提升。Dorafshan等[7]結(jié)合CNN和邊緣檢測識別混凝土表面裂縫，識別效率高于邊緣檢測方法。陳健昌等[8]先通過分類方法消除路面圖像中的標(biāo)線干擾因素，再運用建立的數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，實現(xiàn)了路面裂縫的智能化識別。沙愛民等[9]使用3個CNN模型級聯(lián)檢測路面裂縫和坑槽，檢測效果優(yōu)于傳統(tǒng)的圖像處理方法?；诳焖賲^(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster region convolutional neural network, Faster R-CNN)改進(jìn)的路面病害檢測方法能夠明顯提高對病害的檢測準(zhǔn)確率和定位精度[10-11]。雖然基于深度學(xué)習(xí)的路面病害檢測方法效率較高，但檢測結(jié)果包含病害目標(biāo)和背景，不能精確提取病害，而由全卷積網(wǎng)絡(luò)(fully convolutional network，F(xiàn)CN)[12]發(fā)展而來的圖像語義分割[13]方法能夠更精確地提取病害目標(biāo)。基于概率自動編碼器[14]改進(jìn)的編解碼網(wǎng)絡(luò)(encoder-decoder network)，其編碼器通過卷積與池化或下采樣操作，提取圖像數(shù)據(jù)特征，生成高度抽象特征圖；解碼器通過反卷積或上采樣操作恢復(fù)特征分辨率，逐步得到與輸入圖像相同維度的特征圖。SegNet[15]是語義分割方法中最經(jīng)典的編解碼網(wǎng)絡(luò)結(jié)構(gòu)，對作為編碼器的VGG16進(jìn)行改進(jìn)，保留VGG16前13層，刪除全連接層。在解碼器中，通過池化索引和上采樣運算，最終輸出的特征圖尺寸與輸入圖像一致。Yu等[16]使用雙邊分割網(wǎng)絡(luò)(bilateral segmentation network， BiSeNet)，提高實時語義分割的精度和速度。BiSeNet由空間路徑和上下文路徑組成。空間路徑提取空間信息并生成特征圖。上下文路徑由主干網(wǎng)和注意力模塊組成，提取紋理特征。特征融合模塊融合兩部分特征。Bang等[17]提出了由ResNet[18]和SegNet的反卷積層組成的編解碼網(wǎng)絡(luò)，檢測由黑盒相機(jī)拍攝的街景圖像裂縫，但由于街景圖象包含各類復(fù)雜物體且裂縫尺寸小，誤檢率較高。Chen等[19]采用不含頂層的VGG16網(wǎng)絡(luò)作為編碼器，并使用開源的預(yù)訓(xùn)練權(quán)重進(jìn)行初始化SegNet，實現(xiàn)混凝土路面、瀝青路面和橋面裂縫的自動化檢測，但因數(shù)據(jù)集數(shù)量較少及網(wǎng)絡(luò)性能限制，該方法的病害識別精度較低。

綜上分析，瀝青路面灌封裂縫提取研究存在3個問題：①邊緣檢測、閾值分割和區(qū)域分割等方法易受光照的影響、效率低，不適用于處理海量的路面灌封裂縫圖像；②基于深度學(xué)習(xí)的目標(biāo)檢測方法不能精確提取灌封裂縫；③SegNet難以提取較小尺寸的灌封裂縫，易出現(xiàn)漏檢和誤檢。針對以上問題，提出一種精確提取瀝青路面灌封裂縫的方法。首先，采用多尺度視網(wǎng)膜(multi-scale Retinex,MSR)方法增強(qiáng)原始圖像的對比度，并制作Asphalt-Sealed-Crack數(shù)據(jù)集；其次，選擇ResNet50網(wǎng)絡(luò)作為編碼器提取圖像的多尺度特征，在解碼器中，用不同空洞率的空洞卷積層獲取更豐富的特征，逐步將空洞卷積層提取的特征與編碼器提取的特征進(jìn)行融合，得到與輸入圖像維度相同的組合特征圖；最后，利用灌封裂縫和假陽性的像素面積和長寬差的絕對值作為閾值，剔除假陽性，提取精確的灌封裂縫。

1 瀝青路面灌封裂縫的語義分割

為提取瀝青路面的灌封裂縫，主要研究由圖像增強(qiáng)處理、語義分割和異值剔除3個部分組成，其提取技術(shù)流程如圖1所示。

圖1 灌封裂縫提取流程

1.1 圖像增強(qiáng)處理

光照不均勻會降低路面圖像的對比度，而改善對比度能夠提高病害的檢測精度。王奎等[20]針對低照度圖像的曝光不足問題，通過對 Retinex 理論的分析，在 HSV(Hue,Saturation,Value)顏色空間下對 Retinex 進(jìn)行了改進(jìn)，改善了圖像的泛灰現(xiàn)象。侯越等[21]利用卷積自編碼重構(gòu)圖像，擴(kuò)增數(shù)據(jù)集。Rizzi等[22]運用自動色彩均衡改善圖像的對比度。如圖2所示，實驗選用496幅(512×512)圖像對卷積自編碼進(jìn)行1 000次迭代訓(xùn)練得到的圖像病害模糊，質(zhì)量最差；自動色彩均衡對圖像的增強(qiáng)效果不如MSR。MSR方法有效降低光照不均勻?qū)υ紙D像質(zhì)量的影響，得到的圖像其質(zhì)量均勻，病害特征較為清晰。

圖2 圖像增強(qiáng)處理效果

1.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)(transfer learning) 是一種將經(jīng)過大量數(shù)據(jù)訓(xùn)練的模型權(quán)重參數(shù)遷移到其他相近領(lǐng)域模型的方法。與隨機(jī)初始化CNN初始權(quán)重不同，遷移學(xué)習(xí)使用已訓(xùn)練模型的權(quán)重參數(shù)作為新模型的初始權(quán)重，有效減少模型對標(biāo)簽數(shù)據(jù)的需求，同時減少訓(xùn)練時間，提高效率。遷移學(xué)習(xí)方法已被成功應(yīng)用到基于深度學(xué)習(xí)的路面病害檢測中。Kasthuriangan等[23]結(jié)合數(shù)據(jù)驅(qū)動、遷移學(xué)習(xí)和深度卷積神經(jīng)網(wǎng)絡(luò)方法自動檢測路面病害；Mandal等[24]利用遷移學(xué)習(xí)和深度卷積神經(jīng)網(wǎng)絡(luò)自動檢測路面裂縫，減少標(biāo)簽數(shù)據(jù)需求的同時，提高了檢測精度；Hang等[25]提出了由遷移學(xué)習(xí)、分塊閾值和基于張量投票的曲線檢測組成的路面裂縫和灌封裂縫檢測方法，解決裂縫和灌封裂縫相互誤檢的問題。

1.3 編解碼網(wǎng)絡(luò)

SegNet結(jié)構(gòu)如圖3所示，在編碼器部分的最大池化操作時記錄了最大值所在位置，然后在解碼器時通過對應(yīng)的池化索引實現(xiàn)非線性上采樣，上采樣階段無需學(xué)習(xí)。上采樣后得到一個稀疏特征圖，再通過卷積得到稠密特征圖，重復(fù)上采樣，最后用激活函數(shù)得到分類結(jié)果。SegNet 的優(yōu)勢就在于：不用保存整個編碼器部分的特征圖，只需保存池化索引；上采樣階段無需學(xué)習(xí)，可以大幅減少網(wǎng)絡(luò)訓(xùn)練時的內(nèi)存占用。

圖3 SegNet 結(jié)構(gòu)圖

受SegNet編解碼結(jié)構(gòu)的啟發(fā)，用性能優(yōu)于VGG16的ResNet50作為圖4中的編碼器，網(wǎng)絡(luò)輸入層的圖像分辨率為256×256×3，分別代表寬度、長度和通道數(shù)。通過一個池化層、49個卷積層進(jìn)行下采樣，編碼器網(wǎng)絡(luò)最終輸出特征圖的寬度、高度和卷積核數(shù)量為8×8×2 048。

conv為卷積；rate為空洞卷積層中的空洞率，如rate 4表示空洞卷積層的空洞率為4

在解碼過程中，利用不同空洞率的空洞卷積層代替池化索引層。如圖4中的解碼器所示，由兩條路徑生成分辨率為16×16×2的特征圖：一組為分辨率為8×8×2的特征圖；用空洞率為4、卷積核為3×3的卷積層，對16×16×2的特征圖進(jìn)行空洞卷積，得到另一組特征圖。將兩組特征圖融合并進(jìn)行兩倍上采樣，得到16×16×2的特征圖。相比SegNet的上采樣+直接池化索引，上述操作能獲取更多細(xì)微病害的特征。特征圖32×32×2和64×64×2的獲取過程與特征圖16×16×2相似。

對64×64×2大小的組合特征圖進(jìn)行四倍上采樣，得到與輸入圖像尺寸相同的特征圖，通過SoftMax 層生成特征圖的分辨率為256×256×2，表示其寬度、高度和類別數(shù)，然后將特征圖輸入SoftMax函數(shù)以實現(xiàn)分類預(yù)測。

1.4 異值剔除

編解碼網(wǎng)絡(luò)的輸出包含灌封裂縫和假陽性，兩者的面積差異較大。對預(yù)測結(jié)果進(jìn)行統(tǒng)計分析，可知：①灌封裂縫為條狀，假陽性呈散點狀；②對于灌封裂縫和假陽性，無論是長寬差的絕對值L，還是其面積A均有重復(fù)的區(qū)間，單獨使用L或者A，都不能完全剔除假陽性。如表1所示，同時利用A和L作為閾值，可有效剔除假陽性。其中L的表達(dá)式為

表1 測試圖像中灌封裂縫和假陽性的統(tǒng)計結(jié)果

L=abs(x-y)

(1)

式(1)中：x、y分別為病害的長和寬；abs(·)為絕對值函數(shù)；L為x和y差的絕對值。

2 實驗與分析

2.1 評價指標(biāo)

衡量圖像語義分割方法性能的指標(biāo)包括準(zhǔn)確度、運行時間和內(nèi)存占用[26]，主要采用F1分?jǐn)?shù)(F1-score，F(xiàn)1)和平均交異比(mean intersection over union，MIoU)。MIoU可以理解為各類像素的預(yù)測區(qū)域和真實區(qū)域的交并比的平均值，能夠反映出分割目標(biāo)和真實目標(biāo)的重合度。F1是統(tǒng)計學(xué)中用來衡量二分類模型精確度的一種指標(biāo)，它同時兼顧了分類模型的精確率Precision和召回率Recall。MIoU和F1的計算公式為

(2)

式(2)中：pii為分割正確的數(shù)量；pij為本屬于i類但預(yù)測為j類的像素數(shù)量；pji為本屬于j類但預(yù)測為i類的像素數(shù)量；k為圖像數(shù)量。

(3)

式(3)中：TP為真陽性，實際為正樣例預(yù)測為正樣例；FP為假陽性，實際為負(fù)樣例預(yù)測為正樣例；FN為假陰性，實際為正樣例預(yù)測為負(fù)樣例；TN為真陰性，實際為負(fù)樣例預(yù)測為負(fù)樣例；TP+FP表示預(yù)測為正樣例的總數(shù)；TP+FN為實際的正樣例總數(shù)。

2.2 實驗數(shù)據(jù)和實驗環(huán)境

檢測車采集的圖像分辨率為1 688×1 874。使用labelme標(biāo)注工具對包含灌封裂縫的890幅圖像進(jìn)行精確標(biāo)注。對每幅圖像進(jìn)行裁剪，最后挑選出15 000幅圖像(256×256)組成Asphalt-Sealed-Crack數(shù)據(jù)集。其中9 000幅用于訓(xùn)練，4 500幅用于測試，1 500幅用于驗證。

實驗環(huán)境為Windows10，Anaconda 4.9.2，Tensorflow-GPU 1.15.4，顯卡為微星Tesla T4，內(nèi)存大小為16 GB。

2.3 訓(xùn)練方法

為了使與CNN參數(shù)相關(guān)的代價函數(shù)值最小，實驗運用隨機(jī)梯度優(yōu)化方法對訓(xùn)練集進(jìn)行訓(xùn)練，以交叉熵作為損失函數(shù)，判定實際輸出與期望輸出的接近程度，可表示為

(4)

式(4)中：J(θ)為代價函數(shù)；θ為網(wǎng)絡(luò)參數(shù)；pi為第i個像素的目標(biāo)值；qi為第i個像素的預(yù)測值；m為圖像中像素的總數(shù)。

同時采用自適應(yīng)距估計(adaptive moment estimation，Adam)優(yōu)化器，其計算公式為

(5)

式(5)中：t為迭代次數(shù)，設(shè)為200；mt和vt分別為一階動量項和二階動量項；β1、β2為動力值，分別取0.90和0.995；m′t、v′t分別為mt和vt的無偏值；θt為第t次迭代模型的參數(shù)；?θJ(θ)為t次迭代代價函數(shù)關(guān)于θ的梯度大??；ε為一個取值很小的數(shù)，取1×10-8；η為學(xué)習(xí)率，取0.001。

以上為Adam優(yōu)化器的參數(shù)更新過程，與其他優(yōu)化器相比，Adam 避免了局部最小化問題，具備計算高效、梯度下降平滑和參數(shù)調(diào)整簡單的優(yōu)點。采用ResNet50的權(quán)重作為網(wǎng)絡(luò)的初始權(quán)重參數(shù)，學(xué)習(xí)速率調(diào)整策略使用多項式衰減策略，權(quán)重衰減使用L2 正則化，衰減系數(shù)為0.000 01。

2.4 實驗測試與分析

使用Asphalt-Sealed-Crack訓(xùn)練SegNet網(wǎng)絡(luò),用測試集測試得到的模型。測試集中含有道路標(biāo)線的圖像，其測試結(jié)果中的假陽性較多，較小尺寸的灌封裂縫漏檢率較高。實驗中取標(biāo)線周圍4個點(不在標(biāo)線內(nèi))的像素值均值逐一填充標(biāo)線后，測試結(jié)果中的假陽性明顯減少，但存在漏檢細(xì)微灌封裂縫、灌封裂縫輪廓變形的問題?？斩淳矸e層具有增大感受野、更加關(guān)注小尺寸病害特征的優(yōu)點。采用不同空洞率的空洞卷積層提取特征圖，與上一步提取的特征融合，得到豐富信息的組合特征圖。與之前的測試結(jié)果相比，加入空洞卷積操作之后，漏檢率和誤檢率均得以改善，物體的輪廓分割準(zhǔn)確。圖5中，分割結(jié)果的形狀、輪廓與原圖一致，細(xì)節(jié)保持完整，但部分非灌封裂縫被預(yù)測為灌封裂縫。多次微調(diào)模型及數(shù)據(jù)擴(kuò)增，但收效甚微。實驗統(tǒng)計分析大量的預(yù)測結(jié)果，在分割結(jié)果的基礎(chǔ)上，運用50

圖5 灌封裂縫分割結(jié)果

實驗中的原始圖像由路面檢測車在不同條件下拍攝的圖像組成，圖像的質(zhì)量差異較大。路面光照條件良好、勻速行駛等條件下所拍攝的圖像質(zhì)量較好，在路面光照條件較差、隧道、非勻速行駛等條件下拍攝的圖像質(zhì)量較差。此外，道路標(biāo)線同樣影響圖像對比度。由圖2、圖6可知，雖然MSR方法改善圖像整體的對比度，有助于降低漏檢率，但部分非灌封裂縫，其像素值變得與灌封裂縫的像素值相同，被預(yù)測為灌封裂縫。

方框標(biāo)記的是較為聚集的假陽性，多為小面積的瀝青油斑或路面污漬；圓圈標(biāo)記的是呈散點狀分布的假陽性，多為顏色較深的瀝青混合料

采用兩種方式解決假陽性：一是包含深度學(xué)習(xí)和大數(shù)據(jù)的數(shù)據(jù)驅(qū)動方法，實驗中對SegNet進(jìn)行改進(jìn)，將VGG16替換為ResNet，同時，將池化索引層替換為空洞卷積層，經(jīng)裁剪，數(shù)據(jù)擴(kuò)增處理后，數(shù)據(jù)集圖像達(dá)到15 000幅，雖然數(shù)據(jù)驅(qū)動方法最終沒有解決假陽性問題，但是卻讓方法更具魯棒性，灌封裂縫分割更精確；二是運用閾值算法解決假陽性；雖然數(shù)據(jù)驅(qū)動方法可以解決假陽性，但需要制作大量的標(biāo)簽數(shù)據(jù)，還需花費大量的時間和精力優(yōu)化網(wǎng)絡(luò)，因此，運用提出的閾值法剔除假陽性，提取完整的灌封裂縫。

2.5 評價

為客觀評價改進(jìn)方法、BiSeNet和SegNet三者的性能，將后兩種方法在相同數(shù)據(jù)集上迭代訓(xùn)練200次。圖7為3種方法在訓(xùn)練過程中MIoU和Loss的變化情況。隨著訓(xùn)練次數(shù)增加，BiSeNet和SegNet的MIoU先增后減；改進(jìn)方法的MIoU不斷增長，最終穩(wěn)定在77%以上。表2對比了3種方法的4個性能指標(biāo)，改進(jìn)方法均優(yōu)于另外兩種方法。圖8為3種方法對灌封裂縫的分割結(jié)果：SegNet分割效果較差，假陽性較多，病害輪廓變形，部分細(xì)節(jié)缺失；BiSeNet的分割效果一般，預(yù)測結(jié)果中的假陽性較少且相對集中，但物體輪廓變形嚴(yán)重；所提方法的分割結(jié)果與輸入圖像在面積、形狀和輪廓上保持一致，存在點狀假陽性。對甘肅省部分路段的灌封裂縫進(jìn)行檢測。手動提取的灌封裂縫5 679條，提出方法剔除假陽性后，共提取5 820條病害，其中有141條假陽性，占2.49%；漏檢5條，占0.09%。綜上，本文方法的MIoU、分割效果均優(yōu)于其他兩種方法。

圖7 3種方法的性能對比

表2 對比3種方法的4個性能指標(biāo)

圖8 3種方法對裂縫灌封的分割結(jié)果

3 結(jié)論

針對SegNet在提取病害時存在漏檢小尺寸病害、假陽性多、病害輪廓變形的問題，提出集圖像增強(qiáng)處理、語義分割和異值剔除為一體的瀝青路面灌封裂縫提取方法，并通過實驗驗證得出如下結(jié)論。

(1)利用改進(jìn)的編解碼網(wǎng)絡(luò)提取測試集中的灌封裂縫，MIoU、F1分別達(dá)到0.776 3和0.899 9，比SegNet分別提高了2.5%，10.2%。

(2)與手動提取病害相比，所提方法能夠高效的提取多種瀝青路面的灌封裂縫，誤檢率和漏檢率分別為2.49%，0.09%，具有一定的應(yīng)用前景。

(3)在今后研究中，應(yīng)進(jìn)一步提高對車載瀝青路面灌封裂縫的提取精度和速率，研究算法對瀝青路面多種病害的泛化能力。