封 筠，趙 穎，畢健康，賴柏江，胡晶晶

多級卷積神經(jīng)網(wǎng)絡(luò)的瀝青路面裂縫圖像層次化篩選

封 筠1，趙 穎1，畢健康1，賴柏江1，胡晶晶2

(1. 石家莊鐵道大學(xué)信息科學(xué)與技術(shù)學(xué)院，河北 石家莊 050043；2.北京理工大學(xué)計算機科學(xué)與技術(shù)學(xué)院，北京 100081)

如何快速準(zhǔn)確地識別與評估瀝青路面裂縫病害，已成為路面養(yǎng)護和保障道路安全的重要任務(wù)之一。實際采集路面圖像中往往存在大量的非裂縫圖像，在保證裂縫圖像無漏篩的前提下，盡可能提高裂縫圖像的精確率與非裂縫圖像的真負(fù)例率，則對于降低人工篩選的工作強度，以及后續(xù)裂縫自動分割與病害損壞程度評估具有重要實際意義。故此，提出了一種多級卷積神經(jīng)網(wǎng)絡(luò)的瀝青路面裂縫圖像篩選方法，由訓(xùn)練、微調(diào)與驗證三階段構(gòu)成，利用微調(diào)集獲得softmax層輸入微調(diào)增量。為避免裂縫圖像召回率增加與精確率下降的問題，在對比不同卷積神經(jīng)網(wǎng)絡(luò)篩除的非裂縫圖像異同基礎(chǔ)上，采用改進AlexNet作為一級篩選網(wǎng)絡(luò)，VGG16或ResNet50作為二、三級篩選網(wǎng)絡(luò)的層次化處理模型。對于含噪聲及復(fù)雜路面圖像測試集的實驗結(jié)果表明，三級層次化篩選模型能在100%召回裂縫圖像時，達到高的真負(fù)例率及準(zhǔn)確率。與其他方法的對比實驗表明，所提方法可有效解決瀝青路面裂縫圖像漏篩問題，且具有更好的檢測效果。

瀝青路面圖像；裂縫篩選；卷積神經(jīng)網(wǎng)絡(luò)；softmax層微調(diào)；多級網(wǎng)絡(luò)

隨著我國運輸行業(yè)的完善和公路系統(tǒng)的健全，交通流量迅速增長，如何有效地監(jiān)測和保障公路系統(tǒng)的正常運轉(zhuǎn)受到了人們的密切關(guān)注，如何快速準(zhǔn)確地識別出路面裂縫已成為道路養(yǎng)護的重要任務(wù)之一。

近年來，基于計算機視覺技術(shù)的路面裂縫檢測與識別逐漸成為該領(lǐng)域的研究熱點。最初，采用傳統(tǒng)的圖像處理方法對路面裂縫進行檢測。馬常霞等[1]利用分?jǐn)?shù)階微分對路面圖像中裂縫信息進行增強，并通過圖像形態(tài)學(xué)法對路面裂縫進行檢測。靳華中等[2]采用梯度方向直方圖得到裂縫的邊緣信息，再結(jié)合改進的分水嶺算法實現(xiàn)路面裂縫的識別。盧紫微等[3]提取路面圖像的局部熵、灰度和紋理并進行特征融合，利用支持向量機(support vector machine，SVM)分類器實現(xiàn)路面裂縫的二分類。邱延峻等[4]對三維路面圖像在4個方向的裂縫截圖進行融合與去噪，根據(jù)路面粗糙度及高斯分布特征來實現(xiàn)路面裂縫的檢測。譚衛(wèi)雄等[5]在人工蜂群算法中融入自適應(yīng)因子，并與BP神經(jīng)網(wǎng)絡(luò)相結(jié)合，用于實現(xiàn)瀝青路面路表裂縫的識別。但是，由于路面圖像中的裂縫具有與背景差異小、對比度低且尺度變化大等特點，致使傳統(tǒng)經(jīng)典圖像處理方法在識別精度與魯棒性方面受限。

為了進一步提升數(shù)據(jù)的處理效率和識別性能，近年來有些學(xué)者開始探索利用深度學(xué)習(xí)方法解決路面裂縫的檢測與識別任務(wù)。趙任華[6]在研究不同的訓(xùn)練樣本和卷積核對卷積神經(jīng)網(wǎng)絡(luò)識別精度影響的基礎(chǔ)上，提出了兩階段的卷積神經(jīng)網(wǎng)絡(luò)路面裂縫檢測方法。GOPALAKRISHNAN等[7]基于遷移學(xué)習(xí)利用預(yù)訓(xùn)練的VGG-16 DCNN模型對路面裂縫進行檢測，該方法雖然在一定程度上提高了裂縫識別的準(zhǔn)確率，但仍未能學(xué)會從路面的接縫中區(qū)分裂縫。沙愛民等[8]搭建了3個卷積神經(jīng)網(wǎng)絡(luò)模型對路面圖像進行訓(xùn)練，分別用來識別路面病害圖像、提取裂縫特征和坑槽特征。ZHANG等[9]提出了一種遞歸神經(jīng)網(wǎng)絡(luò)對三維瀝青路面裂縫進行檢測的方法，以實現(xiàn)序列生成和序列建模兩階段處理。李剛等[10]結(jié)合低秩核與組卷積，提出了一種交錯低秩組卷積混合深度網(wǎng)絡(luò)的混凝土路面裂縫檢測算法。侯越等[11]在對比不同的數(shù)據(jù)增強方法基礎(chǔ)上，提出了卷積自編碼預(yù)訓(xùn)練深度聚類算法，用于實現(xiàn)路面圖像的無標(biāo)注識別。

上述研究在一定程度上實現(xiàn)了路面圖像中有無裂縫的分類，但仍存在較高的裂縫圖像漏篩情況。在實際應(yīng)用環(huán)境中，對于由道路綜合檢測車所采集的瀝青路面圖像，裂縫圖像僅僅占少部分而大多數(shù)圖像為正常路面，若能保證在裂縫圖像無漏篩的前提下盡可能多地篩除非裂縫正常圖像，則不僅可以大大降低人工篩選的工作強度，而且將為裂縫全自動識別中的后期裂縫分割與量化分析奠定基礎(chǔ)。

本文在研究不同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)在路面裂縫圖像篩選分類的基礎(chǔ)上，通過觀察對比不同網(wǎng)絡(luò)所篩除的非裂縫圖像的異同，提出了一種多級層次化卷積神經(jīng)網(wǎng)絡(luò)的瀝青路面裂縫圖像篩選方法，由訓(xùn)練、微調(diào)與驗證3階段構(gòu)成。道路綜合檢測車所采集的瀝青路面圖像首先需要經(jīng)過灰度校正、圖像分塊、歸一化與數(shù)據(jù)增強等預(yù)處理。在模型構(gòu)建時，訓(xùn)練階段分別學(xué)習(xí)不同卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)，對于裂縫圖像存在漏篩的網(wǎng)絡(luò)，應(yīng)在微調(diào)階段利用微調(diào)集對網(wǎng)絡(luò)的softmax層的輸入值進行調(diào)整，以達到裂縫圖像被全部召回的目的。由于在微調(diào)softmax層時，隨著裂縫圖像召回率的增加，其精確率會有所下降，所以為了篩除更多的非裂縫圖像，本文采用三級層次化卷積神經(jīng)網(wǎng)絡(luò)的裂縫圖像篩選處理過程。針對含噪聲及復(fù)雜路面圖像的實驗結(jié)果表明，若采用改進AlexNet作為一級篩選網(wǎng)絡(luò)，以及VGG16或ResNet50作為二級或三級篩選網(wǎng)絡(luò)，則不僅能夠有效解決路面裂縫圖像漏篩的問題，而且可以達到級聯(lián)模型中最好性能，即具有高的真負(fù)例率與準(zhǔn)確率，以及低的圖像篩選檢測時間。

1 圖像采集與預(yù)處理

1.1 圖像采集

在路面裂縫篩選網(wǎng)絡(luò)模型構(gòu)建之前，主要工作是數(shù)據(jù)集的建立與圖像的預(yù)處理。本文通過道路綜合檢測車(圖1)的后側(cè)置攝像機對某高速公路的瀝青路面圖像進行采集，為避免拍攝角度等干擾，保持拍攝設(shè)備與路面的距離不變。圖2列舉了部分瀝青路面圖像，其像素尺寸為1612×1841。

圖1 道路綜合檢測車

圖2 瀝青路面圖像示例((a)裂縫路面圖像；(b)非裂縫路面圖像)

1.2 圖像灰度校正

由于光照的影響，所采集的路面圖像在豎直方向上亮度分布不均勻，其不同位置上的裂縫可能會表現(xiàn)出不同的灰度均值，若直接放入分類網(wǎng)絡(luò)中訓(xùn)練，對裂縫特征的提取會有所影響。因此，本文采用灰度校正法[12]，對路面圖像進行預(yù)處理，存儲和保留車道線位置信息。具體方法如下：

(1) 計算圖像(×)中每列的灰度均值，保存在數(shù)組中，并計算的均值avg。

(2) 將車道線在圖像中的位置及像素值記錄在數(shù)組中，并用avg代替車道線處像素值。

(3) 計算每列的灰度校正系數(shù)和灰度均值偏離整體灰度均值的程度，即

(4) 非車道線像素點的灰度值按式(2)進行校正，縮小不同列之間的灰度值差距，使圖像整體灰度分布更加均勻，車道線像素點則恢復(fù)為原來灰度值，即

由圖3灰度校正前后的圖像對比可見，在灰度校正后裂縫被保留下來的同時車轍印被消除或明顯減少，圖像灰度值分布更均勻，并且對于不垂直的傾斜圖像處理仍然有效。

圖3 圖像灰度校正((a)原始圖像；(b)灰度校正后的圖像)

1.3 圖像分塊

由于道路綜合檢測車所采集的路面圖像中大部分為非裂縫圖像，所以為避免樣本嚴(yán)重的不平衡問題，除自行采集圖像外還引入了德國瀝青路面病害(GAPs)數(shù)據(jù)集[11,13]，其提供了1 969幅像素尺寸為1920×1080的灰度圖像，包括裂縫、凹坑等類型的病害。GAPs384數(shù)據(jù)集是GAPs的子集，只含裂縫病害的數(shù)據(jù)，本文選取281幅像素尺寸為540×640的路面圖像及228幅像素尺寸為540×440的路面圖像。

考慮到自行采集的圖像數(shù)據(jù)與GAPs384數(shù)據(jù)集中的像素尺寸差別較大，本文按照6×6對自行采集的路面圖像進行分塊，每個圖像塊(patch)大小為268×306；按照2×2對GAPs384數(shù)據(jù)集中的路面圖像進行分塊，得到的圖像塊大小分別為270×320和270×220。自行采集的路面圖像分塊如圖4(a)所示，GAPs384數(shù)據(jù)集中像素尺寸為540×640的路面圖像分塊如圖4(b)所示。

圖4 圖像分塊示例((a)自行采集的數(shù)據(jù)集；(b) GAPs384數(shù)據(jù)集)

在分塊后，按照1∶2的比例由自行采集數(shù)據(jù)和GAPs384數(shù)據(jù)集來構(gòu)成本文所使用的路面圖像數(shù)據(jù)集，其中包含1 700幅裂縫圖像和2 033幅非裂縫圖像，將其劃分為訓(xùn)練集、微調(diào)集、驗證集和測試集，分別用于訓(xùn)練階段、softmax層微調(diào)階段、多級篩選階段以及模型性能測試，其中來自GAPs384數(shù)據(jù)集的圖像塊只用作訓(xùn)練與測試。訓(xùn)練集、微調(diào)集、驗證集和測試集兩兩之間沒有重疊的圖像數(shù)據(jù)，第4節(jié)將給出每個圖像子集的說明。

另外，為滿足卷積神經(jīng)網(wǎng)絡(luò)模型輸入要求，應(yīng)對圖像塊進行尺寸歸一化處理，例如在輸入VGG16網(wǎng)絡(luò)之前需要將圖像塊處理為224×224大小。為增加數(shù)據(jù)的多樣性和提高模型的魯棒性，本文對訓(xùn)練集與微調(diào)集進行了翻轉(zhuǎn)、高斯模糊和對比度增強等數(shù)據(jù)增強處理。

2 卷積神經(jīng)網(wǎng)絡(luò)

近年來，AlexNet，VGG16和ResNet50[14]作為典型的卷積神經(jīng)網(wǎng)絡(luò)已被廣泛應(yīng)用于圖像識別領(lǐng)域，取得了良好的效果。本文分別采用改進AlexNet[15]，VGG16和ResNet50作為骨干網(wǎng)絡(luò)，對路面圖像進行特征提取，實現(xiàn)有無裂縫的分類。VGG16和ResNet50網(wǎng)絡(luò)是基于遷移學(xué)習(xí)進行訓(xùn)練，即在ImageNet預(yù)訓(xùn)練好的模型上進行微調(diào)，可有效避免訓(xùn)練樣本過少而產(chǎn)生的欠擬合問題。

2.1 改進AlexNet網(wǎng)絡(luò)

相較于最初提出的AlexNet網(wǎng)絡(luò)，本文所采用的改進AlexNet網(wǎng)絡(luò)具有更少的網(wǎng)絡(luò)層數(shù)和計算參數(shù)，同時具有更快的模型訓(xùn)練速度和更高的識別精度[15]。該網(wǎng)絡(luò)由3個卷積模塊和3個全連接層組成，卷積核大小為11×11和5×5。不同于最初的AlexNet網(wǎng)絡(luò)，該網(wǎng)絡(luò)去掉了最后2個卷積層，并在前2個卷積層之后均加入Batch Normalization處理。改進的AlexNet網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 改進AlexNet網(wǎng)絡(luò)結(jié)構(gòu)

2.2 VGG16網(wǎng)絡(luò)

VGG16網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示，由5個卷積模塊和3個全連接層組成，每個卷積模塊具有2個或3個卷積核大小為3×3的卷積層和1個最大池化層。相較于傳統(tǒng)的淺層網(wǎng)絡(luò)，VGG16通過采用多層小卷積核(3×3)代替1個大卷積核，減少了參數(shù)的增長，且較深的網(wǎng)絡(luò)結(jié)構(gòu)使其具有更豐富的特征和更強的辨別能力[16]。

圖6 VGG16網(wǎng)絡(luò)結(jié)構(gòu)

2.3 ResNet50網(wǎng)絡(luò)

深度殘差ResNet網(wǎng)絡(luò)通過引入殘差單元，解決了網(wǎng)絡(luò)層數(shù)增加所帶來的梯度消失和網(wǎng)絡(luò)性能退化的問題[14]。殘差單元利用恒等映射將網(wǎng)絡(luò)設(shè)計為()=()+，其結(jié)構(gòu)如圖7(a)所示，其中表示輸入，()表示殘差函數(shù)，可被轉(zhuǎn)換為學(xué)習(xí)一個殘差函數(shù)()=()–，擬合殘差更加容易。ResNet50網(wǎng)絡(luò)由若干個Bottleneck模塊組成，其每個模塊具有2個殘差塊，結(jié)構(gòu)分別如圖7(b)和(c)所示，每個殘差塊由卷積核大小為1×1和3×3的卷積層組成。

(c)

3 所提出的路面裂縫篩選方法

3.1 不同卷積神經(jīng)網(wǎng)絡(luò)篩除非裂縫圖像的異同對比

實際采集的瀝青路面圖像會受到陰影、對比度低以及車轍印、車道線、灌縫修補、噪聲點等因素的干擾，不同網(wǎng)絡(luò)模型在進行裂縫圖像篩選時對具有不同干擾的非裂縫路面圖像的識別各有差異。圖8列舉了改進的AlexNet，VGG16和ResNet50 3種卷積神經(jīng)網(wǎng)絡(luò)所篩除的部分非裂縫圖像，以集合文氏圖形式展示。由圖8可見，在較光滑或含白色噪聲點和車轍印的非裂縫圖像的篩除上，VGG16網(wǎng)絡(luò)表現(xiàn)較好，改進AlexNet網(wǎng)絡(luò)次之；而在含有車道線的非裂縫圖像篩除上，3個網(wǎng)絡(luò)的表現(xiàn)各有差異，其中ResNet50網(wǎng)絡(luò)擅長篩除車道線占比面積較大的非裂縫圖像，VGG16網(wǎng)絡(luò)所篩除的圖像含車道線最窄，而改進AlexNet網(wǎng)絡(luò)擅長篩除圖像背景較光滑的含車道線圖像。綜上可知，不同網(wǎng)絡(luò)在非裂縫圖像的篩除上各有優(yōu)勢，存在一定的互補。

3.2 裂縫圖像的三階段層次化篩選過程

鑒于對不同卷積神經(jīng)網(wǎng)絡(luò)篩除非裂縫圖像的差異分析，本文提出一種多級卷積神經(jīng)網(wǎng)絡(luò)的裂縫圖像層次化篩選方法，其工作流程如圖9所示，主要分為以下3個階段：

圖8 3種卷積神經(jīng)網(wǎng)絡(luò)篩除非裂縫圖像示例

(1) 訓(xùn)練階段。將訓(xùn)練集數(shù)據(jù)分別輸入到改進AlexNet，VGG16和ResNet50分類網(wǎng)絡(luò)中，進行路面裂縫圖像的二分類訓(xùn)練。

(2) 微調(diào)階段。調(diào)用各個已訓(xùn)練好的網(wǎng)絡(luò)模型，判斷裂縫圖像的召回率是否為100%，若是，則直接進入驗證階段進行裂縫圖像篩選；否則，輸入微調(diào)集，對網(wǎng)絡(luò)softmax層的輸入值進行微調(diào)，直至每個裂縫圖像都被召回，保存此刻的微調(diào)值。

(3) 驗證階段。利用條件(2)中保存好的微調(diào)值，對驗證集進行三級網(wǎng)絡(luò)裂縫圖像層次化篩選，將一級篩選網(wǎng)絡(luò)中被識別為裂縫類的圖像輸入到二級篩選網(wǎng)絡(luò)中進行篩選，之后，再將二級篩選網(wǎng)絡(luò)中被識別為裂縫類的圖像輸入到三級篩選網(wǎng)絡(luò)中進行篩選，從而得到最終含有裂縫的瀝青路面圖像，同時對于每一級篩選網(wǎng)絡(luò)可輸出該級網(wǎng)絡(luò)識別的非裂縫類圖像。

不同于文獻[6]通過采用2次不同數(shù)量訓(xùn)練樣本的訓(xùn)練過程來構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型的兩階段方法，本文方法在微調(diào)階段是對已訓(xùn)練好的網(wǎng)絡(luò)模型進行的，即網(wǎng)絡(luò)模型參數(shù)均不做任何改變，引入微調(diào)階段的目的是考慮到用已訓(xùn)練好的網(wǎng)絡(luò)模型對路面圖像進行分類，會將部分裂縫圖像識別為非裂縫類，從而出現(xiàn)路面裂縫圖像漏篩的情況。通過上述3個階段層次化篩選過程，可在保證裂縫圖像無漏篩的前提下，盡可能多地篩除非裂縫正常圖像。

3.3 Softmax層微調(diào)

精確率-召回率(Precision-Recall)[17]是路面裂縫分類網(wǎng)絡(luò)中常用的評價指標(biāo)，通過對比人工標(biāo)記的裂縫圖像和網(wǎng)絡(luò)檢測得到的裂縫圖像數(shù)量，計算出裂縫圖像的精確率和召回率，從而反映出算法的準(zhǔn)確性和全面性。為了解決分類過程中所出現(xiàn)的裂縫路面圖像的漏篩問題，本文利用微調(diào)數(shù)據(jù)，通過微調(diào)softmax層的輸入值對裂縫圖像的精確率和召回率進行調(diào)節(jié)，從而達到裂縫圖像被完全召回的目的。

若訓(xùn)練階段獲得的網(wǎng)絡(luò)模型不能召回微調(diào)集中的全部裂縫圖像，則采用softmax激活函數(shù)對最后一個全連接層的輸出進行概率微調(diào)計算。由于采用的是對路面圖像進行有無裂縫篩選的二分類網(wǎng)絡(luò)，所以softmax層對應(yīng)2個輸入值記作0和1，分別代表裂縫類圖像(crack)和非裂縫類圖像(non_crack)，當(dāng)0>1時，所輸入的圖像類別為裂縫類，否則為非裂縫類。若softmax層最終輸出記作[0,1]∈(0,1)，則softmax層的計算為

為了實現(xiàn)路面裂縫圖像的全部召回，本文采用調(diào)節(jié)裂縫類所對應(yīng)的0值大小的方法。當(dāng)增加0值時，裂縫類的召回率將增加，但準(zhǔn)確率有所下降。0的微調(diào)增量Δ0計算式為

其中，為每次調(diào)節(jié)時0所增加的值；為0值調(diào)節(jié)的次數(shù)，本文將的值設(shè)為0.1。

0經(jīng)過微調(diào)后的值為0new，其計算式為

Softmax層微調(diào)結(jié)構(gòu)如圖10所示。

圖9 多級卷積神經(jīng)網(wǎng)絡(luò)的瀝青路面裂縫圖像層次化篩選流程圖

Fig. 9 Flow chart of asphalt pavement crack image hierarchical filtering based on multi-level convolution neural network

圖10 Softmax層微調(diào)

當(dāng)微調(diào)集中的全部裂縫圖像被召回時，微調(diào)增量Δ0即被確定，該值在驗證及測試時不再發(fā)生變化，而是作為固定值去修正softmax層的輸入值0，進而獲得微調(diào)后的0new值。微調(diào)集的樣本分布應(yīng)盡可能豐富，可選擇部分與驗證集或測試集同分布的樣本，當(dāng)然一定要保證微調(diào)集與驗證集及測試集沒有相同的樣本。在網(wǎng)絡(luò)模型用于真實篩選的工程實際任務(wù)時，微調(diào)集的選取可以來自道路綜合檢測車所采集道路的少量標(biāo)注樣本。

4 實驗結(jié)果與分析

實驗硬件平臺為Intel(R) Xeon(R) CPU E5-2678 30 GB，NVIDIA GeForceTX1080Ti×4 11 GB，編程語言為Python3.6。

4.1 評價指標(biāo)

為評價分類網(wǎng)絡(luò)模型在路面裂縫篩選中的有效性，本文選取精確率()、召回率()、真負(fù)例率()、準(zhǔn)確率()和1值作為評價指標(biāo)，其計算式分別為

其中，為裂縫圖像樣本中被正確識別的樣本數(shù)量；為非裂縫圖像樣本中被錯誤識別為裂縫圖像的樣本數(shù)量；為非裂縫圖像樣本中被正確識別的樣本數(shù)量；為裂縫圖像樣本中被錯誤識別為非裂縫圖像的樣本數(shù)量。模型對非裂縫圖像的篩除能力可以用真負(fù)例率來表達。

4.2 訓(xùn)練階段路面裂縫圖像分類實驗

首先分別選用改進AlexNet、VGG16和ResNet50 3種卷積神經(jīng)網(wǎng)絡(luò)對路面圖像進行有無裂縫的分類篩選。其中，VGG16和ResNet50網(wǎng)絡(luò)是基于遷移學(xué)習(xí)進行訓(xùn)練的。實驗選取1 548幅裂縫圖像和1 523幅非裂縫圖像作為訓(xùn)練集。初始學(xué)習(xí)率為1e-3，訓(xùn)練批次大小為16，VGG16和ResNet50采用Adam迭代優(yōu)化，改進AlexNet為SGD。

3種卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中的準(zhǔn)確率(acc)和損失值(loss)變化如圖11所示。隨著迭代次數(shù)的增加，3種網(wǎng)絡(luò)的訓(xùn)練準(zhǔn)確率和損失值逐漸趨于平緩收斂。這里，VGG16迭代輪次置為30，改進AlexNet和ResNet50均為100次。

4.3 Softmax層微調(diào)實驗

單一應(yīng)用3種卷積神經(jīng)網(wǎng)絡(luò)在微調(diào)集上的實驗結(jié)果見表1。實驗選取49幅裂縫圖像和77幅非裂縫圖像作為微調(diào)集。由表1可知，VGG16網(wǎng)絡(luò)在微調(diào)集上的各項評價指標(biāo)中表現(xiàn)最好。

為使得裂縫圖像被全部召回，本文通過微調(diào)softmax層輸入值，以提高裂縫圖像的召回率。圖12為微調(diào)過程中召回率、精確率與真負(fù)例率的變化。由圖12可見，隨著微調(diào)次數(shù)增加，裂縫圖像的召回率逐漸增加而精確率逐漸減小，同時非裂縫圖像的真負(fù)例率也逐漸減小。由于VGG16對裂縫圖像的召回率達到了100%，所以不需要對該網(wǎng)絡(luò)進行微調(diào)，即微調(diào)值Δ0=0。若令改進AlexNet網(wǎng)絡(luò)達到對裂縫圖像的100%召回率，則需要進行29次微調(diào)，即微調(diào)值Δ0=2.9。若令ResNet50網(wǎng)絡(luò)達到對裂縫圖像的100%召回率，則需要進行52次微調(diào)，即微調(diào)值Δ0=5.2。

表1 3種卷積神經(jīng)網(wǎng)絡(luò)路面裂縫圖像分類結(jié)果對比(%)

表2顯示了3種卷積神經(jīng)網(wǎng)絡(luò)在softmax層微調(diào)后的實驗結(jié)果與softmax層的均微調(diào)時間。其中，均微調(diào)時間指總的微調(diào)時間與微調(diào)集總量之比。通過比較表1和表2可知，微調(diào)后所有網(wǎng)絡(luò)的裂縫圖像被全部召回，VGG16網(wǎng)絡(luò)的裂縫圖像精確率以及非裂縫圖像的真負(fù)例率均是最高，改進AlexNet網(wǎng)絡(luò)相對ResNet50在微調(diào)時間上花費要少。

表2 Softmax層微調(diào)后結(jié)果對比

4.4 級聯(lián)結(jié)構(gòu)驗證實驗

為了驗證本文方法的有效性，實驗中利用微調(diào)好的分類網(wǎng)絡(luò)進行不同網(wǎng)絡(luò)的級聯(lián)，即分別對2種網(wǎng)絡(luò)以及3種網(wǎng)絡(luò)級聯(lián)進行層次化篩選。選取10幅裂縫圖像和15幅非裂縫圖像作為驗證集。實驗結(jié)果見表3，這里用A表示改進AlexNet，R表示ResNet50，V表示VGG16，A_R_V則表示3個網(wǎng)絡(luò)級聯(lián)的先后順序。

表3 級聯(lián)結(jié)構(gòu)的驗證實驗結(jié)果對比

由表3可得出：

(1) 由于softmax層微調(diào)的作用，所以給出的所有網(wǎng)絡(luò)模型對于驗證集中的裂縫圖像召回率均達到100%，即裂縫圖像無漏篩；

(2) 采用2種網(wǎng)絡(luò)的級聯(lián)模型的精確率、真負(fù)例率與準(zhǔn)確率均好于2種網(wǎng)絡(luò)中的任意單一網(wǎng)絡(luò)，同樣3種網(wǎng)絡(luò)級聯(lián)模型性能均好于任意2種網(wǎng)絡(luò)級聯(lián)模型，3種網(wǎng)絡(luò)級聯(lián)模型的真負(fù)例率達到93.3%，即93.3%的非裂縫圖像均能被正確篩除；

(3) 在不同網(wǎng)絡(luò)級聯(lián)時，級聯(lián)的順序(即網(wǎng)絡(luò)篩選的級別)不會影響最終是否裂縫圖像的篩選結(jié)果，而不同的級聯(lián)順序僅僅影響圖像篩選的時間。當(dāng)改進AlexNet網(wǎng)絡(luò)作為第一級篩選網(wǎng)絡(luò)時，所花費的篩選時間要少，例如A_R_V級聯(lián)網(wǎng)絡(luò)的單幅圖像的均驗證時間僅是V_R_A的57.1%。

因此，可選取真負(fù)例率、準(zhǔn)確率等評價指標(biāo)最高且篩選時間相對較短的一種網(wǎng)絡(luò)級聯(lián)方法作為最終的網(wǎng)絡(luò)級聯(lián)模型(A_R_V 或A_V_R)。

4.5 裂縫圖像層次篩選測試實驗

4.5.1 不同復(fù)雜程度路面圖像的測試

考慮到本文自行采集的數(shù)據(jù)集具有不同的干擾和噪聲，因此需要測試網(wǎng)絡(luò)模型對于不同復(fù)雜程度的數(shù)據(jù)集的性能。本文選取2種復(fù)雜程度圖像進行裂縫圖像的篩選，分別記作含噪聲路面圖像和復(fù)雜路面圖像，圖13為2種路面圖像示例。含噪聲路面圖像涉及含白色噪聲點和表面較光滑的圖像，復(fù)雜路面圖像是指不僅含噪聲而且包括車轍印、車道線等干擾的路面圖像。

圖13 測試集路面圖像示例((a)含噪聲路面圖像；(b)復(fù)雜路面圖像)

4.5.1.1 含噪聲路面圖像的測試

測試集中含噪聲路面圖像共包括10幅裂縫圖像和212幅非裂縫圖像。實驗中分別采用不同的網(wǎng)絡(luò)模型進行測試，實驗結(jié)果見表4。由表4可得出：

(1) 給出的所有網(wǎng)絡(luò)模型對于裂縫圖像的召回率均能達到100%；

(2) 3種網(wǎng)絡(luò)級聯(lián)模型評價性能要好于2種網(wǎng)絡(luò)級聯(lián)，2種網(wǎng)絡(luò)級聯(lián)要好于單一網(wǎng)絡(luò)模型。3種網(wǎng)絡(luò)級聯(lián)模型的真負(fù)例率及準(zhǔn)確率均達到98.6%；

(3) 與驗證實驗相同，3種網(wǎng)絡(luò)級聯(lián)的順序不影響網(wǎng)絡(luò)評價性能，且A_V_R和A_R_V網(wǎng)絡(luò)級聯(lián)模型的篩選時間最短，僅為V_R_A的32.0%。

4.5.1.2 復(fù)雜路面圖像的測試

測試集中復(fù)雜路面圖像包括13幅裂縫圖像和310幅非裂縫圖像，實驗結(jié)果見表5。顯然，由表5可得出與表4相似的結(jié)論，只是3種網(wǎng)絡(luò)級聯(lián)模型的性能均低于含噪聲路面測試圖像，如真負(fù)例率為93.5%，準(zhǔn)確率為93.8%，這主要是由于路面圖像更復(fù)雜(即含有更多干擾因素)時會加大篩選的難度。

表5 復(fù)雜路面圖像測試結(jié)果對比

4.5.2 與其他方法對比

為了進一步驗證本文所提方法的有效性，與傳統(tǒng)方法及近期文獻中給出的深度學(xué)習(xí)方法(ASINVOS[13]，DRSN[18])進行比較，其中傳統(tǒng)方法采用局部二值模式(local binary pattern，LBP)提取特征及SVM進行篩選分類。選用GAPs384數(shù)據(jù)集中不同于訓(xùn)練集的圖像作為測試樣本，各種方法所用的訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)均對應(yīng)一致。由表6的實驗結(jié)果可知，雖然DRSN方法的精確率達到了68.1%，但是其裂縫召回率僅為80.0%；本文方法的裂縫圖像召回率可達100%，并且1值與準(zhǔn)確率最高，分別高出LBP+SVM方法32.0%與24.5%，高出ASINVOS方法16.0%與7.8%，高出DRSN方法4.9%與1.2%，能在保證全部召回裂縫圖像的前提下得到更好的檢測效果。

表6 不同裂縫檢測方法結(jié)果對比(%)

5 結(jié) 論

如何從道路綜合檢測車采集的大量瀝青路面圖像中全部自動篩選出裂縫圖像的同時，并盡可能降低錯誤篩選出非裂縫圖像比例，為路面病害自動檢測提供前期技術(shù)支撐，對于公路養(yǎng)護信息化建設(shè)具有現(xiàn)實意義。本文提出了一種多級卷積神經(jīng)網(wǎng)絡(luò)的瀝青路面裂縫圖像層次化篩選方法，最終可選取A_V_R或A_R_V網(wǎng)絡(luò)級聯(lián)方法作為本文的網(wǎng)絡(luò)模型的級聯(lián)順序，即一級篩選網(wǎng)絡(luò)采用改進AlexNet，二級與三級可為VGG16或ResNet50網(wǎng)絡(luò)。所提出的3個階段層次化篩選模型構(gòu)建過程中，首先在訓(xùn)練階段分別學(xué)習(xí)3種網(wǎng)絡(luò)模型，然后通過對網(wǎng)絡(luò)softmax層的微調(diào)實現(xiàn)裂縫圖像的全部召回，最后在驗證階段進行三級網(wǎng)絡(luò)裂縫圖像的層次化級聯(lián)篩選，測試實驗結(jié)果表明所構(gòu)建的模型可針對不平衡的裂縫與非裂縫二分類篩選問題，達到了裂縫圖像基本無漏篩前提下盡可能多地篩除非裂縫圖像的目的。本文方法有效實現(xiàn)路面裂縫的自動篩選，降低了人工篩選的工作強度，并為后續(xù)路面圖像裂縫自動分割及病害損壞程度評估奠定基礎(chǔ)。

[1] 馬常霞, 趙春霞, 狄峰, 等. 自然環(huán)境下路面裂縫的識別[J]. 工程圖學(xué)學(xué)報, 2011, 32(4): 20-26.

MA C X, ZHAO C X, DI F, et al. Road crack detection under natural environment[J]. Journal of Engineering Graphics, 2011, 32(4): 20-26 (in Chinese).

[2] 靳華中, 萬方, 葉志偉. 結(jié)合路面深度影像梯度方向直方圖和分水嶺算法的裂縫檢測[J]. 華中師范大學(xué)學(xué)報: 自然科學(xué)版, 2017, 51(5): 715-722.

JIN H Z, WAN F, YE Z W. Pavement crack detection fused HOG and watershed algorithm of range image[J]. Journal of Central China Normal University: Natural Sciences, 2017, 51(5): 715-722 (in Chinese).

[3] 盧紫微, 張燕, 常東超, 等. 基于多特征分析的路面裂縫檢測算法[J]. 控制工程, 2018, 25(4): 591-595.

LU Z W, ZHANG Y, CHANG D C, et al. A road crack detection algorithm based on multi-feature analysis[J]. Control Engineering of China, 2018, 25(4): 591-595 (in Chinese).

[4] 邱延峻, 王國龍, 陽恩慧, 等. 基于多特征檢驗的三維瀝青路面裂縫檢測[J]. 西南交通大學(xué)學(xué)報, 2020, 55(3): 518-524.

QIU Y J, WANG G L, YANG E H, et al. Crack detection of 3D asphalt pavement based on multi-feature test[J]. Journal of Southwest Jiaotong University, 2020, 55(3): 518-524 (in Chinese).

[5] 譚衛(wèi)雄, 王育堅, 李深圳. 基于改進人工蜂群算法和BP神經(jīng)網(wǎng)絡(luò)的瀝青路面路表裂縫識別[J]. 鐵道科學(xué)與工程學(xué)報, 2019, 16(12): 2991-2998.

TAN W X, WANG Y J, LI S Z. Crack identification of asphalt pavement surface based on improved artificial bee colony algorithm and BP neural network[J]. Journal of Railway Science and Engineering, 2019, 16(12): 2991-2998 (in Chinese).

[6] 趙任華. 基于兩階段卷積神經(jīng)網(wǎng)絡(luò)的路面裂縫識別方法研究[D]. 天津: 河北工業(yè)大學(xué), 2015.

ZHAO R H. Research on pavement crack recognition method based on two-stage convolutional neural network[D]. Tianjin: Hebei University of Technology, 2015 (in Chinese).

[7] GOPALAKRISHNAN K, KHAITAN S K, CHOUDHARY A, et al. Deep convolutional neural networks with transfer learning for computer vision-based data-driven pavement distress detection[J]. Construction and Building Materials, 2017, 157: 322-330.

[8] 沙愛民, 童崢, 高杰. 基于卷積神經(jīng)網(wǎng)絡(luò)的路表病害識別與測量[J]. 中國公路學(xué)報, 2018, 31(1): 1-10.

SHA A M, TONG Z, GAO J. Recognition and measurement of pavement disasters based on convolutional neural networks[J]. China Journal of Highway and Transport, 2018, 31(1): 1-10 (in Chinese).

[9] ZHANG A, WANG K C P, FEI Y, et al. Automated pixel-level pavement crack detection on 3D asphalt surfaces with a recurrent neural network[J]. Computer-Aided Civil and Infrastructure Engineering, 2019, 34(3): 213-229.

[10] 李剛, 劉強偉, 萬健, 等. 復(fù)雜背景下交錯低秩組卷積混合深度網(wǎng)絡(luò)的路面裂縫檢測算法研究[J]. 激光與光電子學(xué)進展, 2020, 57(14): 287-296.

LI G, LIU Q W, WAN J, et al. A novel pavement crack detection algorithm using interlaced low-rank group convolution hybrid deep network under a complex background[J]. Laser & Optoelectronics Progress, 2020, 57(14): 287-296 (in Chinese).

[11] 侯越, 陳逸涵, 顧興宇, 等. 基于卷積自編碼的瀝青路面目標(biāo)與裂縫智能識別[J]. 中國公路學(xué)報, 2020, 33(10): 288-303.

HOU Y, CHEN Y H, GU X Y, et al. Automatic identification of pavement objects and cracks using the convolutional auto-encoder[J]. China Journal of Highway and Transport, 2020, 33(10): 288-303 (in Chinese).

[12] 張德津, 李清泉, 陳穎, 等. 基于空間聚集特征的瀝青路面裂縫檢測方法[J]. 自動化學(xué)報, 2016, 42(3): 443-454.

ZHANG D J, LI Q Q, CHEN Y, et al. Asphalt pavement crack detection based on spatial clustering feature[J]. Acta Automatica Sinica, 2016, 42(3): 443-454 (in Chinese).

[13] EISENBACH M, STRICKER R, SEICHTER D, et al. How to get pavement distress detection ready for deep learning? A systematic approach[C]//2017 International Joint Conference on Neural Networks (IJCNN). New York: IEEE Press, 2017: 2039-2047.

[14] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2016: 770-778.

[15] 車艷麗. 基于深度學(xué)習(xí)的路面裂縫分類與識別技術(shù)研究與實現(xiàn)[D]. 西安: 長安大學(xué), 2018.

CHE Y L. Research and implementation of pavement crack classification and recognition based on deep learning[D]. Xi’an: Changan University, 2018 (in Chinese).

[16] 常亮, 鄧小明, 周明全, 等. 圖像理解中的卷積神經(jīng)網(wǎng)絡(luò)[J]. 自動化學(xué)報, 2016, 42(9): 1300-1312.

CHANG L, DENG X M, ZHOU M Q, et al. Convolutional neural networks in image understanding[J]. Acta Automatica Sinica, 2016, 42(9): 1300-1312 (in Chinese).

[17] ZOU Q, CAO Y, LI Q Q, et al. CrackTree: automatic crack detection from pavement images[J]. Pattern Recognition Letters, 2012, 33(3): 227-238.

[18] ZHAO M H, ZHONG S S, FU X Y, et al. Deep residual shrinkage networks for fault diagnosis[J]. IEEE Transactions on Industrial Informatics, 2020, 16(7): 4681-4690.

Multi-level convolutional neural network for asphalt pavement crack image hierarchical filtering

FENG Jun1, ZHAO Ying1, BI Jian-kang1, LAI Bai-jiang1, HU Jing-jing2

(1. School of Information Science and Technology, Shijiazhuang Tiedao University, Shijiazhuang Hebei 050043, China; 2. School of Computer Science and Technology, Beijing Institute of Technology, Beijing 100081, China)

The quick and accurate identification and evaluation of asphalt pavement crack disease has become one of the important tasks of pavement maintenance and road safety. There are a number of non-crack images in the actual collected pavement images. On the premise of ensuring that there is no missing filter in the crack image, it is of great practical significance to improve the precision of crack images and true negative rate of non-crack pavement images as high as possible, thus reducing the work intensity of manual filtering, as well as subsequent automatic crack segmentation and disease damage assessment. A multi-level convolutional neural network method for asphalt pavement image filtering was proposed, which consists of three stages, i.e, training, fine-tuning and validation. The input fine-tuning increment of softmax layer was obtained using fine-tuning set. In order to avoid the problem that the precision decreases when the recall of crack image increases, based on the comparison of the similarities and differences of non-crack images excluded by different convolutional neural networks, a hierarchical processing model was proposed, in which the improved AlexNet was employed as the first level filtering network and VGG16 or ResNet50 as the second or third level filtering network. The experimental results on noisy and complex road images show that the three-level hierarchical filtering model can achieve high true negative rate and high accuracy when recalling crack images 100%. Compared with other methods, the experimental results show that the proposed method can effectively solve the problem of missing filter in asphalt pavement crack image, and can produce a better detection effect.

asphalt pavement image; crack filtering; convolutional neural network; softmax layer fine-tuning; multi-level network

TP 391

10.11996/JG.j.2095-302X.2021050719

A

2095-302X(2021)05-0719-10

2020-10-23；

2021-03-14

14 March，2021

23 October，2020；

國家自然科學(xué)基金項目(61772070，61972267)；河北省高等學(xué)校科學(xué)技術(shù)研究重點項目(ZD2021333)；河北省研究生專業(yè)學(xué)位教學(xué)案例庫建設(shè)項目(KCJSZ2020068)；石家莊鐵道大學(xué)研究生創(chuàng)新資助項目(YC2021075)

National Natural Science Foundation of China (61772070, 61972267); Key Projects of Science and Technology Research in Colleges and Universities of Hebei Province (ZD2021333); Hebei Province Graduate Professional Degree Teaching Case Library Construction Project (KCJSZ2020068); Graduate Innovation Funding Project of Shijiazhuang Railway University (YC2021075)

封 筠(1971-)，女，河北石家莊人，教授，博士。主要研究方向為計算機視覺與機器學(xué)習(xí)等。E-mail：fengjun@stdu.edu.cn

FENG Jun (1971–), female, professor, Ph.D. Her main research interests cover computer vision and machine learning, etc.E-mail：fengjun@stdu.edu.cn