肖彭昊 楊修偉 范媛媛

(1.長(zhǎng)江大學(xué)地球物理與石油資源學(xué)院，湖北 武漢 430100；2.鄭州大學(xué)地球科學(xué)與技術(shù)學(xué)院，河南 鄭州 450001)

路面裂縫作為道路中常見(jiàn)病害之一，是道路養(yǎng)護(hù)工作的重點(diǎn)和難點(diǎn)。目前，基于圖像處理的方法是路面病害的常用檢測(cè)方法[1]。

國(guó)外現(xiàn)有研究中，任亮[2]采用脊線檢測(cè)方式對(duì)所有可疑裂縫目標(biāo)進(jìn)行一一標(biāo)注，最大程度地保留明顯的裂縫特征，通過(guò)Prim 算法來(lái)構(gòu)造最小生成樹(shù)將所有不連續(xù)裂縫相連，刪除所有強(qiáng)制偽連接，通過(guò)填充操作增強(qiáng)裂縫并獲得完整的裂縫結(jié)構(gòu)。Li[3]提出基于邊界框的自動(dòng)化圖像分割方法，該方法嵌入了多種子融合算法，結(jié)合車輪路徑和車道標(biāo)記的位置生成邊界框，對(duì)裂縫的災(zāi)害嚴(yán)重性進(jìn)行評(píng)估，取得了不錯(cuò)的分類效果。Saar 等[4]提出一種使用二級(jí)分段神經(jīng)網(wǎng)絡(luò)檢測(cè)裂縫圖像的道路路面測(cè)量系統(tǒng)，該方法的預(yù)測(cè)效果要優(yōu)于貝葉斯以及最近鄰分類器。Miguel[5]提出了基于線性SVM 的路面破損分類方法，該方法能將錯(cuò)誤分類特征的影響降低，但是，除了使用分類器算法外，該方法的效果還取決于樣本數(shù)量，正樣本和負(fù)樣本的比例以及樣本的泛用性。Zhang 等[6]訓(xùn)練了一個(gè)基于監(jiān)督學(xué)習(xí)的深度卷積神經(jīng)網(wǎng)絡(luò)，對(duì)收集的每個(gè)路面圖像塊進(jìn)行分類，通過(guò)對(duì)智能手機(jī)收集的圖像數(shù)據(jù)集進(jìn)行評(píng)估，與手工提取特征對(duì)比，該方法裂縫檢測(cè)性能更好，證明了將深度學(xué)習(xí)與路面裂縫識(shí)別相結(jié)合的可行性。Zhang等[7]提出了一種基于遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks，RNN)的三維瀝青路面全自動(dòng)像素級(jí)裂縫檢測(cè)方法，實(shí)現(xiàn)了序列生成和序列建模兩個(gè)階段的序列處理方式，通過(guò)對(duì)500 幅路面圖像進(jìn)行測(cè)試，取得了不錯(cuò)的效果。

在國(guó)內(nèi)研究中，李剛等[8]提出基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)識(shí)別裂縫，該方法能很好地提取邊緣特征，具有較強(qiáng)的抗噪能力。沙愛(ài)民等[9]建立卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)設(shè)備采集后尺寸分割的路面圖像進(jìn)行訓(xùn)練，最終實(shí)現(xiàn)路面裂縫、坑槽病害識(shí)別。張采芳等[10]提出了基于特征分析的裂縫分類方法，在不構(gòu)建分類器的前提下，利用方向特征調(diào)整閾值以確定類別，然后根據(jù)分布密度的特性，識(shí)別塊狀裂縫與龜裂裂縫。陳瑤等[11]利用爬壁機(jī)器人采集橋梁路面裂縫，使用小波變換以及二值圖像路面形態(tài)學(xué)分析增強(qiáng)圖像中的裂縫特征并提取裂縫特征，最后運(yùn)用SVM 進(jìn)行分類識(shí)別。李偉等[12]對(duì)預(yù)處理后二值化的路面裂縫圖像以聚類方式進(jìn)行識(shí)別，運(yùn)用杠桿原理確定聚類后裂縫中心點(diǎn)位置，通過(guò)計(jì)算路面裂縫弧度辨別路面裂縫的類型，并對(duì)網(wǎng)狀裂縫的毀壞程度進(jìn)行了參數(shù)分析。錢(qián)彬等[13]將多屬性特征構(gòu)建在不同的結(jié)構(gòu)，并嵌套到矩陣分解算法中，可以實(shí)現(xiàn)函數(shù)的自適應(yīng)融合和原始灰度屬性維度的減少，從而成為一個(gè)整體的目標(biāo)函數(shù)。琚曉輝等[14]提出SVM-Adaboost 分類器對(duì)SVM 參數(shù)進(jìn)行動(dòng)態(tài)優(yōu)化，自適應(yīng)地調(diào)整訓(xùn)練樣本分布，隨著訓(xùn)練迭代次數(shù)的改變，最終由弱分類器多次迭代，生成分類誤差最小的強(qiáng)分類器，有效提高分類器的性能。

本文提出的基于VGGNet-plus 網(wǎng)絡(luò)模型的路面裂痕自動(dòng)分類識(shí)別方法，是在傳統(tǒng)的VGGNet[15]的基礎(chǔ)上，增加了Dropout 層和殘差層，并在每個(gè)卷積層后連接批量正則化層和LeakyReLu 層。該網(wǎng)絡(luò)保留了VGGNet 簡(jiǎn)潔的網(wǎng)絡(luò)結(jié)構(gòu)，并且通過(guò)不斷加深網(wǎng)絡(luò)，使用小濾波器卷積層組合來(lái)提升性能，解決了訓(xùn)練量過(guò)多的問(wèn)題，簡(jiǎn)化計(jì)算量的同時(shí)也加速了模型的收斂。本文針對(duì)訓(xùn)練樣本有限的問(wèn)題，提出了通過(guò)灰度處理，上下翻轉(zhuǎn)，左右翻轉(zhuǎn)，灰度二值處理，均值濾波，灰度gamma 處理，高斯濾波，中值濾波等方法來(lái)進(jìn)行數(shù)據(jù)增容，不僅增加了數(shù)據(jù)的數(shù)量，同時(shí)對(duì)采集光照條件、角度、噪聲等造成的影響具有更強(qiáng)的適應(yīng)性和魯棒性。

1 基于VGGNet-plus 的裂痕分類方法

本文所使用的路面裂縫圖像數(shù)據(jù)集來(lái)源于道路檢測(cè)車拍攝的路面視頻和智能手機(jī)拍攝的路面圖像。根據(jù)裂縫特征，將數(shù)據(jù)集分為縱向裂紋、橫向裂紋、塊狀裂紋、龜裂裂紋、無(wú)裂紋5 類典型裂縫(圖1)。該方法的關(guān)鍵步驟包括:數(shù)據(jù)增容，VGGNet-plus 網(wǎng)絡(luò)搭建與訓(xùn)練，模型集成，裂痕自動(dòng)識(shí)別。

圖1 典型路面裂縫特征

1.1 數(shù)據(jù)增容

由于訓(xùn)練數(shù)據(jù)過(guò)少，我們首先通過(guò)灰度處理，上下翻轉(zhuǎn)，左右翻轉(zhuǎn)，灰度二值處理，均值濾波，灰度gamma 處理，高斯濾波，中值濾波等方法來(lái)進(jìn)行數(shù)據(jù)增容，完成數(shù)據(jù)集的構(gòu)造(圖2)。通過(guò)數(shù)據(jù)增容，不僅增加了數(shù)據(jù)的數(shù)量，同時(shí)對(duì)采集光照條件、角度、噪聲等造成的影響具有更強(qiáng)的適應(yīng)性和魯棒性。將增容后的樣本數(shù)據(jù)通過(guò)VGGNet-plus 卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行裂縫辨別訓(xùn)練，獲取訓(xùn)練后的神經(jīng)元參數(shù)集合。

圖2 數(shù)據(jù)增容方式

1.2 VGGNet-plus 分類識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)

VGGNet-plus 網(wǎng)絡(luò)結(jié)構(gòu)如表1 所示。其中包括了5 個(gè)卷積層、5 個(gè)殘差層、1 個(gè)平坦層以及3 個(gè)全連接層。殘差層和卷積層內(nèi)部結(jié)構(gòu)如圖3 所示。

圖3 殘差層和卷積層內(nèi)部結(jié)構(gòu)

表1 VGGNet-plus 網(wǎng)絡(luò)結(jié)構(gòu)

每個(gè)卷積層中利用核大小分別為2×2 尺度的特征圖進(jìn)行最大池化，使用3×3 卷積核進(jìn)行特征提取(體現(xiàn)在圖上)，各卷積層后都接有批量標(biāo)準(zhǔn)化層和LeakyReLu 層，簡(jiǎn)化計(jì)算量，同時(shí)加速模型收斂。殘差層通過(guò)充分提取裂縫圖像的屬性來(lái)減少模型參數(shù)的數(shù)量，并解決了網(wǎng)絡(luò)層數(shù)過(guò)深引起的計(jì)算量大的問(wèn)題，將傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的逐層訓(xùn)練方式調(diào)整為逐階段訓(xùn)練方式。然后通過(guò)3 個(gè)全連接層存儲(chǔ)所有特征參數(shù)，加入dropout 層，每次訓(xùn)練丟棄一半的參數(shù)，從而防止模型過(guò)擬合。

1.3 模型訓(xùn)練與模型集成

模型訓(xùn)練利用Adam 優(yōu)化算法取代傳統(tǒng)的SGD算法，反向傳播后迭代更新網(wǎng)絡(luò)權(quán)重，通過(guò)梯度調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率。通過(guò)模型集成中的Bagging 方法，在原數(shù)據(jù)集的基礎(chǔ)上有放回選取，形成多個(gè)子訓(xùn)練集，然后把每個(gè)基模型預(yù)測(cè)的結(jié)果進(jìn)行綜合評(píng)估產(chǎn)生最佳的預(yù)測(cè)結(jié)果。

1.4 模型評(píng)價(jià)

混淆矩陣是衡量分類模型準(zhǔn)確度中最直觀，計(jì)算最簡(jiǎn)單的方法。它也是評(píng)估模型結(jié)果的度量標(biāo)準(zhǔn)，通常用于評(píng)估分類器的性能。除了混淆矩陣之外，本文還使用準(zhǔn)確度和召回率指標(biāo)來(lái)衡量網(wǎng)絡(luò)模型的性能，并計(jì)算F1-score 以充分評(píng)估模型的影響(表2)。

表2 準(zhǔn)確率、召回率和F1-score 的計(jì)算公式

其中，準(zhǔn)確率是正確識(shí)別和分類的目標(biāo)與總體目標(biāo)的比率，反映了模型區(qū)分圖像背景的能力。準(zhǔn)確率越高，意味著模型就可以更好地區(qū)分復(fù)雜背景。召回率是最終被正確歸為其目標(biāo)類別的圖像數(shù)量占該目標(biāo)類別圖像總數(shù)的比例，反映了模型在圖像中檢索目標(biāo)的能力。召回率越高，意味著模型的識(shí)別能力就越高。F1-score 是兩者的綜合表現(xiàn)，其分值越高，模型越可靠。

2 實(shí)驗(yàn)結(jié)果與分析

本文以道路檢測(cè)車拍攝的路面視頻和智能手機(jī)拍攝的路面圖像為實(shí)驗(yàn)樣本進(jìn)行算法驗(yàn)證。其中，每類裂縫有800 個(gè)樣本數(shù)據(jù)，我們通過(guò)數(shù)據(jù)增容，將數(shù)據(jù)集擴(kuò)展為原來(lái)的12 倍，獲得9 600 個(gè)樣本。選取8 400 個(gè)作為我們的訓(xùn)練集，1 200 個(gè)作為測(cè)試集。訓(xùn)練過(guò)程中，隨機(jī)選擇訓(xùn)練集的90%作為訓(xùn)練數(shù)據(jù)，剩下的10%作為驗(yàn)證數(shù)據(jù)。

利用訓(xùn)練好的VGGNet-plus 網(wǎng)絡(luò)對(duì)測(cè)試集進(jìn)行測(cè)試比較，并繪制混淆矩陣、計(jì)算準(zhǔn)確率、召回率和F1值(圖4，表3)。可以看出，混淆矩陣對(duì)角線顏色較深，總體準(zhǔn)確率、召回率和F1值分別為0.924、0.905 和0.883，縱向裂紋、橫向裂紋、龜裂裂紋和無(wú)裂紋的準(zhǔn)確率和召回率均達(dá)到了90%以上，表明模型測(cè)試效果較好。

圖4 VGGNet-plus 模型混淆矩陣

表3 VGGNet-plus 模型評(píng)價(jià)

為了突出本文方法的優(yōu)勢(shì)，選擇了3 種經(jīng)典圖像分類方法在同等條件下進(jìn)行對(duì)比，即AIexNet 算法、InceptionNet 算法以及VGGNet 算法。表4 為各種方法對(duì)裂縫圖像進(jìn)行分類的準(zhǔn)確率、召回率、F1值以及耗時(shí)的對(duì)比。為了保證客觀性，實(shí)驗(yàn)結(jié)果均為執(zhí)行20 次實(shí)驗(yàn)得到的平均值。

表4 路面裂縫分類算法測(cè)試結(jié)果比較

從表4 中的各項(xiàng)評(píng)價(jià)指標(biāo)可以看出，AlexNet 網(wǎng)絡(luò)層數(shù)相對(duì)較淺，應(yīng)對(duì)復(fù)雜環(huán)境下各種干擾因素的能力也相對(duì)較差，因此，識(shí)別結(jié)果和計(jì)算效率均是四類方法中最差的。InceptionNet 相比于AlexNet 既減少了參數(shù)量，又在一定程度上擴(kuò)展其深度和廣度，提高了非線性表達(dá)能力，識(shí)別結(jié)果和計(jì)算效率得到了一定的提升。VGGNet 使用多個(gè)相同的卷積核，使決策函數(shù)更有判別性，識(shí)別精度和訓(xùn)練耗時(shí)均優(yōu)于AlexNet方法，但不及InceptionNet 方法。本文提出的VGGNet-plus 模型保留了VGGNet 模型的主要結(jié)構(gòu)，并通過(guò)增加Batch＿normalize(BN)層和LeakyReLu 層緩解梯度消失，梯度爆炸等問(wèn)題，增加Dropout 層和殘差層解決了因網(wǎng)絡(luò)過(guò)深，參數(shù)過(guò)大引起的過(guò)擬合問(wèn)題，從而加快訓(xùn)練速度，加速模型收斂。表4 結(jié)果也表明:本文提出的方法具有最高的精度以及最小耗時(shí)，優(yōu)于AIexNet，InceptionNet 和VGGNet 模型。

4 結(jié)論

本文提出了一種基于VGGNet-plus 卷積神經(jīng)網(wǎng)絡(luò)識(shí)別路面5 種典型裂縫的方法，該方法在VGGNet算法的基礎(chǔ)上，增加了Dropout 層和殘差層，此外，各卷積層后都接有批量標(biāo)準(zhǔn)化層和LeakyReLu 層，解決訓(xùn)練參數(shù)過(guò)多，從而加快訓(xùn)練速度，降低計(jì)算量，同時(shí)加速模型收斂。本文通過(guò)對(duì)比AIexNet、InceptionNet、VGGNet 以及本文方法(VGGNet-plus)，分析了各模型的優(yōu)缺點(diǎn)，評(píng)價(jià)了各模型的圖像識(shí)別能力、運(yùn)行性能，證明本文方法的性能最佳。

本文提出的裂縫分類算法具有分類效果較優(yōu)、訓(xùn)練速度較快、同時(shí)在小樣本訓(xùn)練性能較佳等優(yōu)勢(shì)。但仍存在一些可改進(jìn)的地方:

(1)增加更多的噪音數(shù)據(jù)，提高模型的泛化能力，增強(qiáng)其魯棒性。

(2)使用TTA(Test Time Augmentation)集成學(xué)習(xí)，對(duì)同一個(gè)樣本預(yù)測(cè)三次，然后對(duì)三次結(jié)果進(jìn)行平均。