孟慶成,萬 達(dá),吳浩杰,李明健,齊 欣

(1.西南石油大學(xué)土木工程與測繪學(xué)院,四川 成都 610500;2.西南交通大學(xué)土木工程學(xué)院,四川 成都 610031)

混凝土結(jié)構(gòu)在服役過程中易出現(xiàn)多種影響結(jié)構(gòu)安全運營和使用壽命的病害,裂縫是最常見的一種。振搗不充分、施工工藝不當(dāng)、荷載的設(shè)置不合理、收縮徐變等都會使混凝土結(jié)構(gòu)產(chǎn)生裂縫[1]。及時發(fā)現(xiàn)混凝土結(jié)構(gòu)的裂縫,可為維修養(yǎng)護(hù)工作提供依據(jù)。截至2019年底,我國鐵路里程139 000 km,公路里程5 012 500 km[2]。基礎(chǔ)設(shè)施規(guī)模巨大又以混凝土結(jié)構(gòu)為主,給混凝土結(jié)構(gòu)檢修工作帶來了嚴(yán)峻挑戰(zhàn),因此需要一種高效準(zhǔn)確的混凝土裂縫檢測方法應(yīng)用于檢修工作。

隨著傳統(tǒng)機器學(xué)習(xí)算法的飛速發(fā)展,各國學(xué)者基于此對混凝土結(jié)構(gòu)檢測方法開展了大量研究。包龍生等[3]通過編寫神經(jīng)網(wǎng)絡(luò)證明了利用神經(jīng)網(wǎng)絡(luò)對橋梁損傷識別的可行性。陳瑤等[4]基于橋梁壁面裂紋,運用小波變換對圖像進(jìn)行處理后使用支持向量機方法實現(xiàn)裂縫分類。魏武等[5]利用小波變換和拉東(Radon)變換提取特征值,使用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行裂縫分類,獲得了較高的辨識度。王睿等[6]通過去除兩值圖像大部分雜質(zhì),后建立RBF-SVM算法實現(xiàn)裂縫自動判別,可高效地實現(xiàn)裂縫識別并驗證裂縫特征分配的重要性。傳統(tǒng)算法若數(shù)據(jù)量較大,算法性能會受到影響,易出現(xiàn)過擬合,且在提取目標(biāo)豐富度的能力上低于深度學(xué)習(xí)。

深度學(xué)習(xí)作為近年來人工智能領(lǐng)域的新型算法,由于其相對于傳統(tǒng)算法的優(yōu)越性,在工業(yè)領(lǐng)域得到了廣泛的應(yīng)用[7]。其概念由G.E.Hinton等[8]于2006年提出,它包含多隱含層和感知層,能更好地描述抽象和深層次的信息。劉新根等[9]使用兩個深度卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)了對隧道襯砌和裂縫圖像的分類識別。C.V.Dung等[10]利用基于遷移學(xué)習(xí)的VGG16網(wǎng)絡(luò),優(yōu)化后可對鋼橋梁的角撐板節(jié)點疲勞裂紋進(jìn)行識別,相比于原始網(wǎng)絡(luò),魯棒性和準(zhǔn)確性均得到了提高。K.Jang等[11]提出使用混合圖像的基于深度學(xué)習(xí)的混凝土裂縫檢測技術(shù),使用遷移訓(xùn)練的GoogleNet卷積神經(jīng)網(wǎng)絡(luò),實現(xiàn)裂紋識別和可視化。K.Makantasis等[12]利用深度學(xué)習(xí)優(yōu)勢,分層構(gòu)造復(fù)雜的特征并利用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建深層特征,實現(xiàn)了對于隧道結(jié)構(gòu)裂縫的快速預(yù)測。王麗蘋等[13]在混凝土路面裂縫識別任務(wù)中對AlexNet進(jìn)行優(yōu)化設(shè)計獲得了更高的識別準(zhǔn)確率。深度學(xué)習(xí)代表算法之一的卷積神經(jīng)網(wǎng)絡(luò)具有表征學(xué)習(xí)的能力,上述卷積神經(jīng)網(wǎng)絡(luò)在混凝土結(jié)構(gòu)裂縫檢測任務(wù)中仍存在樣本數(shù)據(jù)量較小,不能滿足網(wǎng)絡(luò)模型訓(xùn)練的需要;使用的算法模型出現(xiàn)的時間相對較早的問題,對于圖像的處理識別性能相對不足。

基于上述分析,筆者提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的混凝土結(jié)構(gòu)裂縫智能檢測方法;首先為滿足網(wǎng)絡(luò)模型訓(xùn)練需要,使用數(shù)據(jù)擴增和圖像分割技術(shù)建立了較大型的混凝土結(jié)構(gòu)裂縫數(shù)據(jù)集;然后搭建具有殘差結(jié)構(gòu)的18層ResNet卷積神經(jīng)網(wǎng)絡(luò),通過使用不同的學(xué)習(xí)率策略、批量大小、優(yōu)化函數(shù)以及使用不同遷移學(xué)習(xí)方式對網(wǎng)絡(luò)進(jìn)行優(yōu)化設(shè)計,對比不同超參數(shù)下網(wǎng)絡(luò)模型在混凝土裂縫分類識別任務(wù)中的性能;最后使用混淆矩陣從多指標(biāo)方面對模型性能進(jìn)行綜合評判,驗證優(yōu)化后的網(wǎng)絡(luò)模型在混凝土裂縫識別任務(wù)中的可行性。研究表明:優(yōu)化后的網(wǎng)絡(luò)模型可以提高混凝土裂縫識別的準(zhǔn)確率,為混凝土維修養(yǎng)護(hù)工作提供依據(jù)。

1 數(shù)據(jù)集建立

1.1 數(shù)據(jù)采集

混凝土裂縫數(shù)據(jù)采集于已修建完成的五座橋梁結(jié)構(gòu)和七棟建筑結(jié)構(gòu),選用的拍攝設(shè)備為檢測人員日常攜帶的智能手機,共計采集6 d,獲得1 216張分辨率為4 032×3 024的混凝土結(jié)構(gòu)混凝土裂縫圖像,典型的原始裂縫圖如圖1所示。

圖1 裂縫圖Fig.1 Crack diagram

1.2 數(shù)據(jù)處理

為滿足網(wǎng)絡(luò)模型訓(xùn)練的需要和避免網(wǎng)絡(luò)模型優(yōu)化設(shè)計中出現(xiàn)過擬合現(xiàn)象,采用數(shù)據(jù)擴增和圖像分割技術(shù)對采集到的裂縫圖像進(jìn)行處理,擴增時使用旋轉(zhuǎn)的方法,將原始圖像旋轉(zhuǎn)90°和180°,使用圖像分割技術(shù)將裂縫圖片裁剪成分辨率為224×224的統(tǒng)一尺寸,且包含清晰度不同的樣本,共獲得364 800張包含背景和裂縫的圖像,依據(jù)清晰度原則進(jìn)行篩選,篩選后得到27 157張圖像,其中14 300張裂縫圖,12 857張背景圖,按7∶3的比例劃分為訓(xùn)練集和測試集,如表1所示。分割后得到的裂縫圖和背景圖如圖2所示。

表1 數(shù)據(jù)集劃分Table 1 Data set division

圖2 分割后圖像(224×224)Fig.2 Image after segmentation(224×224)

2 混凝土裂縫識別模型

2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)由卷積層、池化層和全連接層堆疊形成。將裂縫圖像作為數(shù)據(jù)輸入網(wǎng)絡(luò)時,卷積操作會提取圖像數(shù)據(jù)中的有效特征并傳遞到后面的結(jié)構(gòu)層中,采樣層進(jìn)行特征選擇,全連接層對提取的特征進(jìn)行壓縮,以此實現(xiàn)分類的功能,卷積神經(jīng)網(wǎng)絡(luò)處理圖像數(shù)據(jù)流程如圖3所示。

圖3 卷積神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)處理示意圖Fig.3 The data processing diagram of convolutional neural network

2.2 搭建殘差網(wǎng)絡(luò)

殘差模塊[14]的引入可解決堆疊過深的網(wǎng)絡(luò)出現(xiàn)梯度消失、梯度爆炸或退化等問題。殘差模塊的數(shù)學(xué)表達(dá)式如下:

yn=h(xn)+F(xn,Wn),

(1)

xn+1=xn+f(yn).

(2)

式中:xn和xn+1分別為第N個殘差單元的輸入和輸出;F(xn,Wn)為網(wǎng)絡(luò)層學(xué)習(xí)到的殘差;h(xn)=xn時表示恒等映射;f(yn)為激活函數(shù),這里選用ReLU激活函數(shù)。

由上述兩式可求得當(dāng)網(wǎng)絡(luò)深度從淺層n變?yōu)樯顚覰時學(xué)習(xí)到的特征,如下:

(3)

前向計算中簡單的堆疊網(wǎng)絡(luò)層數(shù)本質(zhì)上是乘法計算的性質(zhì),殘差模塊的應(yīng)用使計算由乘法變?yōu)榧臃?使整個網(wǎng)絡(luò)計算更加穩(wěn)定,向后傳播時,代價函數(shù)為loss時可得到:

(4)

由式(4)可知,更深層次的梯度成分可直接傳遞到其他網(wǎng)絡(luò)層,當(dāng)殘差梯度較小時,由于式中1的存在不會導(dǎo)致梯度消失,梯度衰減得到抑制,進(jìn)一步加強了算法的穩(wěn)定性。

筆者搭建了18層的ResNet殘差網(wǎng)絡(luò),該網(wǎng)絡(luò)主要包含17個卷積層,一個全連接層,其網(wǎng)絡(luò)結(jié)構(gòu)組成如圖4所示。殘差模塊中使用ReLU激活函數(shù)。在網(wǎng)絡(luò)輸出層前使用全局平均池化,該方法的使用可以防止模型出現(xiàn)過擬合現(xiàn)象,增加網(wǎng)絡(luò)模型的魯棒性。

圖4 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 The structure diagram of network

2.3 ReLU激活函數(shù)

筆者使用的ReLU激活函數(shù),具有的單側(cè)抑制、稀疏激活性等特點相比于Sigmoid和Tanh激活函數(shù)具有更好的收斂速度和計算效率,數(shù)學(xué)表達(dá)式如下:

(5)

函數(shù)圖像如圖5所示,由其分段函數(shù)的性質(zhì)可知,ReLU函數(shù)會令所有小于等于零的數(shù)值都變?yōu)榱?大于零的部分則保持不變。

圖5 ReLU函數(shù)圖像Fig.5 ReLU function image

2.4 超參數(shù)

超參數(shù)對于卷積神經(jīng)網(wǎng)絡(luò)運行效果的優(yōu)劣有著重要的影響,不同超參數(shù)的選取以及組合在很大程度上決定了網(wǎng)絡(luò)訓(xùn)練時間、收斂速度等,筆者主要選取學(xué)習(xí)率(Learning rate)、批量大小(Batch_size)和兩種優(yōu)化函數(shù)進(jìn)行組合,在使用和不使用遷移學(xué)習(xí)兩種情況下運行筆者所搭建的網(wǎng)絡(luò)模型。

2.4.1 學(xué)習(xí)率

學(xué)習(xí)率是一種與目標(biāo)函數(shù)能否收斂以及收斂時間有關(guān)的超參數(shù)。當(dāng)學(xué)習(xí)率的值設(shè)置過大時,會導(dǎo)致整個網(wǎng)絡(luò)無法收斂,當(dāng)學(xué)習(xí)率設(shè)置較大時,會出現(xiàn)整個網(wǎng)絡(luò)振蕩收斂的結(jié)果。文中設(shè)置兩種學(xué)習(xí)率下降方式,如圖6所示,其中學(xué)習(xí)率策略一是指數(shù)衰減式,每迭代一次,學(xué)習(xí)率衰減0.9,學(xué)習(xí)率策略二是分段常數(shù)衰減式,每迭代10次,學(xué)習(xí)率衰減0.55,其計算公式:

圖6 學(xué)習(xí)率下降策略Fig.6 The reduction strategy of learning rate

new_lr=old_lr×gamma(epoch/step-size).

(6)

式中:gamma為衰減率;epoch為迭代次數(shù);step-size為衰減步長。

2.4.2 批量大小

為保證網(wǎng)絡(luò)模型可以提取到有效的裂縫信息，結(jié)合本次實驗所使用的設(shè)備,批量大小的取值分別為32和64。設(shè)置合理的批量大小可以在設(shè)備的內(nèi)存效率和內(nèi)存容量之間找到最佳平衡點,提高模型的運行速度。批量取值過小會增加訓(xùn)練時間并使得收斂的難度增加,適當(dāng)?shù)脑龃笈恐悼梢约铀偬荻认陆挡p小訓(xùn)練過程中振動的幅度。

2.4.3 動量梯度下降優(yōu)化函數(shù)

動量梯度下降(Momentum SGD,M_SGD)是在隨機梯度下降算法中引入動量。隨機梯度下降(Stochastic Gradient Descent)的本質(zhì)是求得損失函數(shù)的一階泰勒展開式的近似函數(shù)。在隨機梯度下降中,每一次迭代只需要保證能夠擬合某一個訓(xùn)練樣本即可,并且在計算過程中已開始對網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化,因此,SGD既可以有效地避免冗余數(shù)據(jù)帶來的干擾,也能夠加快網(wǎng)絡(luò)的收斂速度,計算公式為

(7)

wi=wi-1-α▽w.

(8)

其中,x(1),x(2),…,x(m)為訓(xùn)練集中包含的m個樣本,x(j)對應(yīng)目標(biāo)為y(j);w為初始參數(shù);▽w為損失梯度;f(x;w)為學(xué)習(xí)器;α為學(xué)習(xí)率。

但SGD在應(yīng)用過程中會出現(xiàn)陷入局部最優(yōu)解的情況和振蕩收斂的問題,為解決這類問題,在SGD優(yōu)化函數(shù)中引入動量(Momentum),動量的加入使得SGD算法在相關(guān)方向上加速并抑制其振蕩,如圖7所示,動量的優(yōu)化方式如下:

圖7 SGD(虛線)和帶動量的SGD(實線)Fig.7 SGD(dotted line)and SGD with momentum(solid line)

vt=βvt-1+η▽w,

(9)

wt=wt-1-vt.

(10)

式中:vt為初始速度;β為動量更新值,取經(jīng)驗值0.9。

2.4.4 Adam優(yōu)化函數(shù)

Adam[15]優(yōu)化函數(shù)可對隨機目標(biāo)函數(shù)執(zhí)行一階梯度優(yōu)化,適應(yīng)性低階矩估計為其理論基礎(chǔ)。該算法易于實現(xiàn),因其執(zhí)行的是一階梯度優(yōu)化故對設(shè)備內(nèi)存需求較少,該函數(shù)具有的對角縮放不變性使其適用于數(shù)據(jù)規(guī)模較大或參數(shù)較多的問題。其數(shù)學(xué)表達(dá)式如下:

mt=β1mt-1+(1-β1)gt,

(11)

(12)

(13)

(14)

2.5 遷移學(xué)習(xí)

為防止網(wǎng)絡(luò)模型在相對較少的樣本下出現(xiàn)過擬合的現(xiàn)象,降低對實驗硬件設(shè)備的需求等,筆者采用遷移學(xué)習(xí)[16-18]的方法。遷移學(xué)習(xí)是指將在其他模型訓(xùn)練任務(wù)中學(xué)習(xí)到的角、點、紋理等通用信息應(yīng)用于新的任務(wù)中,遷移學(xué)習(xí)的方式有多種,筆者中采用兩種,第一種為固定卷積層,僅改變最終的全連接層,訓(xùn)練時卷積層參數(shù)不變,第二種為僅改變最終的全連接層,訓(xùn)練時更新全部參數(shù),將這兩種方式分別命名為TL1和TL2。

3 實驗結(jié)果分析

3.1 實驗設(shè)備

實驗的設(shè)備型號為Intel(R)Core(TM)i7-8700K CPU,16.0GB內(nèi)存,NVIDIA GeForce GTX 1050 Ti,Windows 10操作系統(tǒng),Python3.7,深度學(xué)習(xí)開源框架PyTorch。

3.2 實驗結(jié)果

實驗中將學(xué)習(xí)率、批量大小以及M_SGD和Adam兩種優(yōu)化函數(shù)進(jìn)行組合,將不同組合模型分別在無遷移學(xué)習(xí)和不同遷移學(xué)習(xí)方式下進(jìn)行訓(xùn)練,運行結(jié)果如表2所示。實際環(huán)境中光照強度、結(jié)構(gòu)物所處位置、噪聲等會影響拍攝圖片的質(zhì)量,圖8為模擬實際可能出現(xiàn)的情況,將原圖增減亮度以及增加噪聲。為驗證模型魯棒性,在第13組實驗?zāi)Ｐ蛥?shù)基礎(chǔ)上對不同處理方式的數(shù)據(jù)集進(jìn)行測試,測試結(jié)果如表3所示。

表2 結(jié)果對比Table 2 Comparation results

圖8 圖片處理Fig.8 Image processing

表3 不同數(shù)據(jù)集測試結(jié)果Table 3 Test results of different data sets

3.3 結(jié)果分析

由表2可以得出:①在超參數(shù)組合相同時,使用遷移學(xué)習(xí)方法二的識別準(zhǔn)確率高于遷移學(xué)習(xí)方法一和不使用遷移學(xué)習(xí)的組合;②使用遷移學(xué)習(xí)方法時,使用優(yōu)化函數(shù)M_SGD的識別準(zhǔn)確率要高于優(yōu)化函數(shù)Adam;③使用遷移學(xué)習(xí)方法時,批量大小取值64的網(wǎng)絡(luò)識別精度優(yōu)于批量大小為32的網(wǎng)絡(luò);④優(yōu)化函數(shù)為M_SGD時,使用學(xué)習(xí)率策略一的效果優(yōu)于學(xué)習(xí)率策略二,優(yōu)化函數(shù)為Adam時,使用學(xué)習(xí)率策略二的效果優(yōu)于學(xué)習(xí)率策略一;⑤第13組參數(shù)下的網(wǎng)絡(luò)在圖像質(zhì)量不同的數(shù)據(jù)集下得到的準(zhǔn)確率值波動較小,證明該參數(shù)下的網(wǎng)絡(luò)具有良好的魯棒性。

不同超參數(shù)組合下網(wǎng)絡(luò)在使用遷移學(xué)習(xí)方法二(TL2)進(jìn)行訓(xùn)練時其準(zhǔn)確率和損失值曲線如圖9所示,每條曲線按遷移學(xué)習(xí)方式

(TLn)-學(xué)習(xí)策略(Lsm)-優(yōu)化器-批量大小命名。由圖9可知，網(wǎng)絡(luò)在迭代約75次時開始收斂,第13組實驗識別準(zhǔn)確率最高,此時識別準(zhǔn)確率為97.98%。

圖9 損失值與準(zhǔn)確率Fig.9 The comparation results of loss values and accuracies

4 模型評價

混淆矩陣(Confusion Matrix)又稱誤差矩陣,可用于圖像分類結(jié)果的評價。筆者為對所優(yōu)化的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行更全面的分析,而不是僅采用準(zhǔn)確率一個指標(biāo),引入了混淆矩陣,通過分別計算分類模型對各類別的識別正確和錯誤的數(shù)量,來反應(yīng)模型的優(yōu)劣,混淆矩陣為

(15)

其中,TP表示裂縫數(shù)據(jù)中模型預(yù)測為裂縫的數(shù)量,FN表示裂縫數(shù)據(jù)中模型預(yù)測為背景的數(shù)量,FP表示背景數(shù)據(jù)中模型預(yù)測為裂縫的數(shù)量,TN表示背景數(shù)據(jù)中模型預(yù)測為背景的數(shù)量。性能優(yōu)異的模型TP與TN的數(shù)量應(yīng)足夠大,FP與FN的數(shù)量應(yīng)足夠小。筆者模型的混淆矩陣結(jié)果如圖10所示,其中TP和TN很大,FN和FP的數(shù)值很小。

圖10 混淆矩陣結(jié)果Fig.10 Confusion matrix result

根據(jù)混淆矩陣的結(jié)果定義四個評判模型性能指標(biāo),分別為準(zhǔn)確率(Accuracy)、精確率(Precision)、靈敏度(Sensitivity)、特異度(Specificity),其表達(dá)式如下:

(16)

(17)

(18)

(19)

其中,Accuracy表示模型預(yù)測正確的結(jié)果占總數(shù)量的比值;Precision表示模型預(yù)測為裂縫的結(jié)果中,模型預(yù)測正確的比值;Sensitivity表示真實值為裂縫的結(jié)果中,模型預(yù)測正確的比值;Specificity表示真實值為背景的結(jié)果中,模型預(yù)測正確的比值。

根據(jù)上述公式,將混淆矩陣的結(jié)果值帶入上述4個公式中，可以求得本文模型中指標(biāo)值,其結(jié)果如表5所示。由表可以看出，筆者搭建的網(wǎng)絡(luò)模型具有良好的性能。

表5 指標(biāo)值Table 5 Index value

5 結(jié) 論

(1)遷移學(xué)習(xí)方式不同,對網(wǎng)絡(luò)運行結(jié)果影響較大,使用正確的遷移學(xué)習(xí)方式可以有效地提高網(wǎng)絡(luò)模型識別精度；其他條件相同時,在訓(xùn)練中更新全部參數(shù)的模型性能優(yōu)于不使用遷移學(xué)習(xí)方法和訓(xùn)練時卷積層參數(shù)不變的網(wǎng)絡(luò)。

(2)當(dāng)僅改變最終的全連接層,訓(xùn)練時更新全部參數(shù),且超參數(shù)組合為:學(xué)習(xí)率以每迭代一次衰減0.9,批量大小取值為64,優(yōu)化函數(shù)為動量梯度下降時,網(wǎng)絡(luò)識別準(zhǔn)確率最高,且網(wǎng)絡(luò)具有良好的魯棒性。

(3)使用混淆矩陣可以對網(wǎng)絡(luò)模型性能從多個指標(biāo)進(jìn)行評判,將混淆矩陣應(yīng)用到模型性能評價工作中,使用混淆矩陣有效證明了筆者模型在裂縫識別任務(wù)中具有優(yōu)異的實用性能。

(4)在遷移方式和其他超參數(shù)相同時,使用M_SGD優(yōu)化函數(shù)獲得的效果要優(yōu)于Adam優(yōu)化函數(shù),在實際應(yīng)用中可優(yōu)先使用M_SGD優(yōu)化函數(shù)。

(5)筆者所提模型經(jīng)優(yōu)化后在裂縫識別任務(wù)中達(dá)到了97.98%的識別準(zhǔn)確率,表明優(yōu)化后的網(wǎng)絡(luò)模型具有良好的裂縫識別能力,可為混凝土裂縫識別檢測提供幫助。