王占飛，李明陽(yáng)，李保險(xiǎn)，李 崢，王樂群

(1.沈陽(yáng)建筑大學(xué)交通與測(cè)繪工程學(xué)院，遼寧 沈陽(yáng) 110168；2.中建二局第四建筑工程有限公司，天津 300457)

隨著基礎(chǔ)設(shè)施建設(shè)的加快，我國(guó)橋梁總量穩(wěn)居世界第一[1]，但伴隨使用時(shí)間的增加，梁體表面出現(xiàn)了各類破損和病害，因此，及時(shí)檢測(cè)出損害位置并進(jìn)行適當(dāng)加固修復(fù)是目前亟需解決的問題。據(jù)統(tǒng)計(jì)，我國(guó)公路危橋中，超過90%的病害是由裂縫導(dǎo)致的。

隨著深度學(xué)習(xí)理論[2]的飛速發(fā)展，在眾多領(lǐng)域中取得了重大成果。與人工檢測(cè)相比，深度學(xué)習(xí)技術(shù)應(yīng)用于橋梁檢測(cè)[3]中，擁有更高的效率和安全性。為此，國(guó)內(nèi)外學(xué)者開展了大量研究。賀志勇等[4]使用搭載高清攝像頭的無人機(jī)采集橋梁底面裂縫圖像，利用八方向的Sobel算子對(duì)圖像進(jìn)行邊緣檢測(cè)，將圖像進(jìn)行形態(tài)學(xué)開運(yùn)算去除噪點(diǎn)，得到了較清晰的二值圖像，最后構(gòu)造了BP神經(jīng)網(wǎng)絡(luò)對(duì)裂縫進(jìn)行識(shí)別分類。Y.J.Cha等[5]將CNN與滑動(dòng)窗口結(jié)合進(jìn)行裂縫檢測(cè)，減少了由于圖像切割對(duì)裂縫的影響，對(duì)裂縫進(jìn)行了分類。王森等[6]將全卷積神經(jīng)網(wǎng)絡(luò)FCN引入到圖像裂紋檢測(cè)中，構(gòu)建了一種Crack FCN模型，實(shí)現(xiàn)了目標(biāo)的裂紋檢測(cè)。這些方法都能夠?qū)α芽p進(jìn)行識(shí)別和分類，但識(shí)別準(zhǔn)確率仍有提高空間且未對(duì)裂縫做出定量測(cè)量。鑒于此，筆者提出將Resnet網(wǎng)絡(luò)應(yīng)用于混凝土橋梁裂縫檢測(cè)中，通過輸入多種復(fù)雜環(huán)境下的裂縫圖像對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試，以更高的準(zhǔn)確率對(duì)裂縫進(jìn)行識(shí)別和分類；對(duì)圖像處理、圖像分割技術(shù)展開研究，以此為理論基礎(chǔ)，基于Matlab開發(fā)了《橋梁裂縫測(cè)量系統(tǒng)》，通過統(tǒng)計(jì)裂縫輪廓處的像素點(diǎn)個(gè)數(shù)，對(duì)裂縫進(jìn)行定量測(cè)量，并評(píng)估了裂縫圖像在不同拍攝高度及角度下測(cè)量精確度，為在役混凝土橋梁健康評(píng)估提供參考指標(biāo)。

1 創(chuàng)建數(shù)據(jù)集

在開源數(shù)據(jù)庫(kù)中[7]獲取2 000張橋梁裂縫圖像，像素為1 024×1 024，由于數(shù)量較少，應(yīng)進(jìn)行數(shù)據(jù)擴(kuò)充。首先，將其分割為像素256×256的圖像，擴(kuò)充后共32 000張圖像，包含帶有裂縫的裂縫圖像和不帶有裂縫的背景圖像。然后，從中選出12 000張裂縫圖像組成裂縫數(shù)據(jù)集及19 500張背景圖像組成背景數(shù)據(jù)集，如圖1所示。最后，從兩個(gè)數(shù)據(jù)集中隨機(jī)選出80%的圖像作為訓(xùn)練樣本，其余20%作為測(cè)試樣本，如表1所示。

表1 訓(xùn)練和測(cè)試樣本量

圖1 數(shù)據(jù)集的組建

2 裂縫圖像預(yù)處理

由于圖像的拍攝環(huán)境受到陽(yáng)光、陰影、雨

水等情況的影響，所得圖像中包含一部分成像質(zhì)量較低的圖像。圖2(a)為光照不足時(shí)所得圖像，圖2(b)為表面存在水漬的情況。為了提升圖像質(zhì)量，需要對(duì)圖像進(jìn)行預(yù)處理。

圖2 圖像數(shù)據(jù)中存在的缺陷

2.1 裂縫細(xì)節(jié)銳化

為突出裂縫邊緣細(xì)節(jié)，采用Bilateral濾波[8]進(jìn)行裂縫輪廓銳化，效果如圖3所示(局部裂縫位置放大8倍)。Bilateral濾波既可以銳化裂縫細(xì)節(jié)、突出裂縫特征，又可以減輕因雨水、污漬等因素對(duì)圖像的影響。

圖3 Bilateral濾波效果對(duì)比

2.2 灰度化

將RGB彩色圖轉(zhuǎn)換為灰度圖(Graying)[9]，可大幅減少后續(xù)計(jì)算量和計(jì)算時(shí)間。若將圖像中的任意像素點(diǎn)定義為(i,j)，此處的灰度值為Gray(i,j)，則3個(gè)顏色通道對(duì)應(yīng)的值分別為B(i,j),R(i,j),G(i,j)。由于圖像的拍攝受到周邊環(huán)境的影響，故對(duì)RGB三原色分量進(jìn)行合適的加權(quán)平均[10]，即可得到最合理的灰度圖像，即：

Gray(i,j)=0.114B(i,j)+0.299R(i,j)+0.587G(i,j).

(1)

2.3 圖像增強(qiáng)

為進(jìn)一步減輕因光照不足導(dǎo)致裂縫不突出的問題，將Bilateral濾波處理的圖像灰度化后再進(jìn)行對(duì)比度增強(qiáng)處理(Contrast enhancement)。若將圖像任意點(diǎn)像素定義為x(i,j)，那么以此點(diǎn)為中心，在窗口大小為(2n+1)×(2n+1)的區(qū)域內(nèi)，其局部均值和方差可表示如下：

(2)

(3)

f(i,j)=mx(i,j)+G(i,j)[x(i,j)-mx(i,j)].

(4)

其中,f(i,j)為增益后的值。對(duì)于增益G，這里取大于1的常數(shù)C，達(dá)到增強(qiáng)的效果，即：

f(i,j)=mx(i,j)+C[x(i,j)-mx(i,j)].

(5)

處理效果如圖4(c)所示。

圖4 增強(qiáng)效果對(duì)比

將所有數(shù)據(jù)進(jìn)行Bilateral濾波、灰度化和圖像增強(qiáng)處理后，裂縫輪廓更加清晰，光照條件不足等情況有所改善，命名本預(yù)處理方法為雙邊濾波-灰度化-對(duì)比度增強(qiáng)(Bilateral-Graying-Contrast enhancement,BGC)，預(yù)處理后的數(shù)據(jù)分配如表2所示，進(jìn)行后續(xù)的訓(xùn)練和測(cè)試。

表2 原圖與預(yù)處理后的數(shù)據(jù)集

3 橋梁裂縫圖像識(shí)別分類

3.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)[11-12]是由具有權(quán)重(Weights)、偏置(Bias)和激活函數(shù)的人工神經(jīng)元構(gòu)成的，接入若干個(gè)輸入的函數(shù)并輸出它們的加權(quán)和。其中有以下幾個(gè)基礎(chǔ)性操作，分別為卷積、激活、池化和全連接，最后通過Softmax得到識(shí)別分類結(jié)果，如圖5所示。

圖5 卷積神經(jīng)網(wǎng)絡(luò)框架

3.2 VGG網(wǎng)絡(luò)模型

VGG網(wǎng)絡(luò)[13]通過反復(fù)堆疊3×3的小型卷積核和2×2的最大池化層，卷積層步長(zhǎng)被設(shè)置為1，構(gòu)筑了16層的網(wǎng)絡(luò)模型。VGG網(wǎng)絡(luò)的結(jié)構(gòu)非常簡(jiǎn)潔，但參數(shù)量較大，筆者使用傳統(tǒng)VGG網(wǎng)絡(luò)作為對(duì)比試驗(yàn)，網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 VGG網(wǎng)絡(luò)結(jié)構(gòu)圖

3.3 Resnet網(wǎng)絡(luò)模型

Resnet網(wǎng)絡(luò)[14]也是卷積神經(jīng)網(wǎng)絡(luò)模型的一種。隨著網(wǎng)絡(luò)越深，映射越難擬合，稱為退化現(xiàn)象。Resnet網(wǎng)絡(luò)的提出就是為了解決這種退化問題，通過短路機(jī)制加入了殘差單元，殘差網(wǎng)絡(luò)原理如圖7所示。

將神經(jīng)網(wǎng)絡(luò)單元內(nèi)要擬合的函數(shù)拆成直接映射部分和殘差部分，即y=F(x)+x。其中，F(xiàn)(x)為殘差函數(shù)，x為映射部分。圖7(a)中，將x直接映射成為y=F(x)輸出，而圖7(b)中，將x映射為y，再將y-x輸出為F(x)，此時(shí)網(wǎng)絡(luò)學(xué)習(xí)的是y-x，并不直接輸出y，因殘差較小，學(xué)習(xí)殘差項(xiàng)更加容易。圖7(b)的結(jié)構(gòu)是殘差網(wǎng)絡(luò)的基礎(chǔ)，也叫做殘差塊(Residual block)[15]。殘差網(wǎng)絡(luò)可以更快地向前傳播數(shù)據(jù)或向后傳播梯度,筆者應(yīng)用Resnet網(wǎng)絡(luò)作為試驗(yàn)網(wǎng)絡(luò)對(duì)裂縫圖像進(jìn)行識(shí)別分類，網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。

圖7 殘差網(wǎng)絡(luò)原理

圖8 Resnet網(wǎng)絡(luò)結(jié)構(gòu)圖

3.4 試驗(yàn)過程及結(jié)果分析

3.4.1 試驗(yàn)過程及結(jié)果

首先，將訓(xùn)練樣本和BGC處理后的訓(xùn)練樣本分別用VGG網(wǎng)絡(luò)和Resnet網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的模型。然后，同樣將測(cè)試樣本和BGC處理后的測(cè)試樣本分別輸入到兩個(gè)已經(jīng)訓(xùn)練好的模型中進(jìn)行測(cè)試。最后，統(tǒng)計(jì)試驗(yàn)結(jié)果，如表3及圖9、圖10所示。

表3 VGG與Resnet輸出結(jié)果對(duì)比

圖9 VGG網(wǎng)絡(luò)測(cè)試準(zhǔn)確率及損失值

圖10 Resnet網(wǎng)絡(luò)測(cè)試準(zhǔn)確率及損失值

3.4.2 結(jié)果分析

(1)預(yù)處理對(duì)準(zhǔn)確率的影響如表4所示。筆者提出的BGC預(yù)處理方法對(duì)比原圖在不同網(wǎng)絡(luò)下的準(zhǔn)確率均有提高，可見在數(shù)據(jù)量巨大的裂縫識(shí)別分類中，對(duì)圖像的預(yù)處理是有必要的,且筆者提出的預(yù)處理方法效果較好。

表4 預(yù)處理前后的準(zhǔn)確率對(duì)比

(2)不同網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)設(shè)置對(duì)模型性能的影響如表5所示。相比于傳統(tǒng)VGG網(wǎng)絡(luò)，Resnet網(wǎng)絡(luò)擁有獨(dú)特的殘差單元，通過跨層連接的方式，減少冗余特征的學(xué)習(xí)且可以使網(wǎng)絡(luò)很深，提高了裂縫識(shí)別的準(zhǔn)確率。

表5 不同網(wǎng)絡(luò)準(zhǔn)確率的對(duì)比

4 裂縫定量測(cè)量系統(tǒng)

根據(jù)《城市橋梁檢測(cè)與評(píng)定技術(shù)規(guī)范》要求，當(dāng)裂縫超過0.25 mm，就必須進(jìn)行修復(fù)加固。為了對(duì)裂縫進(jìn)行測(cè)量，筆者基于Matlab語言開發(fā)了《橋梁裂縫測(cè)量系統(tǒng)》。

4.1 裂縫定量測(cè)量原理

4.1.1 像素標(biāo)定

固定相機(jī)分辨率，在目標(biāo)平面法線方向上一定距離進(jìn)行拍攝，根據(jù)已經(jīng)確定物理寬度的目標(biāo)平面與其所拍攝的像素大小，獲得像素標(biāo)定值(單位像素的實(shí)際寬度)，即：

K=D/d.

(6)

式中:K為標(biāo)定值;D為平面固定寬度，mm;d為圖像的像素大小。

4.1.2 裂縫物理值轉(zhuǎn)換

圖像數(shù)據(jù)上測(cè)得的裂縫像素統(tǒng)計(jì)值需要轉(zhuǎn)換為實(shí)際物理值，即：

W=K×p.

(7)

式中：K為標(biāo)定值;p為像素點(diǎn)個(gè)數(shù)。

4.2 操作流程及處理方法

首先，對(duì)圖像進(jìn)行直方圖均衡化[16]、Median濾波[17]和對(duì)比度增強(qiáng)操作，如圖11所示。分割出裂縫輪廓[18]，并進(jìn)行二值化[19]處理(Image Binarization)，如圖12(a)所示。然后，二值圖像會(huì)存在較多噪點(diǎn)，影響裂縫部位的像素點(diǎn)統(tǒng)計(jì)，對(duì)二值圖像再次進(jìn)行濾波可消除多數(shù)噪點(diǎn)，如圖12(b)所示。但混凝土表面可能存在難以消除的大塊噪點(diǎn)，如圖12(b)中線框內(nèi)所示，通過只顯示裂縫連通區(qū)域的輪廓，屏蔽大塊噪點(diǎn)的方法，可更精準(zhǔn)地提取裂縫輪廓，即圖12(c)中裂縫判定。最后，對(duì)裂縫位置進(jìn)行綠框標(biāo)記，如圖12(d)所示，并自動(dòng)計(jì)算各項(xiàng)像素統(tǒng)計(jì)值信息。

圖11 裂縫輪廓分割

圖12 裂縫精準(zhǔn)提取

4.3 裂縫測(cè)量及精度驗(yàn)證

在實(shí)際情況下，使用無人機(jī)或攝像機(jī)拍攝時(shí)，可能會(huì)產(chǎn)生距離浮動(dòng)和傾斜角偏差，筆者有意采集不同拍攝高度及其30°偏角下的裂縫圖像，對(duì)系統(tǒng)的測(cè)量精度進(jìn)行驗(yàn)證。所使用的相機(jī)參數(shù)：1 200萬像素，五倍光學(xué)變焦，拍攝圖像的像素大小為3 024×3 024。取景框內(nèi)對(duì)應(yīng)的實(shí)際長(zhǎng)度為105 mm，則標(biāo)定值K為0.034 7，如圖13所示。

圖13 像素標(biāo)定

首先，任選5處裂縫，分別在距離目標(biāo)平面0.5 m、1.5 m和2.5 m及與之對(duì)應(yīng)偏角30°的條件下進(jìn)行拍攝(拍攝時(shí)讓裂縫位置始終固定在取景框內(nèi)，隨著距離變遠(yuǎn)，放大圖像使裂縫位置在取景框內(nèi)保持不變)，每處不同條件下拍攝所得圖像命名為1組(共5組)。然后，將圖像輸入到系統(tǒng)，計(jì)算裂縫的像素統(tǒng)計(jì)值并轉(zhuǎn)換為物理值。最后，通過對(duì)比計(jì)算的物理值與儀器測(cè)得的實(shí)際物理值差異，評(píng)估本系統(tǒng)在實(shí)際情況下的測(cè)量精度，參與測(cè)量的圖像如圖14所示，測(cè)量結(jié)果如表6～表10所示，統(tǒng)計(jì)結(jié)果精度對(duì)比如圖15所示。

圖14 不同高度及角度下的圖像

表6 1組位置

表7 2組位置

表8 3組位置

表9 4組位置

表10 5組位置

圖15 統(tǒng)計(jì)結(jié)果精度對(duì)比

由統(tǒng)計(jì)結(jié)果可知，本系統(tǒng)測(cè)得的裂縫平均最大寬度、平均長(zhǎng)度及平均面積的測(cè)量精度均在90.14%以上，最高精度可達(dá)96.9%，系統(tǒng)的測(cè)量精度較高，可滿足實(shí)際工程需要。

5 結(jié) 論

(1)以傳統(tǒng)VGG網(wǎng)絡(luò)作為對(duì)比試驗(yàn)；試驗(yàn)表明：Resnet網(wǎng)絡(luò)對(duì)比VGG網(wǎng)絡(luò)識(shí)別的準(zhǔn)確率在BGC測(cè)試集中，準(zhǔn)確率大幅提高31.3%，優(yōu)勢(shì)明顯。

(2)筆者提出了BGC預(yù)處理方法，經(jīng)過實(shí)際驗(yàn)證，VGG網(wǎng)絡(luò)測(cè)試集準(zhǔn)確率提高4.99%，Resnet網(wǎng)絡(luò)測(cè)試集準(zhǔn)確率提高2.29%，可見筆者提出的預(yù)處理方式效果較好。

(3)針對(duì)裂縫的定量測(cè)量，開發(fā)了裂縫測(cè)量系統(tǒng)對(duì)裂縫進(jìn)行量化分析；為適應(yīng)實(shí)際拍攝情況，客觀評(píng)估了不同拍攝高度及角度下的測(cè)量精度；通過計(jì)算，平均精度在90.14%以上，最高可達(dá)96.9%，可滿足工程需求。