吳向東，趙健康，劉傳奇

(上海交通大學(xué) 電子信息與電氣工程學(xué)院，上海 200240)

0 引 言

橋梁作為我國交通系統(tǒng)的主要組成部分之一，對其進(jìn)行定期檢測是一項(xiàng)極其重要的工作。橋梁裂縫的相關(guān)指標(biāo)計(jì)算是橋梁檢測的重要指標(biāo)之一，通過圖像處理對橋梁裂縫進(jìn)行檢測一直受國內(nèi)外學(xué)者廣泛關(guān)注。

瞿中等[1]提出了一種紋理特征融合與顯著性檢測相結(jié)合的路面裂縫提取算法，可達(dá)到較高的準(zhǔn)確度和召回率。張晶晶等[2]提出了一種基于多尺度輸入圖像滲透模型的裂縫檢測算法，可有效提高裂縫檢測的精確度和穩(wěn)定性。李鵬等[3]提出了一種基于雙樹復(fù)小波變換的方法，在保證準(zhǔn)確率的同時，提高了抗干擾能力。在一些場景中，傳統(tǒng)的圖像處理手段雖然可有效提取出裂縫，但由于橋梁環(huán)境的特殊性，橋底光照條件差，橋梁表面的噪聲干擾嚴(yán)重，使用此種方法的魯棒性難以保證。

近年來，隨著人工智能技術(shù)的興起，國內(nèi)外學(xué)者開始嘗試使用深度學(xué)習(xí)的方法對圖像中的裂縫進(jìn)行提取。文獻(xiàn)[4-6]中介紹了一種基于滑窗掃描式的裂縫檢測方法，但此方法速度較慢。Ross Girshick等[7]提出了Faster-RCNN算法，極大提高了目標(biāo)檢測任務(wù)的速度和精度。文獻(xiàn)[8,9] 將Faster-RCNN引入到裂縫檢測任務(wù)中，在保證速度的情況下，有效檢測出裂縫，但此方法未考慮裂縫細(xì)長、連續(xù)的特點(diǎn)，因此存在漏檢和誤檢的情況。

鑒于上述情況，本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)與條件隨機(jī)場的裂縫檢測算法。該算法首先通過特征提取網(wǎng)絡(luò)與區(qū)域推薦網(wǎng)絡(luò)對整張圖片中可能存在裂縫的部分進(jìn)行初步預(yù)測，通過后續(xù)的分類回歸網(wǎng)絡(luò)與條件隨機(jī)場相結(jié)合，對裂縫的空間特性進(jìn)行建模，綜合判定該區(qū)域是否屬于裂縫。此方法精度高，漏檢率低，抗干擾性強(qiáng)，可較好完成裂縫檢測的任務(wù)。

1 橋梁裂縫檢測系統(tǒng)框架

本文設(shè)計(jì)的橋梁裂縫檢測算法框架如圖1所示。整個系統(tǒng)總共由3部分組成：第一部分是由一系列卷積層、池化層以及非線性激活函數(shù)等構(gòu)成的特征提取網(wǎng)絡(luò)，其作用是對原始的RGB彩色圖像進(jìn)行特征提取，生成適合裂縫檢測的高層特征，用于后續(xù)的區(qū)域推薦網(wǎng)絡(luò)及分類回歸網(wǎng)絡(luò)。第二部分為區(qū)域推薦網(wǎng)絡(luò)RPN(region proposal network)，其作用是生成一系列可能包含裂縫部位的候選區(qū)域。第三部分是由卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)及條件隨機(jī)場(conditional random field，CRF)構(gòu)成分類和回歸網(wǎng)絡(luò)，其作用是考慮RPN提取到的各個候選區(qū)域與其空間鄰域之間的相關(guān)性，對裂縫的連續(xù)性以及走向等空間特性進(jìn)行建模，據(jù)此對前一步產(chǎn)生的候選區(qū)域進(jìn)行進(jìn)一步的類別判定并對裂縫位置的預(yù)測值回歸修正。

圖1 橋梁裂縫檢測系統(tǒng)框架

1.1 特征提取網(wǎng)絡(luò)

特征提取網(wǎng)絡(luò)的主要作用是作為一種特征提取器，當(dāng)網(wǎng)絡(luò)經(jīng)過充分訓(xùn)練之后，便可通過一系列的卷積與池化操作從原始的RGB彩色圖提取出有利于后續(xù)裂縫分類及定位的高層特征。本文采用基于Vgg16[10]的特征提取網(wǎng)絡(luò)，其主要架構(gòu)如圖2所示。

圖2 特征提取網(wǎng)絡(luò)結(jié)構(gòu)

由圖2可知，整體的特征提取網(wǎng)絡(luò)共分為5組，每組均由卷積層、非線性激活函數(shù)relu層,以及池化層構(gòu)成。由于這樣的全卷積結(jié)構(gòu)，整個網(wǎng)絡(luò)可以接受任意大小的圖像作為輸入。卷積過程中，每個卷積核的大小均為3×3，這樣做的優(yōu)勢在于，多個小尺寸的卷積核進(jìn)行組合可在減少計(jì)算量的同時，達(dá)到與5×5、7×7這種大的卷積相同的感受野。所有卷積操作的步長均為1，邊界填充的大小也為1，這樣圖像每次經(jīng)過卷積后其寬度和高度均不會發(fā)生改變。每個池化層均采用最大池化，池化層大小均為2×2，步長也為2，這樣圖像每經(jīng)過一次池化，其寬度和高度均縮減至原來的一半。因此，經(jīng)過特征提取網(wǎng)絡(luò)后，原始尺寸為 (h,w,3) 的RGB彩色圖像將變?yōu)槌叽鐬?(h/16,w/16,512) 大小的特征圖。

1.2 RPN網(wǎng)絡(luò)

RPN網(wǎng)絡(luò)是用于生成可能包含裂縫部位的區(qū)域推薦網(wǎng)絡(luò)。其輸入是由特征提取網(wǎng)絡(luò)得到的特征圖，RPN網(wǎng)絡(luò)首先在特征圖上的每個點(diǎn)預(yù)設(shè)一系列不同尺度和寬高比的矩形框，將這些預(yù)設(shè)的矩形框記為anchors。本文在特征圖的每個點(diǎn)上設(shè)置了9種不同的anchors。9種anchors對應(yīng)于3種面積與3種寬高比的組合。RPN網(wǎng)絡(luò)通過卷積及softmax操作對這些預(yù)設(shè)的anchors進(jìn)行初步的分類及回歸，包含前景的anchors被分類為1，只有背景的anchors被分類為0，同時對這些anchors的位置進(jìn)行回歸修正，使其盡可能多的包含待檢測物體。使用RPN的好處在于其較滑窗法或一些傳統(tǒng)的候選框生成算法如selective search，速度得到了極大的提高。RPN的架構(gòu)如圖3所示。

圖3 RPN架構(gòu)

通過其架構(gòu)圖可看出，特征圖首先通過512個3×3，步長及邊界填充為1的卷積后，分為兩路。第一路通過18個1×1卷積及softmax操作。1×1卷積的目的在于改變特征圖的維度，即特征圖的通道數(shù)變?yōu)榱?8，對應(yīng)于特征圖每個點(diǎn)上預(yù)設(shè)的9個anchors分別屬于前景及背景的概率(Pfg,Pbg)。 第二路通過36個1×1卷積操作，特征圖的通道數(shù)變?yōu)?6，對應(yīng)于9個anchors的4個位置坐標(biāo)修正值 (tx,ty,tw,th)， 設(shè)原始預(yù)設(shè)anchor的坐標(biāo)及寬高為 (px,py,pw,ph)， 則通過第二路輸出修正后的anchor的位置如式(1)所示

(1)

其中，gx,gy,gw,gh為修正后的anchor的中心坐標(biāo)及寬、高。ProposalCreator層為一系列操作的集合，其作用在于將上述兩路卷積得到的結(jié)果進(jìn)行結(jié)合。該層首先將超出原圖尺寸的anchors進(jìn)行尺寸截斷，以保證所有的anchors都在原圖內(nèi)，再將一些尺寸過小以及寬高比過大的anchors進(jìn)行剔除，后利用第一路的輸出從高到低對這些anchors進(jìn)行排序，保留前K個anchors，最后通過非極大值抑制[11]算法進(jìn)行篩選，保留M個候選區(qū)域，即為RPN最終的輸出結(jié)果。

1.3 候選區(qū)域分類與回歸

經(jīng)過RPN生成M個候選區(qū)域后，將通過roi-pooling[7]將這M個候選區(qū)域進(jìn)行大小統(tǒng)一。首先根據(jù)候選區(qū)域在原圖上的位置坐標(biāo)映射到特征圖上，再將映射后的區(qū)域進(jìn)行相同的劃分，如都劃分為7×7的小區(qū)域，在每個小區(qū)域內(nèi)做最大池化，則可將原來大小不一的候選區(qū)域都統(tǒng)一為 7×7 的尺寸。Faster-RCNN便將這些候選區(qū)域單獨(dú)送入后續(xù)的由CNN構(gòu)成的分類回歸網(wǎng)絡(luò)進(jìn)行進(jìn)一步的分類與位置修正，得到最終的檢測結(jié)果。如果直接采用這種做法雖然也能得到相對不錯的結(jié)果，但此方法沒有考慮到裂縫的特性：一條裂縫往往是細(xì)長的，裂縫的周圍很可能存在這條裂縫的延伸，背景的附近大概率也是背景。因此，這種做法可能會造成漏檢和誤檢：一些由于拍攝條件而比較模糊的裂縫會被漏檢，一些與裂縫灰度和形狀相似的干擾如劃痕、水漬等會被誤檢為裂縫。因此，對RPN產(chǎn)生的候選區(qū)域進(jìn)行后續(xù)分類時應(yīng)綜合考慮各個候選區(qū)域的空間鄰域的像素分布情況。本文采用CRF來達(dá)到這一目的。

CRF[12]是一種概率無向圖模型，在詞性標(biāo)注、序列分析、語義分割中有著廣泛的應(yīng)用。設(shè)有條件概率分布模型P(Y|X)， 表示給定一組輸入隨機(jī)變量X的條件下,另一組輸出隨機(jī)變量Y的條件概率分布。將此概率分布采用無向圖表示，圖中的節(jié)點(diǎn)表示隨機(jī)變量，圖中的邊表示隨機(jī)變量之間的依賴關(guān)系。若在給定X的條件下，輸出變量Y構(gòu)成了一個馬爾可夫隨機(jī)場，即圖中表示Y的節(jié)點(diǎn)之間滿足成對、局部和全局馬爾可夫性，則條件概率分布P(Y|X) 為條件隨機(jī)場。根據(jù)Hammersley-Clifford定理,概率無向圖的聯(lián)合概率分布可以在其最大團(tuán)上進(jìn)行因子分解,其聯(lián)合概率分布可表示為如下所示

(2)

(3)

ψu(yù)(Yi)=-ln(P(Yi=1))

(4)

(5)

其中，u(Yi,Yj) 為標(biāo)簽兼容函數(shù)，當(dāng)Yi=Yj時,u(Yi,Yj)=1， 否則u(Yi,Yj)=0。 這表明，當(dāng)給兩圖像塊Xi,Xj分配相同標(biāo)簽時，其像素內(nèi)容應(yīng)盡可能相似，即鄰近相似的圖像塊被鼓勵分配相同的標(biāo)簽。wi,j為權(quán)重系數(shù)，用以衡量圖像塊i、j之間相關(guān)性的強(qiáng)弱?？傮w的由CNN與CRF構(gòu)成的分類與回歸網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 分類與回歸網(wǎng)絡(luò)

分類與回歸網(wǎng)絡(luò)將RPN產(chǎn)生的每個候選區(qū)域作為輸入，需要對其進(jìn)行是否為裂縫的類別判定以及候選區(qū)域位置坐標(biāo)的回歸修正。因此與RPN網(wǎng)絡(luò)相似，分類與回歸網(wǎng)絡(luò)同樣會分為兩路，第一路是由CNN與CRF構(gòu)成的分類部分，分類過程中，首先取每個候選區(qū)域及周圍與該區(qū)域相同大小的圖像塊，將這9個圖像塊作為輸入，首先通過CNN進(jìn)行特征提取，得到9個特征向量X， 再將這9個特征向量作為輸入送入CRF中，計(jì)算各個圖像塊標(biāo)簽Y的條件概率，從而對候選區(qū)域的類別進(jìn)行判定。第二路與RPN網(wǎng)絡(luò)類似，由CNN直接得到每個候選區(qū)域的位置坐標(biāo)修正值，其計(jì)算方法與式(1)相同。

對條件隨機(jī)場模型而言，直接對目標(biāo)變量的條件概率分布進(jìn)行推斷無法在多項(xiàng)式時間內(nèi)完成，精確推斷需要較大的計(jì)算開銷。因此實(shí)際應(yīng)用過程中，常用近似推斷的方法。近似推斷方法可分為兩大類：采樣技術(shù)和變分推斷[14]，本文采用后者進(jìn)行求解。

(6)

通過最小化KL散度可得出Qi的迭代更新公式如下

(7)

其中，Zi為歸一化因子，L為Y可能取值的標(biāo)簽集合，L={0,1}。 初始化時

(8)

通過若干次迭代后，則可得到Y(jié)的近似條件分布，進(jìn)而對候選區(qū)域進(jìn)行分類。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備

在深度學(xué)習(xí)算法的搭建中,數(shù)據(jù)集的準(zhǔn)備屬于至關(guān)重要的一環(huán)。數(shù)據(jù)量的大小、數(shù)據(jù)的多樣性、數(shù)據(jù)類別的分布等都對算法最后的性能有極大的影響。目前為止，全球尚未有公開的、帶標(biāo)簽的、可直接使用的橋梁裂縫數(shù)據(jù)集。本文使用的數(shù)據(jù)由第三方合作單位提供以及實(shí)驗(yàn)室無人機(jī)室外拍攝得到。原始的圖片數(shù)量共計(jì)300張。由于圖片的來源不一，其拍攝環(huán)境各不相同。不同距離、不同光照、不同類型的裂縫均有涉及，因此，數(shù)據(jù)具有一定的代表性。為提升模型的檢測效果，增強(qiáng)模型的泛化能力，需要在原始數(shù)據(jù)的基礎(chǔ)上再進(jìn)行數(shù)據(jù)增強(qiáng)，本文對其通過隨機(jī)翻轉(zhuǎn)、加入隨機(jī)噪聲、隨機(jī)旋轉(zhuǎn)、對比度調(diào)整、隨機(jī)平移等方法對原始數(shù)據(jù)集進(jìn)行了擴(kuò)充，數(shù)據(jù)增強(qiáng)后的結(jié)果如圖5所示。

圖5 數(shù)據(jù)增強(qiáng)效果

通過數(shù)據(jù)增強(qiáng)后得到的數(shù)據(jù)共計(jì)1200張，其中900張用于訓(xùn)練集，200張用于交叉驗(yàn)證集，100張用于測試集。由于原圖的尺寸大小不一，為方便后續(xù)處理，首先將其尺寸由原始的 (h,w) 進(jìn)行等比例縮放至 (h×scale,w×scale)， 其中縮放因子scale=600/min(h,w)， 即將原圖中較短的邊縮放至600像素大小，同時另一個邊乘以相同的縮放比例。最后，對訓(xùn)練集中的圖片進(jìn)行像素值均值統(tǒng)計(jì)，求出所有訓(xùn)練集樣本中的R、G、B三通道均值，對每個樣本像素進(jìn)行去均值處理，并歸一化，使像素值的范圍為[-1,1]。

2.2 實(shí)驗(yàn)環(huán)境及設(shè)置

本文實(shí)驗(yàn)所使用的硬件環(huán)境為：CPU型號為Intel Core i7-7700k，內(nèi)存為16 G，顯卡型號為NVIDIA GeForce GTX-1080 TI，8 G顯存。實(shí)驗(yàn)算法程序基于Pytorch框架進(jìn)行編寫。整體網(wǎng)絡(luò)參數(shù)的初始化方法：特征提取網(wǎng)絡(luò)使用torchvision提供的VGG16預(yù)訓(xùn)練模型進(jìn)行初始化。RPN及后續(xù)CNN分類網(wǎng)絡(luò)均采用Xavier初始化。網(wǎng)絡(luò)使用帶動量的SGD方法進(jìn)行參數(shù)更新，動量大小為0.9。網(wǎng)絡(luò)的學(xué)習(xí)率初始設(shè)置為0.001，采用指數(shù)衰減的方式進(jìn)行學(xué)習(xí)率衰減，衰減系數(shù)為0.1。網(wǎng)絡(luò)一共訓(xùn)練70個epochs，訓(xùn)練批次的大小設(shè)置為batchsize=8。

2.3 評價指標(biāo)

本文采用查準(zhǔn)率P，查全率R，F(xiàn)1度量，P-R曲線及精度均值A(chǔ)P(average precision)作為評價模型好壞的標(biāo)準(zhǔn)。

在裂縫檢測任務(wù)中，記裂縫部位被正確預(yù)測為TP(true positive)，裂縫部位被誤檢測為背景為FP(false posi-tive),背景部分被誤檢測為裂縫為FN(false negative)。則查準(zhǔn)率P、查全率R的計(jì)算公式如下

(9)

(10)

其中查準(zhǔn)率反映了模型的誤檢率，即查準(zhǔn)率P越高，誤檢率則越低。查全率反映了模型的漏檢率，即查全率R越高，模型的漏檢率越低。一般來說，查準(zhǔn)率和查全率是一對相互矛盾的度量，只將最有把握的樣本預(yù)測為正例，則可得到很高的查準(zhǔn)率，然而此時查全率很低；將所有的樣本均預(yù)測為正例，則此時查全率為1，然而查準(zhǔn)率卻很低。為綜合評價模型的性能，常采用P和R的調(diào)和平均值F1度量，其定義如下

(11)

通過改變模型的閾值，模型的P、R值會相應(yīng)發(fā)生變化。以查準(zhǔn)率P為縱軸，查全率R為橫軸，這些變化的P、R值便能形成相應(yīng)的P-R曲線。如前所述，P、R值往往此消彼長，一個性能好的模型應(yīng)該有如下的特性：在R增長的同時，P值應(yīng)該不能下降的太快，即好的模型不應(yīng)犧牲太多的查準(zhǔn)率來提高查全率。因此P-R曲線的面積即AP值可反應(yīng)模型的性能好壞。mAP(mean average precision)是目標(biāo)檢測中常用的指標(biāo)，它是多個類別AP的平均值，在本文中由于只有裂縫一個待檢測的類別，因此，裂縫的AP值即為模型的mAP指標(biāo)。

2.4 實(shí)驗(yàn)結(jié)果對比分析

為評估本文方法的性能，本文采用目前裂縫檢測任務(wù)中最常用的Faster-RCNN方法以及滑窗掃描法進(jìn)行實(shí)驗(yàn)結(jié)果的對比。在圖片背景中存在劃痕、水漬、孔洞等復(fù)雜干擾的情況下，3種方法的檢測結(jié)果如圖6所示。其中圖6(a)與圖6(b)為滑窗法得到的檢測結(jié)果，圖6(c)與圖6(d)為Faster-RCNN算法得到的檢測結(jié)果，圖6(e)與圖6(f)為本文提出的方法得到的檢測結(jié)果。

圖6 檢測效果對比

通過3組圖的對比可看出，滑窗法雖然能有效檢測出裂縫部位，但由于圖片中存在一些與裂縫形態(tài)和顏色比較相似的污漬和干擾，在只有滑窗內(nèi)的局部信息時，這些部位很容易被誤檢為裂縫，因此此種算法的誤檢率較高。且滑窗法由于窗口的數(shù)目太多、滑窗的之間存在重疊、冗余計(jì)算較多，因此其速度往往較慢。Faster-RCNN算法雖然能夠較快準(zhǔn)確識別出裂縫，但該算法對一些由于拍照模糊或光照不均勻造成的裂縫特征不明顯的部位，或裂縫部位周圍存在諸多干擾時，容易將裂縫判別為背景，因此該算法在圖片的干擾嚴(yán)重、光照條件不佳時，漏檢率較高。本文提出的算法則能夠以較低的漏檢率和誤檢率很好完成裂縫檢測的任務(wù)，魯棒性較好。圖7為3種算法的P-R曲線對比。

圖7 P-R曲線

圖7中pr1為本文方法的P-R曲線，pr2為Faster-RCNN 方法得到的P-R曲線，pr3為滑窗掃描法得到的P-R曲線。由圖7可看出，pr1曲線基本都能完全包住pr2和pr3，即pr1代表的查全率和查準(zhǔn)率都要高于pr2和pr3。通過求出P-R曲線下的面積值則可得到各個模型對于裂縫對象檢測的AP指標(biāo)?；胺ǖ腁P值約為0.693，F(xiàn)aster-RCNN的AP值約為0.777，本文提出的方法其AP值約為0.868,相較于前兩種方法AP分別提高了0.175和0.091。因此，本文提出的方法對于裂縫檢測任務(wù)更加準(zhǔn)確，漏檢率和誤檢率都更低。

表1展示了3種方法在測試集上的查準(zhǔn)率、查全率和F1度量的數(shù)值比較結(jié)果。

表1 不同方法之間的性能比較

由表1可知，在查準(zhǔn)率上，本文提出的方法比滑窗掃描法提高了9.31%，比Faster-RCNN提高了9.01%。在查全率上，本文提出的方法比滑窗法提高了10.45%，比Faster-RCNN提高了7.72%。綜上所述，本文提出的算法對于橋梁裂縫檢測任務(wù)具有更好的效果。

3 結(jié)束語

本文提出了一種基于CNN和CRF的橋梁裂縫檢測算法。整個算法由特征提取網(wǎng)絡(luò)、區(qū)域推薦網(wǎng)絡(luò)和分類回歸網(wǎng)絡(luò)構(gòu)成。通過引入卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以及條件隨機(jī)場CRF，結(jié)合裂縫細(xì)長連續(xù)的特點(diǎn)，對裂縫的空間特性進(jìn)行建模，有效降低了裂縫檢測的漏檢率和誤檢率。實(shí)驗(yàn)結(jié)果表明，本文提出的算法相比于目前最常用的滑窗掃描法和Faster-RCNN算法，在查準(zhǔn)率上分別提高了9.31%和9.01%，在查全率上分別提高了10.45%和7.72%，平均準(zhǔn)確度分別提高了0.175和0.091，取得了較好的檢測效果。