馬東群,李寶林,王秋月,何先波

(西華師范大學計算機學院,四川 南充 637000)

0 引 言

關于橋梁病害自動識別的研究很多，但根據(jù)真實數(shù)據(jù)集并切實推廣應用的相對較少。其中寇瀟等人[1-5]采用正圓可調粗細小圓圈紅外線激光模組、激光測距儀、單反相機等拍攝搜集了不同橋梁、不同位置、不同時間下的144張照片數(shù)據(jù)，通過Photoshop以及編程工具的處理后，作為數(shù)據(jù)集使用；李良福等人[6-8]使用基于人工擴增的數(shù)據(jù)及預處理的方法，將2000張橋梁裂縫圖像歸一化為1024×1024分辨率的橋梁裂縫圖像，經滑動窗口算法，用W×H固定大小的窗口不重疊進行滑動，將窗口覆蓋下的小切片作為一個ROI感興趣區(qū)域，再把擁有橋梁裂縫的切片歸納為橋梁裂縫面元，不擁有橋梁裂縫的切片歸納為橋梁背景面元，集成為擁有7000張橋梁裂縫面元的數(shù)據(jù)集以及48000張橋梁背景面元的數(shù)據(jù)集，用這2個數(shù)據(jù)集作為橋梁裂縫訓練、比對、測試的數(shù)據(jù)集；劉洪公等人[9-11]通過Raspberry Pi處理器采集圖像，通過3G無線網(wǎng)絡傳輸圖像數(shù)據(jù)，利用服務器運用圖像處理技術對釆集到的圖像進行分析處理，最后使用卷積神經網(wǎng)絡技術(CNN)對裂縫進行分類識別。

而本文所采用的數(shù)據(jù)來源，是一款公路橋梁專業(yè)定檢系統(tǒng)下所收集的真實橋梁病害數(shù)據(jù)，在數(shù)據(jù)上具有真實性和可靠性等特點。該系統(tǒng)集合了不同地區(qū)、不同橋梁類型、不同環(huán)境以及不同病害位置的諸多橋梁并且進行了較好的推廣應用。目前系統(tǒng)共有數(shù)萬座橋，總共百萬余條病害，其中裂縫病害數(shù)十萬條，本文將在這些數(shù)據(jù)的基礎上進行相關數(shù)據(jù)的研究和分析。

1 橋梁橫向裂縫病害圖片來源與預處理

1.1 橫向裂縫病害圖片來源

橋梁橫向裂縫病害數(shù)據(jù)來源于一款公路橋梁定期檢測系統(tǒng)，首先需要對該系統(tǒng)進行數(shù)據(jù)庫建模，關聯(lián)并批量提取出橋梁橫向裂縫圖片數(shù)據(jù)。對數(shù)據(jù)庫建模和關聯(lián)的詳細過程是先建立橋梁裂縫數(shù)據(jù)關系模式BDPS(BF,DF,PF,SF,HJ)，其中BF表示橋梁基本信息集，DF表示橋梁病害信息集，PF表示橋梁病害圖片信息集，SF表示橋梁病害標度信息集，HJ表示環(huán)境。且不同的地域、不同的氣候條件、不同的外界情況導致病害也不一樣。本文結合病害類型及病害類型所對應的標度信息自動識別所拍攝的病害圖片。根據(jù)上文描述，特此給出如下定義：

定義1橋梁基本信息集BF。該信息集包含橋梁編號Bno、橋梁名稱、橋梁類型、橋梁材質、橋梁結構、部件名稱、構件名稱和橋梁受力形式。用公式(1)表示：

BF=bridgeInfo(Bno,Bname,type,material,struc,comp,member,weight)

(1)

定義2橋梁病害信息集DF。該信息集包含病害編號Dno、病害標度編號Sno、病害名稱、病害描述。用公式(2)表示：

DF=diseaseInfo(Dno,Sno,Dname,describe)

(2)

定義3橋梁病害示意圖信息集PF。該信息集包含病害圖片編號Pno、病害圖片名稱Pname、病害圖片標題等信息。用公式(3)表示：

PF=pictureInfo(Pno,Pname,title,category,url,Dno)

(3)

定義4橋梁病害標度信息集SF，該信息集包含病害標度編號Sno、病害編號Dno、當前病害標度、病害定性描述和病害定量描述。用公式(4)表示：

SF=scaleInfo(Sno,Dno,curscale,qulitative,quantify)

(4)

定義5裂縫病害指標描述模型DD。病害所涉及的指標非常龐雜，不同的病害所涉及的指標不一樣，本文主要從橋梁裂縫病害入手，一般來說，橋梁裂縫病害主要的標度有寬度、長度、深度，及構建病害總面積和最大單出面積，可用公式(5)表示：

DD=diseaseDescription(width,longth,depth,totalArea,maxArea)

(5)

根據(jù)上述定義，本文將對上述數(shù)據(jù)進行關聯(lián)、抽取、優(yōu)化并隨機提取出該系統(tǒng)對應的病害位置、標度信息和1000張橫向裂縫作為訓練數(shù)據(jù)集。

1.2 圖片預處理與數(shù)據(jù)集的建立

由于系統(tǒng)中提取的病害圖片是由不同的設備進行采集，所以分辨率有所區(qū)別，因此將圖像像素作為輸入提供給神經網(wǎng)絡之前，先將圖像進行歸一化處理，分別處理成分辨率為75 px、150 px和300 px。TensorFlow[12]分別提供了雙線性插值法、最近鄰居法、雙三次插值法和面積插值法對圖像進行歸一化處理，其效果如圖1所示。

圖1 分辨率為75 px、150 px、300 px的4種插值算法預處理

完成1000張橫向裂縫圖片的預處理后，接下來進行數(shù)據(jù)集的建立，TensorFlow提供了TFRecord標準接口讀入文件，制作數(shù)據(jù)集。TFRecord是一種將數(shù)據(jù)集內容及標簽放在一起的二進制文件，能更好地利用內存。本文制作數(shù)據(jù)集的流程如圖2所示。

在圖2中，先將預處理后的橫向裂縫圖片存儲到文件夾hxlf中，然后將hxlf文件夾中的原始橫向裂縫圖片制作成TFRecord二進制文件，在TFRecord二進制文件夾中將橫向裂縫圖片的名稱統(tǒng)一命名為index_samples_label格式，其中index表示圖片的索引，samples表示分隔符，label表示圖片的標簽。最后為了驗證TFRecord二進制文件的準確性，對數(shù)據(jù)集部分圖片進行展示，展示的結果如圖3所示。

圖2 數(shù)據(jù)集的制作流程

圖3 數(shù)據(jù)集的建立及驗證

2 CNN模型的建立與訓練

2.1 CNN模型的建立

CNN模型[13]的構建過程可以描述為：輸入層→[[卷積層]×M→池化層?]×N→[全連接層]×T，也就是M個卷積層疊加，然后疊加一個池化層，重復這個結構N次，最后疊加T個全連接層。本文建立的CNN模型是由2層卷積、2層池化、2層全連接層和1個分類器組成的卷積模型，模型架構如圖4所示。

圖4 CNN的模型架構圖

在圖4中2層卷積加池化層進行圖片的特征提取，全連接層進行圖片的特征分析和識別，最后用softmax激活函數(shù)分類輸出識別結果。該模型的卷積算法如公式(6)所示。

(6)

式中，xm,n表示訓練圖像第m行第n列像素；wi,j表示CNN卷積層中卷積核第i行第j列權重，b表示CNN卷積層中卷積核的偏置；ym,n表示特征圖第m行第n列輸出值；g表示激活函數(shù)。

2.2 CNN模型的訓練

CNN具有很強的學習能力和泛化能力[13-20]，它的訓練方式是找到訓練數(shù)據(jù)集真實值與目標函數(shù)之間的映射關系，該映射關系主要是通過CNN模型的訓練來實現(xiàn)，其訓練的主要工作是更新模型的權值和偏置，具體訓練流程如圖5所示。

在圖5中，CNN模型的訓練分為2個過程，第一個過程是將1000張橫向裂縫數(shù)據(jù)集按照4∶1的比例分為訓練數(shù)據(jù)集和測試數(shù)據(jù)集，把訓練數(shù)據(jù)集作為輸入樣本，輸入到CNN中進行訓練。訓練過程中首先通過正向傳播算法得到目標樣本的預測值，然后計算目標樣本真實值與預測值之間的差值，該差值被稱為誤差(也叫損失)，用公式(7)表示。接下來對誤差進行評估，若滿足要求則直接通過全連接層進行分類輸出，若不滿足要求則進入第二個過程反向傳播過程，反向傳播算法主要是做模型參數(shù)的更新，也就是對權值和偏置進行更新，通過更新權值和偏置的方法來減小誤差值，如公式(8)所示，而更新模型參數(shù)最常用的算法是隨機梯度下降算法(Stochastic Gradient Descent, SGD)，如公式(9)所示。

圖5 CNN模型訓練流程圖

(7)

(8)

x(i+1)=x(i)-μL(w)

(9)

(10)

(11)

訓練過程中全連接層權值、偏置每一步的變化如圖6～圖8所示。

圖6 300 px全連接層權重和偏置變化

圖7 150 px全連接層權重和偏置變化

圖8 75 px全連接層權重和偏置變化

2.3 訓練結果分析

為了獲取訓練的效果，按照相同的迭代輪數(shù)(epochs)和輸入圖片的batch數(shù)量分別對分辨率為75 px、150 px和300 px的橫向裂縫圖片進行訓練，得出在不同分辨率情況下橫向裂縫病害的訓練精度、收斂性和效率如圖9～圖11所示。

圖9 收斂性

圖10 訓練精度

圖11 訓練效率

在圖9～圖11中，迭代輪數(shù)為200，黑色實線表示分辨率為300 px訓練的結果，黑色虛線表示分辨率為150 px訓練的結果，黑色小圓點表示分辨率為75 px訓練的結果。通過對3種不同分辨率的橫向裂縫圖片訓練，可得到以下實驗結論：

1)分辨率為300 px的預測精度率先接近1。如圖10，分辨率為300 px的橫向裂縫圖片在訓練輪數(shù)為30時，預測精度就接近1，并保持穩(wěn)定；分辨率為150 px的橫向裂縫圖片在輪數(shù)為90時訓練精度接近1并保持穩(wěn)定；分辨率為75 px的橫向裂縫圖片在輪數(shù)為200時訓練精度才趨近于1。

2)分辨率為300 px的收斂速度比分辨率為75 px和150 px的更快，如圖9所示，分辨率為300 px的橫向裂縫圖片在迭代輪數(shù)為80時基本達到收斂，分辨率為150 px的橫向裂縫圖片在迭代輪數(shù)為130時達到收斂，分辨率為75 px的橫向裂縫圖片在迭代輪數(shù)為200時達到收斂，分辨率為300 px的收斂速度比分辨率為150 px和75 px的分別快出38.46%和60%。

3)如圖11所示，時間效率上分辨率為75 px的最快，每迭代10輪大概用時40 s；其次是分辨率為150 px，每迭代10輪大概用時100 s；分辨率為300 px的橫向裂縫圖片用時最長，每迭代10輪大概用時1200 s。

3 測試結果分析

本文對3種分辨率的橫向裂縫圖片訓練結果做測試分析，如表1～表3所示，前3張橫向裂縫圖片是經過預處理的測試集圖片，后2張是實際環(huán)境中拍攝的橫向裂縫圖片。

表1 分辨率為300 px的橫向裂縫病害圖片識別結果

表2 分辨率為150 px的橫向裂縫病害圖片識別結果

表3 分辨率為75 px的橫向裂縫病害圖片識別結果

從表1～表3可以得出如下測試結論：

1)對于測試集中的橫向裂縫圖片，分辨率為300 px的識別效果最好，但識別時間最長；分辨率為75 px和150 px的次之。

2)對于實際環(huán)境中拍攝的橫向裂縫圖片，分辨率為300 px的識別效果最好；分辨率為150 px的次之，而分辨率為75 px的橫向裂縫圖片能正確識別，但識別的準確率較低。識別時間上像素越低的用時越短，像素越大的用時越長，但單張圖片識別時間相差并不太大。

因此，在具體的工程項目中，需結合實際情況，選用識別效果最好的模型作為工程應用中使用的模型。

4 實驗結果對比

劉洪公等人[9]提出了一種基于CNN的圖形圖像識別算法，該模型是一種基于LeNet卷積神經網(wǎng)絡的深度學習模型，本文采取該算法對相應的數(shù)據(jù)集進行模擬仿真對比，在數(shù)據(jù)、參數(shù)和運行環(huán)境一致的情況下其收斂性和訓練精度對比結果如圖12和圖13所示。

圖12 2種模型收斂性比對

圖13 2種模型訓練精度比對

在圖12和圖13中，黑色實線表示本文模型訓練的結果，黑色虛線表示劉洪公等人提出的算法模型訓練的結果。通過2種不同模型間的性能比較，可得到以下實驗結論：

1)本文的預測精度高于劉洪公等人提出模型的訓練精度。如圖13，本文在訓練輪數(shù)為120時，預測精度在99%以上，并且保持穩(wěn)定；而劉洪公等人提出模型的訓練精度在輪數(shù)為200時，預測精度才達到96%左右，本文的預測精度比劉洪公等人提出的模型預測精度高出約4個百分點。

2)本文的收斂速度比劉洪公等人提出的模型收斂速度快，如圖12所示，本文在迭代輪數(shù)為120時達到收斂，而劉洪公等人提出的模型收斂速度在迭代輪數(shù)為200時還未達到收斂。

5 結束語

本文主要對橋梁橫向裂縫病害數(shù)據(jù)進行了分析與識別，建立了相應的數(shù)據(jù)模型，并根據(jù)病害圖片特征詳細地描述了針對具體病害圖片如何進行目標檢測和病害的自動標識過程和方法。在具體的工程中，該方法得到了相應的應用，并且取得了良好的效果，大大減輕了檢測人員的工作量。本文在實驗上比較單一，下一步將進行拓展，做更深入的研究，將所有種類的裂縫病害都用來做深度學習，學習所有裂縫病害的特征，實現(xiàn)所有裂縫病害的自動識別，再結合《公路橋梁技術狀況評定標準》(JTG/T H21-2011)[21]對橋梁裂縫病害做定位、定因和定性判斷，然后結合現(xiàn)有的公路橋梁定檢系統(tǒng)對橋梁進行專業(yè)技術評定和自動生成評定報告并給出相應的維護建議。