一、引言

本文針對橋梁裂縫圖像的特點，提出了一種融合卷積神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)圖像處理的新型裂縫檢測與測量方法，實現(xiàn)裂縫高準確度檢測及其參數(shù)的像素級測量。本文的主要貢獻：1.將語義分割用于圖像預(yù)處理，精確地去除外部環(huán)境干擾;2.調(diào)整了CNN網(wǎng)絡(luò)架構(gòu)和數(shù)據(jù)集構(gòu)成，可對圖像進行準確度更高的裂縫分類;3.用提取的特征圖進行圖像重構(gòu)，用于像素級精度的裂縫長度測量。

二、基于CNN的橋梁裂縫檢測

基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類和參數(shù)檢測流程如圖1所示。所處理的目標圖像是由無人機拍攝的橋梁裂縫，由于橋梁所處的復(fù)雜環(huán)境和拍攝條件的限制，圖像中有許多冗余信息，所以首先將原始圖像通過全卷積網(wǎng)絡(luò)（FCN）進行語義分割，獲得橋梁主體部分;將FCN處理得到的圖像切割成256×256的小圖像塊，用CNN進行分類;最后對用特征圖擬合出的圖像進行圖像處理，獲得裂縫參數(shù)（長度）的預(yù)測數(shù)值。

（一）FCN語義分割

語義信息分割處理是用于計算機數(shù)字視覺的一個基礎(chǔ)處理任務(wù)，是一個像素數(shù)量級的信息分類處理任務(wù)，F(xiàn)CN作為經(jīng)典語義分割網(wǎng)絡(luò)之一，可以很好地完成語義分割的任務(wù)[1]。

本文使用的橋梁裂縫的原始圖像由無人機拍攝而得，在無人機的拍攝過程中，由于無人機的搖晃、陽光照射和其他不確定性因素的干擾，原始圖像往往會包含行人、水面等冗余圖像，這些圖像有不同的顏色和紋理，會對以灰白色為主的裂縫圖像檢測造成干擾。因此對原始圖像進行分類前，先將拍攝到的原始圖像應(yīng)用FCN進行語義分割，提取出橋梁裂縫的完整圖像為感興趣區(qū)域，其他為背景區(qū)域。本文用感興趣區(qū)域的平均顏色填充至背景區(qū)域，在去除冗余圖像的同時，保證了圖像的完整性，不影響后期分類任務(wù)，如圖2所示。圖2（a）為原始圖像，有橋梁裂縫和鞋兩個對象，橋梁表面粗糙，而鞋的表面光滑且反光;圖2（b）為FCN分割后的結(jié)果，用藍色代表橋梁，綠色代表鞋;圖2（c）為填充后的圖像，用橋梁的平均顏色代替鞋的顏色，去掉了鞋的顏色和紋理。

（二）CNN裂縫圖像分類

應(yīng)用卷積cnn可以完成整個圖像數(shù)據(jù)分類處理任務(wù)，本文最終需要設(shè)計的應(yīng)用cnn卷積網(wǎng)絡(luò)層層結(jié)構(gòu)如表中圖3所示。在圖中，L1、L2、L3為卷積網(wǎng)絡(luò)層，包括卷積、池化和激活操作，其中，L3-1做卷積，L3-2做池化和激活;L4和L5為全連接層;L6為分類層;L7為線性回歸層，連接L3-1;L8為測量層。

使用適當?shù)膱D像樣本作為訓(xùn)練樣本是提高分類準確率的關(guān)鍵因素。考慮到過小的圖像不能準確反映裂縫的總體特征，而過大的圖像給計算機帶來太大的運算負擔，選取適當?shù)膱D像樣本大小十分重要。在相關(guān)文獻提出的裂縫檢測方法中，高正確率伴隨著高虛警率，即將非裂縫圖像分類為裂縫圖像的比例比較高，高虛警率不但降低了分類的準確率，而且增加了測量的誤差。

為解決這個問題，本文采用了以下幾個措施：1.在收集圖像的過程中，有意收集了有各種干擾的圖像，在進行分類前，不對這些干擾圖像進行額外的預(yù)處理;2.對于一些過于細小的裂縫，手動標注為無裂縫標簽;3.在小圖像分類完成、重新拼接成大圖像前，對裂縫圖像的比例和位置進行統(tǒng)計，若分類為裂縫的小圖像占圖像總數(shù)比例過小或位置分布比較分散，則判定原始圖像為無裂縫圖像。

通過多次實驗，得到以下結(jié)論：1.裂縫特征主要表現(xiàn)為線狀，高級特征和組合特征不明顯，不需要堆積過多卷積層;2. 增加特征圖數(shù)目顯著地加快了模型訓(xùn)練時的收斂速度;3.256×256像素的樣本圖像可以保證在準確識別裂縫的基礎(chǔ)上，捕捉到裂縫的整體布局。因此，本文的分類任務(wù)最終采用了圖3分類分支所示結(jié)構(gòu)，并將預(yù)處理后的原始圖像切割成256×256像素的小圖像作為輸入樣本。

（三）裂縫長度測量分析

CNN分類能夠?qū)υ紙D像進行較高準確率的分類，但不能直接得出具體的裂縫長度值。一方面，裂縫長度通過各種測量和計算得出，無法直觀地由CNN提取到的圖像特征進行轉(zhuǎn)化;另一方面，原始圖像由于圖像多，每張圖像的質(zhì)量不同，數(shù)字圖像處理的預(yù)處理步驟和參數(shù)不適用于所有圖像，難以得到去除全部干擾的理想圖像，測量的準確度不夠。針對以上問題，本文應(yīng)用線性回歸模型將CNN提取到的圖像特征圖擬合出理想圖像，取代傳統(tǒng)的圖像預(yù)處理過程，然后再對這些理想圖像進行相應(yīng)的處理，可以測算出準確高的裂縫長度值。

線性回歸模型是一種形式簡單且可解釋性強的模型，它通過屬性的線性組合進行回歸分析，其基本的形式為：

（1）

式中，輸入的xi為裂縫特征圖（i=1，2，3...n），其中，n是卷積層輸出特征圖的數(shù)量;wi為特征圖權(quán)值矩陣，b為偏移值。

式（1）的輸出結(jié)果是一張用許多特征圖擬合出來的理想圖像，記為A。為了不損失精度，A應(yīng)該與xi的大小相同。顯然，A的每個像素點的值只與輸入特征圖xi對應(yīng)位置像素點的值有關(guān)，與xi的其他位置像素點的值無關(guān)。于是A可以表示為：

（2）

權(quán)值矩陣和偏移值訓(xùn)練前，要確定擬合的理想圖像是否足夠“好”。首先計算拍攝位置的單位像素代表的實際距離長度，然后假設(shè)得到了理想的圖像A，對A進行圖像細化并統(tǒng)計像素點個數(shù)，像素點個數(shù)與單位像素代表的實際距離相乘得到測量長度，對A進行圖像處理的過程記為函數(shù)F。測量得到裂縫的實際長度，據(jù)此人為估計分割后小圖像的裂縫長度并記為標注長度y，使用最小二乘法反饋學(xué)習(xí)權(quán)值矩陣和偏移值，損失函數(shù)表示為：

（3）

測量任務(wù)中，提取到第三層特征圖后，使用上述步驟代替后面的網(wǎng)絡(luò)結(jié)構(gòu)對裂縫進行測量。

三、實驗結(jié)果及分析

（一） CNN網(wǎng)絡(luò)訓(xùn)練及結(jié)果分析

首先，收集訓(xùn)練圖像樣本。采集完成后，將原始圖像裁剪成256×256像素分辨率的樣本圖像，手動標注為有裂縫（正樣本）和無裂縫（負樣本），打亂并分成訓(xùn)練集和驗證集[2]，兩個集合的圖像沒有交集，訓(xùn)練集和驗證集比例為4：1，且由同一批次的原始圖像產(chǎn)生。

其次，訓(xùn)練CNN網(wǎng)絡(luò)模型。設(shè)置訓(xùn)練集和驗證集中的正負樣本比例為1：1，訓(xùn)練的超參數(shù)選擇如下：迭代數(shù)為10000次;學(xué)習(xí)率初始值設(shè)置為0.001，并隨著迭代次數(shù)進行更新;為防止過擬合現(xiàn)象，丟失率（dropout）設(shè)為0.5[3]。實驗運行結(jié)果如圖4所示，圖4（a）為隨訓(xùn)練次數(shù)增加的訓(xùn)練集準確度變化圖，準確度總體趨勢穩(wěn)步上升，在9000次以后，CNN網(wǎng)絡(luò)收斂且穩(wěn)定;圖4（b）為損失函數(shù)值變化，損失函數(shù)值總體呈持續(xù)下降趨勢，最后接近0;圖4（c）為CNN網(wǎng)絡(luò)的驗證集準確度變化圖，總體趨勢與訓(xùn)練集準確度相似，在7000次后收斂。通過多次實驗驗證，CNN網(wǎng)絡(luò)對裂縫分類的準確率在95%以上，錯誤率在3%以下。

（二） 參數(shù)測量結(jié)果

本文選用長度參數(shù)來驗證參數(shù)檢測算法的有效性。

第一步，標定并計算拍攝位置的單位像素與實際距離的比例。標定圖像使用無人機搭載的上置云臺進行圖像樣本的拍攝，樣本的分辨率為5000×3000像素。從無人機控制界面可以取得無人機距測量面高度、云臺俯仰角度、云臺偏移角度等參數(shù)。

手動測量獲得無人機到攝像頭的誤差為長度為12cm、寬度為8cm、高度為17cm。實驗過程中，分別操縱無人機距橋面1米、1.3米、1.5米、2米，攝像頭垂直向下，并測量拍攝范圍的實際長度，得到數(shù)據(jù)如表1所示：

從表1可以得出，攝像頭到目標距離和圖像實際長度成比例，而拍攝圖像橫向分辨率固定為5000像素，由此可得，攝像頭到目標距離和單位像素與實際長度的比例，如表2所示。

圖像采集時，保持攝像頭與目標平行，利用比例尺原理，通過無人機高度、云臺俯仰角度、云臺偏移角度等參數(shù)可計算得出攝像頭到目標的距離，從而得到當前位置下單位像素代表的實際長度，下文簡稱當前位置長度。

第二步，由線性回歸模型得出圖像中像素點個數(shù)。線性回歸完成后，驗證長度精度并計算誤差。選取待測量裂縫圖像切割后的其中一張小圖像如圖5（a）所示， 圖5（b）為對應(yīng)圖5（a）的假設(shè)理想圖像，使用特征圖擬合的理想圖像可視化顯示為圖5（c）。顯然，圖5 （c）完整了提取了圖5（a）的裂縫整體形態(tài)，同時去除了干擾，細化后可以得到和圖5（b）接近的像素個數(shù)。

圖5? ? 理想圖像擬合

對原始圖像切割出來的所有小圖像裂縫長度進行累加，可以得到原始圖像的測量總長度，經(jīng)多次實驗統(tǒng)計后，測算的圖像裂縫長度誤差均在5%以下，表3給出了部分測試圖像的人工實際測量裂縫長度和本文方法測算裂縫長度。由于橋面破損比較復(fù)雜，人工只測量了主要裂縫的長度，測算長度均比人工測量長度長，但誤差保持在5%以下。

四、結(jié)束語

本文設(shè)計CNN網(wǎng)絡(luò)對橋梁裂縫圖像進行高精度識別，在此基礎(chǔ)上，用CNN網(wǎng)絡(luò)訓(xùn)練得到的特征圖擬合成理想圖，實現(xiàn)像素級的裂縫長度測量。實驗結(jié)果表明，CNN網(wǎng)絡(luò)分類準確率在96%以上，錯誤率在3%以下;CNN網(wǎng)絡(luò)對裂縫長度測量誤差在5%以內(nèi)，在長度測量可接受的誤差范圍之內(nèi)。

作者單位：賈瀟宇? ? 廣東農(nóng)工商職業(yè)技術(shù)學(xué)院

參考文獻

[1] 田萱，王亮，丁琪.基于深度學(xué)習(xí)的圖像語義分割方法綜述[J].軟件學(xué)報，2019，30（02）：440-468.

[2] 趙志宏，楊紹普，馬增強.基于卷積神經(jīng)網(wǎng)絡(luò)LeNet-5的車牌字符識別研究[J].系統(tǒng)仿真學(xué)報，2010，22（03）：638-641.

[3] 陳超逸. 基于深度強化學(xué)習(xí)的提質(zhì)增效多目標模型建模及優(yōu)化方法研究[D].廣西大學(xué)，2021.

[4] 賈瀟宇. 基于卷積神經(jīng)網(wǎng)絡(luò)的橋梁裂縫識別與測量方法研究[D]. 廣西科技大學(xué)， 2019.