陶世峰 吳巨峰 周強 趙訓剛 王熊玨 談遂

（1.橋梁智能與綠色建造全國重點實驗室，武漢 430034；2.中鐵大橋科學研究院有限公司，武漢 430034；3.高速鐵路建造技術(shù)國家工程研究中心，長沙 410075）

引言

橋梁建成投入使用后存在大量如混凝土剝落、露筋、蜂窩麻面和銹蝕等病害，因此需對橋梁進行定期巡檢。無人機等非接觸式儀器因安全、便捷等優(yōu)勢已經(jīng)被廣泛應用至結(jié)構(gòu)健康監(jiān)測中[1]，且無人機搭載高清攝像頭對橋梁表觀進行檢測，可有效地獲取橋梁表觀病害特征圖像，并為后續(xù)橋梁病害分析起到了至關(guān)重要的作用。隨著計算機視覺領(lǐng)域的不斷發(fā)展，基于深度學習的智能識別技術(shù)也相應成熟。

近年來，國內(nèi)外學者開展了大量基于深度學習的目標檢測的研究[2-5]，其中以Fast-RCNN（Fast regionbased eonvolutiona neural networks）、Faster-RCNN（Faster region-based eonvolutiona neural networks） 與Mask-RCNN（Mask region convolution neural network）的雙階段目標檢測算法和YOLO（You Only Look Once）系列的單階段目標檢測算法為主。深度學習在橋梁病害檢測中已成為近年來橋梁智慧檢測的研究熱點。為實現(xiàn)結(jié)構(gòu)病害智能識別檢測，研究者們把卷積神經(jīng)網(wǎng)絡（CNN）[6-8]引入到實際混凝土表觀病害識別中，實現(xiàn)了混凝土表觀病害分類的目的并取得了較高的精確度。但在混凝土表觀病害檢測中，研究組更關(guān)心病害所處位置及其類別，因此簡單的卷積神經(jīng)網(wǎng)絡不能滿足當前的需求。隨著目標檢測的不斷發(fā)展，以YOLOv3[9]等目標檢測算法不僅能夠輸出目標病害類別，同時還可以預測目標病害所處位置，進一步推動了混凝土表觀病害檢測智能化的發(fā)展。Cha 等[10]使用快速卷積神經(jīng)網(wǎng)絡（Faster-RCNN）對結(jié)構(gòu)損傷進行目標檢測,其中包括混凝土裂縫和兩級鋼腐蝕等5 種損傷類型,取得了87.8%的平均分類準確度。Shen 等[11]基于YOLOv4-FPM 算法，利用焦點損失函數(shù)（focal loss）及剪枝算法（Pruning Algorithm）對原有算法進行隨機剪枝，從而減小網(wǎng)絡模型的復雜程度，分析了改進后的YOLOv4-FPM 對裂縫的識別效果。Zhang 等[12]基于YOLOv3 算法結(jié)合遷移學習算法以改善訓練樣本不足的問題，成功實現(xiàn)了裂縫、露筋、剝落、保護層脫落4種病害的識別以及定位，其平均分類準確率達80%。

在實用性方面，研究者們探討了通過無人機進行橋梁病號檢測，包括混凝土結(jié)構(gòu)裂縫檢測[13,14]，裸露鋼筋的檢測[15,16]，基礎設施的健康評估[17]，橋梁病害的3D 重建[18]等。

雖然深度學習被廣泛應用至橋梁病害檢測當中，但一方面需要大量算力，對設備要求較高，處理結(jié)果傳輸至前端花費時間較長，無法做到快速實時檢測；另一方面，其識別病害種類較少，未能整合病害檢測模型，應用性有待提高。

針對上述問題，本研究基于YOLOv5 算法進行改進。首先，通過K-means 聚類算法選取合適的橋梁病害比例，以便有效地獲取建議區(qū)域；其次，利用圖像切割與拼接算法對輸入和輸出圖像分別進行切割與拼接，從而減小模型訓練難度。通過上述方法對橋梁分別按照橋面系（伸縮縫堵塞、排水孔堵塞、龜裂）、混凝土結(jié)構(gòu)（剝落、蜂窩麻面、裂縫）、下部結(jié)構(gòu)（滲水、白皙、防塵罩脫落）以及鋼結(jié)構(gòu)（螺栓銹蝕、松動、缺失，油漆脫落）進行病害識別，共計13 種橋梁病害；最后，基于Python Flask 框架設計橋梁病害檢測系統(tǒng)管理平臺公開接口API，提供了一體化的橋梁結(jié)構(gòu)病害的智能檢測方法，并將其應用至Web 端。

1 橋梁病害識別檢測系統(tǒng)與實現(xiàn)

橋梁病害識別檢測系統(tǒng)主要有無人機巡航系統(tǒng)、病害識別定位系統(tǒng)、實時目標檢示。

1.1 無人機巡航系統(tǒng)

無人機巡航系統(tǒng)是由無人機機身、相機和測前端三部分組成，技術(shù)路線圖如圖1 所示。模塊和機載計算機控制軟件組成，如圖2 所示。首先，作業(yè)人員對橋梁病害通過無人機進行采集，并上傳至橋梁病害檢測系統(tǒng)；其次，通過目標檢測算法對圖像是否包含病害進行識別定位，獲取相關(guān)病害信息；最后，輸出結(jié)果展示至橋梁病害檢測系統(tǒng)前端。

圖1 橋梁病害檢測系統(tǒng)流程圖

圖2 無人機巡航系統(tǒng)

在本研究中，無人機采用大疆經(jīng)緯M300RPK 無人機，具有六向定位避障系統(tǒng)和40m 探測距離，為飛行提供了安全、穩(wěn)定的飛行能力，可有效地避免在橋梁檢測過程中發(fā)生無人機碰撞，減少對行車的安全風險。

相機模塊選用大疆禪思H20，該相機模塊集成了1 200 萬像素廣角、2 000 萬像素、23 倍混合光學變焦、640×512 熱成像和1 200 米激光測距于一身，可滿足不同橋梁位置的拍攝需求。相機模塊具有將世界坐標下的物體轉(zhuǎn)換到圖像像素下坐標的功能，以便對病害進行精確定位。為保證圖像病害具有較高辨識度，相機模塊盡量采用平行于橋面進行拍攝，拍攝距離偏差不超過±3m，角度偏差不超過±15°，搭配大疆經(jīng)緯M300RTK 無人機，可實現(xiàn)精準定位、精準復拍等功能，避免了在作業(yè)中產(chǎn)生漏拍，減少了作業(yè)的人員的重復性工作。

機載計算機控制軟件滿足無人機飛行策略設定，自動巡航、自動拍攝等功能，可有效地減少作業(yè)人員的工作量。為得到有效的拍攝圖像與高效作業(yè)，無人機的拍攝距離與焦距具有至關(guān)重要的作用。因此，針對橋梁不同位置需進行合適的拍攝距離與焦距選擇。

1.2 基于YOLOv5 算法的橋梁病害識別

YOLOv5 是YOLO（You only look once）系列網(wǎng)絡模型的最新版本，是基于YOLOv4 的網(wǎng)絡模型進行改進。該結(jié)構(gòu)采用GIou_Loss 作為Bounding box 的損失函數(shù)進行改進，同時引入YOLOv4 的馬賽克數(shù)據(jù)增強方法（Mosaic），隨機挑選4 張圖像進行隨機縮放、裁剪等方式進行拼接，豐富了數(shù)據(jù)集樣本形式，尤其是增加了許多小目標，增強了卷積神經(jīng)網(wǎng)絡的學習能力，降低了模型的計算量，極大地提高了模型的運算速度，具有高效、易部署到移動端等優(yōu)點，已被廣泛應用至各個領(lǐng)域中的目標檢測、跟蹤與分割。

基于以上優(yōu)點，本研究針對橋梁病害搭建了YOLOv5 病害識別與定位模型，YOLOv5 橋梁病害識別與定位模型由骨干網(wǎng)絡（Backbone）、頸部網(wǎng)絡（Neck）和預測端（YOLO Head）組成，圖3 描繪了YOLOv5模型的整體結(jié)構(gòu)。

圖3 YOLOv5 橋梁病害識別定位網(wǎng)絡結(jié)構(gòu)圖

2 改進YOLOv5 目標檢測算法

2.1 模型改進

由于無人機拍攝圖像像素值較大，但部分病害目標較小，若直接輸入無人機拍攝圖像進行病害檢測，將存在大量漏檢行為，且對模型訓練與推理存在較大難度?；趯Σ『z測任務的分析，提出改進的YOLOv5 網(wǎng)絡模型對輸入圖像切割成若干個小圖進行訓練，減小計算成本。這有助于檢測大面積圖像中的病害，減少漏檢與誤檢的情況，提高橋梁病害檢測效率，符合實際工程中獲取橋梁病害圖像的特點。

禪思H20 相機模塊所拍攝的單張圖像分辨率為5 888×3 888，若直接將該圖像輸入至YOLOv5 模型中，將嚴重導致模型訓練慢，推理困難。因此，對無人機圖像進行切割，切片尺寸像素為640×640，切片步長為512 像素，最后一張切割圖像像素大小不足640×640，則進行填充，以滿足輸入圖像要求。

坐標在滑動窗口內(nèi)的切割圖像作為有效訓練圖像，并重新計算當前目標坐標信息。在研究中發(fā)現(xiàn)，由于切片尺寸像素為640×640，切片步長為512 像素，若將切割圖像結(jié)果直接進行拼接，則完整圖像將產(chǎn)生重疊部分。為更好的獲取無差別圖像，本文采用AP 算法利用多個局部單應性進行精準對齊匹配，并對圖像重疊區(qū)域進行切割，得到拼接縫；采用Multi-band Bleing算法對拼接圖像進行加權(quán)平均，得到重疊圖像融合結(jié)果，最終反向進行重建圖像，得到完整的拼接圖像結(jié)果。

切割圖像分別進行訓練與預測，最終將所有切割圖像識別結(jié)果進行拼接，得到完整病害圖像識別結(jié)果，實際病害圖像切割與拼接效果如圖4（a）～（c）所示。

圖4 切割與拼接效果圖

為了更好地使模型學習病害特征，具有優(yōu)秀性能，研究組分析了模型中所需訓練的數(shù)據(jù)集的真實框，研究中發(fā)現(xiàn)預選框框比例為固定參數(shù)（0.5∶1∶2），不滿足實際病害尺寸要求。

因此，本研究采用K-means 聚類算法對實際病害進行先驗框比例調(diào)整，對象邊界框和聚類中心框之間的距離參數(shù)如公式（1）所示。其中cj代表第j個聚類中心框，O ij代表第j個聚類中心的第i個對象邊界框。

通過不斷地調(diào)整相關(guān)參數(shù)，研究中發(fā)現(xiàn)隨著聚類中心數(shù)量地不斷增加，模型的精確度也相應提高，直至聚類數(shù)量達到9 簇。如圖5 所示，模型準確度達到最優(yōu)值，此時聚類先驗框比例為（0.36∶1.14∶2.8），該預選框比例均勻地分布在各個病害尺寸上，滿足實際病害尺寸特點，可有效地提升模型性能，提高病害識別精確度。

圖5 聚類中心數(shù)-精確度曲線圖

2.2 橋梁病害檢測模型訓練

首先，基于無人機巡航系統(tǒng)收集橋梁相關(guān)病害，該系統(tǒng)提供了3 294 張橋梁病害圖像。數(shù)據(jù)集圖像使用LabelImg 標注工具進行分類標注，采用VOC 數(shù)據(jù)集格式，將圖像目標信息轉(zhuǎn)化為.xml 格式的坐標文檔，可隨時進行修改。

采用旋轉(zhuǎn)、翻轉(zhuǎn)、加噪聲等圖像處理技術(shù)進行數(shù)據(jù)集擴充，將3 294 張圖像擴充為9 882 張；然后將橋梁病害進行分類，分為橋面系（伸縮縫堵塞、排水孔堵塞、龜裂）、混凝土結(jié)構(gòu)（剝落、蜂窩麻面、裂縫）、下部結(jié)構(gòu)（滲水、白皙、防塵罩脫落）、鋼結(jié)構(gòu)（螺栓銹蝕、松動、缺失，油漆脫落）分別構(gòu)建成不同數(shù)據(jù)集進行模型訓練。擴充后的數(shù)據(jù)集取882 張作為測試集，其余圖像按照8∶2 的比例隨機劃分，分別得到訓練集圖像7 200 張，驗證集圖像1 800 張。

在訓練過程中，采用遷移學習方法，通過在COCO 數(shù)據(jù)集上的預訓練權(quán)重，優(yōu)化網(wǎng)絡模型。初始學習率設置為1×10-5，訓練批次大小為8 張，世代數(shù)（Epoch）根據(jù)實際數(shù)據(jù)集進行相關(guān)設定，每個訓練周期步長為1 000 步，輸入圖像大小為640×640 像素。與此同時，為防止訓練模型產(chǎn)生過擬合，將根據(jù)上節(jié)所劃分的橋梁病害位置，分別將各部位病害數(shù)據(jù)集分別放入模型進行訓練。模型采用隨機梯度下降算法，使得網(wǎng)絡模型不斷收斂至最優(yōu)解，以此保證模型具有較優(yōu)性能。

圖6（a）～（d）分別顯示了各個部位數(shù)據(jù)集在訓練過程中的損失函數(shù)收斂狀況，隨著世代數(shù)地不斷增加，模型在驗證集上的性能表現(xiàn)也不斷提升，最終趨于收斂狀態(tài)，具有一定的穩(wěn)定性和有效性。

為評估橋梁病害識別模型的檢測性能，將測試集作為輸入圖像測試模型性能。本文引入準確率（Precision）、 回 召 率（Recall） 和 1F分 數(shù)（ 1Fscore）作為該模型的評價指標。準確率為正確識別病害數(shù)量占所有識別出該類病害數(shù)量的比例，回召率為正確識別出該病害數(shù)量占實際病害數(shù)量的比例， 1F分數(shù)為評價該模型綜合性能的評價指標。

TP表示為圖像中所對應病害被正確識別成相應病害；FP表示圖像中非病害種類被識別成正確病害；FN表示將非病害種類被錯誤識別；P、R分別表示為精確率與回召率。評價指標計算公式（1）～（3）所示：

由表1 可知：模型對于下部結(jié)構(gòu)的病害識別的準確率、回召率和F1 分數(shù)均在90%以上，橋面系病害的準確率、回召率F1 分數(shù)分別為94.4%、84.3%和89.1%；混凝土結(jié)構(gòu)的病害的準確率、回召率F1 分數(shù)分別為89.1%、90.7%和89.9%；鋼結(jié)構(gòu)的病害的準確率、回召率F1 分數(shù)分別為93.9%、87.0%和90.3%。研究中發(fā)現(xiàn)，該三個橋梁部位的病害由于其中的某類病害的訓練樣本不足，導致該模型的準確率或回召率較低。YOLOv5 橋梁病害識別模型總體的準確率、回召率和F1 分數(shù)分別為92.9%、89.0%和90.9%，因此該模型對于各個橋梁部位結(jié)構(gòu)的病害識別具有較高的準確率與回召率，可實現(xiàn)對于13 種橋梁病害的高精度的病害識別與定位。

表1 網(wǎng)絡結(jié)構(gòu)表

3 實時檢測前端

橋梁病害識別系統(tǒng)主要便于作業(yè)人員能夠進行實時病害識別，為此，本研究設計并實現(xiàn)了一套完善的Web 端橋梁病害檢測系統(tǒng)。

Web 端基于Python Flask 框架并采用前后端分離的架構(gòu)進行開發(fā)，F(xiàn)lask 是一種輕量級Web 端構(gòu)成框架，可同時實現(xiàn)多個Python 環(huán)境并行，為多部位橋梁病害檢測提供了有力幫助。首先對YOLOv5 網(wǎng)絡模型進行封裝，其次利用Flask 框架搭建橋梁病害識別系統(tǒng)平臺的公開接口API，對YOLOv5 相關(guān)病害權(quán)重進行調(diào)用，實現(xiàn)在Web 端上傳病害圖像并進行相關(guān)病害識別，系統(tǒng)整體框架如圖7 所示。

圖7 前端實時檢測框架流程圖

圖8 病害展示

4 試驗測試與評估

為測試橋梁病害檢測系統(tǒng)的檢測性能，本文隨機采用未訓練樣本作為測試集對各個部位病害進行測試。由圖9（a）～（l）可知，該橋梁病害識別與定位系統(tǒng)對橋梁病害具有較高精確度，滿足實際工程應用。

圖9 病害識別結(jié)果匯總

5 結(jié)語

本文研發(fā)了橋梁橋梁病害檢測系統(tǒng)，可實現(xiàn)13 種橋梁病害識別，集后臺識別與前端展示一體化，有效地提高了橋梁巡檢效率。具體來講，首先結(jié)合K-means聚類算法對橋梁病害尺寸進行調(diào)整，引入圖像切割與拼接算法對YOLOv5 網(wǎng)絡模型進行改進，訓練并重建橋梁病害識別模型；其次集橋面系、混凝土結(jié)構(gòu)、下部結(jié)構(gòu)、鋼結(jié)構(gòu)相關(guān)病害檢測模型，利用Python Flask搭建橋梁病害檢測系統(tǒng)，可分別調(diào)用相關(guān)權(quán)重文件對各個部位進行精確病害檢測與定位；最后通過無人機拍攝的圖像對橋面系、混凝土結(jié)構(gòu)、下部結(jié)構(gòu)、鋼結(jié)構(gòu)相關(guān)病害進行實驗，總體的準確率、回召率和F1 分數(shù)分別為92.9%、89.0%和90.9%，具有較高的準確率和回召率， 對于橋梁病害檢測，尤其對特大橋梁檢測具有較高的借鑒價值與實踐意義。