元 松，王曉佳

（上海市市政公路工程檢測有限公司，上海市 201108）

0 引言

橋梁外觀往往反映了其結(jié)構(gòu)的健康狀況[1]。近年來，我國對橋梁檢測進行了大量研究，積累了許多經(jīng)驗，但仍然存在一定的問題，如：（1）落后的檢測手段，較低的機動性；（2）昂貴的檢測費用；（3）較高的作業(yè)危險系數(shù)；（4）不全面的檢測范圍；（5）低效率檢測導(dǎo)致交通不便。

隨著橋梁多種病害的突發(fā)，日常運營維護工作迫在眉睫。運用人工智能方法，夯實橋梁數(shù)字化運維基礎(chǔ)，將有利于橋梁的維護，及時發(fā)現(xiàn)并有效修復(fù)病害，提高路橋養(yǎng)護效率，實現(xiàn)養(yǎng)護管理精細化、數(shù)字化和網(wǎng)格化。國內(nèi)外雖然有采用攝影技術(shù)對橋梁進行建模的研究及應(yīng)用，但還沒實現(xiàn)在模型上進行構(gòu)件自動劃分和外觀病害的自動識別輸出。

本文基于Lensphoto 近景攝影測量技術(shù)，對橋梁進行三維快速建模，并采用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，對模型上的病害圖像進行自動識別，以期實現(xiàn)定量、快速、自動化的檢測，提高橋梁檢測評估的效率。

1 基本原理

1.1 近景攝影測量技術(shù)

Lensphoto 近景攝影測量系統(tǒng)具有3 大特點：（1）全新的多片影像立體匹配算法，具備自動空中等角測量及區(qū)域網(wǎng)平差、自動生成等值線、自動密集點云生成、自動構(gòu)網(wǎng)、建模、紋理映射等功能；（2）可處理旋轉(zhuǎn)多基線攝影近景影像數(shù)據(jù)或者平行攝影近景影像數(shù)據(jù)；（3）相對測量精度達1/10 000[2]。

旋轉(zhuǎn)多基線交向攝影示意圖見圖1。

圖1 旋轉(zhuǎn)多基線交向攝影示意圖

由圖1 可知，通過4 個攝站，每個攝站拍攝至少3 張影像，即可覆蓋整個被攝物體，按區(qū)域?qū)λ鶖z對象進行整體處理，經(jīng)過自檢校區(qū)域網(wǎng)平差，獲取密集點云。

1.2 多點配準及自動紋理映射技術(shù)

多點配準映射技術(shù)流程見圖2。

圖2 多點配準映射技術(shù)流程

多點配準及自動紋理映射技術(shù)主要是通過計算影像在激光點云坐標系中的外方位元素，使激光點云與影像在幾何上精密地聯(lián)系在一起，實現(xiàn)影像與激光點云的配準，從而達到點云構(gòu)網(wǎng)、三維建模與紋理映射全部自動化，生成具有高度逼真的三維模型[3]。

1.3 YOLOv4 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)

YOLOv4 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型見圖3。

圖3 YOLOv4 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型

YOLOv4 模型結(jié)構(gòu)由輸入層、主干網(wǎng)絡(luò)、混合和組合圖像特征的網(wǎng)絡(luò)層、預(yù)測層4 部分組成[4]。其中：CBM 由Conv+Bn+Mish 這3 個激活函數(shù)組成；CBL由Conv+Bn+Leaky_relu 這3 個激活函數(shù)組成；CSPX 結(jié)構(gòu)借鑒CSPNet 網(wǎng)絡(luò)結(jié)構(gòu)，由卷積層和X 個Res_unit 殘差單元張量拼接組成；SPP 采用1×1、5×5、9×9、13×13 最大池化的方式，進行多尺度融合。

2 橋梁三維快速建模技術(shù)

根據(jù)Lensphoto 獲取橋梁表觀圖像和三維建模的方法，通過圖像解析計算得到高精度點云，在此基礎(chǔ)上通過自動紋理映射，得到高精度、目視化的橋梁三維模型，可直觀應(yīng)用于橋梁表觀病害自動識別及橋梁技術(shù)狀況評估。

2.1 無人機攝影平臺

無人機攝影平臺見圖4。

圖4 無人機攝影平臺

無人機用于橋梁檢測具有很多優(yōu)勢[5]，但由于當前無人機幾乎沒有向上拍攝的功能，為了實現(xiàn)對橋梁結(jié)構(gòu)表觀狀況的全方位、全覆蓋拍攝，需要在現(xiàn)有無人機的基礎(chǔ)上增加云臺和向上拍攝的相機。為了保證三維模型效果，需要確保檢測部位在照片上無遺漏和無死角，以實現(xiàn)雙目立體前方交會，并同步記錄對應(yīng)的GPS 數(shù)據(jù)[6]。

選擇常用的物種多樣性測度指標，如物種豐富度指數(shù)、物種多樣性指數(shù)、物種優(yōu)勢度以及物種均勻度指數(shù)等［3］。

2.2 橋梁三維模型構(gòu)件自動劃分

2.2.1 方案設(shè)計

通過無人機對橋梁表觀影像進行采集，運用Lensphoto 近景攝影測量技術(shù)對所采集的影像進行高精度建模；再通過深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對橋梁各構(gòu)件類型進行訓(xùn)練，提取橋梁的各種構(gòu)件特征，實現(xiàn)對橋梁三維模型進行構(gòu)件自動劃分。橋梁構(gòu)件劃分流程見圖5。

圖5 橋梁構(gòu)件劃分流程

2.2.2 橋梁構(gòu)件樣本標注

按橋梁部位將橋梁分為橋面系、上部結(jié)構(gòu)和下部結(jié)構(gòu)3 部分。以梁式橋為例，橋面系按組成部分主要劃分為橋面鋪裝、伸縮縫、防撞護欄等部件；上部結(jié)構(gòu)按組成部分劃分為主梁、濕接縫、橫隔板、支座等部件；下部結(jié)構(gòu)按組成部分劃分為橋墩、橋臺、墩臺基礎(chǔ)等部件[7]。

為了對上述構(gòu)件進行自動識別劃分，首先應(yīng)對各類構(gòu)件圖像進行標注，標注數(shù)量不少于2 000 張；再將這些標注完成的影像導(dǎo)入深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，提取各類構(gòu)件的特征信息。

橋梁構(gòu)件標記見圖6。

圖6 橋梁構(gòu)件標記

2.2.3 三維建模實體應(yīng)用

將無人機所拍攝的影像信息導(dǎo)入識別系統(tǒng)中，選擇建模方式，點擊“開始處理”，建立所拍攝橋梁的三維模型，同時模型數(shù)據(jù)在病害檢測和構(gòu)件劃分界面進行顯示；點擊“構(gòu)件識別”，即可進行構(gòu)件的自動識別和劃分；最后是成果輸出。以上海市顓橋鎮(zhèn)北橫涇斜拉橋為例，其建模效果見圖7。

圖7 上海市顓橋鎮(zhèn)北橫涇橋三維模型

3 橋梁表觀病害自動識別技術(shù)

3.1 方案設(shè)計

橋梁表觀病害檢測系統(tǒng)設(shè)計方案見圖8。

圖8 橋梁表觀病害檢測系統(tǒng)設(shè)計方案

橋梁表觀病害自動識別系統(tǒng)由圖像導(dǎo)入、三維重建、構(gòu)件和病害識別、成果輸出4 大模塊組成。

3.2 橋梁病害的樣本

根據(jù)橋梁結(jié)構(gòu)，將橋梁表觀病害分為混凝土結(jié)構(gòu)病害、鋼結(jié)構(gòu)病害、橋面鋪裝病害3 大類。其中：（1）混凝土結(jié)構(gòu)病害主要包括：裂縫、蜂窩麻面、剝落掉角、空洞孔洞、鋼筋裸露銹蝕等；（2）鋼結(jié)構(gòu)病害主要包括：涂層起皮剝落、鋼結(jié)構(gòu)銹蝕等；（3）橋面鋪裝病害主要包括：瀝青路面鋪裝層裂縫、坑槽等。

橋梁結(jié)構(gòu)病害類別標注見圖9。

圖9 橋梁結(jié)構(gòu)病害類別標注

圖像標注與訓(xùn)練樣本選擇：為減小干擾因素影響，首先應(yīng)對訓(xùn)練圖像中的病害信息進行分類標注和命名[8]，每類病害圖像標注數(shù)量不少于2 000 張。

3.3 病害識別準確率

從總體樣本中選取80%為訓(xùn)練集，對各類病害進行特征提取、訓(xùn)練和識別后，選取剩余20%病害樣本為驗證集，以檢驗識別模型的準確率。表1 為各類病害識別準確率。

表1 各類病害識別準確率

由表1 可知，各類病害的識別準確率可以達到70%以上，基本滿足工程需求。為方便工程應(yīng)用，同樣以上海市顓橋鎮(zhèn)北橫涇斜拉橋為例，其病害圖像識別結(jié)果和數(shù)據(jù)導(dǎo)出如圖10 所示。經(jīng)過現(xiàn)場檢測，病害識別類型和大小基本符合實際，識別精度可達厘米級。

圖10 上海市顓橋鎮(zhèn)北橫涇橋病害自動識別結(jié)果

4 結(jié) 語

將近景攝影測量技術(shù)用于橋梁檢測行業(yè)，實現(xiàn)了無人機影像數(shù)據(jù)的快速實景建模，提高了后期三維模型的生成效率，可構(gòu)建高精度、高清晰的紋理模型；同時運用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)方法對采集的橋梁構(gòu)件進行訓(xùn)練，開發(fā)出自動識別劃分軟件；最后在可視化橋梁表觀三維模型的基礎(chǔ)上，實現(xiàn)橋梁結(jié)構(gòu)病害圖像的自動識別和定量評價。

目前，橋梁結(jié)構(gòu)病害特征圖像樣本數(shù)量有限，隨著數(shù)據(jù)庫的不斷增加，其識別精度也會逐步提高，基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的橋梁三維快速建模及病害自動識別技術(shù)勢必會得到更加廣泛可靠的應(yīng)用。