馬學志 范劍雄 柴雪松 李會強 暴學志 李健超
1.中國鐵道科學研究院集團有限公司鐵道建筑研究所,北京 100081;2.中鐵科學技術開發(fā)有限公司,北京 100081;3.中國鐵路上海局集團有限公司,上海 200071;4.中國鐵路廣州局集團有限公司,廣州 510699
21世紀以來,隨著我國鐵路技術快速發(fā)展,鐵路運營里程不斷增加。我國地域遼闊、地形復雜,鐵路橋梁數量也隨之不斷增加。為保障列車運行和出行人員的安全,鐵路橋梁安全隱患排查成為鐵路工作者的工作重點。傳統橋梁檢測手段存在效率低、作業(yè)危險性高、盲區(qū)多等問題。近年來,無人機技術日益成熟,在工程中越來越多地得到應用[1],使得無人機巡檢代替?zhèn)鹘y檢測手段進行鐵路橋梁病害檢測成為可能。
無人機是通過人遠程控制或程序自動控制的不載人飛行器,通過安裝在無人機上的高清相機、激光測距儀等傳感器獲取待測物體相關信息。本文從鐵路橋梁檢測方面將無人機巡檢和現有橋梁檢測手段進行對比,介紹無人機數據處理方法,并通過現場試驗證明處理算法的可行性。
我國現有鐵路橋梁超過20萬座。隨著運營時間增加,橋梁中裂縫、蜂窩麻面、鋼筋銹蝕、支座異常變位等病害呈多發(fā)趨勢,存在一定的安全隱患,甚至危及行車安全。因此鐵路橋梁定期檢測,及時發(fā)現、處理問題顯得尤為重要。目前主要通過簡易檢測平臺、橋梁檢測車、橋底檢修通道[2]進行鐵路橋梁病害檢測。
簡易檢測平臺主要是借助梯子、腳手架,使檢測人員靠近橋梁,通過目視觀察或利用尺子、測寬儀等工具檢測橋梁病害。該檢測方式的缺點是:①效率低下,梯子和腳手架體積較大,搬運、搭建比較耗時;②人員成本較高,需要多人配合完成;③使用場景受限,只適用于凈空較低且橋梁底部環(huán)境相對簡單的橋梁檢測;④安全性較差,登高作業(yè)存在一定風險。
橋梁檢測車上搭載有機械平臺或檢測設備,作業(yè)時機械臂伸展至橋梁附近,使檢測人員或檢測設備靠近橋梁進行檢測[3]。機械臂伸展開時可緩慢行駛,相比于簡易檢測平臺其效率和安全性得到提升,但也存在缺點:①橋梁檢測車價格較高;②使用場景受限,只適用于車輛可接近的鐵路橋梁。
橋底檢修通道是建設期或運營期設計建造的,貼近橋梁底面或橋墩,方便橋梁底部檢測的懸掛式通道。其不足之處在于:①檢修通道位置固定,只能檢測通道附近位置;②只有個別橋梁擁有檢修通道,不能推廣應用。
隨著飛行控制、無線遙感等技術的快速發(fā)展以及機載傳感設備的輕量化、多樣化,國內外許多學者都在積極探索其在橋梁檢測中的應用。2015年Waheed等[4]在無人機上安裝非接觸式多光譜傳感器,用于快速識別橋梁表面開裂及內部分層情況。2016年美國特拉華河灣管理局利用無人機對特拉華紀念橋進行檢查,確認橋梁狀態(tài)。2017年Oreifej等[5]在無人機上搭載熱成像儀對兩座橋梁進行檢測,核查混凝土橋梁面板中的分層情況。2017福建省南平市公路局利用無人機檢測金溪大橋時發(fā)現多處裂縫、加固鋼板銹蝕、弦桿貫穿性斷裂、混凝土剝落等病害[6]。2018年張平等[7]利用兩架無人機分別采集了重慶萬州長江公路大橋的視頻和高清圖像,發(fā)現多處裂縫、鋼筋銹蝕等病害。2020年劉威等[8]耗時2 h,依據預先規(guī)劃的8條無人機飛行路徑,完成了惠平路藻浜大橋的全面檢測,檢測精度可達厘米級。
目前無人機在橋梁檢測中主要用于檢測較大尺寸的病害,對毫米級甚至不足1 mm寬度的裂縫檢測效果不佳,因此本文主要研究寬度不足1 mm的裂縫等細小病害的數據采集、自動識別及特征信息的提取。
無人機巡檢系統由數據采集、處理兩個子系統構成。數據采集子系統集成在無人機上,主要用于完成鐵路橋梁圖像數據的快速采集、存儲,數據處理子系統部署于機房,用于完成鐵路橋梁圖像數據的自動分析,識別出其中的病害并計算其長寬等特征信息。
數據采集子系統由無人機、相機模塊及機載計算機控制軟件組成。
1)無人機
無人機選用大疆經緯M300,該無人機具備24 h全天候長續(xù)航能力,能夠滿足鐵路橋梁檢測長時間作業(yè)要求,配備雙慣性測量單元(Inertial Measurement Unit,IMU)、氣壓計及指南針,配合智能電機驅動器,提供了敏捷、穩(wěn)定、安全的飛行性能。這些配置可避免對鐵路橋梁檢測時無人機侵入鐵路限界,對行車安全造成威脅。
2)相機模塊
相機模塊選用大疆禪思H20,該相機模塊集成2 000萬像素變焦相機、1 200萬像素廣角相機、30 Hz熱成像相機及探測距離達1 200 m的激光測距儀于一體,同時配備水平方向±320°,垂直方向-120°~+30°大角度云臺,可滿足不同檢測需求。
相機成像是將世界坐標系下的物體轉換到圖像像素坐標系下,用像素的多少來表示物體的實際大小。由于廣角鏡頭存在畸變,導致圖像變形,嚴重影響橋梁病害的自動識別,故鐵路橋梁病害檢測中需使用相機模塊中的變焦相機。依據相機成像原理,只有當相機云臺角度為0(相機光軸垂直于待檢橋梁表面)時采集到的圖像才不會發(fā)生變形,才可以準確提取病害長寬等特征信息,故須保持相機云臺角度始終為0,“正視”待檢橋梁表面。相機模塊配合M300無人機可實現打點定位、精準復拍功能,方便橋梁多次檢測作業(yè),便于歷史檢測數據的對比分析。
3)機載計算機控制軟件
機載計算機控制軟件主要用于依據設定的圖像采集策略,自動控制數據的采集,減少操作人員的工作量。
無人機巡檢距離(與待檢橋梁的水平距離)和鏡頭焦距是直接影響成像清晰度的關鍵參數。巡檢距離不變,焦距越大,像素精度越高,成像越清晰;同樣,焦距不變,巡檢距離越近,像素精度越高,成像也越清晰,但單張圖像分辨率固定時像素精度越高意味著視野越小,采集效率越低,故須選擇合適的巡檢距離和鏡頭焦距。
鐵路橋梁表觀裂縫寬度通常在0.2~1.0 mm,因此必須保證圖像具備足夠高的像素精度,才能使裂縫等細小病害清晰成像。采用打印有不同寬度橫線的A4紙靶標模擬鐵路橋梁裂縫,見圖1(a)。通過改變無人機巡檢距離、鏡頭焦距等參數獲取試驗狀態(tài)下的不同圖像。
以不同巡檢距離、鏡頭焦距拍攝懸掛于垂直墻面上的裂縫靶標。巡檢距離過近存在無人機碰撞隱患,過遠則會導致圖像不清晰;焦距過大會影響采集效率,過小會導致圖像精度不足。經過多次試驗,無人機巡檢距離為5 m,鏡頭焦距為150 mm時圖像清晰度和采集效率比較好。利用此參數采集到的鐵路橋梁裂縫見圖1(b)。經現場測量L1裂縫寬0.2 mm。該裂縫在圖中清晰可見,證明無人機巡檢距離為5 m,鏡頭焦距為150 mm時采集到的圖像像素精度優(yōu)于0.2 mm,將此參數組合設置為機載計算機控制軟件的默認參數。
圖1 試驗用靶標及采集到的混凝土鐵路橋梁裂縫
H20相機模塊單張圖像分辨率為5 188×3 888,若要滿足像素精度優(yōu)于0.2 mm,則單張圖像視野約1 m,極有可能無法包含完整病害,影響自動識別結果。為保證檢測出完整病害,得到病害準確位置與尺寸,須將多張原始圖像拼接成完整大圖,在大圖中檢測病害并獲取其準確位置。這就要求采集圖像時相鄰圖像有一部分重合。經多次計算,相鄰圖像重合25%左右可確保拼接準確。在機載計算機控制軟件中設置相機等距離采集圖像數據,同時獲取無人機當前位置經緯坐標、測距傳感器距離、相機云臺角度、鏡頭焦距等數據,同步保存至圖像屬性信息中,并完成各類數據的匹配融合,用于后續(xù)數據處理。
數據處理子系統包括數據處理服務器和數據存儲單元。
1)數據處理服務器
數據處理服務器主要用于完成無人機圖像拼接、病害自動識別及其特征信息的提取。
①圖像拼接
圖像拼接采用sift匹配算法[9-11]。首先在兩幅圖像中大概重合區(qū)域分別檢測sift特征點,同一特征點的特征向量必然是相同或相似的,故需尋找兩幅圖像中特征向量最相近的兩個點組成一個匹配點對,見圖2。其中每條線兩端連接的就是一個匹配點對,由多個匹配點對計算得到表示兩幅圖像相對關系的變換矩陣。利用該矩陣可將兩幅圖像統一到同一個坐標系下,進而完成兩幅圖像的準確拼接,見圖3。
圖2 相鄰圖像匹配結果
圖3 圖像拼接效果
重復拼接過程,即可得到反映整座橋梁的完整大圖。對大圖進行自動識別,可檢測出完整病害,并對病害準確定位。
②病害自動識別及特征信息提取
采用了基于PSPNet的語義分割網絡[12]對病害樣本庫進行訓練。由于組成PSPNet網絡的ResNet101參數多,嚴重影響訓練速度,故采用改進后的ResNet18作為分割網絡的特征提取網絡(主干網絡)。由于裂縫、掉塊等病害尺寸相差較大,故采用PPM網絡作為解碼網絡。解碼網絡可以將卷積神經網絡中提取的特征信息轉換為分割結果,并且可以處理不同尺度的圖像,提取不同子區(qū)域之間的上下文信息,最終生成精確的分割圖。
病害自動識別算法流程見圖4。首先建立樣本庫,使用標注工具對超過1 000張圖像進行像素級語義分割標注,建立橋梁病害樣本數據集,按一定比例分為訓練集和驗證集;然后構建基于編碼(ResNet18網絡)-解碼(PPM網絡)架構的深度神經網絡傷損分割模型[13-14],將訓練集中的圖片輸入到分割模型的編碼網絡中提取特征信息,輸入到解碼網絡中生成對象分割結果,持續(xù)進行模型訓練;最后通過驗證集對模型識別能力進行評估,找到最優(yōu)的模型參數,實現對裂縫、梁縫、掉塊等不同橋梁病害的自動化檢測、病害趨勢分析和狀態(tài)評定。
圖4 自動識別算法流程
針對識別出的裂縫病害,采用基于中軸線的裂縫寬度計算方法,結合三次cardinal樣條插值擬合裂縫邊緣,從而獲取反映裂縫實際寬度的亞像素寬度。
2)數據存儲單元
數據存儲單元主要用于存放無人機歷次檢測原始圖像數據及其處理結果,需滿足容量大、安全性高的要求。選用工業(yè)級磁盤陣列充當數據存儲單元,容量不低于40 TB,可存放不少于500 km鐵路橋梁無人機數據。數據存放過程中按照線路名稱-檢測時間分級存放,方便進行歷史檢測數據的對比,重點關注新增病害和舊病害的持續(xù)發(fā)展。
為測試無人機巡檢效果,2021年4月對朔黃鐵路潴龍河特大橋進行了試驗,該橋為44×32 m預應力鋼筋混凝土橋,全長1 452 m。試驗中檢測了第8跨、第9跨梁體的上下行線。梁體檢測分4次完成,每次檢測一跨一側。由于要求像素精度小于0.2 mm,故檢測單側梁體時也需采集多張圖片。
檢測過程中按從小里程往大里程的方向進行,由機載計算機依據預先設置的參數組合自動采集圖像數據。檢測過程中無人機飛行軌跡如圖5所示。圖中一個小方格代表一張圖像,檢測一跨單側梁體用時30 min,檢測橋梁兩跨共用時2 h。
圖5 無人機飛行軌跡示意
兩跨梁體數據處理時長見表1。計算可得:處理一跨32 m梁體單側數據總用時249.25 s。
表1 兩跨梁體數據處理時長 s
裂縫現場實測值與無人機巡檢系統檢測值對比見表2??梢姡含F場實測的裂縫均被準確識別出來,且實測值與檢測值的長度誤差不超過50 mm,寬度誤差不超過0.1 mm。這表明無人機巡檢系統采集的圖像數據清晰有效,數據處理算法滿足需求。
表2 裂縫現場實測值與無人機巡檢系統檢測值對比mm
針對傳統鐵路橋梁檢測手段的局限性,結合國內外無人機在橋梁檢測方面的應用現狀,設計了無人機巡檢系統,用于檢測鐵路橋梁表面病害。該系統通過選用合適的參數組合,合理安排無人機圖像采集路徑,可檢測并自動識別出寬度0.2 mm裂縫等細小病害,對鐵路橋梁養(yǎng)護維修具有實用價值。