余朝陽

(廣東承信公路工程檢驗有限公司， 廣州 511400)

斜拉橋作為一種以拉索體系為主要傳力部件的橋型，相比于梁式橋具有跨越能力更大、造型更美觀等諸多優(yōu)點，在世界各地得到廣泛應用。斜拉橋主要是由橋塔、斜拉索和主梁3部分組成，斜拉索作為重要的受力構件之一，其健康狀況影響整個結構的穩(wěn)定性和橋梁的使用壽命[1]。橋梁的斜拉索在運輸和安裝的過程中，其聚乙烯(Polyethylene，PE)護套與各種施工工具及建筑體易產(chǎn)生摩擦和碰撞, 而這些都會對PE護套造成一定程度的劃傷甚至破裂，從而削弱拉索的防腐體系。橋梁在服役過程中, 拉索長期暴露在自然環(huán)境中，受雨水、日光、風雪、霧、霜等侵蝕，容易產(chǎn)生如PE護套開裂、斷裂、鼓脹、變形及索絲銹蝕斷裂等拉索病害[2]，直接影響斜拉橋的安全使用。四川宜賓南門大橋因橋梁拉索嚴重銹蝕致使橋梁倒塌，重慶嘉陵江石門大橋也曾因拉索系統(tǒng)嚴重腐蝕于2005年耗資700余萬元對其中36根拉索實施更換，后又因腐蝕嚴重，迫于2008年10月對180根斜拉索實施換索工程。因此，對拉索定期檢查，以便早期預防，十分必要。

目前，我國對拉索的檢測主要有人工目測法、搭設支架法、卷揚機探傷法、吊籃檢測維護法等多種方法，但均面臨檢測效率低、費時費力費錢，且檢查人員存在安全隱患等問題[3]。近年來，隨著智能科技的發(fā)展，人們開始研究運用機器人及各類爬升裝置對拉索進行檢測和維護，其自動化作業(yè)可顯著提高工作質量和效率，降低工作風險。吳中鑫等[4]介紹了檢索機器人的工作原理、檢測范圍和工程應用實例。徐懋剛[5]介紹了一種斜拉索自爬行機器人的設計思路、工作原理及應用的工程實例。Ho等[6]討論了攀巖機器人對斜拉索的缺陷識別，引入了一種有效的基于圖像的損傷檢測系統(tǒng)，該系統(tǒng)可通過圖像處理技術和模式識別來自動識別電纜表面的損壞。

本文提出一種斜拉索檢測機器人和智能檢測技術相結合的斜拉索外表檢測方法。該方法是利用機器人在斜拉索上爬升過程中采集斜拉索外表的圖像，然后利用卷積神經(jīng)網(wǎng)絡深度學習算法與目標檢測算法對圖像進行識別，按照不同的缺陷狀況進行分類，并將缺陷區(qū)域標注出來，最后推算出缺陷位置在斜拉索上的精確位置。

1 檢測機器人及智能檢測技術

1.1 檢測機器人

1) 組成結構

該檢測機器人由我公司自主研制成功，其結構如圖1所示，設計參數(shù)見表1。機器人由1臺主動小車和2臺從動小車組成，采用三邊夾緊的方式夾緊斜拉索。機器人上裝有3塊固定板，其中間安裝有2個直線軸承座。輪子支架裝有輪子與電機，且與活動底板連接，輪子材料是聚氨酯，具有高強的彈性和耐磨性。通過連接設置在固定板上的電動推桿可方便調(diào)節(jié)機器人中心的直徑大小(能檢測50 mm～300 mm纜索直徑)。通過拔出一邊的固定銷打開機器人，方便安裝在橋梁纜索上。固定板的上下端裝有工業(yè)級超聲波傳感器作為防撞裝置。固定板的上端裝有高清攝像頭，用于采集纜索表觀圖像信息。

圖1 斜拉索檢測機器人

表1 斜拉索檢測機器人的主要參數(shù)

2) 工作原理

為了檢測拉索表面保護層的破損情況，機器人設計了視覺檢測系統(tǒng)，其硬件系統(tǒng)由3臺攝像機、主控制器和數(shù)據(jù)存儲器組成，如圖2所示。其工作方式是當機器人在拉索上爬升時，控制器以循環(huán)的方式將3臺攝像機圖像分時傳輸給數(shù)據(jù)存儲器，以實現(xiàn)對拉索表面保護層全方位圖像的存儲，并將3路視頻通過無線傳輸子系統(tǒng)傳輸?shù)降孛姹O(jiān)控系統(tǒng)的PC機上。

圖2 斜拉索檢測機器人工作原理

1.2 智能檢測技術

智能算法的發(fā)展給斜拉索的檢測提供了更加便捷的方法。為了提高檢測的效率及準確度，檢測機器人利用卷積神經(jīng)網(wǎng)絡對斜拉索進行缺陷檢測，并利用目標檢測技術實現(xiàn)缺陷區(qū)域檢測定位。

1) 卷積神經(jīng)網(wǎng)絡

人工神經(jīng)網(wǎng)絡是一個擁有強大信息處理能力的數(shù)學模型，具備高度非線性和復雜邏輯的表示能力。隨著經(jīng)典的BP神經(jīng)網(wǎng)絡反向傳播算法的應用[7]，使人工神經(jīng)網(wǎng)絡在訓練過程中能夠自動修正內(nèi)部參數(shù)，在大量的訓練樣本中學習到統(tǒng)計規(guī)律，從而預測未知事件。BP神經(jīng)網(wǎng)絡的一個經(jīng)典結構如圖3所示。研究發(fā)現(xiàn)，這種網(wǎng)絡結構存在計算效率低、收斂速度慢等問題。為了克服上述方法的缺陷，研究人員開展了卷積神經(jīng)網(wǎng)絡算法的研究。

圖3 BP神經(jīng)網(wǎng)絡結構示意

卷積神經(jīng)網(wǎng)絡由LeCun教授在1989年提出，一般由輸入層、卷積層、池化層、全連接層和輸出層組成[8]。使用卷積層與池化層替代了部分全連接層形成多層神經(jīng)網(wǎng)絡，以部分連接的方式替代全連接，提高了網(wǎng)絡的魯棒性、計算速度以及收斂性，有效防止了過擬合現(xiàn)象的發(fā)生。卷積神經(jīng)網(wǎng)絡通過逐層特征提取由低層特征形成更加抽象的高層特征，實現(xiàn)復雜非線性函數(shù)的逼近，最后所有特征映射到圖像的類別。一個4×4的輸入樣本在一個2×2的卷積核下的卷積運算過程及極大值池化過程如圖4所示，公式如下：

(1)

式中：S是輸入數(shù)據(jù)；K是卷積核；Vk是卷積區(qū)域內(nèi)元素個數(shù)；i表示移動步數(shù)。

圖4 卷積和池化操作原理

依靠神經(jīng)網(wǎng)絡的分類能力，將輸入的圖像所包含的各種缺陷狀況進行分類，從而進行纜索缺陷的圖像識別。整個過程包括網(wǎng)絡的訓練階段和測試階段。

訓練階段，神經(jīng)網(wǎng)絡的輸入為機器采集到的纜索表面圖像，輸出則是每張圖像對應的一種已知缺陷狀況的標簽。根據(jù)工程實際將缺陷狀況劃分為無缺陷、凹痕、剝落、刮痕、破損和損壞6種拉索表面狀態(tài)的標簽。

測試階段，將新采集的圖像輸入到網(wǎng)絡中，借此預測該圖像的缺陷情況。

對于分類，先用Softmax層得到網(wǎng)絡輸出的概率分布，后通過分類層得到識別(預測)的事物類別。具體流程是：(1) 原始數(shù)據(jù)先經(jīng)過若干個卷積層、池化層得到若干個特征矩陣(值)；(2) 通過全連接層將特征矩陣(值)映射到若干個特征值，并將此作為Softmax層的輸入；(3) 利用損失函數(shù)計算Softmax層的輸出與目標輸出的交叉熵損失；(4) 通過損失的反向傳播來調(diào)節(jié)網(wǎng)絡權值[9]。將Softmax函數(shù)應用到卷積神經(jīng)網(wǎng)絡中，主要是用于數(shù)據(jù)多分類問題，對于給定的輸入x和網(wǎng)絡參數(shù)w，可通過Softmax層計算出結果概率分布，函數(shù)將輸出一個k維向量，向量元素的和為1。函數(shù)表達式如下：

(2)

交叉熵損失[9]反映了目標輸出與預測輸出的相似程度，交叉熵越低，說明算法得出預測概率分布越接近真實概率分布，其表達式為：

(3)

式中：N為樣本數(shù)；K為類別數(shù)；tij為樣本i屬于j類的概率；yij為模型對樣本i屬于類別j的輸出概率，即是Softmax函數(shù)的輸出值。

為實現(xiàn)目標檢測(目標定位)，先需要得到一個預訓練網(wǎng)絡。為了減少計算量并且獲得較好的圖像識別能力，采用一個經(jīng)典的卷積神經(jīng)網(wǎng)絡模型(AlexNet網(wǎng)絡)作為預訓練網(wǎng)絡，其中有5個卷積層、3個池化層及3個全連接層組成，其運行過程如圖5所示。網(wǎng)絡的輸入為一張圖片，原始尺寸為227×227×3的矩陣，經(jīng)過被第一層卷積逐層傳遞卷積后，成為一個55×66×96的矩陣，再經(jīng)過逐層傳遞，成為一個6×6×256的矩陣，將該矩陣展開(1×9 216)進入全連接層，最后通過Softmax層計算所屬類別的概率。

圖5 AlexNet網(wǎng)絡結構

2) 目標檢測器

目標檢測是用于識別圖像中目標位置的技術，或稱為目標定位[10]；目標檢測器通常是由網(wǎng)絡預訓練與檢測器訓練2個過程得到[11]。

(1) 網(wǎng)絡預訓練

將含有大量樣本的圖像集(ImageNet數(shù)據(jù)集)通過訓練的卷積神經(jīng)網(wǎng)絡來解決新分類或檢測任務，由于預訓練網(wǎng)絡已有強大的圖像特征提取能力，然后在該網(wǎng)絡的基礎上進行遷移學習[12]，提取圖像的特征。遷移學習過程是將上述具有圖像識別功能的網(wǎng)絡應用到目標檢測任務中，只需輸入少量與目標檢測任務有關的樣本，權值進行很小的調(diào)整，即可用于圖像的目標識別任務。

(2) 目標檢測器訓練

該訓練用來實現(xiàn)目標的識別和定位，該部分的實現(xiàn)包括目標物的圖像輸入、目標物所在圖像的區(qū)域及類別輸出，預訓練的網(wǎng)絡模型(AlexNet)和檢測器的訓練參數(shù)(學習次數(shù)、圖像尺寸等)。訓練功能會自動將原始的AlexNet網(wǎng)絡模型(將圖像分為M類)修改為可以將圖像分為N類(取決于新任務的樣本類別)的網(wǎng)絡。

本文采用ImageNet數(shù)據(jù)集進行預訓練的網(wǎng)絡模型(AlexNet)，將此網(wǎng)絡遷移到斜拉索表面檢測的缺陷定位任務中。

2 斜拉索外表檢測流程

機器人圖像采集的方法及缺陷識別的過程主要分為以下8個步驟：

1) 將機器人平放在要檢測的斜拉索附近，隨后開啟機器人電源、無線控制器電源、無線錄像機電源。

2) 使用無線控制器操作機器人各部分運動，觀看無線錄像機畫面，查看各部分功能是否正常運作。

3) 按下機器人黃色按鈕，如圖6所示，使機器人夾緊中心變大，略比要檢測的斜拉索直徑大便可。

4) 取下機器人中一邊的固定銷使機器人張開，然后套上斜拉索后裝回固定銷。

5) 按下機器人藍色按鈕，如圖6所示，使機器人夾緊中心變小，使其夾緊斜拉索，等看到避震彈簧往回縮便可。

6) 使用無線控制器數(shù)據(jù)導出畫面，按下刪除歷史記錄按鈕，切換到操作畫面設置好速度，按下上升自鎖按鈕便可開展檢測工作，機器人工作示意如圖7所示。

7) 將采集到的部分斜拉索表面圖像及標注信息導入到智能檢測系統(tǒng)中，調(diào)節(jié)網(wǎng)絡的訓練參數(shù)，即可開始網(wǎng)絡的訓練過程。

采用Faster-RCNN模型作為缺陷識別的算法，訓練過程如圖8所示。(1) 通過預訓練網(wǎng)絡(AlexNet)

(a) 機器人控制按鈕

(b) 機器人電源開關

圖7 機器人工作示意

圖8 Faster-RCNN網(wǎng)絡的訓練過程

提取缺陷特征，利用區(qū)域生成網(wǎng)絡(RPN)形成候選區(qū)域；(2) 通過池化層將候選區(qū)域變成大小相同的尺寸；(3) 輸入到回歸層(缺陷的定位)和分類層(缺陷的類別)，以此完成缺陷的位置及類型識別。其訓練集采用無缺陷、凹痕、剝落、刮痕、破損和損壞6種拉索表面狀態(tài)的圖像，每種缺陷選擇140張照片，尺寸為2 048×2 048，格式為RGB，數(shù)量共800余張。首先將它們輸入檢測器，并進行標注，檢測器輸出文件為矩形框標注缺陷的區(qū)域，并注釋缺陷類型，然后將圖片和標注信息輸入到檢測目標檢測算法中進行訓練，隨著訓練時間的增加，識別的正確率不斷提高，待正確率穩(wěn)定后即完成網(wǎng)絡訓練，最后將訓練完成的網(wǎng)絡用于新采集的斜拉索表面缺陷的檢測任務中，訓練完成的網(wǎng)絡可以保存起來，下一次檢測不需要再次訓練即可實現(xiàn)檢測任務。

8) 待訓練完畢，將采集的其他沒有標記的圖像輸入到系統(tǒng)中，系統(tǒng)自動識別出缺陷的區(qū)域與距離地面端的距離，最后記錄下來形成檢測報告，報告主要包括病害統(tǒng)計表、病害情況描述、病害結果匯總等內(nèi)容。

3 工程應用實例

3.1 工程概況

廣東番禺大橋有244根斜拉索，按空間雙索面布置，塔上標準索距為1.3 m，梁上標準索距為6.0 m，拉索采用Φ7鍍鋅高強鋼絲，鋼絲數(shù)在121至367之間變化。對244根斜拉索中的部分拉索進行表面缺陷檢測并對其編號。

3.2 機器人檢測結果

將機器人采集的圖片通過神經(jīng)網(wǎng)絡和目標檢測技術進行智能分類及定位，最終的檢測結果見表2，XLS-2斜拉索的部分病害檢測結果如圖9所示，病害位置被準確標記出。

表2 斜拉索病害分類結果

(a) 破損

(b) 凹痕

(c) 刮痕

(d) 剝落

(e) 損壞

(f) 無病害

3.3 自動化檢測報告

本次機器人對番禺大橋CX-1斜拉索進行了外觀檢測，斜拉索護套整體情況基本良好，發(fā)現(xiàn)的病害如下：刮傷2處、刮痕30處、孔洞0處、翹皮0處、擠壓0處、污漬0處、開裂0處等。病害共32處，病害位置及情況描述如圖10所示。

該橋斜拉索的檢測病害以刮痕為主，主要因斜拉索吊裝時產(chǎn)生；破損、剝落、凹痕、損壞等病害則因斜拉索常年的風吹雨淋老化引起?？傮w來看，病害多在表面，對纜索內(nèi)部影響較小，不影響結構的正常使用。

(a) 病害統(tǒng)計表

(b) 病害情況描述

(c) 病害檢測結果匯總

本文提出的智能檢測技術比傳統(tǒng)斜拉索檢測效率提高了300%。經(jīng)測試10 min的檢測視頻，人工檢測缺陷、整理缺陷和編寫報告共需要40 min；而智能檢測技術只需要10 min就能自動生成定性、定量、定位的缺陷報告。

智能檢測技術降低了傳統(tǒng)人工檢測在復雜環(huán)境下的風險，提高了檢測精度。例如，傳統(tǒng)方法每檢測一條斜拉索都需檢查員坐在卷揚機上沿著斜拉索向上移動，通過檢測員肉眼觀察的方式去檢測斜拉索的缺陷，當卷揚機上升到較高處的時候，高處風大易使卷揚機晃動，可能危及檢查員的生命安全。

4 結論

1) 機器人在斜拉索圖像采集中具有巨大的優(yōu)勢，顯著提高了工作效率和安全性。

2) 卷積神經(jīng)網(wǎng)絡算法與目標檢測結合的智能檢測技術，不僅能夠準確識別出缺陷的類型，而且能定位出缺陷的區(qū)域，節(jié)省了大量的人力資源及時間，在工程中具有重要廣泛的應用前景。

3) 通過應用實證，基于智能算法和纜索機器人的斜拉索聯(lián)合檢測系統(tǒng)能夠有效、快速、安全地完成斜拉索外表的檢測任務。