宋高峰,張延兵,張一輝,孫志濤
(江蘇省特種設(shè)備安全監(jiān)督檢驗(yàn)研究院,江蘇 南京 210000)
在大型結(jié)構(gòu)無(wú)損檢測(cè)中,如大型?;妨⑹絻?chǔ)罐、壓力容器、球形儲(chǔ)罐、起重機(jī)械、橋梁等,自動(dòng)化檢測(cè)處于起步階段[1,2]。隨著檢測(cè)技術(shù)的飛速發(fā)展,通過(guò)研制各種各樣的爬壁機(jī)器人,攜帶無(wú)損檢測(cè)儀器代替人工完成危險(xiǎn)環(huán)境下的高強(qiáng)度、高風(fēng)險(xiǎn)檢測(cè)工作,已成為無(wú)損檢測(cè)技術(shù)進(jìn)步的重要研究方向。
自動(dòng)化檢測(cè)要求檢測(cè)儀器基本脫離人員的干預(yù),自主控制檢測(cè)全過(guò)程,包括傳感器移動(dòng)控制、耦合劑供給控制、爬行器運(yùn)動(dòng)控制、檢測(cè)數(shù)據(jù)遠(yuǎn)程無(wú)線傳輸以及檢測(cè)路徑的跟蹤控制[3,4]等。目前市場(chǎng)上絕大部分的焊縫檢測(cè)爬行機(jī)器人設(shè)計(jì)思路主要集中在本體結(jié)構(gòu)優(yōu)化方面,現(xiàn)場(chǎng)檢測(cè)過(guò)程中仍然需要大量人工干預(yù),尤其面對(duì)焊縫兩邊有曲率差異的檢測(cè)路徑,由于爬行器不可避免會(huì)出現(xiàn)跑偏,此時(shí)需要檢測(cè)人員近距離密切注視爬行器的運(yùn)動(dòng)偏差,實(shí)時(shí)進(jìn)行調(diào)整,導(dǎo)致削弱了自動(dòng)化檢測(cè)的預(yù)期功效,因此在焊縫自動(dòng)化檢測(cè)儀器的研制過(guò)程中,如何實(shí)現(xiàn)檢測(cè)軌跡的自動(dòng)糾偏成為重要的技術(shù)難點(diǎn)。從國(guó)內(nèi)外檢測(cè)爬行器市場(chǎng)調(diào)研和文獻(xiàn)查閱中得知[5,6],目前只有少數(shù)焊縫檢測(cè)機(jī)器人通過(guò)手工粘貼在焊縫位置上的色帶來(lái)識(shí)別運(yùn)動(dòng)軌跡的偏移量,進(jìn)而調(diào)整爬行器位置,這種方式仍然不能實(shí)現(xiàn)全自動(dòng)化。再者還有直接對(duì)焊縫外觀進(jìn)行圖像識(shí)別,進(jìn)而輸出爬行器位置偏移量,但是這種技術(shù)在實(shí)際應(yīng)用中受到外接環(huán)境的干擾極為嚴(yán)重,目前還只是停留在技術(shù)研究層面,還沒(méi)有在實(shí)際的工程中得到成熟應(yīng)用。為此,以基于可視化結(jié)構(gòu)光導(dǎo)向的爬壁機(jī)器人焊縫跟蹤方法為研究對(duì)象,分析結(jié)構(gòu)光導(dǎo)向焊縫圖像處理的關(guān)鍵技術(shù),包括圖形濾波、閾值分割、焊縫特征提取、最小二乘法擬合、焊縫偏離值提取等,從而實(shí)現(xiàn)焊縫位置特征的準(zhǔn)確識(shí)別,實(shí)現(xiàn)爬壁機(jī)器人自動(dòng)糾偏,自動(dòng)化完成整個(gè)檢測(cè)過(guò)程。
檢測(cè)爬壁機(jī)器人在運(yùn)動(dòng)過(guò)程中,檢測(cè)路徑由于各種因素導(dǎo)致的偏離會(huì)嚴(yán)重影響檢測(cè)工作,此時(shí)有必要通過(guò)糾偏技術(shù)將偏離度實(shí)時(shí)反饋給爬行器的運(yùn)動(dòng)控制模塊,及時(shí)調(diào)整兩側(cè)電機(jī)轉(zhuǎn)速,從而使得檢測(cè)傳感器始終沿著固定軌跡進(jìn)行精確運(yùn)動(dòng)。由于檢測(cè)爬行器在實(shí)際運(yùn)動(dòng)過(guò)程中遠(yuǎn)離操作人員的視線,傳統(tǒng)的跟蹤技術(shù)主要采用視頻跟蹤和圖像識(shí)別相結(jié)合的方式[7],但在實(shí)際的現(xiàn)場(chǎng)工作環(huán)境中,圖像質(zhì)量極其容易受到光照、腐蝕產(chǎn)物、涂層顏色、耦合劑、焊縫色差等外界因素的影響,從而造成圖像識(shí)別的可靠性大大下降,不能滿足工程應(yīng)用的要求。基于以上分析,選用基于結(jié)構(gòu)光的方法識(shí)別焊縫位置,通過(guò)激光發(fā)生器將結(jié)構(gòu)光照射在檢測(cè)工件表面,利用焊縫余高與結(jié)構(gòu)光相互作用進(jìn)而產(chǎn)生的圖像差異,進(jìn)行爬行器軌跡偏移量的計(jì)算,進(jìn)而指導(dǎo)運(yùn)動(dòng)控制模塊及時(shí)糾偏,此種方法的可靠性相較于傳統(tǒng)的圖像識(shí)別大大增加。考慮到大多數(shù)金屬結(jié)構(gòu)的表面顏色以及結(jié)構(gòu)光的種類,在實(shí)際設(shè)計(jì)時(shí),選用綠色或紅色的單線結(jié)構(gòu)光作為光源進(jìn)行焊縫的位置檢測(cè),如圖1 所示。
圖1 結(jié)構(gòu)光照射焊縫
設(shè)計(jì)時(shí)將結(jié)構(gòu)光傳感器固定于機(jī)器人前端,使其照射到壁面,調(diào)節(jié)激光發(fā)生器的投射角度和視頻采集器的采集角度可以捕捉到結(jié)構(gòu)光與焊縫的交叉圖像,最終通過(guò)攝像頭采集結(jié)構(gòu)光的圖像,經(jīng)過(guò)一系列圖像處理后,提取焊縫特征,進(jìn)而識(shí)別出焊縫的位置,并將位置實(shí)時(shí)反饋給爬壁機(jī)器人,最終通過(guò)調(diào)整使其回到正常軌跡。
由于在實(shí)際工況中,結(jié)構(gòu)光容易受到諸如日光照射、結(jié)構(gòu)表面反光、光線遮擋等因素的影響,因此適當(dāng)增大激光發(fā)生器的功率,增加結(jié)構(gòu)光照射強(qiáng)度,可以有效降低外界光線干擾對(duì)后期圖像識(shí)別難度的增加,如圖2 所示。
圖2 結(jié)構(gòu)光安裝位置
傳統(tǒng)方式下,攝像頭采集到的數(shù)據(jù)是彩色RGB圖像,其由3 個(gè)分量圖像組成[8],考慮到本系統(tǒng)采用的結(jié)構(gòu)光是單線結(jié)構(gòu)光,G 通道的圖像特征最明顯,通過(guò)調(diào)用OpenCV 圖像處理庫(kù)的split 函數(shù),提取G 通道的圖像進(jìn)行后續(xù)處理,如圖3 所示。
圖3 RGB 三通道圖像
在實(shí)際焊縫檢測(cè)過(guò)程中,由于復(fù)雜外部環(huán)境干擾會(huì)對(duì)檢測(cè)爬行器視覺系統(tǒng)采集到的圖像產(chǎn)生不可避免的噪聲干擾,進(jìn)而給后期的焊縫位置識(shí)別帶來(lái)巨大的計(jì)算困難,因此如何對(duì)其進(jìn)行降噪處理至關(guān)重要。而中值濾波經(jīng)過(guò)驗(yàn)證可以實(shí)現(xiàn)高質(zhì)量圖像的過(guò)濾處理[9]。其計(jì)算原理是將圖像特征識(shí)別中的每一個(gè)像素點(diǎn)灰度值,用該點(diǎn)相鄰區(qū)域中各點(diǎn)灰度值的中值進(jìn)行替代[10],如公式(1)所示。
中值濾波器的主要工作步驟為:
(1)將預(yù)置模板中心部位與某個(gè)像素位置吻合,然后在視覺采集到的圖形中進(jìn)行遍歷漫游。
(2)提取預(yù)置模板中各個(gè)像素點(diǎn)的灰度值;
(3)將模板中提取到的灰度值由小至大順序排列;
(4)計(jì)算提取灰度值的中間數(shù)值;
(5)將對(duì)應(yīng)預(yù)置模板中心的像素灰度值用中間值進(jìn)行重新替代賦值;
(6)重復(fù)上述(1)-(5)步驟,直至圖像中每個(gè)像素值都被重新賦予新的像素值為止,中值濾波之后的結(jié)果如圖4 所示。
圖4 中值濾波后圖像結(jié)果
為了識(shí)別和分析視頻圖像中關(guān)于焊縫偏離數(shù)值的圖形表征數(shù)值,需要使用特定的計(jì)算方法將其從中值濾波后的圖像背景中分割出來(lái)。而閾值化是較為有效的一種圖像分割技術(shù),其分割原理為:
(1)選定閾值函數(shù)T(0~255 之間),具體值可根據(jù)實(shí)際焊縫圖形特征進(jìn)行標(biāo)定;
(2)漫游圖像中的所有像素,提取其灰度值H;
(3)將像素灰度值H與T進(jìn)行對(duì)比。H大于T時(shí),將其置為值為1 的目標(biāo)點(diǎn);當(dāng)H小于等于T時(shí),將其置為值為0 的背景點(diǎn)。
此時(shí)圖像將分為目標(biāo)區(qū)與背景區(qū),如圖5 所示,當(dāng)被測(cè)設(shè)備表面的焊縫外觀與周圍環(huán)境灰度差異較大時(shí),運(yùn)用閾值分割就可以有效的區(qū)分出焊縫。
圖5 閾值分割與特征提取
沿結(jié)構(gòu)光方向垂直設(shè)置一條亮度檢測(cè)線段。該檢測(cè)線段上的圖像亮度變化近似于高斯分布。設(shè)定亮度門檻值T,遍歷檢測(cè),獲取亮度值大于門檻值的初始點(diǎn)并將其設(shè)置為特征點(diǎn),如圖6 中左側(cè)豎直波浪線段所示。
圖6 焊縫特征位置識(shí)別示意圖
沿結(jié)構(gòu)光分布方向,設(shè)置固定數(shù)目的檢測(cè)N條檢測(cè)線段,依照上述方式,以此計(jì)算得到對(duì)應(yīng)的檢測(cè)點(diǎn),如圖7 和圖8 所示。
圖7 設(shè)置檢測(cè)線段
圖8 獲取特征點(diǎn)
對(duì)于圖形濾波后焊縫特征提取得到的N個(gè)特征點(diǎn)(x1,y1),(x2,y2)...(xN,yN),運(yùn)用最小二乘法進(jìn)行擬合,進(jìn)而找出最優(yōu)的直線函數(shù),如公式(2)所示。
依據(jù)擬合到的直線,逐一計(jì)算各像素特征點(diǎn)到該直線的距離d。設(shè)定門檻值K,將d >K的點(diǎn)設(shè)置為潛在的焊縫特征點(diǎn)Fi,統(tǒng)計(jì)計(jì)算Fi的平均點(diǎn)即是焊縫的中心位置,如圖9 所示。
圖9 焊縫識(shí)別結(jié)果
利用事先標(biāo)定好的實(shí)際距離與視覺圖像距離之間的相對(duì)比例關(guān)系,實(shí)時(shí)提取計(jì)算檢測(cè)爬行器距離焊縫中心部位的距離偏差度。通過(guò)數(shù)據(jù)通訊模塊將距離偏差度實(shí)時(shí)反饋給運(yùn)動(dòng)控制平臺(tái),從而輔助檢測(cè)軌跡的控制與追蹤。
將爬壁機(jī)器人在球形儲(chǔ)罐的外表面沿焊縫進(jìn)行固定軌跡行走,連續(xù)采集焊縫圖像特征,選用前文介紹的圖像處理和焊縫提取算法進(jìn)行實(shí)驗(yàn)測(cè)試驗(yàn)證。測(cè)試結(jié)果如圖10 所示。機(jī)器人行進(jìn)過(guò)程中拍攝的6 幀焊縫圖像,選取姿態(tài)差別比較大的三組圖像進(jìn)行測(cè)試驗(yàn)證。圖像(a)(b)為平穩(wěn)運(yùn)行時(shí)拍攝的圖片,(c)(d)為爬壁機(jī)器人故意右傾斜時(shí)拍攝,(e)(f)為爬壁機(jī)器人故意左傾斜時(shí)拍攝。
圖10 焊縫識(shí)別測(cè)試
綜合分析測(cè)試結(jié)果,焊縫成功識(shí)別達(dá)到95%以上,單幅圖像處理時(shí)間為50 ms(Intel i5,內(nèi)存4G,Windows10 64 位),實(shí)際工作中爬壁機(jī)器人移動(dòng)速度不超過(guò)20 cm/s,該算法處理速度20 幀/s。
上述實(shí)驗(yàn)結(jié)果表明,基于結(jié)構(gòu)光的圖像識(shí)別方法能夠過(guò)濾掉視頻圖像采集過(guò)程中的噪聲干擾,在圖像中準(zhǔn)確提取焊縫位置,從而將爬壁機(jī)器人的位置偏差以數(shù)值方式進(jìn)行輸出,從而為機(jī)器人運(yùn)動(dòng)位置調(diào)整提供必要的數(shù)據(jù)支撐。
基于以上研究成果,將基于可視化結(jié)構(gòu)光導(dǎo)向的爬壁機(jī)器人焊縫跟蹤技術(shù)應(yīng)用于球形儲(chǔ)罐表面的無(wú)損檢測(cè)中(圖11-15),檢測(cè)過(guò)程中爬行器攜帶TOFD檢測(cè)儀器進(jìn)行作業(yè),同時(shí)利用手工TOFD 檢測(cè)儀器進(jìn)行比對(duì)(圖16),以衡量爬壁機(jī)器人的檢測(cè)效果,比對(duì)結(jié)果如表1 所示。從表1 中的對(duì)比數(shù)據(jù)可以看出,整個(gè)檢測(cè)過(guò)程,運(yùn)行爬壁機(jī)器人運(yùn)行穩(wěn)定,檢測(cè)數(shù)據(jù)與手動(dòng)儀器相比幾乎完全吻合,完全滿足實(shí)際工程檢測(cè)的精度要求。
圖11 表面帶油漆的跟蹤測(cè)試
圖12 表面打磨的跟蹤測(cè)試
圖13 檢測(cè)出的某裂紋缺陷
圖14 工作中的檢測(cè)爬行器
圖15 TOFD 自動(dòng)跟蹤檢測(cè)結(jié)果
圖16 手工TOFD 檢測(cè)比對(duì)作業(yè)
表1 檢測(cè)結(jié)果對(duì)比
建立的基于可視化結(jié)構(gòu)光導(dǎo)向的爬壁機(jī)器人焊縫跟蹤方法,已成功應(yīng)用。它通過(guò)焊縫與結(jié)構(gòu)光的干涉圖像差異,準(zhǔn)確識(shí)別并提取機(jī)器人的位置偏移,反饋給機(jī)器人動(dòng)力系統(tǒng)進(jìn)行位姿調(diào)整,從而保證機(jī)器人嚴(yán)格按照焊縫方向精確行進(jìn),最終實(shí)現(xiàn)整個(gè)檢測(cè)過(guò)程的完全自動(dòng)化。該技術(shù)預(yù)計(jì)還可以在其他對(duì)路徑規(guī)劃有著較高要求的領(lǐng)域,發(fā)揮有意義的工程示范作用。