劉 曦， 徐光鋒， 費躍農

(1.深圳大學 機電與控制工程學院，廣東 深圳 518060；2.深圳市神視檢驗有限公司，廣東 深圳 518060)

?

用于相貫線焊縫檢測機器人的圖像處理算法*

劉 曦1， 徐光鋒2， 費躍農1

(1.深圳大學 機電與控制工程學院，廣東 深圳 518060；2.深圳市神視檢驗有限公司，廣東 深圳 518060)

針對管道相貫線焊縫難以檢測的問題，提出了一種用于管道相貫線焊縫自動檢測機器人軌道識別和定位的圖像處理算法。在顏色空間轉換和彩色邊緣檢測基礎上，引入圖像金字塔方法的Hough變換直線檢測算法，快速識別磁性色碼條并實現機器人自身姿態(tài)和運動軌跡的實時控制，將多閾值處理引入區(qū)域生長算法分割人工標識點，對人工標識點進行計數從而實現定位。實驗結果驗證了提出的圖像處理算法的有效性。

圖像處理； 區(qū)域生長； 多閾值； 相貫線焊縫； 焊縫檢測機器人

0 引 言

管道相貫線焊縫的檢測環(huán)境復雜且惡劣，檢測難度大且檢測效率較低，因此，針對管道相貫線焊縫的自動檢測機器人日益受到科研人員和工程人員的重視[1]。機器人需要攜帶無損檢測設備自主地沿著主管與支管之間的相貫線焊縫運動并完成對焊縫缺陷的檢測和定位，因此，機器人必須具備自動尋跡和定位的功能。為了實現對焊縫的準確檢測，機器人需要實時調整自身的姿態(tài)和行駛軌跡以使檢測探頭始終與焊縫保持一定的距離和角度[2]。常見的機器人導航定位方式有機器視覺導航、GPS導航、傳感器導航等。視覺導航主要是機器人通過攝像頭獲得環(huán)境信息，并規(guī)劃出所需路徑[3]。GPS導航以空間衛(wèi)星為基礎，定位精度高、能全天候工作，但存在抗干擾能力差等問題[4]。傳感器導航包含超聲波傳感器、紅外線傳感器和磁場傳感器等多種形式，傳感器導航常常采用多傳感器融合的技術，使得這種導航方式應用廣泛[5～7]。

目前，國內外關于機器人自動導航與定位的研究有很多。文獻[8]中介紹了一種采用檢測交變磁場方式實現導航的農用噴霧機器人，由于易受到外界磁場的干擾使得這種電磁引導方式具有一定的局限性[8]；文獻[9]中介紹了一種基于激光鼠標以及慣性測量單元(inertial measurement unit,IMU)系統的機器人導航和定位方法，這種方法中的激光鼠標需要對光學鏡頭做很復雜的改造并且IMU系統很容易受磁場環(huán)境的影響[9,10]。

管道相貫線焊縫的檢測環(huán)境復雜，機器人需要在一個三維曲面上運動。狹窄的通過空間和雜亂磁場的干擾等因素使得諸多導航定位方式無法實現[11]。本文根據管道相貫線焊縫自動檢測機器人視覺導航和定位的實際需求，提出了一種用于該機器人的圖像處理算法。實驗表明:算法具備計算復雜度低、抗噪聲能力強和穩(wěn)定準確的特點。

1 視覺導航對圖像處理要求

為了幫助機器人自動識別軌道和定位，圍繞相貫線焊縫放置了一圈帶有磁性的色碼條，綠色的色碼條上等間隔的分布著紅色和藍色的人工標識點。機器人通過識別色碼條來實現軌道識別，同時通過對色碼條上等間隔交替排列的紅色和藍色人工標識點的識別與計數實現定位功能，以輔助對焊縫缺陷進行定位。

圖像處理算法需要實現的功能就是在攝像頭拍攝的圖像中，準確找到色碼條位置以計算出檢測探頭與色碼條之間距離與角度，同時,還需要準確地分割出紅色和藍色標識點。如圖1中所示，實際管道焊縫有的存在銹跡、有的經過打磨而具備金屬光澤、有的涂有防銹涂料或沾染油污，因此,拍攝圖像中可能存在局部紋理噪聲、大面積反光、顏色干擾等情況，這些都給色碼條的識別和分割增加了難度。另外，由于機器人需要根據圖像處理結果進行控制，所以,對于圖像處理算法的實時性要求也比較高。

圖1 幾種不同類型焊縫表面

2 圖像處理算法

2.1 顏色空間轉換

常用的RGB顏色空間三分量之間存在很強的相關性且顏色信息和亮度信息混合在一起，易受光照環(huán)境影響,不適用于機器人的圖像處理。而YUV模型中亮度信號Y和色度信號U,V分離，有利于排除光照影響[12]。RGB色彩空間到YUV色彩空間的轉換如式(1)所示[13]

(1)

選擇YUV模型并且只使用與亮度無關的色度信號U,V進行圖像處理，可以有效地將光照環(huán)境不均、局部反光等干擾因素排除，只利用圖像顏色特征實現識別和分割。U,V兩個顏色分量就成為了一個二維的平面模型，可以看成是YUV顏色空間的三維立方模型投影在Y=0的平面上。

2.2 彩色邊緣檢測與二值化處理

為了在圖像中找到色碼條的位置，可以利用色碼條的邊緣信息。令y，u，v為沿YUV顏色空間的Y，U，V軸的單位向量，并定義向量為[14]

(2)

(3)

令gxx，gyy,gxy表示這些向量的點積，如下所示

(4)

(5)

(6)

使用這種表示法，最大變化率的方向可以由角度

(7)

給出，且在角度θ(x，y)方向上點(x，y)處的變化率的值由式(8)給出

(8)

由于本文只考慮U，V分量而不考慮Y分量，所以，可以認為所有像素點的Y值均為0。為分析圖像的特征，還需要選擇合適的閾值將邊緣檢測的結果進行二值化[15]。

2.3 多分辨率Hough變換的直線檢測

Hough變換直線檢測，需要利用直線的極坐標方程將x-y坐標系中的特征點變換到參數空間中。具體計算時，對需要進行變換的特征像素點，要使α從-90°到90°，每次增加一個步進角Δα，將其坐標進行一次變換。若對結果精度要求較高，則步進角Δα需要足夠小，計算量將會非常大而不利于實時處理，所以，本文引入了圖像金字塔的圖像處理思想。

圖2 圖像金字塔示意

如圖2中所示，運用某種規(guī)則或計算，將金字塔底層的高分辨率圖像迭代到上一層低分辨率的近似圖像，即可用多個分辨率處理一幅圖像。

(9)

2.4 區(qū)域生長及其實現

圖像中不同顏色像素點的U，V值的組合是不同的，因此，可以利用像素點的顏色特征作為區(qū)域生長的準則分割人工標識點與背景。區(qū)域生長是根據事先定義的準則將像素或者子區(qū)域聚合成更大的區(qū)域的過程[17，18]。

2.4.1 區(qū)域生長種子點

圖像邊緣像素點的一側即為需要提取的色碼條，于是可以將彩色邊緣檢測二值圖結果中的特征像素點作為區(qū)域生長的種子點。

2.4.2 區(qū)域生長準則

色碼條所在的像素點一定在邊緣像素點的附近，可以作為區(qū)域生長準則的位置信息。同時，色碼條上的顏色信息也可以作為區(qū)域生長準則的重要信息。以往的研究中，大多采用單一的位置信息或者顏色信息作為區(qū)域生長的準則，而本文的算法則結合了圖像的位置信息與顏色信息，并且采用多閾值處理的方式實現顏色分布區(qū)域的動態(tài)閾值調整，增加了算法的可靠性。

綠色的色碼條、紅色標識點、藍色標識點以及背景的像素點在U-V分布上，各自的區(qū)間不同，可以利用顏色的分布區(qū)間作為區(qū)域生長準則。設計的區(qū)域生長準則如下：

1)待生長的像素點與種子點的距離限制

待生長點P(x,y)與種子點Pseed(xi,yi)的位置關系為

(10)

式中 dT為距離限定閾值。

2)待生長點P(x,y)滿足顏色分布區(qū)間

區(qū)域生長過程中，將所有滿足上述條件的待生長像素點生長為新的特征點。

攝像頭的自動曝光度調整和自動白平衡調整等功能使得拍攝的圖像序列中存在偏色現象，導致一種顏色的U-V分布區(qū)間存在一定范圍的波動。因此，傳統固定顏色區(qū)間的區(qū)域生長算法使生長結果存在較大的缺損或者引入大面積的噪聲。多閾值處理與區(qū)域生長算法相結合，在區(qū)域生長準則中引入動態(tài)閾值區(qū)間可以很好地解決偏色現象造成的顏色分布區(qū)間波動的問題[19]。

2.4.3 區(qū)域生長停止條件

對每一個種子點按照區(qū)域生長準則進行一次區(qū)域生長，當遍歷完整幅圖中所有的種子點之后停止區(qū)域生長。

2.5 多閾值處理

基于最小二乘法原理的最大類間方差法，常常用于圖像的二值化閾值分割。但本文中需要用2個或2個以上的全局閾值對圖像進行分割，于是引入了多閾值處理[21]。以最大類間方差法為基礎的可分性度量可以擴展到任何數量的分量。在K個類C0，C1，…，CK-1的情況下，類間方差可歸納為

(11)

其中

Pk=∑i∈Ckpi

(12)

(13)

(14)

(15)

3 實驗結果

相貫線焊縫檢測機器人的圖像處理算法流程如圖3所示。圖像處理算法由一塊搭載Samsung ARM Cortex—A9處理器的卡片電腦實現，穩(wěn)定時圖像處理的速度可以達到10幀/s以上。

圖3 圖像處理算法流程

由圖4中可以看到，原始圖像在轉換到YUV顏色空間之后，U,V分量灰度圖中排除了光照、陰影等和亮度有關的信息，而只保留了色度信息。

圖4 原始圖片及Y,U,V分量灰度圖

利用多分辨率的Hough變換直線檢測方法，最終找到比較精確的色碼條上下邊界的擬合直線結果如圖5所示，圖中藍色和紅色的直線分別為色碼條上下邊界的直線擬合結果。

圖5 直線擬合結果

經過區(qū)域生長及多閾值處理后，可以準確地將綠色的色碼條以及紅色、藍色標識點與背景分割開，最終的分割效果如圖6所示。

圖6 綠色軌道、紅色以及藍色標識點的分割效果

機器人在運動的過程中，采集到的是連續(xù)的圖像序列。圖像處理算法需要對采集到的每一幅圖像進行識別和分割。機器人在幾種不同類型的鋼管表面進行了實驗，包括帶有銹跡的鋼管表面、經過打磨而非常光亮的鋼管表面以及涂有焊縫防銹涂層的鋼管表面。實驗結果表明，圖像處理算法面對以上情況都能準確穩(wěn)定地實現識別和分割。

4 結束語

本文提出的針對于一種相貫線焊縫檢測機器人的圖像處理算法能夠穩(wěn)定地識別出色碼條和標識點從而實現機器人的自主尋跡和定位。算法中結合了目標的位置信息和顏色信息，增強了處理結果的準確性和穩(wěn)定性，并優(yōu)化了算法的結構使其滿足了實時處理的要求。在搭載Samsung ARM Cortex—A9處理器的卡片電腦上穩(wěn)定時可以實現10幀/s。以上的圖像處理速度。實驗結果表明：無論是在經過打磨的焊縫表面還是帶有輕微鐵銹的焊縫表面，該算法都能夠準確地識別出色碼條、分割出人工標識點，給管道相貫線焊縫檢測機器人的控制提供準確的導航和定位信息。算法執(zhí)行穩(wěn)定、可靠且具有一定的抗干擾性。

[1] 嚴 凌,胡偉利,李建萍.鋼結構桁架相貫線焊縫超聲檢測方法研究[J].南昌航空大學學報:自然科學版,2005,19(2):95-99.

[2] 鄢 波,顏國正.基于冗余關節(jié)機器人的插接管道焊縫掃查系統設計[J].光學精密工程,2004,12(4):420-425.

[3] 崔 維,丁 玲.基于視覺導航和RBF的移動采摘機器人路徑規(guī)劃研究[J].農機化研究,2016(11):234-238.

[4] 歐陽正柱,何克忠.GPS在智能移動機器人中的應用[J].微計算機信息,2001,15(11)：56-58.

[5] 黃漫國,樊尚春,鄭德智,等.多傳感器數據融合技術研究進展[J].傳感器與微系統,2010,29(3):5-8.

[6] 陳小寧,黃玉清,楊 佳.多傳感器信息融合在移動機器人定位中的應用[J].傳感器與微系統,2008,27(6):110-113.

[7] 趙小川,羅慶生,韓寶玲.機器人多傳感器信息融合研究綜述[J].傳感器與微系統,2008,27(8):1-4.

[8] 楊世勝,張 賓,于曙風,等.電磁誘導農用噴霧機器人路徑導航系統的設計與實現[J].機器人,2007,29(1)：78-87.

[9] Hyun D,Yang H S,Yuk G H,et al.A dead reckoning sensor system and a tracking algorithm for mobile robots[C]∥2009 IEEE International Conference on Mechatronics，ICM 2009,IEEE,2009:1-6.

[10] 李旭輝.MEMS發(fā)展應用現狀[J].傳感器與微系統,2006,25(5):7-9.

[11] 楊文偉.鋼管桁架相貫線焊縫的檢測與焊接缺陷分析[J].山西建筑,2007,33(34):3-4.

[12] Andreas Koschan,Mongi Abidi.彩色數字圖像處理[M].章毓晉,譯.北京：清華大學出版社,2010：55-57.

[13] 張 錚,徐 超,任淑霞，等.數字圖像處理與機器視覺[M].北京：人民郵電出版社,2014：287-288.

[14] Gonzalez R C,Woods R E.數字圖像處理[M].2版.北京：電子工業(yè)出版社,2013: 281-283.

[15] 潘永利,孫小雪.數字圖像處理技術在移動機器人中的應用[J].青島理工大學學報,2008,29(5):124-128.

[16] 岳冬雪,黃新生.基于改進的多分辨率Hough變換的直線檢測方法[J].計算機仿真,2006,23(9):76-79.

[17] 劉步實,梁秋媛,覃 曉.區(qū)域生長算法在校園道路識別中的應用[J].軟件導刊,2016,15(3):144-146.

[18] 柯 衛(wèi),王宏力,袁 宇,等.基于區(qū)域生長法的星圖中星的提取方法[J].傳感器與微系統,2015,34(12):57-58.

[19] 林開顏,吳軍輝,徐立鴻.彩色圖像分割方法綜述[J].中國圖象圖形學報,2005,10(1):1-10.

[20] 汪海洋,潘德爐,夏德深.二維Otsu自適應閾值選取算法的快速實現[J].自動化學報,2007,33(9):968-971.

[21] 王 磊,段會川.Otsu方法在多閾值圖像分割中的應用[J].計算機工程與設計,2008,29(11):2844-2845.

Image processing algorithm for intersecting line weld inspection robot*

LIU Xi1, XU Guang-feng2, FEI Yue-nong1

(1.College of Mechanics and Control Engineering,Shenzhen University,Shenzhen 518060,China;2.SENSE Engineering Services Ltd,Shenzhen 518060,China)

An image processing algorithm for automatic detecting robot of intersecting line weld to identify pathway and localization is proposed,aiming at problem that the intersecting line weld is difficult to be detected.On the basis of color space conversion and color edge detection,an image pyramids method is introduced to the Hough transform line detection algorithm,to identify the magnetic color-coded strips quickly and achieve real-time control of the attitude and motion trajectory of the robot; a multi-threshold calculation is applied to the region growing algorithm to segment the artificial mark points,and the artificial mark points are counted so as to realize localization.The effectiveness of the proposed image processing algorithm is verified through experimental results.

image processing; region growing; multi-threshold; intersecting line weld; weld inspection robot

10.13873/J.1000—9787(2017)07—0146—04

2016—09—06

深圳市技術創(chuàng)新計劃資助項目(20150327135346)

TP 24

A

1000—9787(2017)07—0146—04

劉 曦(1991-)，男，碩士研究生，研究方向為圖像處理與機器視覺。

費躍農(1962-)，男，通訊作者，博士，教授，從事無損檢測、焊接設備及自動化、機器人控制技術、圖像處理與機器視覺、機電一體化技術、電力電子控制技術、計算機控制技術、智能測控技術研究工作，E—mail:feiyn@szu.edu.cn。