葛利亞,曾俊寶
(1.中國科學(xué)院沈陽自動(dòng)化研究所 機(jī)器人學(xué)國家重點(diǎn)實(shí)驗(yàn)室,沈陽 110016;2.中國科學(xué)院大學(xué),北京 100049)
海洋不僅蘊(yùn)藏著豐富的礦產(chǎn)資源,也是交通運(yùn)輸?shù)闹匾ǖ溃鲊=ㄔ煲恍┧鹿芫€來滿足通信與能源傳輸?shù)囊?,包括輸油管道、光電纜等。據(jù)大量相關(guān)資料顯示,我國自在海洋開采石油、天然氣以來,已經(jīng)鋪設(shè)了幾千公里長的輸油、輸氣管道。水下管線長期在海底受海水腐蝕、材料質(zhì)量和地殼變動(dòng)等的影響,世界上已發(fā)生多起管道破損、石油外泄和電纜中斷等事故,造成了嚴(yán)重的環(huán)境污染和巨大的經(jīng)濟(jì)損失。因此,從經(jīng)濟(jì)和環(huán)保方面來說,對水下管線進(jìn)行檢查具有重要意義。
目前來看,對水下管線進(jìn)行管外檢查的手段主要包括潛水員、遙控水下機(jī)器人(Remotely Operated Vehicle, ROV)和自主水下機(jī)器人(Autonomous Underwater Vehicle, AUV)三種方式。其中,依靠潛水員檢查只能針對淺水區(qū)域;深水區(qū)域可利用ROV進(jìn)行檢查,但是ROV需要母船的支持,且受到臍帶電纜的限制,作業(yè)范圍有限;而AUV具有無人無纜、自帶能源、對母船依賴性小等特點(diǎn),因此AUV被認(rèn)為是在深水區(qū)進(jìn)行管線檢查的最佳設(shè)備。
文獻(xiàn)[1]通過在實(shí)驗(yàn)室條件下進(jìn)行試驗(yàn)性研究,解決了在人工半自動(dòng)引導(dǎo)下,AUV利用磁探測器對懸吊于水下的長直管道進(jìn)行自動(dòng)跟蹤的問題。文獻(xiàn)[2]提出了基于磁探測器和視頻圖像融合的金屬線纜跟蹤系統(tǒng),并利用AUV MT-98進(jìn)行了海上試驗(yàn)。文獻(xiàn)[3]研究了基于單目視覺的水下管線檢測和跟蹤等相關(guān)技術(shù),并在水池進(jìn)行了試驗(yàn)。文獻(xiàn)[4]提出了基于側(cè)掃聲納的AUV水下管線實(shí)時(shí)跟蹤系統(tǒng)。文獻(xiàn)[1]沒有實(shí)現(xiàn)完全自主性,文獻(xiàn)[2]和文獻(xiàn)[3]中用到的光學(xué)成像在實(shí)際海水比較渾濁的情況下效果不佳,文獻(xiàn)[4]中所用的側(cè)掃聲納在AUV正下方存在盲區(qū),不利于AUV攜帶相應(yīng)的傳感器對水下管線進(jìn)行檢查。
磁探測器在弱磁環(huán)境中容易受地磁和環(huán)境的影響,導(dǎo)致參數(shù)校正與調(diào)整比較困難;視覺跟蹤只適用于近距離和非掩埋情況,且光學(xué)成像易受光線和水質(zhì)渾濁度的影響;聲學(xué)成像系統(tǒng)可克服上述問題,不過聲納圖像具有噪聲大、分辨率低的缺點(diǎn),本文針對該問題提出有效的圖像處理方法,以及研究合適的水下管線搜索和跟蹤控制策略。
成像聲納是一種主動(dòng)聲納,它利用發(fā)射陣發(fā)射聲脈沖到水中,遇到目標(biāo)會(huì)產(chǎn)生反射,反射的回波作為檢測與估計(jì)的基礎(chǔ),能夠?qū)δ繕?biāo)進(jìn)行定位與識別。通常,在AUV艏部搭載成像聲納構(gòu)成AUV的聲視覺系統(tǒng),通過聲納的連續(xù)掃描探測,實(shí)時(shí)監(jiān)測AUV前方大范圍水域的目標(biāo)信息,經(jīng)過進(jìn)一步處理,定位可疑目標(biāo)并引導(dǎo)機(jī)器人接近該目標(biāo),圖1為BlueView公司生產(chǎn)的前視成像聲納及其聲納圖像。對于本文的應(yīng)用,可將成像聲納安裝在AUV的艏部斜下方,對前方的海底進(jìn)行探測,以實(shí)現(xiàn)對水下管線的跟蹤。
圖1 BlueView公司的前視聲納及其聲納圖像
圖像預(yù)處理要突出聲納圖像中目標(biāo)的輪廓區(qū)域、衰減各類噪聲,提高AUV對目標(biāo)的可識別性。由于在水下聲圖中存在大量噪聲,使用普通的濾波算法能降低噪聲,但是也對目標(biāo)部分邊緣造成影響,而數(shù)學(xué)形態(tài)學(xué)基于集合運(yùn)算,具有非線性的特征,可以克服線性濾波所帶來的目標(biāo)邊緣模糊等問題。
在形態(tài)學(xué)中,所采用尺度大小不同的結(jié)構(gòu)元素對處理結(jié)果會(huì)產(chǎn)生較大影響,大尺度的結(jié)構(gòu)元素去噪能力強(qiáng),同時(shí)會(huì)對目標(biāo)的輪廓細(xì)節(jié)產(chǎn)生影響;小尺度的結(jié)構(gòu)元素去噪能力較弱,但能保證目標(biāo)的輪廓細(xì)節(jié)不受影響。因此為了對聲納圖像去噪濾波,本文采用多尺度膨脹算法[5]。
f(x,y)為輸入的灰度圖像函數(shù),b(x,y)為結(jié)構(gòu)元素,灰度膨脹運(yùn)算可定義為f⊕b:
定義{bi} (i= 1 ,2,…n)為一個(gè)多尺度結(jié)構(gòu)元素序列,在實(shí)驗(yàn)中取菱形元素結(jié)構(gòu),對于尺度大小不同的結(jié)構(gòu)元素bi,分別對灰度圖像f(x,y)進(jìn)行膨脹運(yùn)算,得到一組膨脹圖像(f⊕bi) (x,y),對得到的膨脹結(jié)果加權(quán)求和,最終得到的降噪結(jié)果如下:
式中,ai為尺度i對應(yīng)的加權(quán)系數(shù)。形態(tài)學(xué)濾波處理結(jié)果如下:
圖2 水下聲圖預(yù)處理結(jié)果
Canny邊緣檢測算法是John F.Canny在1986年研究出來的一種多級邊緣檢測算法,被很多人認(rèn)為是最優(yōu)的邊緣檢測算法[6]。
Canny算法的實(shí)現(xiàn)步驟如下:
l)對濾波后的灰度圖進(jìn)行高斯平滑濾波,將圖像中的噪聲去除;
2)采用一階偏導(dǎo)的有限差分形式(3)來計(jì)算梯度的幅值和方向n:
其中
3)抑制梯度幅值的非極大值;
4)采用雙閾值法減少假邊緣數(shù)量,并對目標(biāo)邊緣進(jìn)行檢測和連接。
根據(jù)上述步驟得到目標(biāo)的邊緣信息,并對對該邊緣圖像進(jìn)行區(qū)域限定,消除水下聲圖中邊界邊緣的影響,邊緣檢測和區(qū)域限定的處理結(jié)果如圖3所示。
圖3 水下聲圖邊緣提取結(jié)果
Hough變換是一種利用圖像全局特征將特定形狀邊緣連接起來的經(jīng)典算法。它通過點(diǎn)-線的對偶性,將原圖像中的點(diǎn)影射到參數(shù)空間,將原圖像中特定曲線的檢測問題轉(zhuǎn)化為尋找參數(shù)空間中的峰值問題。由于利用原圖像的全局特性,所以受噪聲和曲線間斷影響較小,具有比較好的魯棒性。
設(shè)直線方程為:
參數(shù)空間中方程可表示為:
式(5)中,ρ表示原點(diǎn)到直線的垂直距離,θ是垂線與x軸的夾角。當(dāng)原圖像中的點(diǎn)(x,y)確定時(shí),對應(yīng)于參數(shù)空間中的一條直線,原圖像中不同的點(diǎn)(x,y)對應(yīng)于參數(shù)空間中不同的直線。當(dāng)圖像中的若干點(diǎn)(x,y)在同一條直線上時(shí),它們的斜率和截距是相同的,所以它們在參數(shù)空間坐標(biāo)系中對應(yīng)于同一點(diǎn)。根據(jù)這個(gè)原理,將圖像中的各個(gè)點(diǎn)投影到參數(shù)空間中,看參數(shù)坐標(biāo)系下有沒有聚集點(diǎn),該聚集點(diǎn)就對應(yīng)于原圖像中的一條直線。
標(biāo)準(zhǔn)Hough算法是將圖像中得到的邊緣點(diǎn)的坐標(biāo)(x,y)代入式(6)求得(ρ,θ)的值,然后統(tǒng)計(jì)(ρ,θ)取何值時(shí)經(jīng)過該點(diǎn)的曲線數(shù)目較多,即將該點(diǎn)對應(yīng)的參數(shù)(ρ,θ)取出。通過上述過程的計(jì)算能夠得到線段的端點(diǎn)(x0,y0,x1,y1) 及參數(shù)(ρ,θ)。
管線提取需要兩個(gè)步驟:
1)線段連接
根據(jù)Hough變換得到的直線段,若在一條直線上,則將其連接為一條線段。
2)灰度閾值限定
若線段長度滿足:
L根據(jù)圖像大小確定,則計(jì)算這條線段兩側(cè)相鄰兩個(gè)像素的灰度值總和gray_valuel和gray_valuer,若:
式中,min_ratio和max_ratio分別為最小和最大灰度比,若滿足上式,則表示找到了管線。
圖4 水下管線提取結(jié)果
水下管線搜索的目的是對目標(biāo)海域進(jìn)行搜索,記錄管線位置,為下一步精確跟蹤做好準(zhǔn)備。常用的搜索方式有三種,分別為:隨機(jī)方式、螺旋方式和往復(fù)方式。
1)隨機(jī)方式
隨機(jī)方式是指在一個(gè)目標(biāo)區(qū)域內(nèi)為水下機(jī)器人規(guī)劃出一條從起點(diǎn)出發(fā),沿某個(gè)方向以某種方式行走(如直線或圓?。┑玫降囊幌盗新窂?。
優(yōu)點(diǎn):控制起來比較簡單,軟件編程實(shí)現(xiàn)也比較簡單,且實(shí)現(xiàn)起來相對容易;缺點(diǎn):運(yùn)行軌跡重復(fù)性比較大,且不能保證對整片目標(biāo)區(qū)域進(jìn)行全區(qū)域覆蓋。
2)螺旋方式
螺旋方式是指水下機(jī)器人先沿著目標(biāo)區(qū)域邊界內(nèi)側(cè)行走一圈,然后逐次向區(qū)域中心行走,直至覆蓋整片目標(biāo)區(qū)域。螺旋方式分為內(nèi)螺旋和外螺旋兩種方式。
優(yōu)點(diǎn):能覆蓋整個(gè)目標(biāo)區(qū)域;缺點(diǎn):在有限的條件下實(shí)現(xiàn)該方式比較困難,主要體現(xiàn)在如何控制水下機(jī)器人向中心行走,即何時(shí)在何位置轉(zhuǎn)向。
3)往復(fù)方式
往復(fù)方式是指水下機(jī)器人先沿著目標(biāo)區(qū)域的某一邊內(nèi)側(cè)行走,遇到邊界后旋轉(zhuǎn)180°,然后繼續(xù)行走,如此反復(fù),直至覆蓋整片目標(biāo)區(qū)域。根據(jù)有關(guān)研究得出[7],對于目標(biāo)區(qū)域是矩形的情況,沿長邊的往復(fù)方式較沿短邊的往復(fù)方式轉(zhuǎn)彎次數(shù)少,因此前者效果更優(yōu)。
優(yōu)點(diǎn):能覆蓋整個(gè)目標(biāo)區(qū)域,且控制起來相對方便,是水下機(jī)器人搜索時(shí)常用的一種方式。
圖5 搜索方式
對于已知水下管線大體走向的情況,由于管線是連續(xù)的,我們可以采用橫跨管線走向的隨機(jī)方式對目標(biāo)區(qū)域進(jìn)行搜索,這樣既能節(jié)省能源和時(shí)間,又能發(fā)現(xiàn)目標(biāo)。對于水下管線大體走向和方位都未知的情況,由于隨機(jī)方式會(huì)有部分區(qū)域遺漏,因此我們要采用可以覆蓋全區(qū)域的搜索方式,由上文可知,有螺旋方式和往復(fù)方式兩種,由于螺旋方式在如何控制水下機(jī)器人向中心行走,即在何時(shí)及哪個(gè)位置轉(zhuǎn)向存在困難,所以我們采用往復(fù)式的搜索方式。由于沿長邊方向的往復(fù)方式優(yōu)于沿寬邊方向的往復(fù)方式,所以我們可以選擇沿長邊方向的往復(fù)方式對水下管線進(jìn)行搜索。
AUV在水下管線的搜索階段分為以下三個(gè)步驟:
1)在目標(biāo)區(qū)域內(nèi)執(zhí)行搜索路徑;
2)判斷AUV是否遍歷整片目標(biāo)海域,如果是,根據(jù)記錄的管線位置點(diǎn)開始跟蹤;如果否,執(zhí)行下一步;
3)若找到管線,則記錄管線位置,然后繼續(xù)搜索。
圖6 搜索階段流程圖
在搜索階段,由于側(cè)掃聲納的掃描范圍比較廣,因此可以采用它作為搜索時(shí)所用傳感器,關(guān)于側(cè)掃聲納的圖像處理及管線識別不作為本文的研究內(nèi)容。
水下機(jī)器人在進(jìn)行管線跟蹤過程中需要根據(jù)前面記錄的管線信息及當(dāng)前圖像處理的管線信息判斷水下管線的狀態(tài),并根據(jù)水下機(jī)器人當(dāng)前的狀態(tài)信息,不斷調(diào)整水下機(jī)器人的速度和航向角,使之能夠跟蹤水下管線。管線跟蹤可以分為以下四個(gè)子任務(wù):1)搜索并找到管線;2)找到管線之后,接近管線;3)利用相關(guān)傳感器跟隨管線;4)當(dāng)跟隨管線時(shí)將其丟失,則進(jìn)行小范圍搜索。在所有的過程中,需要對檢查區(qū)域進(jìn)行范圍限制,超過則結(jié)束任務(wù)。
根據(jù)搜索階段記錄的管線位置點(diǎn),利用點(diǎn)到點(diǎn)的控制策略,當(dāng)前點(diǎn)(X(t),Y(t))是AUV的位置,目標(biāo)點(diǎn)是搜索階段記錄的最后一個(gè)管線位置點(diǎn)(Xpn,Ypn)。
期望艏向角:
圖7 找到管線子任務(wù)示意圖
該任務(wù)的目的是調(diào)整AUV的艏向角及相對管線的距離,為下一步跟隨管線做好準(zhǔn)備。假設(shè)AUV距管線的垂向距離在DIS以內(nèi)及航向與管線走向夾角小于Δθ時(shí),即可進(jìn)行下一個(gè)跟蹤任務(wù)。
AUV與管線的夾角為θ,可由聲圖處理得到,AUV的實(shí)際艏向角為ψ(t),則管線的走向?yàn)椋?/p>
若將管線的走向直接作為AUV的期望艏向角,由于AUV的旋轉(zhuǎn)半徑比較大,調(diào)節(jié)時(shí)間較長,因此提出了如下算法:
式中,distance為AUV距管線的垂直距離;DIS為跟蹤時(shí)AUV距管線的最大垂直距離;maxDIS根據(jù)旋轉(zhuǎn)半徑確定; ψprevious為發(fā)現(xiàn)管線或通過管線時(shí)的艏向角;ψ (t)com為期望艏向角。
圖8 接近管線子任務(wù)示意圖
當(dāng)滿足條件:
開始跟隨任務(wù)。
保持航向,航向角控制器的輸入為管線的走向,期望艏向角為:
圖9 跟隨管線子任務(wù)示意圖
管線丟失后先低速前進(jìn),判斷是否超時(shí),如果沒超時(shí),則判斷是否發(fā)現(xiàn)管線,若沒發(fā)現(xiàn),則繼續(xù)低速前行,若發(fā)現(xiàn),則接近管線;如果超時(shí),則在小范圍內(nèi)搜索,判斷是否超時(shí),如果沒超時(shí),則判斷是否發(fā)現(xiàn)管線,如果沒發(fā)現(xiàn),則繼續(xù)搜索,否則接近管線;如果搜索超時(shí),則判斷記錄中是否還存在管線位置點(diǎn),若存在,則執(zhí)行找到管線子任務(wù),否則跟蹤任務(wù)完成。
三維仿真環(huán)境用VS2010調(diào)用OpenGL庫編寫,其中圖像處理用到了OpenCV庫。
圖10 管線丟失子任務(wù)流程圖
三維仿真環(huán)境如圖11所示。
圖11 水下管線跟蹤三維仿真環(huán)境
在仿真過程中記錄AUV的運(yùn)行數(shù)據(jù),并在MATLAB上進(jìn)行處理得到以下結(jié)果。
圖12 AUV在X-Y平面的運(yùn)動(dòng)軌跡
圖13 AUV的航行速度
圖14 AUV的航向角
由圖12可以看出,在接近管線時(shí)AUV的航向角變化比較大,由于AUV有一定的前向速度,所以AUV的位置和管線位置有一定的偏差;圖13表明,搜索時(shí)的設(shè)定速度比跟蹤時(shí)大;圖14為在搜索和跟蹤過程中AUV的航向角變化情況??傮w來說,AUV能夠很好得跟蹤水下管線,且偏差在一定的范圍內(nèi)。
本文針對水下管線跟蹤開展了基于成像聲納的自主式跟蹤等相關(guān)研究,提出了適用于成像聲納圖像的管線提取方法,以及先進(jìn)行全區(qū)域覆蓋性搜索確定管線的粗略位置,再根據(jù)記錄的管線位置點(diǎn)進(jìn)行跟蹤的方法,并對搜索和跟蹤算法進(jìn)行了三維仿真驗(yàn)證。對于提出的圖像處理算法進(jìn)行了驗(yàn)證,在已有的圖像樣本中管線識別率達(dá)到90%以上,說明算法有效。將管線跟蹤任務(wù)分成四個(gè)子任務(wù),在不同的子任務(wù)中進(jìn)行不同的控制策略,由仿真結(jié)果可以看出,算法具有有效性。
[1]燕奎臣,劉愛民,牛德林.AUV自動(dòng)跟蹤水下管道的試驗(yàn)研究[J].機(jī)器人,2000.
[2]Inzartsev A, Pavin A.AUV Application for Inspection of Underwater Communications[J].Alexander V.Inzartsev.Vienna:In-Tech Publishers,2009:215-234.
[3]唐旭東,龐永杰,張赫,等.基于單目視覺的水下機(jī)器人管道檢測[J].機(jī)器人,2010,32(5):592-600.
[4] Bagnitsky A,Inzartsev A, Pavin A, et al. Side scan sonar using for underwater cables & pipelines tracking by means of AUV[C]//Underwater Technology (UT),2011 IEEE Symposium on and 2011 Workshop on Scientific Use of Submarine Cables and Related Technologies (SSC).IEEE,2011:1-10.
[5] 王斯朕,蔣立軍.數(shù)學(xué)形態(tài)學(xué)運(yùn)算在聲納圖像邊緣檢測處理中的應(yīng)用[J].微計(jì)算機(jī)應(yīng)用,2009,30(10):6-12.
[6] Canny J.A computational approach to edge detection[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,1986 (6):679-698.
[7] 周學(xué)益.清潔機(jī)器人全區(qū)域覆蓋路徑算法與避障控制研究[D]. 重慶:重慶大學(xué),2007:22-26.
[8] 張鐵棟,萬磊,曾文靜,等.智能水下機(jī)器人聲視覺跟蹤系統(tǒng)研究[J].高技術(shù)通訊,2012,22(5):502-509.
[9] Petillot Y R, Reed S R, Bell J M. Real time AUV pipeline detection and tracking using side scan sonar and multi-beam echosounder[C].OCEANS'02 MTS/IEEE. IEEE, 2002,1:217-222.
[10] Jacobi M, Karimanzira D.Underwater pipeline and cable inspection using autonomous underwater vehicles[C]//OCEANSBergen, 2013 MTS/IEEE. IEEE, 2013:1-6.
[11] Chen J, Gong Z, Li H, et al.A detection method based on sonar image for underwater pipeline tracker[C],2011 Second International Conference on.IEEE,2011:3766-3769.