趙章焰 張 天

武漢理工大學(xué)物流工程學(xué)院 武漢 430063

0 引言

港口機(jī)械的安全是相關(guān)從業(yè)人員一直關(guān)注的熱點(diǎn)。目前，對于起重機(jī)等大型港口機(jī)械的檢測主要依靠人工進(jìn)行，但因港口機(jī)械尺寸過大，工作人員需要高空作業(yè)，存在著一定的安全隱患。此外，部分金屬結(jié)構(gòu)表面維修人員很難到達(dá)，這對港口機(jī)械的檢測和維修帶來了很大的困擾。隨著制造技術(shù)及控制技術(shù)的發(fā)展，如何利用智能化的攀爬機(jī)器人從事一些具有危險(xiǎn)性的工作逐漸成為一種研究的方向，而導(dǎo)航技術(shù)又是機(jī)器人自主行走的基礎(chǔ)。

導(dǎo)航方式可以分為絕對定位和相對定位[1]，絕對定位主要有北斗衛(wèi)星系統(tǒng)、全球定位系統(tǒng)等，該方法可獲得機(jī)器人在地球上的經(jīng)緯度，但精度受天氣、建筑等因素的干擾。相對定位是指機(jī)器人在運(yùn)動時根據(jù)獲得的傳感器信息計(jì)算相對位姿變換的技術(shù)，視覺導(dǎo)航技術(shù)作為一種相對定位技術(shù)，其探測范圍廣、獲取的環(huán)境信息豐富、在復(fù)雜環(huán)境中有很好的通用性，得到了廣大學(xué)者的大量研究[2]。隨著微機(jī)電系統(tǒng)（MEMS）和計(jì)算機(jī)圖像學(xué)的進(jìn)步，視覺導(dǎo)航技術(shù)被廣泛應(yīng)用到機(jī)器人行業(yè)以提高機(jī)器人的智能化水平。

金屬結(jié)構(gòu)作為港口機(jī)械的主要組成部分，是港口機(jī)械的骨架，其形式大致可分為格構(gòu)式、實(shí)腹式或混合式，文中所述的攀爬機(jī)器人主要是在箱型實(shí)腹式結(jié)構(gòu)表面工作，如箱形梁等。箱形金屬結(jié)構(gòu)特點(diǎn)有總體尺寸大、邊緣平直，表面涂有油漆，顏色單一且與背景區(qū)分度高，為結(jié)構(gòu)化路徑。對于結(jié)構(gòu)化路徑，視覺導(dǎo)航主要應(yīng)用于自動駕駛汽車、農(nóng)田作業(yè)機(jī)器人等領(lǐng)域[3]。與其他結(jié)構(gòu)化路徑相比，港口機(jī)械金屬結(jié)構(gòu)位于室外，受光照和陰影等環(huán)境干擾較多，而且金屬結(jié)構(gòu)位于三維空間內(nèi)，環(huán)境背景復(fù)雜。金屬結(jié)構(gòu)表面存在油漆、銹蝕等缺陷也會對視覺導(dǎo)航帶來一定的影響。

針對于上述情況，通過對結(jié)構(gòu)化路徑視覺導(dǎo)航方法的研究，結(jié)合金屬結(jié)構(gòu)特點(diǎn)，對起重機(jī)特征提取算法進(jìn)行優(yōu)化，對Hough變換模型建立約束條件，最終利用改進(jìn)的視覺導(dǎo)航方法對港口機(jī)械金屬結(jié)構(gòu)進(jìn)行邊緣提取，并計(jì)算得到結(jié)構(gòu)中心線和運(yùn)動直線，求取運(yùn)動參數(shù)。實(shí)驗(yàn)表明，該方法能夠計(jì)算得到機(jī)器人在金屬結(jié)構(gòu)中的相對位置，為指導(dǎo)攀爬機(jī)器人的行動提供數(shù)據(jù)支撐。

1 結(jié)構(gòu)化路徑視覺導(dǎo)航方法原理介紹

視覺導(dǎo)航技術(shù)是利用攝像頭獲取機(jī)器人行進(jìn)過程中局部環(huán)境信息，通過圖像算法處理得到機(jī)器人運(yùn)動信息進(jìn)而指導(dǎo)運(yùn)動[4]。結(jié)構(gòu)化路徑視覺導(dǎo)航方法是利用金屬結(jié)構(gòu)邊緣來擬合結(jié)構(gòu)中心線作為機(jī)器人的導(dǎo)航線，對機(jī)器人進(jìn)行速度和方向控制，使其沿著金屬結(jié)構(gòu)的中心線移動，從而實(shí)現(xiàn)攀爬機(jī)器人在金屬結(jié)構(gòu)表面的自主移動。步驟可分為三步：首先，由相機(jī)獲得金屬結(jié)構(gòu)表面的圖像并進(jìn)行預(yù)處理；然后利用改進(jìn)型的Canny進(jìn)行金屬結(jié)構(gòu)邊緣特征提取，因光線、油污、銹蝕等因素的干擾，提取的邊緣線不具有連續(xù)性，建立具有約束的Hough變換模型和最小二乘法來擬合邊緣線；再計(jì)算結(jié)構(gòu)中心線和運(yùn)動方程，確定機(jī)器人的偏航角和偏距，進(jìn)而通過上位機(jī)轉(zhuǎn)化為電機(jī)信號輸出，調(diào)整機(jī)器人的運(yùn)動。視覺導(dǎo)航系統(tǒng)工作流程如圖1所示。

圖1 結(jié)構(gòu)化路徑視覺導(dǎo)航流程

2 主要算法

2.1 金屬結(jié)構(gòu)邊緣提取

在結(jié)構(gòu)化路徑視覺導(dǎo)航中，路徑的邊緣是最基礎(chǔ)的數(shù)據(jù)。在提取路徑邊緣后，可以對目標(biāo)、障礙物等相關(guān)信息辨別，并將這些數(shù)據(jù)傳遞到控制器進(jìn)行操作。

本次金屬結(jié)構(gòu)邊緣特征提取方法是自適應(yīng)閾值的Canny算法，Canny算子在物體特征識別及提取時處理速度很快，但Canny算子的高低閾值往往依據(jù)圖片進(jìn)行多次實(shí)驗(yàn)尋找合適閾值[5]，該合適閾值對實(shí)驗(yàn)圖片檢測效果較好，當(dāng)圖片的灰度值變化較大時，需要重新尋找閾值，不具有一般通用性。自適應(yīng)閾值的Canny算法使用OTSU方法計(jì)算出較佳高閾值，再根據(jù)比例求得低閾值，使得算法不需要人工設(shè)定閾值。改進(jìn)型Canny算法處理流程如圖2所示。

圖2 改進(jìn)Canny算法流程

高斯濾波對圖像卷積可以有效地減弱噪聲影響，高斯濾波器的生成方程式為

本次高斯矩陣是一個3×3的矩陣，標(biāo)準(zhǔn)差取0。

邊緣是灰度值變化較大的像素點(diǎn)的集合，圖像灰度梯度用一階有限差分近似求取[6]。改進(jìn)型Canny算法中采集的卷積算子比較簡單，表達(dá)為

其x向、y向的一階偏導(dǎo)數(shù)矩陣，梯度幅值以及梯度方向的數(shù)學(xué)表達(dá)式為

式中：P(i,j)為x方向一階偏導(dǎo)數(shù)矩陣；Q(I,j)為y方向一階偏導(dǎo)數(shù)矩陣；M(i,j)為梯度幅值；θ(i,j)為梯度方向。

求得梯度圖像后，會存在弱邊緣干擾等問題，用非極大值抑制尋找像素點(diǎn)的局部最大值[7]，并把其對應(yīng)像素點(diǎn)值置0，可以去除掉一些非邊緣像素點(diǎn)。

在非極大值抑制后，剩余的像素點(diǎn)為結(jié)構(gòu)邊緣。然而還存在著因噪聲等因素引起的假邊緣像素。為了去除這些假的邊緣像素，利用高低閾值檢測來過濾低梯度值的像素點(diǎn)，保留高梯度值的像素點(diǎn)。自適應(yīng)閾值中高閾值的求取使用OTSU算法，求取使非極大值抑制圖像有最大類間方差σ2的k值，此k值即為高閾值，高低閾值的比例設(shè)置為2:1。

2.2 金屬結(jié)構(gòu)邊緣擬合

經(jīng)過邊緣提取后，得到金屬結(jié)構(gòu)的輪廓像素點(diǎn)集合，但因噪聲、不均勻的光線以及其他干擾因素的影響，輪廓像素點(diǎn)集合很難完整的表現(xiàn)出結(jié)構(gòu)邊緣線，需要后續(xù)處理。對于金屬結(jié)構(gòu)輪廓像素點(diǎn)集合，常使用Hough變換和最小二乘法求取結(jié)構(gòu)邊緣的近似方程。

1） Hough變換擬合直線

Hough變換是一種特征提取技術(shù)，通過兩個坐標(biāo)空間之間的相互變換將一個空間的直線轉(zhuǎn)換為另一個空間的點(diǎn)，將點(diǎn)識別線的方式轉(zhuǎn)換成識別直線并串取共線點(diǎn)的方式[8]。

直接運(yùn)用Hough變換時計(jì)算數(shù)據(jù)量大、復(fù)雜程度高，為了提高數(shù)據(jù)處理的效率，減少因背景結(jié)構(gòu)、陰影等造成的檢測誤差，通過對機(jī)器人移動路徑的金屬結(jié)構(gòu)邊緣模型分析，在Hough變換時增加約束條件來提高計(jì)算效率[9]。模型如圖3所示。

圖3 結(jié)構(gòu)分析模型

假設(shè)機(jī)器人在沿結(jié)構(gòu)中心線前進(jìn)時，左邊緣線斜率θl＝ (0，π/2)，右邊緣斜率為θr＝ (π/2，π)。在實(shí)際行駛過程中，機(jī)器人本身具有一定的寬度，且攝像頭也存在安裝誤差，機(jī)器人一般在結(jié)構(gòu)中心線附近前進(jìn)，對邊界斜率設(shè)置一個置信區(qū)間，對斜率置信區(qū)間內(nèi)的直線進(jìn)行檢測，可以剔除一些非結(jié)構(gòu)邊緣線段，提高系統(tǒng)的實(shí)時性?？紤]到機(jī)器人可能存在的偏移情況，設(shè)置左側(cè)和右側(cè)邊緣最小傾斜角度為θ1＝β1＝arctan（2H/W），左右側(cè)邊緣最大傾斜角度為θ2＝β2＝（π-θ1）。式中W為圖片的寬度，H為圖片的高度。結(jié)合實(shí)驗(yàn)數(shù)據(jù)，取H＝2W，求得θ1＝β1＝76°，所以左右金屬結(jié)構(gòu)邊緣斜率的置信區(qū)間為（76°，104°）。

2）最小二乘法優(yōu)化

經(jīng)過Hough變換后，可能會存在誤檢查的情況，再有陰影、油污等噪聲的影響，Hough變換提取的直線可能不連續(xù)或者偏離了原直線，為了克服這些問題，采用最小二乘法對檢測邊緣進(jìn)行連續(xù)性處理。最終得到左邊金屬結(jié)構(gòu)的邊緣擬合直線為LL:y(x)＝a1x+b1,右邊金屬結(jié)構(gòu)的邊緣擬合直線為LR:y(x)＝a2x+b2。

2.3 中心線擬合以及偏航角、偏距計(jì)算

依據(jù)投影幾何學(xué)理論，在三維空間中相互平行的兩直線，在二維成像空間內(nèi)會相交于一點(diǎn)，命名為消影點(diǎn)[10]，見圖 4。

圖4中LL、LR分別為左右結(jié)構(gòu)邊緣直線；LM為結(jié)構(gòu)中心線；LMT為第i時刻的運(yùn)動直線；消影點(diǎn)(xi，yi)為在第i時刻左右結(jié)構(gòu)邊緣線的交點(diǎn)；點(diǎn)(x0，y0)為攝像頭光學(xué)中心，為已知值。

圖4 路徑導(dǎo)航原理圖

結(jié)構(gòu)的中心線本質(zhì)上也是結(jié)構(gòu)線夾角的角平分線，求取結(jié)構(gòu)的中心線方程方法很多，本文采用兩點(diǎn)法進(jìn)行求解。假設(shè)在中心線上的已知兩點(diǎn)A(x1，y1)、B(x2，y2)，則A、B到左右輪廓邊緣直線的距離相等，即

此時，代入兩個特殊點(diǎn)進(jìn)行計(jì)算，即A(0，y1)、B(x2，0)時，在求得A、B后，即可求得結(jié)構(gòu)中心線方程LM。機(jī)器人與消影點(diǎn)的運(yùn)動直線方程為Li:y=kix+bj其中：ki=(yo-yi)/(x0-xi)，bi=y0-ki x0。

攀爬機(jī)器人在金屬結(jié)構(gòu)上攀爬時，偏航角和偏距的計(jì)算是通過攝像頭計(jì)算得到的，將這些圖像數(shù)據(jù)經(jīng)過處理傳遞到上位機(jī)，通過對應(yīng)的控制策略，進(jìn)一步轉(zhuǎn)化為電機(jī)的控制信號輸出，從而完成自主導(dǎo)航任務(wù)。

當(dāng)攀爬機(jī)器人處于一般情況下，即方向不平行于結(jié)構(gòu)兩側(cè)邊緣時，在不同的時刻消影點(diǎn)的坐標(biāo)也不同，在第i時刻消影點(diǎn)的坐標(biāo)記作(xi，yi)，此時機(jī)器人與消影點(diǎn)的直線方程為式Li:y=kix+bj。機(jī)器人的偏航角a是第i時刻運(yùn)動直線與同時刻結(jié)構(gòu)中心線的夾角，即

偏距的計(jì)算主要是通過在某一深度y下，計(jì)算各個直線的x值，不同直線的x值之差表示兩直線之間的像素個數(shù)。結(jié)構(gòu)的中心線到結(jié)構(gòu)兩側(cè)邊緣的距離是相等的，即GML＝GMR＝XM-XL＝XR-XM。當(dāng)對攀爬機(jī)器人定位時，通過計(jì)算觀測運(yùn)動直線在該深度下到結(jié)構(gòu)中心線的像素個數(shù)GMM=XMT-XM，兩個像素差的比值乘以左右邊緣距離DLR和偏航角α即為攀爬機(jī)器人到中心線的距離。偏距DMM計(jì)算公式為

攀爬機(jī)器人通過不斷的檢測偏航角和偏距來調(diào)整自身運(yùn)動軌跡，從而使自身沿著結(jié)構(gòu)中心線行走。

3 結(jié)果分析

3.1 算法仿真實(shí)驗(yàn)

為了驗(yàn)證文中方法的可行性、準(zhǔn)確性以及實(shí)時性，在電腦上首先采用Python3.7和OpenCV3.4庫進(jìn)行算法仿真實(shí)驗(yàn)。在港口機(jī)械支腿上選取了左中右各三張圖片，利用算法進(jìn)行結(jié)構(gòu)邊緣的提取。首先，對圖片進(jìn)行圖像預(yù)處理，利用自適應(yīng)Canny算法進(jìn)行邊緣特征提取，然后利用Hough變換和最小二乘法進(jìn)行邊緣擬合，最終處理結(jié)果如圖5所示。

圖5a～圖5c為支腿左中右3張?jiān)紙D片，圖5d～圖5f為不添加任何約束擬合出來的邊緣直線圖，圖5g～圖5i為添加角度約束后擬合的邊緣直線，可以明顯地看出在添加約束模型后，非邊緣直線被很好地篩掉，且邊緣直線的角度都在設(shè)置的約束區(qū)間內(nèi)。

圖5 結(jié)構(gòu)邊緣線擬合結(jié)果

3.2 機(jī)器人實(shí)際實(shí)驗(yàn)

在驗(yàn)證算法的可行性后，利用機(jī)器人攜帶微型相機(jī)進(jìn)行實(shí)際攀爬來采集視頻，對實(shí)驗(yàn)的數(shù)據(jù)進(jìn)行處理。采集的視頻分辨率為720×480。運(yùn)行軟件的平臺為win10。

首先，對導(dǎo)入的視頻進(jìn)行幀數(shù)的選擇，選擇幀后，先對圖像進(jìn)行灰度化和二值化的預(yù)處理；在利用改進(jìn)型Canny算法進(jìn)行邊緣特征的預(yù)提取，利用Hough進(jìn)行邊緣直線方程擬合，最終得到結(jié)構(gòu)中心線。通過連續(xù)幀的處理，實(shí)時計(jì)算導(dǎo)航線偏航角和偏距，將數(shù)據(jù)傳輸?shù)缴衔粰C(jī)進(jìn)行處理，進(jìn)而轉(zhuǎn)換為電機(jī)的輸出信號，來不斷調(diào)整機(jī)器人的位置使其沿著中心線行走。

圖6為軟件的操作界面，可提取到當(dāng)前幀左右結(jié)構(gòu)邊緣的直線方程得到擬合中心線的方程以及運(yùn)動方程，通過比較中心線方程和運(yùn)動方程計(jì)算得到偏航角和偏距。

圖6 軟件界面

攀爬機(jī)器人自身攜帶有一個云臺和一個微型相機(jī)，通過云臺可控制相機(jī)的擺動，將攀爬機(jī)器人放置在中心線處，使相機(jī)處于不同角度，獲取數(shù)據(jù)計(jì)算偏航角；使機(jī)器人再沿著固定角度移動獲取運(yùn)動視頻，進(jìn)行偏距的計(jì)算。圖7為機(jī)器人在港口機(jī)械支腿上攀爬獲取實(shí)驗(yàn)數(shù)據(jù)，表1和表2為實(shí)驗(yàn)數(shù)據(jù)處理結(jié)果。

圖7 攀爬機(jī)器人攀爬獲取數(shù)據(jù)

由表1、表2分析可知，算法可以很好地計(jì)算到機(jī)器人在某一時刻下的偏航角和偏距，但與真值之間存在一定誤差。誤差分析主要有兩方面，第一誤差受相機(jī)自身精度的影響，本次使用的相機(jī)精度不高，對于相機(jī)的畸變沒有進(jìn)行很好的處理，這部分誤差可通過更換設(shè)備進(jìn)行解決。此外，誤差也與光線強(qiáng)弱、相機(jī)安裝位置以及相機(jī)在運(yùn)動過程中的穩(wěn)定性有關(guān)，這部分誤差需要不斷地調(diào)整，直到誤差最小。當(dāng)攀爬機(jī)器人在低速前進(jìn)過程中，該方法的實(shí)驗(yàn)精度能夠滿足需求，指引攀爬機(jī)器人在港口機(jī)械表面的運(yùn)動。

表1 偏角結(jié)果對比 （°）

表2 偏距結(jié)果對比 mm

4 結(jié)語

為了研究攀爬機(jī)器人在港口機(jī)械金屬結(jié)構(gòu)表面的自主移動，提出了一種可應(yīng)用于港口機(jī)械攀爬機(jī)器人的結(jié)構(gòu)化路徑視覺導(dǎo)航方法。首先對圖像進(jìn)行預(yù)處理；利用改進(jìn)型Canny算法提取邊緣特征并建立具有約束模型的Hough變換和最小二乘法計(jì)算邊緣直線方程；然后求取結(jié)構(gòu)中心線方程和運(yùn)動觀測方程以及偏航角和偏距。通過攀爬機(jī)器人實(shí)際攀爬獲取實(shí)驗(yàn)數(shù)據(jù)并進(jìn)行數(shù)據(jù)分析，實(shí)驗(yàn)證明結(jié)構(gòu)化路徑視覺導(dǎo)航方法能夠得到攀爬機(jī)器人的運(yùn)動參數(shù)，為機(jī)器人的攀爬提供數(shù)據(jù)支撐。