范亞南，陳國(guó)強(qiáng),2，王增光，趙彥偉

(1.中國(guó)航空工業(yè)集團(tuán)公司洛陽(yáng)電光設(shè)備研究所，河南洛陽(yáng) 471009；2.西北工業(yè)大學(xué)，陜西西安 710129)

0 引言

海上升壓站室內(nèi)電氣設(shè)備的穩(wěn)定運(yùn)行是保證海上風(fēng)電場(chǎng)正常運(yùn)行的關(guān)鍵因素。為了提高對(duì)海上升壓站設(shè)備巡檢的實(shí)時(shí)性、全面性、準(zhǔn)確性，同時(shí)降低安全風(fēng)險(xiǎn)，采用吊軌式巡檢機(jī)器人代替人工完成日常檢查，正在成為未來(lái)海上風(fēng)場(chǎng)巡檢的主要維護(hù)方式[1-2]。

在機(jī)器人巡檢過(guò)程中，首要任務(wù)是通過(guò)云臺(tái)對(duì)準(zhǔn)各檢測(cè)目標(biāo)，準(zhǔn)確地獲取設(shè)備圖像信息，進(jìn)而對(duì)各設(shè)備進(jìn)行自主判別。機(jī)器人與云臺(tái)是整個(gè)系統(tǒng)的運(yùn)動(dòng)平臺(tái)，控制精度和運(yùn)動(dòng)穩(wěn)定性對(duì)巡檢結(jié)果的準(zhǔn)確獲取起著關(guān)鍵的作用。以往的機(jī)器人自主巡檢主要按照預(yù)置任務(wù)點(diǎn)位進(jìn)行，機(jī)器人運(yùn)行至預(yù)設(shè)點(diǎn)并調(diào)整云臺(tái)到預(yù)置姿態(tài)后，控制可見(jiàn)光/紅外相機(jī)等傳感器進(jìn)行數(shù)據(jù)采集，獲取圖像、聲音、局部放電等信息。

海上升壓站中存在不同種類(lèi)的電氣儀表，在機(jī)器人巡檢過(guò)程中，需要準(zhǔn)確對(duì)準(zhǔn)目標(biāo)，以便采集合適的圖像。單一依賴(lài)預(yù)置信息的巡檢技術(shù)，對(duì)機(jī)器人與云臺(tái)的位姿控制精度要求較高，很難保證同一目標(biāo)點(diǎn)檢測(cè)成像的重復(fù)性，圖像質(zhì)量難以保證[3-4]。為解決上述問(wèn)題，基于視覺(jué)信息對(duì)傳感設(shè)備的位姿進(jìn)行反饋控制，正在成為巡檢機(jī)器人伺服視覺(jué)領(lǐng)域的研究熱點(diǎn)。目前基于SIFT的特征匹配算法已經(jīng)用于機(jī)器人目標(biāo)檢測(cè)，但SIFT算法存在復(fù)雜度高、速度慢等問(wèn)題[5]。針對(duì)上述問(wèn)題，文獻(xiàn)[6-7]通過(guò)優(yōu)化SIFT算子提出了SURF特征檢測(cè)算法。隨后，一些學(xué)者提出通過(guò)融合RANSAC算法于匹配過(guò)程，以消除錯(cuò)誤的SURF匹配點(diǎn)對(duì)，提高匹配準(zhǔn)確率[8-10]。

本文采用基于SURF+RANSAC的特征匹配算法對(duì)機(jī)器人云臺(tái)進(jìn)行視覺(jué)校準(zhǔn)，實(shí)現(xiàn)對(duì)掛軌機(jī)器人云臺(tái)的視覺(jué)伺服控制，提高了圖像采集質(zhì)量，保證了儀表識(shí)別的準(zhǔn)確率。

1 機(jī)器人控制系統(tǒng)總體設(shè)計(jì)

本文研究海上升壓站環(huán)境下基于可見(jiàn)光視覺(jué)的掛軌型機(jī)器人二次對(duì)準(zhǔn)問(wèn)題。圖1為機(jī)器人的外形結(jié)構(gòu)圖，包括三軸分立云臺(tái)以及行走機(jī)構(gòu)和升降機(jī)構(gòu)。自主巡檢時(shí)，一次對(duì)準(zhǔn)的預(yù)置信息包括：水平位置、云臺(tái)高度、云臺(tái)姿態(tài)、采樣類(lèi)型、相機(jī)參數(shù)以及目標(biāo)模板等信息。

圖1 掛軌型機(jī)器人結(jié)構(gòu)組成示意圖

升壓站內(nèi)巡檢目標(biāo)復(fù)雜多樣，機(jī)器人必須保證實(shí)時(shí)性和魯棒性，同時(shí)兼顧模塊化和維護(hù)性[11]。伺服云臺(tái)系統(tǒng)采用分布式體系和模塊化設(shè)計(jì)，其組成主要包括主控模塊、信息采集模塊、云臺(tái)結(jié)構(gòu)，掛軌機(jī)器人云臺(tái)的視覺(jué)伺服系統(tǒng)組成框圖如圖2所示。

圖2 三軸分立云臺(tái)控制系統(tǒng)組成框圖

掛軌機(jī)器人的云臺(tái)控制器集成了四軸伺服電機(jī)驅(qū)動(dòng)電路，完成對(duì)三軸分立云臺(tái)的姿態(tài)控制以及局放傳感器的伸縮控制，并通過(guò)RS485獲取局放傳感器采樣數(shù)據(jù)。主控模塊采用高性能邊緣計(jì)算機(jī)Nvidia TX2，通過(guò)網(wǎng)絡(luò)接口完成對(duì)整個(gè)機(jī)器人的位姿控制(水平位置、云臺(tái)的高度和姿態(tài))，并通過(guò)網(wǎng)口控制可見(jiàn)光和紅外相機(jī)的變倍變焦以及圖像采集。

以往的機(jī)器人巡檢方式主要依照預(yù)置信息對(duì)機(jī)械大范圍控制(平臺(tái)、云臺(tái))和電子小范圍設(shè)置(相機(jī))進(jìn)行設(shè)定來(lái)獲取檢測(cè)目標(biāo)圖像。該巡檢方式缺乏反饋控制機(jī)制，存在運(yùn)動(dòng)重復(fù)精度強(qiáng)依賴(lài)等問(wèn)題，難以保證采集圖像質(zhì)量，影響后續(xù)設(shè)備檢測(cè)識(shí)別的準(zhǔn)確性。

機(jī)器人按照預(yù)置信息完成對(duì)特定設(shè)備的巡檢動(dòng)作的過(guò)程稱(chēng)為一次對(duì)準(zhǔn)；本文研究基于可見(jiàn)光視覺(jué)的機(jī)器人二次對(duì)準(zhǔn)問(wèn)題，即在完成機(jī)器人位姿一次對(duì)準(zhǔn)后，以目標(biāo)圖像對(duì)準(zhǔn)為控制目標(biāo)，通過(guò)當(dāng)前視場(chǎng)與點(diǎn)位圖像模板的位置偏差進(jìn)行基于視覺(jué)的伺服控制，并調(diào)整相機(jī)以獲取圖像清晰、目標(biāo)占比合適的高質(zhì)量圖像。巡檢過(guò)程中，對(duì)云臺(tái)的整個(gè)控制過(guò)程如圖3所示。

圖3 機(jī)器人巡檢作業(yè)云臺(tái)控制流程圖

2 相機(jī)建模與控制

圖4 單目相機(jī)模型

根據(jù)針孔模型得到圖像物理坐標(biāo)系相對(duì)世界坐標(biāo)系的轉(zhuǎn)換關(guān)系為

(1)

式中：(μ，ν)為P點(diǎn)在像素成像平面的坐標(biāo)；f為相機(jī)焦距；(μ0，ν0)為像素坐標(biāo)系的原點(diǎn)；dx、dy分別為像素坐標(biāo)系下單個(gè)像素的物理尺寸；(X,Y,Z)為P點(diǎn)的世界坐標(biāo)系坐標(biāo)；R為相機(jī)坐標(biāo)系相對(duì)世界坐標(biāo)系的旋轉(zhuǎn)矩陣。

根據(jù)相似三角形原理可知，在一次對(duì)準(zhǔn)后，像素成像平面中的目標(biāo)中心與圖像模板的目標(biāo)中心相對(duì)光心Oc的偏差角，等于相機(jī)光軸與實(shí)際目標(biāo)點(diǎn)的偏差角。

為了保證采樣目標(biāo)在畫(huà)面之內(nèi)，在一次對(duì)準(zhǔn)時(shí)會(huì)選用小變倍大視場(chǎng)的相機(jī)參數(shù)。因此在二次對(duì)準(zhǔn)后，為了獲取更多的圖像細(xì)節(jié)，本文按照q倍的單邊放大比例對(duì)相機(jī)進(jìn)行自動(dòng)變倍調(diào)整。由于DS-2ZMN3007相機(jī)僅提供1～30整數(shù)變倍，本文通過(guò)線(xiàn)性插值完成相機(jī)的連續(xù)變倍。自動(dòng)變倍控制的偽代碼如下：

算法功能：計(jì)算相機(jī)連續(xù)變倍值，并通過(guò)ISAPI控制相機(jī)變倍

輸入：image目標(biāo)圖像，frame相機(jī)畫(huà)幅，zoom相機(jī)變倍

輸出：相機(jī)變倍值

function SetCamZoom(image，frame，zoom)

result ← 0;

if image.height/frame.height≥image.width/frame.width then

adjZoom←q×zoom×frame.height/image.height;

else

adjZoom←q×zoom×frame.width/image.width;

end if

k←Floor(adjZoom);

if Min(zm[])≤k≤Max(zm[]-1)then

result←(pos[k]+(val-zm[k])×(pos[k+1]-

pos[k])/(zm[k+1]-zm[k]);

else

result ←-1;

end if

IsapiSetZoom(result);

return result;

對(duì)于相機(jī)SDK不支持ARM架構(gòu)的TX2，且缺少詳細(xì)說(shuō)明的現(xiàn)狀，本文對(duì)相關(guān)API接口抓包分析，最終通過(guò)http協(xié)議調(diào)用ISAPI接口實(shí)現(xiàn)了相機(jī)調(diào)控。調(diào)用ISAPI前，需進(jìn)行Digest驗(yàn)證獲取權(quán)限。相機(jī)變倍調(diào)焦控制的http代碼如下：

PUT/ISAPI/PTZCtrl/channels/1/zoomFocus HTTP/1.1

Host:cameraIP

Content-Type:application/xml

Content-Length:httpLength

ver20/XMLSchema″>

zoomValue

其中，cameraIP為相機(jī)IP，httpLength為內(nèi)容長(zhǎng)度，zoomValue為變倍控制對(duì)應(yīng)的編碼器位置值，focusValue為焦距控制對(duì)應(yīng)的編碼器位置值。

3 云臺(tái)建模與控制

本設(shè)計(jì)的云臺(tái)如圖5所示，其掛裝在垂直升降桿下方，不需要考慮云臺(tái)橫滾角。三軸分立云臺(tái)在目標(biāo)對(duì)準(zhǔn)時(shí)，只需要考慮相機(jī)安裝側(cè)俯仰動(dòng)作，因此云臺(tái)可看作為二自由度機(jī)械臂。

圖5 三軸分立云臺(tái)結(jié)構(gòu)透視圖

云臺(tái)的視覺(jué)校準(zhǔn)基于圖像像素坐標(biāo)系中目標(biāo)像素坐標(biāo)進(jìn)行居中調(diào)整，這樣就將云臺(tái)校準(zhǔn)轉(zhuǎn)換為像面指向跟蹤問(wèn)題[13]。

如圖6所示，設(shè)一次對(duì)準(zhǔn)后得到目標(biāo)質(zhì)心P′的像素坐標(biāo)為(ut,vt)，其距離像素坐標(biāo)中心的位置偏差為(Δx，Δy)。由式(1)可得到云臺(tái)的2個(gè)偏轉(zhuǎn)角，滿(mǎn)足式(2)。

圖6 像素平面內(nèi)目標(biāo)圖像偏差示意圖

(2)

本文使用的相機(jī)為30倍210萬(wàn)像素1/2.8″CMOS相機(jī)(1″=25.4 mm)，其像元尺寸(dx,dy)為2.8 μm×2.8 μm，焦距范圍為4.5～135 mm。根據(jù)相機(jī)成像原理，焦距f與連續(xù)變倍zoom之間滿(mǎn)足：

f=4.5 mm×zoom

(3)

通過(guò)以上分析，由圖像偏差對(duì)應(yīng)的視場(chǎng)偏差可直接轉(zhuǎn)換為云臺(tái)角度偏差，并根據(jù)當(dāng)前云臺(tái)角度信息得到期望的云臺(tái)角度信息，進(jìn)而對(duì)云臺(tái)進(jìn)行角度控制。

掛軌機(jī)器人各模組均采用網(wǎng)絡(luò)通信，便于系統(tǒng)集成與擴(kuò)展。其中云臺(tái)系統(tǒng)實(shí)現(xiàn)了面向多連接的TCP服務(wù)器，可支持多用戶(hù)連接，完成三軸云臺(tái)的運(yùn)動(dòng)控制和位置控制，以及局放傳感器伸縮/采樣。云臺(tái)控制器由STM32F407最小系統(tǒng)及電機(jī)驅(qū)動(dòng)電路、以太網(wǎng)等外圍電路組成。其方位角度范圍為0°～290°，俯仰角度范圍為-135°～135°，能夠?qū)χ車(chē)h(huán)境進(jìn)行全方位檢測(cè)。云臺(tái)控制器軟件基于FreeRTOS系統(tǒng)，創(chuàng)建了TCP通信、電機(jī)驅(qū)動(dòng)、云臺(tái)控制等子線(xiàn)程，其程序流程圖如圖7所示。

圖7 云臺(tái)系統(tǒng)控制軟件流程圖

4 基于圖像匹配的云臺(tái)伺服控制

掛軌機(jī)器人云臺(tái)伺服系統(tǒng)由可見(jiàn)光相機(jī)、三軸分立云臺(tái)、TX2處理器構(gòu)成。云臺(tái)伺服控制核心包括圖像特征點(diǎn)檢測(cè)，特征點(diǎn)匹配以及云臺(tái)對(duì)準(zhǔn)誤差校準(zhǔn)。云臺(tái)伺服校準(zhǔn)系統(tǒng)利用圖像偏差推算的云臺(tái)角度誤差作為反饋量完成云臺(tái)閉環(huán)控制，完成目標(biāo)對(duì)準(zhǔn)，提高圖像質(zhì)量，保證了后續(xù)識(shí)別準(zhǔn)確率。

圖8為云臺(tái)伺服控制系統(tǒng)框圖，控制系統(tǒng)由內(nèi)外兩環(huán)組成。其中，外環(huán)負(fù)責(zé)圖像采集、特征提取、特征匹配以及視場(chǎng)偏差計(jì)算，并將目標(biāo)中心位置作為內(nèi)環(huán)控制的期望輸入，而內(nèi)環(huán)通過(guò)PID控制器進(jìn)行云臺(tái)的方位俯仰姿態(tài)調(diào)整，進(jìn)而實(shí)現(xiàn)相機(jī)光軸對(duì)目標(biāo)中心的視場(chǎng)對(duì)準(zhǔn)。

圖8 基于特征匹配的云臺(tái)伺服控制系統(tǒng)框圖

4.1 基于SURF的特征匹配

目前，一些學(xué)者對(duì)SIFT、SURF、BRISK、ORB等常用特征檢測(cè)算法的性能對(duì)比結(jié)果表明，SURF算法具有很好的魯棒性[14]。SURF通過(guò)H矩陣判別式的值來(lái)獲得極值點(diǎn)，并計(jì)算不同尺度上的近似Harr小波特征，算法具有良好的穩(wěn)定性。本文采用的SURF特征提取算法具有較好的魯棒性，能夠適應(yīng)于不同種類(lèi)的圖像目標(biāo)和復(fù)雜的背景環(huán)境。在處理特征點(diǎn)集的匹配問(wèn)題時(shí)，由于FLANN匹配算法相比于BF算法的計(jì)算量小、實(shí)時(shí)性高，因此本文采用FLANN算法完成特征點(diǎn)檢測(cè)后的點(diǎn)集匹配過(guò)程，使算法具有更好的實(shí)時(shí)性。

4.1.1 RANSAC匹配點(diǎn)過(guò)濾

RANSAC(隨機(jī)抽樣一致性)算法是一種可靠的剔除錯(cuò)誤匹配點(diǎn)的迭代算法。由于升壓站檢測(cè)背景復(fù)雜且相似度高，由此產(chǎn)生的錯(cuò)誤匹配點(diǎn)將會(huì)影響匹配效果。本文在FLANN匹配過(guò)程中，加入RANSAC過(guò)濾，將誤差較大的匹配點(diǎn)視為“局外點(diǎn)”。利用 RANSAC幾何校驗(yàn)可以有效濾除錯(cuò)誤匹配，使匹配結(jié)果更加優(yōu)良。本文設(shè)置RANSAC算法最大迭代次數(shù)為2 000，設(shè)置求解單應(yīng)矩陣的最少匹配點(diǎn)對(duì)數(shù)8(最少需要4對(duì))，并通過(guò)最小二乘法進(jìn)行該單應(yīng)矩陣的計(jì)算。

4.1.2 特征匹配實(shí)驗(yàn)

考慮到SIFT和SURF特征檢測(cè)，對(duì)尺度縮放、平移、旋轉(zhuǎn)、亮度變化等具有較好的不變性，對(duì)仿射變換也有一定的穩(wěn)定性。本文分別利用以上2種算法對(duì)海上升壓站開(kāi)關(guān)室內(nèi)常用的旋鈕開(kāi)關(guān)、壓板開(kāi)關(guān)、指針儀表、狀態(tài)指示燈等儀表進(jìn)行特征匹配測(cè)試。軟件開(kāi)發(fā)IDE為PyCharm，并使用了opencv-python 4.5.4.60圖像處理庫(kù)。對(duì)比測(cè)試結(jié)果如圖9～圖13所示。測(cè)試結(jié)果圖片中左側(cè)為目標(biāo)模板圖片，右側(cè)為目標(biāo)匹配并定位標(biāo)記后的一次對(duì)準(zhǔn)圖片。

(a)基于SIFT的特征匹配圖

(a)基于SIFT的特征匹配圖

(a)基于SIFT的特征匹配圖

(a)基于SIFT的特征匹配圖

(a)基于SIFT的特征匹配圖

SIFT和SURF算法針對(duì)海上升壓站不同設(shè)備儀表的特征匹配計(jì)算時(shí)間如表1所示，結(jié)果表明本文采用的SURF算法具有更高的實(shí)時(shí)性。

表1 SURF與SIFT計(jì)算時(shí)間對(duì)比表 s

4.2 視覺(jué)伺服控制器

根據(jù)式(2)可將圖像偏差轉(zhuǎn)換為云臺(tái)角度偏差。隨后采用理論成熟且易工程化的位置型PID控制器進(jìn)行云臺(tái)角度校準(zhǔn)。如圖14所示，云臺(tái)校準(zhǔn)過(guò)程包含方位軸和俯仰軸，通過(guò)誤差反饋計(jì)算相應(yīng)軸的旋轉(zhuǎn)速度，最終調(diào)整云臺(tái)相機(jī)使其對(duì)準(zhǔn)檢測(cè)目標(biāo)。在PID控制過(guò)程，對(duì)于偏差較小時(shí)的調(diào)節(jié)振蕩現(xiàn)象，設(shè)置0.2°死區(qū)用于消除近穩(wěn)態(tài)時(shí)的控制抖動(dòng)現(xiàn)象。

圖14 云臺(tái)伺服校準(zhǔn)過(guò)程圖

在檢測(cè)目標(biāo)位置被調(diào)整至相機(jī)圖像中心后，需要進(jìn)行相機(jī)變倍變焦等操作，獲得目標(biāo)占比合適的圖像。本文按照長(zhǎng)邊q倍放大對(duì)目標(biāo)大小進(jìn)行調(diào)整，默認(rèn)值為0.45。

5 機(jī)器人樣機(jī)試驗(yàn)結(jié)果

本文設(shè)計(jì)的云臺(tái)伺服控制模塊目前在某海上升壓站中進(jìn)行日常巡檢工作，現(xiàn)場(chǎng)作業(yè)情況如圖15所示。所設(shè)計(jì)的云臺(tái)視覺(jué)控制系統(tǒng)在實(shí)際功能測(cè)試中運(yùn)行穩(wěn)定、效果良好，能夠準(zhǔn)確完成目標(biāo)二次對(duì)準(zhǔn)。在3個(gè)月的試運(yùn)行期間，該系統(tǒng)每天自動(dòng)定時(shí)完成對(duì)115個(gè)設(shè)備目標(biāo)的自動(dòng)檢測(cè)，識(shí)別準(zhǔn)確率優(yōu)于90%。

圖15 掛軌型巡檢機(jī)器人運(yùn)行現(xiàn)場(chǎng)圖

6 結(jié)束語(yǔ)

本文采用基于SURF的特征匹配方法實(shí)現(xiàn)當(dāng)前與目標(biāo)模板圖像之間的匹配，采用云臺(tái)姿態(tài)伺服控制完成目標(biāo)的精確二次對(duì)準(zhǔn)。通過(guò)結(jié)合目標(biāo)模板的預(yù)先選取和FLANN對(duì)算法加速，并使用RANSAC進(jìn)行誤匹配過(guò)濾，提高算法實(shí)時(shí)性和可靠性。此外，針對(duì)相機(jī)控制特點(diǎn)，開(kāi)發(fā)了變焦變倍的網(wǎng)絡(luò)控制接口，簡(jiǎn)化系統(tǒng)集成。掛軌型巡檢機(jī)器人在海上升壓站上的實(shí)驗(yàn)結(jié)果證實(shí)了該云臺(tái)伺服控制方法的有效性和穩(wěn)定性。