孫溫和，張國偉，，盧秋紅

（1.上海電力學(xué)院自動化工程學(xué)院，上海 200090；2.上海合時智能科技有限公司，上海 201100)

基于改進(jìn)ORB的巡檢機(jī)器人視覺算法研究

孫溫和1，張國偉1，2，盧秋紅2

（1.上海電力學(xué)院自動化工程學(xué)院，上海 200090；2.上海合時智能科技有限公司，上海 201100)

針對目前變電站巡檢機(jī)器人存在的不足，提出一種改進(jìn)的視覺伺服算法。當(dāng)巡檢機(jī)器人采集到儀表圖像時，利用改進(jìn)的ORB與模板圖像匹配，以驗(yàn)證捕獲的圖像包含感興趣區(qū)域（ROI），若ROI是實(shí)時圖像的一部分或全部，則云臺控制（PTZ）計(jì)算偏移像素來補(bǔ)償缺陷。改進(jìn)的ORB克服傳統(tǒng)ORB不具尺度不變性的缺點(diǎn)，使圖像匹配結(jié)果更加精確，機(jī)器人能夠采集更準(zhǔn)確的目標(biāo)圖像，有利于后續(xù)識別工作的進(jìn)行。實(shí)驗(yàn)結(jié)果表明，該算法提高機(jī)器人捕獲圖像的效率，為變電站使用機(jī)器人進(jìn)行巡檢提供可行性。

上海市電站自動化技術(shù)重點(diǎn)實(shí)驗(yàn)室（NO.13DZ2273800）

0 引言

隨著變電站智能化程度的不斷提高，利用機(jī)器人來完成巡檢任務(wù)成為一種趨勢。由于國內(nèi)變電站大多數(shù)儀表設(shè)備均為指針儀表，因此，基于機(jī)器視覺實(shí)現(xiàn)對變電站儀表自動識別是關(guān)鍵技術(shù)之一[1]。機(jī)器人巡檢過程中，首先要采集需要識別的儀表圖像，但由于誤差的存在，目標(biāo)儀表會偏移視野。即需要識別的設(shè)備部分或整個區(qū)域?qū)⑵x圖像，會導(dǎo)致機(jī)器人無法正常識別，從而導(dǎo)致電力系統(tǒng)的隱患。因此，巡檢機(jī)器人能夠捕獲高質(zhì)量的圖像非常關(guān)鍵。

1 視覺伺服

為了解決機(jī)器人拍攝儀表圖像時的視覺偏移問題，需要建立機(jī)器人視覺伺服系統(tǒng)。視覺伺服系統(tǒng)的主要目的是使用視覺系統(tǒng)提供的信息來控制和調(diào)整機(jī)器人的動作[2-3]。機(jī)器人視覺伺服系統(tǒng)的一般結(jié)構(gòu)如圖1所示。相機(jī)作為視覺傳感器執(zhí)行，以計(jì)算機(jī)器人與周圍環(huán)境之間的相對位置。根據(jù)期望的設(shè)定點(diǎn)和反饋信息，視覺控制器產(chǎn)生機(jī)器人的運(yùn)動控制指令，以控制機(jī)器人實(shí)現(xiàn)給定的任務(wù)[4]。

圖1 機(jī)器人視覺伺服結(jié)構(gòu)

1

1.1 視覺伺服算法

目前，變電站巡檢機(jī)器人是輪式車輛平臺并且在預(yù)先設(shè)定的路線上行駛[5]。機(jī)器人停在設(shè)備前面的固定預(yù)設(shè)點(diǎn)，并調(diào)整攝像機(jī)參數(shù)以捕獲設(shè)備圖像，在固定點(diǎn)從RFID標(biāo)簽讀取參數(shù)。然而在獲取圖像時不包括機(jī)器人的姿勢和目標(biāo)設(shè)備之間的關(guān)系描述，因此不會對機(jī)器人姿態(tài)做出校正和調(diào)整。為了提高巡檢機(jī)器人的圖像采集的質(zhì)量，本文提出了一種改進(jìn)的視覺伺服算法，具體過程如下：

步驟1巡檢機(jī)器人捕獲每個設(shè)備圖像并保存到模板庫；

步驟2機(jī)器人使用模板圖像拍攝參數(shù)在預(yù)設(shè)點(diǎn)連續(xù)拍攝儀表圖像；

步驟3在每個預(yù)設(shè)點(diǎn)處，捕獲的圖像被上傳到模式識別功能服務(wù)器；

步驟4服務(wù)器調(diào)用儀表模板圖像，并通過改進(jìn)的ORB將特征點(diǎn)與捕獲的圖像匹配[6-7]；

步驟5計(jì)算模板圖像和實(shí)時捕獲圖像之間的偏移距離，以確定要識別的儀表是否在捕獲的圖像中；

步驟6驗(yàn)證捕獲的圖像是否包含完整的目標(biāo)儀表，如果圖像包含完整的目標(biāo)儀表，根據(jù)模板參數(shù)確定是否需要放大焦距執(zhí)行“輔助伺服”。若需要改變焦距，則保持PTZ位置，只調(diào)整焦距參數(shù)，轉(zhuǎn)到步驟3；否則，轉(zhuǎn)到步驟8。如果目標(biāo)儀表部分或全部偏離圖像，根據(jù)距離和焦距像切線計(jì)算像素偏移和PTZ旋轉(zhuǎn)角度偏移。將旋轉(zhuǎn)角度偏移量轉(zhuǎn)換為PTZ移動參數(shù)，調(diào)用PTZ偏移量控制補(bǔ)償圖像采集誤差，轉(zhuǎn)到步驟7；

步驟7步驟3至6完成了一個完整“視覺伺服”。計(jì)數(shù)“視覺伺服”次數(shù)，如果計(jì)數(shù)達(dá)到預(yù)設(shè)值，則機(jī)器人無法捕獲圖像。

1.2 改進(jìn)的OORRBB算法

圖像特征匹配在視覺伺服算法中是比較關(guān)鍵的一步，一旦匹配失誤，很可能無法捕獲準(zhǔn)確的圖像，因此對圖像特征匹配算法的魯棒性要求較高。目前主要的圖像特征匹配算法有[8]：SIFT、SURF及ORB算法。其中SIFT和SURF匹配精確度高，具有尺度不變性，但運(yùn)算速度慢。ORB算法是目前最為快速的圖像特征匹配算法之一，但由于FAST檢測不包含特征點(diǎn)尺度信息，故ORB不具備尺度不變性，所以在圖像尺度發(fā)生變化的情況下，特征點(diǎn)匹配效果較差。因此，本文結(jié)合SIFT算法思想，對ORB進(jìn)行改進(jìn)，改進(jìn)后的ORB算法具備尺度不變性。改進(jìn)的ORB算法步驟如下[9]：

（1）通過SIFT思想建立尺度空間，檢測極值點(diǎn)；

（2）去除低對比度和邊緣上的極值點(diǎn)，獲得具有尺度不變性的穩(wěn)定特征點(diǎn)；

（3）求取特征點(diǎn)的質(zhì)心方向；

（4）通過ORB描述符獲得具有尺度和旋轉(zhuǎn)不變性的特征點(diǎn)二元描述子；

（5）漢明距離實(shí)現(xiàn)特征點(diǎn)匹配。

（1）圖像偏差計(jì)算采用文中提出的改進(jìn)的ORB算法將實(shí)時檢測圖像和設(shè)備模板圖像的特征點(diǎn)對。在兩個圖像中對每對特征點(diǎn)的位置進(jìn)行排序，然后可以通過以下公式計(jì)算實(shí)時圖像和模板圖像的像素誤差偏移：

其中，offset(pix)是像素誤差偏移的結(jié)果，H為水平方向，V為垂直方向；Ctemp模板圖像中特征點(diǎn)的位置；Ccap為實(shí)時捕獲圖像中另一個特征點(diǎn)的位置。

（2）PTZ角度偏移

基于正切比例作為距離和焦距，計(jì)算PTZ角偏移與圖像像素偏差。“偏移”表示CCD或IR設(shè)備的相機(jī)投影中的圖像像素偏差的實(shí)際距離。它可以通過以下公式計(jì)算：

其中，offset是成像裝置中的圖像像素的距離，resolution是相機(jī)成像裝置中的一個像素寬度。

模板圖像和實(shí)時圖像之間的旋轉(zhuǎn)角偏移可以通過以下公式來計(jì)算[10]：

offset(Ang)是模板圖像和實(shí)時圖像之間的旋轉(zhuǎn)角偏移，f是圖像采集的焦距。

高校和社會合作方的合作往往比較隨意，由于合作方領(lǐng)導(dǎo)層人員的變動等原因，有可能導(dǎo)致合作項(xiàng)目流失、擱淺，甚至被取消。合作機(jī)制往往停留在口頭協(xié)議、框架協(xié)議上，很難進(jìn)入合同協(xié)議、制度協(xié)議等層面，有可能導(dǎo)致合作時有時無、前途不定。

2 實(shí)驗(yàn)結(jié)果

圖2和圖3分別為ORB匹配效果圖和改進(jìn)的ORB匹配效果圖?？梢钥闯觯琌RB采用FAST角點(diǎn)檢測，故檢測到更多的特征點(diǎn)；此外，ORB不具尺度不變性，匹配較為雜亂。改進(jìn)的ORB算法借鑒SIFT思想，具備尺度不變性，當(dāng)目標(biāo)尺度變化時依然有較好的匹配效果。從圖4、圖5可以看出，相比SIFT和傳統(tǒng)的ORB算法，改進(jìn)的ORB算法同時具備匹配精度高和匹配速度快優(yōu)點(diǎn)。

在一個預(yù)設(shè)位置，使用相同的變電站設(shè)備來證明所提出的視覺伺服算法的精度。圖6是在檢查任務(wù)中，實(shí)時捕獲儀表的圖像，儀表設(shè)備部分偏移；進(jìn)行視覺伺服校正后，目標(biāo)幾乎在圖像的中間，如圖7；為了觀察設(shè)備的細(xì)節(jié)，機(jī)器人需要放大相機(jī)的焦距，放大到儀表區(qū)域，如圖8。

圖2 ORB匹配效果

圖3 改進(jìn)的ORB匹配效果

圖4 匹配時間對比

圖5 匹配精度對比

圖6 校正前

圖7 校正后

圖8 儀表圖像放大

3 結(jié)語

本文提出了一種改進(jìn)的視覺伺服方法。首先通過改進(jìn)的ORB算法將實(shí)時圖像與模板圖像匹配。借鑒SITF的思想改進(jìn)ORB算法，改進(jìn)的ORB算法克服了不具尺度不變性的缺陷并保留ORB算法的快速性。然后通過計(jì)算實(shí)時圖像與模板圖像之間的誤差偏移來自動控制機(jī)器人的姿態(tài)，最終捕獲高質(zhì)量的儀表圖像，為后續(xù)的識別工作奠定了良好的基礎(chǔ)。

參考文獻(xiàn)：

[1]楊墨，隋天日，曹濤，等．變電站巡檢機(jī)器人自動充電系統(tǒng)[J]．制造業(yè)自動化，2013，35（3）：47-49.

[2]康慶生，孟正大，戴先中．圖像雅可比矩陣偽逆估計(jì)在視覺伺服中的應(yīng)用[J]．機(jī)器人，2006，28（4）：406-409.

[3]黃穎怡，汪仁煌，岳利軍．機(jī)器視覺儀表識別方法的研究進(jìn)展[J]．自動化儀表，2009，30（8）：58-60.

[4]肖鵬，張彩友，馮華，等．變電站巡檢機(jī)器人GPS導(dǎo)航研究[J]．傳感器與微系統(tǒng)，2010，29（8）：23-25.

[5]王麟琨,徐德,譚民.機(jī)器人視覺伺服研究進(jìn)展[J].機(jī)器人,2004,26（3）：277-282.

[6]Li L，Wu L，Gao Y.Improved Image Matching Method Based on ORB[C].Ieee/acis International Conference on Software Engineerin，Artificial Intelligence，NETWORKING and Parallel/distributed Computig.IEEE，2016：465-468.

[7]Lowe D.Distance Image Feature from Scale-invariant Key Points[J]．International Journal of Computer Vision．2004，60（2）：91-100.

[8]Gauglitz S，Llerer T，Turk M.Evaluation of Interest Point Detectors and Feature De-scriptors for Visual Tracking[J]．International Journal of Computer Vision，2011，94（3）：335-360.

[9]許宏科，秦嚴(yán)嚴(yán)，陳會茹．基于改進(jìn)ORB的圖像特征點(diǎn)匹配[J]．科學(xué)技術(shù)與工程，2014，14（18）：105-109.

[10]曾晶，黃自力，王雪梅，等.基于相關(guān)匹配算法的目標(biāo)角度和尺度檢測研究[J].激光與紅外，2010，40（3）：319-324.

Research on Vision Algorithm of Inspection Robot Based on Improved ORB

SUN Wen-he1，ZHANG Guo-wei1，2，LU Qiu-hong2
（1.Automation Engineering College，Shanghai University of Electric Power，Shanghai 200090；2．Shanghai HRSTEK Co.，Ltd，Shanghai 201100）

Presents a visual navigation method based on Improved ORiented Brief(ORB)mobile robot.In view of the fact that ORB algorithm does not have scale invariance at feature point matching,proposes an improved ORB algorithm based on the idea of SIFT algorithm.Firstly,gener?ates the multi-scale space of the image,and detects the stable extremum in the multi-scale space,so that the extracted feature points have the scale invariant information.Then,describes the feature points by the ORB descriptor to generate the binary invariant descriptor.Uses Improved ORB to extract the ORB features of the input scene,and combined with the robot odometer information to achieve robot naviga?tion.The experimental results show that the algorithm improves the efficiency of the robot to capture the image and provides the feasibility of using the robot to inspect the substation.

1007-1423（2017）23-0051-04

10.3969/j.issn.1007-1423.2017.23.012

孫溫和（1993-），女，碩士研究生，研究方向?yàn)闄C(jī)器視覺、機(jī)器人導(dǎo)航，Email：402094040@qq.com

張國偉（1970-），男，副教授，研究方向?yàn)樾畔z測、機(jī)器人控制。

盧秋紅（1973-），女，高級工程師，研究方向?yàn)闄C(jī)器人技術(shù)、精密儀器

2017-05-11

2017-08-12

視覺伺服；特征點(diǎn)匹配；尺度不變性；改進(jìn)的ORB

Mobile Robots;Feature Point Matching;Scale Invariance;Improved ORB