孫同同，孫首群

(上海理工大學(xué) 機(jī)械工程學(xué)院，上海 200093)

?

基于視覺(jué)檢測(cè)與跟蹤技術(shù)在機(jī)器人中的應(yīng)用*

孫同同，孫首群

(上海理工大學(xué) 機(jī)械工程學(xué)院，上海 200093)

摘要：近幾年機(jī)器視覺(jué)技術(shù)在國(guó)內(nèi)外已經(jīng)取得了比較好發(fā)展，并且廣泛應(yīng)用于工農(nóng)業(yè)生產(chǎn)領(lǐng)域。針對(duì)機(jī)器人視覺(jué)系統(tǒng)進(jìn)行全過(guò)程的研究，通過(guò)安裝在機(jī)器人上的攝像頭來(lái)采集一組圖像序列，通過(guò)圖像系統(tǒng)精確地檢測(cè)出實(shí)時(shí)運(yùn)動(dòng)的物體并進(jìn)行瞬時(shí)跟蹤。研究幾組對(duì)閾值距離不超過(guò)0.5m的圖像進(jìn)行二值化處理，然后進(jìn)行時(shí)間差分。最后采用激光通信這種現(xiàn)代控制理論和最優(yōu)控制算法提高目標(biāo)檢測(cè)與跟蹤精度。結(jié)果表明，通過(guò)對(duì)比激光通信這種算法，穩(wěn)定性高，精度好，耗時(shí)短。

關(guān)鍵詞：機(jī)器視覺(jué)；圖像序列；跟蹤；二值化；激光通信

0引言

由于國(guó)內(nèi)外視覺(jué)技術(shù)的不斷進(jìn)步與發(fā)展，視覺(jué)檢測(cè)與跟蹤技術(shù)已經(jīng)被應(yīng)用到各行各業(yè)當(dāng)中，傳統(tǒng)的視覺(jué)檢測(cè)技術(shù)被更先進(jìn)、更快速以及更穩(wěn)定的檢測(cè)手段漸漸取代，所以研究全新的機(jī)器視覺(jué)技術(shù)在當(dāng)今已經(jīng)成為一個(gè)必然的趨勢(shì)[1-4]。圖像序列中的視覺(jué)檢測(cè)技術(shù)被大量的應(yīng)用在汽車工業(yè)生產(chǎn)、在線監(jiān)控、機(jī)器人視覺(jué)導(dǎo)航中。這種新的視覺(jué)技術(shù)能很好的降低運(yùn)行的成本，調(diào)試配置也更加簡(jiǎn)單，運(yùn)行也更加穩(wěn)定和可靠[5-7]。

研究和分析更穩(wěn)定的視覺(jué)檢測(cè)與跟蹤技術(shù)是為了機(jī)器人在導(dǎo)航中能夠更精確、更快速的識(shí)別運(yùn)動(dòng)物體、及時(shí)方便的跟蹤運(yùn)動(dòng)目標(biāo)，這種技術(shù)是在現(xiàn)代導(dǎo)航機(jī)器人中占據(jù)著比較重要的地位。一種高質(zhì)量的檢測(cè)、跟蹤、識(shí)別算法在導(dǎo)航機(jī)器人的信息環(huán)境中起著決定性的作用。所以，研究出一種具備魯棒性好、抗遮擋、抗丟失的算法，對(duì)于導(dǎo)航機(jī)器人視覺(jué)系統(tǒng)來(lái)說(shuō)是比較重要的環(huán)節(jié)，一旦這個(gè)有所突破，那么導(dǎo)航機(jī)器人的定位精度會(huì)獲得很大的提升。針對(duì)傳統(tǒng)的視覺(jué)檢測(cè)與跟蹤技術(shù)存在的缺點(diǎn)與局限性，文章中在傳統(tǒng)的視覺(jué)基礎(chǔ)之上結(jié)合自己所研究的最新的視覺(jué)圖像技術(shù)，通過(guò)實(shí)驗(yàn)結(jié)果對(duì)比分析，形成一套行之有效的高質(zhì)量的算法，并且具有極其有效的應(yīng)用與推廣價(jià)值。

1目標(biāo)檢測(cè)的實(shí)現(xiàn)

運(yùn)動(dòng)目標(biāo)識(shí)別與檢測(cè)技術(shù)就是把已經(jīng)收集好的圖像序列中的位置信息判定出來(lái)，最后將它們從的位置信息從圖像中精準(zhǔn)提取與定位出來(lái)。傳統(tǒng)的視覺(jué)檢測(cè)技術(shù)主要有光流法和差分法[8-9]。在文章中提出的目標(biāo)檢測(cè)方法跟傳統(tǒng)的檢測(cè)方法相比，它是基于自由空間激光通信為技術(shù)背景討論高寬度高精度運(yùn)動(dòng)目標(biāo)的識(shí)別與檢測(cè)。通過(guò)幾組實(shí)驗(yàn)對(duì)比，找出一種快速而準(zhǔn)確地從另一幀圖像中匹配出運(yùn)動(dòng)目標(biāo)。

在文章中圖像的采集采用的是機(jī)器人網(wǎng)絡(luò)靜態(tài)攝像頭。這種攝像頭被安裝在機(jī)器人本體的特定位置，這樣就可以監(jiān)測(cè)固定的區(qū)域，它的靈敏度、穩(wěn)定性以及精確度都具有很好的可靠性。所以這種攝像頭較多的應(yīng)用在導(dǎo)航機(jī)器人、移動(dòng)機(jī)器人的整體控制方面。

2差分檢測(cè)

差分法是通過(guò)對(duì)已經(jīng)采集好的圖像中相鄰兩幀做差分運(yùn)算來(lái)獲取圖像輪廓的方式，它能夠方便的應(yīng)用于多個(gè)攝像機(jī)移動(dòng)情況和運(yùn)動(dòng)目標(biāo)[10-11]。在傳統(tǒng)的差分檢測(cè)中，主要有幀間差分和背景差分法。它的工作原理就是將所獲得的前后兩個(gè)圖像的像素密度相減，當(dāng)靠近的相鄰兩個(gè)圖像中對(duì)應(yīng)的像素值相差比較小時(shí)，我們就可以得出兩幅圖像的背景狀態(tài)是不變的，這個(gè)時(shí)候就可以判定此處的運(yùn)動(dòng)目標(biāo)是靜止?fàn)顟B(tài)的。然而當(dāng)圖像中的像素值變化比較大時(shí)，一般情況下可以認(rèn)為是由圖像中的運(yùn)動(dòng)物體位置的變化而可以得出此時(shí)物體處于運(yùn)動(dòng)狀態(tài)中。

2.1數(shù)學(xué)模型

在某些特定的場(chǎng)合下，需要把已經(jīng)獲得的圖像的輪廓設(shè)置成一個(gè)已知的值，形成一個(gè)灰度等級(jí)，其它的不在圖像區(qū)域內(nèi)的輪廓，它的灰度等級(jí)是不變的，這樣輸出的差分圖像的表達(dá)式如下：

(1)

其中T>0為閾值，從公式中我們可以看出適當(dāng)?shù)倪x取T值得大小，可以使得圖像的輪廓變得更加清晰，當(dāng)T趨近于0時(shí)，它的像素相對(duì)于兩幅圖像間沒(méi)有發(fā)生運(yùn)動(dòng)。當(dāng)T值趨近于1時(shí)，它的像素相對(duì)于兩幅圖像就會(huì)發(fā)生位置的變化，這樣我們就可以檢測(cè)到目標(biāo)物體的運(yùn)動(dòng)狀態(tài)。

2.2實(shí)驗(yàn)效果圖

將采集到的圖像序列進(jìn)行閾值和二值化處理，然后采用相鄰幀間的差分方法和背景差分法進(jìn)行檢測(cè)分析，最終得到含有運(yùn)動(dòng)目標(biāo)的幀間差分和背景差分圖像。運(yùn)動(dòng)目標(biāo)的檢測(cè)效果圖如下面圖1和圖2所示。

圖1　相鄰幀差法檢測(cè)結(jié)果

圖2　背景差分法檢測(cè)結(jié)果

2.3結(jié)果分析與討論

從上面的討論中我們可以看出，這種算法實(shí)現(xiàn)比較簡(jiǎn)單，程序設(shè)計(jì)不是太復(fù)雜。當(dāng)光線發(fā)生變化時(shí)，對(duì)周圍的環(huán)境變化不是太敏感，因此它能夠適應(yīng)比較多的動(dòng)態(tài)環(huán)境，穩(wěn)定性也比較好。但是我們從圖像中可以看出，它不能夠提取出對(duì)象的完整的區(qū)域，只能提取出邊界，同時(shí)它依賴于幀間的時(shí)間差隔，對(duì)于快速運(yùn)動(dòng)的物體，它必須選擇很小的時(shí)間間隔，這樣才能保證檢測(cè)出來(lái)的物體是一個(gè)整體。從實(shí)驗(yàn)效果圖中我們也可以知道對(duì)于背景比較復(fù)雜的物體，檢測(cè)的效果比較模糊，圖像的重影比較突出，也存在空洞的畫面。

3基于空間激光通信中的目標(biāo)檢測(cè)

空間自由激光通信系統(tǒng)它的基本原理就是，信息電信號(hào)通過(guò)調(diào)制加載在光信號(hào)上面，通信雙方通過(guò)初定為和調(diào)整，在經(jīng)過(guò)光束目標(biāo)的捕獲、對(duì)準(zhǔn)跟蹤過(guò)程建立光通信的鏈路，然后在通過(guò)光在深空或大氣信道中傳輸信息[12]。在文章中主要利用激光光強(qiáng)對(duì)所收集到的圖像序列進(jìn)行識(shí)別、檢測(cè)與跟蹤，然后對(duì)所跟蹤的圖像中的光斑中的形心根據(jù)公式(3)～(5)進(jìn)行定量精確的計(jì)算，采用一種特殊的形心跟蹤算法對(duì)運(yùn)動(dòng)目標(biāo)圖像的光斑中心進(jìn)行修正，最后采用歸一化算法對(duì)圖像中心進(jìn)行確定。

3.1數(shù)學(xué)模型

對(duì)于已經(jīng)所選擇好的二維圖像，它的函數(shù)表達(dá)式為f(x,y),其面積為A。采用單元格的形式對(duì)整個(gè)圖像進(jìn)行網(wǎng)格劃分，則位于坐標(biāo)點(diǎn)(x,y)處的像素微面積為dA=dxdy。

當(dāng)從圖像序列中選擇一張圖像后，則該圖像輪廓中的總的光強(qiáng)度是一定的，設(shè)它的光強(qiáng)度為ME，則它的計(jì)算公式如下所示：

(2)

據(jù)此可以分別計(jì)算出這個(gè)圖像區(qū)域?qū)軸和對(duì)y軸的能量力矩的計(jì)算結(jié)果為；

(3)

最后可以計(jì)算出形心坐標(biāo)為：

(4)

(5)

根據(jù)上面所算出的形心坐標(biāo)，進(jìn)而可以得出形心坐標(biāo)的值，最后在進(jìn)行歸一化處理，在每個(gè)被分割的單元格里，都有一個(gè)光斑，對(duì)它進(jìn)行修正，修正到每個(gè)區(qū)域的面積中間。歸一化算法也就是相似性度量，它的數(shù)學(xué)模型如下所示：

(6)

3.2實(shí)驗(yàn)效果圖

為了驗(yàn)證上面算法的性能，我們做了如下的實(shí)驗(yàn)，從圖像序列中取出幾張圖片。經(jīng)過(guò)一系列的計(jì)算、分割與跟蹤直到最后光斑中心的計(jì)算結(jié)果滿足我們實(shí)驗(yàn)所要達(dá)到的要求。實(shí)驗(yàn)效果如下圖3所示(圖示中的閾值不超過(guò)0.5mm)。

圖3　激光通信檢測(cè)結(jié)果

3.3結(jié)果分析與討論

實(shí)際上，分析上面成功的原因就是，因?yàn)閷?duì)于快速運(yùn)動(dòng)的物體，對(duì)于圖片的識(shí)別時(shí)間很短，這樣搜索的范圍就很小，激光光斑和背景之間的能量的比值就越大，前景的中心就越接近于真實(shí)光斑的中心。如圖3中第一張圖所示，它的光斑中心就接近于真實(shí)的幾何中心。對(duì)于最終輸出的圖像，如圖3第二張所示，基本上解決了以前實(shí)驗(yàn)中出現(xiàn)的散斑、光斑中心位置飄移、背景和前景模糊的情況。

4目標(biāo)跟蹤的實(shí)現(xiàn)

對(duì)于圖像已經(jīng)經(jīng)過(guò)一系列的形態(tài)學(xué)處理之后，所以它的運(yùn)動(dòng)目標(biāo)的大概位置已經(jīng)確定了。但是為了最后的跟蹤處理已經(jīng)檢測(cè)和識(shí)別到的目標(biāo)物體，必須采取一種非常合適的目標(biāo)跟蹤方法[13]。本文中采取的是一種自頂向下的最小外接矩形的方式。這種方法是基于傳統(tǒng)的貝葉斯理論在這個(gè)理論之下，將運(yùn)動(dòng)目標(biāo)物體跟蹤的問(wèn)題類比作一種是最優(yōu)的推理與猜測(cè)過(guò)程的過(guò)程，在本文中主要采用空間狀態(tài)法來(lái)具體實(shí)現(xiàn)目標(biāo)物體的跟蹤。最小外接矩形這種方法可以精確的定位出所要表達(dá)的運(yùn)動(dòng)目標(biāo)的矩形框的面積大小和具體的位置，主要的還可以大致的確定運(yùn)動(dòng)物體的中心位置點(diǎn)，也就是水平和垂直的相交的地方但是這種方法的應(yīng)用不可避免的會(huì)產(chǎn)生干擾點(diǎn)，為了排除這種干擾點(diǎn)、毛刺和一些不連續(xù)的點(diǎn)，常常需要在圖像中考察兩個(gè)跳變點(diǎn)之間的距離，把它的閾值小于0.5mm的找出來(lái)，可以剔除掉這些點(diǎn)。為了提高系統(tǒng)的跟蹤精度，對(duì)于控制系統(tǒng)中，在實(shí)驗(yàn)中我采取了一種數(shù)字控制系統(tǒng)，這種數(shù)字控制系統(tǒng)的控制精度很到，而且動(dòng)態(tài)范圍比較大，比較適宜控制速度比較快的運(yùn)動(dòng)目標(biāo)。還有就是它的抗干擾能力比較強(qiáng)，便于維護(hù)，可以實(shí)現(xiàn)復(fù)雜的算法，時(shí)間延遲小，處理速度快。

其跟蹤結(jié)果如下圖所示。從圖4中我們可以看出，這是一種比較有效的跟蹤算法，能精確的跟蹤運(yùn)動(dòng)目標(biāo)物體，實(shí)時(shí)的檢測(cè)出它們所在的位置。

圖4　目標(biāo)跟蹤效果圖

5結(jié)束語(yǔ)

本系統(tǒng)全面的分析了幀間差分和背景差分法在目標(biāo)檢測(cè)與跟蹤上的應(yīng)用，同時(shí)分析了它們的缺點(diǎn)，對(duì)于高速運(yùn)動(dòng)和復(fù)雜背景下的情況，它的檢測(cè)與跟蹤精度達(dá)不到我們的要求。在文章中采取了一種空間激光通信算法對(duì)目標(biāo)進(jìn)行檢測(cè)與跟蹤。從實(shí)驗(yàn)結(jié)果對(duì)比中我們可以知道，這種算法的檢測(cè)速率一般較高，對(duì)于高速運(yùn)動(dòng)的物體具有很好的檢測(cè)效果。每次的通信數(shù)據(jù)都在較短的時(shí)間內(nèi)完成，這樣對(duì)于復(fù)雜背景下的圖像檢測(cè)效果會(huì)很好。由于實(shí)驗(yàn)條件和實(shí)驗(yàn)時(shí)間的限制，對(duì)于更遠(yuǎn)距離的激光通信系統(tǒng)沒(méi)有在文章中進(jìn)行深入的研究。

[參考文獻(xiàn)]

[1] 周立偉. 目標(biāo)成像與探測(cè)技術(shù)[M]. 北京：北京理工大學(xué)出版社，2002.

[2] 張?zhí)煨? 成像目標(biāo)自動(dòng)識(shí)別[M]. 湖北：湖北科學(xué)出版社，2008.

[3] 梁冰，洪炳镕，曙光. 自主機(jī)器人視覺(jué)與行為模型及避障研究[J]. 電子學(xué)報(bào),2003,31(12A):2197-2200.

[4] Ohya A, Kosaka AKak. Vision—based navigation by a mobile robotwith obstacle using single—camera vision and ultrasonic Research sensing.[J]. IEEE Transaction on Robotics and Automation,1998,14(6):969-978.

[5] 李谷霖. 動(dòng)態(tài)圖像分析[M]. 北京：國(guó)防工業(yè)出版社，2010.

[6] Lin C T, Chung I F, Martin Sheu L K. A neural fuzzy system for image motion estimation[J]. Fuzzy Sets and System, 2000,114:281-304.

[7] 張彥梅，宋揚(yáng). 模塊匹配方法在高速目標(biāo)跟蹤中的應(yīng)用[J].北京理工大學(xué)學(xué)報(bào)，2006,26(11)：1026-1029.

[8] 韓九強(qiáng). 機(jī)器視覺(jué)技術(shù)及應(yīng)用[M]. 北京：高等教育出版社，2009.

[9] Yangqing Jia, Changshui Zhang. Front—view vehicle detection by Markov chain Monte Carlo method[J]. Pattern Recognition,2009,42(3):313-321.

[10] 施華，李翠華. 視頻圖像中的運(yùn)動(dòng)目標(biāo)跟蹤[J]. 計(jì)算機(jī)工程與應(yīng)用，2005(10)：56-58.

[11] Yin Jianqin, Li Jingping, Han Yanbin, et al. A New Color—Based Face Detection and Location Method by Using Support Vector Machine. Th International Conference on Control[J]. Automation Robotics&Vision.(ICARCV 2004),2004:838-841.

[12] 吳炯，張秀彬,張峰，等. 移動(dòng)目標(biāo)的快速識(shí)別算法[J]. 微計(jì)算機(jī)信息，2004，20(3)：27-29.

[13] Chen juan，Yang Xichen，Lei Jianbo, et al.Calibration study on measurement of temperature field in laser processing by CCD[J]. Chinese J. Laser，2007，34：354-356.

(編輯趙蓉)

Application of the Robot Based on Visual Detection and Tracking Technology

SUN Tong-tong，SUN Shou-qun

(School of Mechanical Engineering, University of Shanghai for Science & Technology, Shanghai 200093, China)

Abstract：In recent years machine vision technology has made great development both at home and abroad, and is widely used in industrial agriculturial production . The article researched on the whole process of the Navigation roboe vision system, through the camrea installde on the robot gatherde a grouo of image sequence. The image system accurately detect instantaneous tracking and rean-time motion object. Research groups of images of the threshold distance is less than 0.5m, binarization processing, then the time difference. Finally using laser communication the morden control theory and optimal control algorith improve the target detection and tracking accuracy . Resluts show than this laser communication algorithm is of high stability, good precision, time is short.

Key words：machine vision;image sequence;tracking;binarization;laser communication

中圖分類號(hào)：TH166;TG659

文獻(xiàn)標(biāo)識(shí)碼：A

作者簡(jiǎn)介：孫同同(1989—) 男，江蘇鹽城人，上海理工大學(xué)碩士研究生，研究方向?yàn)闄C(jī)電一體化，(E-mail)sttyouni@163.com。

*基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目(51205255)；國(guó)家科技支撐計(jì)劃項(xiàng)目(2015BAK16B04)

收稿日期：2015-03-13

文章編號(hào)：1001-2265(2016)02-0079-03

DOI:10.13462/j.cnki.mmtamt.2016.02.022