鞠升輝， 李楊民

(1.天津理工大學(xué) 機(jī)械工程學(xué)院 天津市先進(jìn)機(jī)電系統(tǒng)設(shè)計(jì)與智能控制重點(diǎn)實(shí)驗(yàn)室，天津 300384; 2.澳門大學(xué) 科學(xué)與技術(shù)學(xué)院 機(jī)電工程系，澳門 999078)

設(shè)計(jì)與制造

基于運(yùn)動(dòng)分析的運(yùn)動(dòng)目標(biāo)實(shí)時(shí)跟蹤系統(tǒng)

鞠升輝1， 李楊民2

(1.天津理工大學(xué) 機(jī)械工程學(xué)院 天津市先進(jìn)機(jī)電系統(tǒng)設(shè)計(jì)與智能控制重點(diǎn)實(shí)驗(yàn)室，天津 300384; 2.澳門大學(xué) 科學(xué)與技術(shù)學(xué)院 機(jī)電工程系，澳門 999078)

機(jī)器人的視覺伺服是機(jī)器人領(lǐng)域重要的研究方向。著力于提高機(jī)器人視覺反饋系統(tǒng)的實(shí)時(shí)性，提出了基于運(yùn)動(dòng)分析的的運(yùn)動(dòng)目標(biāo)實(shí)時(shí)跟蹤方法。該方法采用形態(tài)學(xué)方法標(biāo)記連通域，并基于最小二乘法擬合運(yùn)動(dòng)軌跡曲線，預(yù)測下一時(shí)刻位置，設(shè)定連通域搜索范圍，從而提高搜索速度。仿真結(jié)果表明：該方法處理效果良好，能滿足后續(xù)系統(tǒng)實(shí)時(shí)性要求。

實(shí)時(shí)跟蹤； 視覺伺服； 位置預(yù)測； 運(yùn)動(dòng)分析

0 引 言

視覺圖像蘊(yùn)含豐富的信息，從中提取本文作者感興趣的研究對(duì)象，分析其位置、形狀、顏色等特征，并將其用于視覺伺服[1,2]，從而實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤和反饋。在工業(yè)領(lǐng)域，如基于視覺傳感的儀表自動(dòng)讀數(shù)系統(tǒng)[3]，微小群孔檢測[4],地鐵隧道變形檢測[5]等。Magana M E利用視覺圖像，從中提取倒立擺中小車和擺桿的特征點(diǎn)，計(jì)算運(yùn)動(dòng)參數(shù)，并結(jié)合模糊控制，從而實(shí)現(xiàn)了對(duì)直線倒立擺的穩(wěn)定性控制[6]；Petrovic I在一個(gè)橫梁和可以自由滾動(dòng)的小球構(gòu)成的實(shí)驗(yàn)平臺(tái)上，采用邊緣檢測從圖像中分離出橫梁的角度和小球的位置，實(shí)現(xiàn)了小球和橫梁相對(duì)位置的精確定位[7]。

這些研究雖然均能夠?qū)崿F(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的精確控制，但是處理速度卻不夠理想，圖像速度最大僅僅15～20幀/s。

對(duì)于實(shí)時(shí)性要求更苛刻的運(yùn)動(dòng)目標(biāo)，這些方法很難滿足應(yīng)用要求。因此，針對(duì)性工作很快展開并取得一系列進(jìn)展。李盛陽[8]提出了基于網(wǎng)格的圖像快速處理方法，將閑置的計(jì)算機(jī)組成局域網(wǎng)，分割任務(wù)，并行處理，實(shí)現(xiàn)了速度的大大提升；黃文杰[9]提出圖像快速處理的積分圖方法，顯著地加速空間域圖像的處理速度；吳葉蘭[10]在運(yùn)動(dòng)目標(biāo)的跟蹤中，提出了用局部模版來縮短模版匹配時(shí)間。

本文研究中，提出了一中基于運(yùn)動(dòng)分析的目標(biāo)預(yù)測和跟蹤方法，即：依據(jù)歷史位置，采用最小二乘法擬合出一條運(yùn)動(dòng)軌跡曲線，根據(jù)運(yùn)動(dòng)軌跡曲線得到運(yùn)動(dòng)物體在下一個(gè)時(shí)刻的位置，同時(shí)，依據(jù)歷史預(yù)測的精度來推斷出適當(dāng)?shù)乃阉鞣秶?，從而減小搜索的區(qū)域，準(zhǔn)確快速的定位運(yùn)動(dòng)物體的實(shí)際位置。

1 最小二乘法的曲線擬合理論

在曲線擬合中，運(yùn)用最小二乘法[11,12]，也即：使擬合數(shù)據(jù)與原始數(shù)據(jù)的偏差平方和最小。最小二乘法原理為極小值原理。記

(1)

多元函數(shù)存在極值的必要條件是

αnφn(xi)]=0,k=0,1,2,…,n

(2)

(3)

對(duì)任意函數(shù)h(x)和g(x)，引入

(4)

用向量內(nèi)積形式表示，可得

α0(φk,φ0)+α1(φk,φ1)+…+αn(φk,φn)=(φk,f), k=0,1,2,…,n

(5)

即

(6)

即為求α0,α1,…,αn的法向方程組，其矩陣的形式為

(7)

(8)

若

φ(x)=α0+α1x+α2x2+…+αnxn

(9)

則

(10)

(11)

最小二乘法的法方程為

(12)

根據(jù)上式可得α0,α1,…,αn，由此，可得到描述運(yùn)動(dòng)目標(biāo)的軌跡曲線。

2 目標(biāo)檢測基本原理

2.1 運(yùn)動(dòng)目標(biāo)的提取和分離

本文采用連續(xù)差分法[13]提取運(yùn)動(dòng)目標(biāo)，即：分別將當(dāng)前幀與前一幀、下一幀與當(dāng)前幀分別進(jìn)行圖像的差分運(yùn)算，即可得到差分后的兩幅圖像。然后對(duì)差分圖像進(jìn)行二值化，從而將運(yùn)動(dòng)目標(biāo)從差分圖像中分離出來。

2.2 運(yùn)動(dòng)目標(biāo)連通分量提取與實(shí)現(xiàn)

在二值圖像中提取連通分量是許多自動(dòng)圖像分析應(yīng)用中的核心任務(wù)。提取連通分量的過程實(shí)際上也是標(biāo)記連通分量的過程，本文做法是，給原圖像中的每個(gè)連通區(qū)分配一個(gè)惟一代表該區(qū)域的編號(hào)，在輸出圖像中該連通區(qū)內(nèi)的所有像素的像素值就賦值為該區(qū)域的編號(hào)，即所謂的標(biāo)記圖像[14]。采用形態(tài)學(xué)的膨脹操作提取聯(lián)通分量(如圖1和圖2所示)，算法如下：

初始化：B0=連通分量A1中的某個(gè)點(diǎn)

循環(huán)：doBi+1=(Bi⊕S)∩A

untilBi+1=Bi

圖1 含有兩個(gè)聯(lián)通分量的圖像AFig 1 Image A containing two connected components

圖2 A的連通分量標(biāo)注Fig 2 Labeling of connected components of A

2.3 圖像處理

噪聲來源分析：數(shù)據(jù)會(huì)被噪聲和形變影響。這些影響來自真實(shí)世界的變化(天氣、光線、反射、運(yùn)動(dòng))，鏡頭和機(jī)械結(jié)構(gòu)的不完美，傳感器長時(shí)間感應(yīng)(運(yùn)動(dòng)模糊)，從而在圖像上形成明顯易見的拖拽陰影。傳感器和其他電子器件上的電子噪聲，以及圖像采集后的圖像壓縮引入的變化[15]。這也是為什么背景完全相同的圖像，通過連續(xù)差分法獲得圖像、二值化處理并對(duì)連通域進(jìn)行標(biāo)記之后，連通域除了運(yùn)動(dòng)目標(biāo)一處之外，卻另外還有50多處的原因。

圖3 原始圖像Fig 3 Initial image

圖4 二值化后圖像Fig 4 Image after binarization

規(guī)律分析： 由圖3與圖4分析可得，噪聲點(diǎn)較多，且噪聲的分布規(guī)律呈現(xiàn)一定的隨機(jī)性；噪聲點(diǎn)的形狀較小，比作為研究對(duì)象的運(yùn)動(dòng)目標(biāo)小的多；本文研究對(duì)象中，對(duì)于影響較大的白光，其形狀呈現(xiàn)長條形，與運(yùn)動(dòng)目標(biāo)的圓形區(qū)別明顯。

噪聲處理與運(yùn)動(dòng)目標(biāo)提?。?在對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測時(shí)，首先，通過擬合的曲線預(yù)測下一時(shí)刻運(yùn)動(dòng)目標(biāo)可能的坐標(biāo)，然后，以該預(yù)測的坐標(biāo)為中心設(shè)定連通域的搜索范圍，最后，比對(duì)標(biāo)記連通域的索引值和搜索范圍，落在搜索范圍內(nèi)的，且形狀為圓形的最大連通域即為運(yùn)動(dòng)目標(biāo)。

搜索范圍確定[11]： 由于最小二乘法本身的誤差和圖像的畸變，預(yù)測的坐標(biāo)和實(shí)際坐標(biāo)之間的誤差是不可避免的。此外，目標(biāo)有一定大小，應(yīng)該在以預(yù)測坐標(biāo)為中心的一個(gè)范圍內(nèi)進(jìn)行搜索。分析可知，越接近本次預(yù)測的歷史位置坐標(biāo)對(duì)預(yù)測精度的影響越大；反之,越小。于是，采用1～m的自然數(shù)作為加權(quán)值，如下式所示

(13)

(14)

式中 Dx和Dy分別為搜索區(qū)域?qū)挾群透叨鹊陌霃?，b為常數(shù)，m為參考位置數(shù)目。

為了嚴(yán)謹(jǐn)，將搜索半徑與預(yù)測誤差進(jìn)行對(duì)比，如圖5所示，由于本文m取值為5，所以，前5個(gè)搜索半徑無法預(yù)測，為了安全起見，取值較為保守為20，這是圖表中搜索半徑的起始部分為線段的原因。

系數(shù)的評(píng)估： 參考的歷史位置數(shù)量m、擬合曲線的最高次數(shù)n和權(quán)值b直接影響位置精度。表1列出了m和n的不同取值時(shí)的針對(duì)單幅圖像的仿真結(jié)果，仿真的硬件環(huán)境為E8400 3.00GBZPC，圖像為320像素×240像素，軟件環(huán)境為MATLAB12.0。 與 要根據(jù)實(shí)際情況選擇合適的賦值，文中選擇m=5,n=3,b=0.3。

2.4 算法性能比較

文獻(xiàn)[16]采用了粒子濾波方法，單個(gè)目標(biāo)跟蹤時(shí)處理速度不大于10幀/s。文獻(xiàn)[17]采用卡爾曼濾波在類似的實(shí)驗(yàn)條件下對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤速度為20幀/s。表2為分別采用運(yùn)動(dòng)分析法、粒子濾波法[18]和卡爾曼濾波法[17]對(duì)Y方向?qū)嶋H坐標(biāo)位置進(jìn)行預(yù)測的結(jié)果。視覺采樣的速率較慢，典型采樣頻率為30 BZ[1]。因此，本文方法可滿足實(shí)時(shí)性要求，圖6分別為第1,11,24幀時(shí)的跟蹤圖像。

表2 算法性能比較Tab 2 Performance comparison of different algorithms

圖6 基于運(yùn)動(dòng)分析的運(yùn)動(dòng)目標(biāo)實(shí)時(shí)跟蹤方法下的目標(biāo)圖像Fig 6 Target image by moving object real-time tracking method based on motion analysis

3 結(jié) 論

本文提出了一種基于運(yùn)動(dòng)分析的運(yùn)動(dòng)目標(biāo)實(shí)時(shí)跟蹤算法，通過連續(xù)差分法提取運(yùn)動(dòng)目標(biāo)，并標(biāo)記連通域，依據(jù)歷史位置信息確定搜索范圍，從而準(zhǔn)確快速地提取出運(yùn)動(dòng)目標(biāo)的坐標(biāo)位置信息。仿真實(shí)驗(yàn)可知，處理每幀圖像的時(shí)間平均為25 ms。與卡爾曼濾波以及粒子濾波等方法比較，本文所采用的方法計(jì)算量小，實(shí)時(shí)性較好。然而，本文沒有選擇添加窗口，設(shè)定感興趣區(qū)域(region of interest,ROI)的方法，而是全局掃描并標(biāo)記連通域方法，因此，算法的潛力沒有得到充分挖掘。接下來的工作中，會(huì)考慮設(shè)置ROI區(qū)域的方法，進(jìn)一步優(yōu)化算法，加快運(yùn)算速度。

[1] 田夢(mèng)倩,羅 翔,黃惟一.視覺伺服機(jī)器人對(duì)運(yùn)動(dòng)目標(biāo)操作的研究[J].機(jī)器人,2013,25( 6):548-553.

[2] Hutchinson S,Hager G,Corke P I.A tutorial introduction to visual servo control[J].IEEE Trans on Robotics and Automation,1996,12(5):651-670.

[3] 郭永彩,劉麗君,高 潮.基于圖像傳感器的儀表自動(dòng)讀數(shù)系統(tǒng)[J].傳感器與微系統(tǒng),2012,31(11):115-121.

[4] 張劍劍,朱 荻,李寒松.基于數(shù)字圖像處理技術(shù)的微小群孔快速監(jiān)測系統(tǒng)[J].傳感器與微系統(tǒng),2009,28(6):73-79.

[5] 趙 炯,朱海濤,屈劍平,等.基于OpenCV的圓心定位在地鐵隧道變形檢測中的應(yīng)用[J].傳感器與微系統(tǒng),2013,32(11):139-145.

[6] Magana M E,Holzapfel F.Fuzzy-logic control of an inverted pendulum with vision feedback[J].IEEE Transactions on Education,1998,41(2):165-170.

[7] Petrovic I,Brezak M,Cupec R.Machine vision based control of the ball and beam[C]∥International Workshop on Advanced Motion Control,Piscataway, NJ,USA:IEEE,2002:573-577.

[8] 李盛陽,李愛軍,朱重光,等.基于網(wǎng)格的遙感圖像快速處理[J].計(jì)算機(jī)工程,2007,33(6):35-37.

[9] 黃文杰,陳 斌.一種快速圖像處理的積分圖方法[J].計(jì)算機(jī)應(yīng)用,2005,25(12):266-268.

[10] 吳葉蘭,楊 飛,劉 陽,等.基于顯微視覺的微小型零件跟蹤系統(tǒng)[J].傳感器與微系統(tǒng),2015,34(2):95-98.

[11] 鐘建冬,蘇劍波.基于視覺預(yù)測的運(yùn)動(dòng)目標(biāo)實(shí)時(shí)跟蹤系統(tǒng)[J].機(jī)器人,2010,32(5):516-520.

[12] 海 嘯,朱志杰.最小二乘法和三次樣條曲線擬合的比色測溫誤差修正對(duì)比分析[J].激光雜質(zhì),2015,36(6):72-76.

[13] 楊 蕊,張涇周,李 榮,等.基于幀差法與邊緣信息的紅外目標(biāo)檢測算法研究[J].科學(xué)技術(shù)與工程,2012,12(26):25-28.

[14] 張 錚,王艷平,薛桂香.數(shù)字圖像處理與機(jī)器視覺—Visual C++與Matlab實(shí)現(xiàn)[M].北京:人民郵電出版社,2010.

[15] Gary Bradski,Adrian Kaehler.學(xué)習(xí)OpenCV(中文版)[M].北京:清華大學(xué)出版社,2009.

[16] 程 建,周 越,蔡 念,等.基于粒子濾波的紅外目標(biāo)跟蹤[J]．紅外與毫米波學(xué)報(bào),2006,25(2)：113-117.

[17] 李鵬飛,喻建平,李良群.基于模糊自適應(yīng)α-β濾波的機(jī)動(dòng)目標(biāo)跟蹤[J].系統(tǒng)工程與電子技術(shù),2008,30(11):2138-2141.

Real-time tracking system of moving object based on motion analysis

JU Sheng-hui1, LI Yang-min2

(1.Tianjin Key Laboratory for Advanced Mechatronic System Design and Intelligent Control,School of Mechanical Engineering,Tianjin University of Technology,Tianjin 300384,China；2.Department of Electromechanical Engineering,Faculty of Science and Technology,University of Macao,Macao 999078，China)

Robotic visual servo system is an important research direction in the field of robotics.To enhance performance of real-time of robotic visual feedback system,method for realtime tracking of moving target based on motion analysis is proposed.The method uses morphological way to label connected domain,and fits trajectory curve based on least square method,predict position of the next and set searching scope of connected domain,so as to improve searching speed.Simulation results show that the approach is effective and can meet the requirements of real-time of system.

real-time tracking; visual servo; position prediction; motion analysis

10.13873/J.1000—9787(2016)07—0058—04

2015—11—05

TP 391

A

1000—9787(2016)07—0058—04

鞠升輝(1989-)，男，河南平頂山人，碩士研究生，主要研究方向?yàn)闄C(jī)器人視覺、自主導(dǎo)航。