趙德超， 彭 力

(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院, 江蘇 無錫214122)

移動機(jī)器人實時目標(biāo)跟蹤系統(tǒng)設(shè)計與實現(xiàn)*

趙德超， 彭 力

(江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇無錫214122)

針對單目視覺移動機(jī)器人目標(biāo)跟蹤的實時性和魯棒性要求，提出了基于Kalman濾波器的改進(jìn)Camshift算法檢測和定位目標(biāo)。將Kalman預(yù)測值作為目標(biāo)初始位置，補(bǔ)償攝像頭和目標(biāo)相對運動導(dǎo)致的目標(biāo)在圖像中的偏移。在系統(tǒng)“跟丟”后判斷目標(biāo)丟失的原因，根據(jù)原因自適應(yīng)拓展搜索窗口作為Camshift算法的下一幀初始搜索窗口。為了驗證改進(jìn)算法的有效性，自主研制了一種應(yīng)用該算法的履帶式機(jī)器人實時目標(biāo)跟蹤系統(tǒng)。實驗結(jié)果表明：該系統(tǒng)具有很好的魯棒性和實時性。

目標(biāo)跟蹤； Camshift算法； Kalman濾波器； 搜索窗口

0 引 言

目前，基于視覺的目標(biāo)跟蹤機(jī)器人在災(zāi)區(qū)救援、火星探測、工業(yè)領(lǐng)域均具有很大應(yīng)用前景[1～3]。移動目標(biāo)跟蹤算法有很多，然而目前很多算法是基于分離背景和目標(biāo)的方式，如背景減除法[4]，但是若背景不斷快速變化將導(dǎo)致目標(biāo)跟蹤丟失。Daniilidis K[5]提出了采用添加攝像頭運動補(bǔ)償?shù)墓饬鞣ǎ瑢崿F(xiàn)對背景的過濾，但算法實現(xiàn)復(fù)雜，計算量較大且精度受硬件結(jié)構(gòu)的影響。因此，大多基于視覺的目標(biāo)跟蹤機(jī)器人利用基于顏色特征的目標(biāo)跟蹤算法[6，7]，如Bradski G R[8]提出了的 Camshift算法。但傳統(tǒng)Camshift算法容易受到相似顏色背景干擾，目標(biāo)快速移動導(dǎo)致跟蹤丟失和目標(biāo)丟失后系統(tǒng)可能會無法復(fù)原。文獻(xiàn)[9，10]提出了多特征融合目標(biāo)跟蹤算法，抑制相似背景干擾。王鑫等人提出了基于粒子濾波的Camshift算法，能夠克服相似背景干擾的影響。

本文提出了基于Kalman濾波器預(yù)測值作為目標(biāo)搜索初始值，提高跟蹤的實時性和適應(yīng)快速移動的目標(biāo)。針對目標(biāo)跟丟問題，判斷目標(biāo)丟失原因，根據(jù)丟失原因自適應(yīng)擴(kuò)展搜索窗口，使目標(biāo)能夠再次被定位，提升系統(tǒng)的魯棒性。設(shè)計了一個能夠執(zhí)行目標(biāo)跟蹤任務(wù)的履帶式機(jī)器人實時目標(biāo)跟蹤系統(tǒng)，并驗證了算法的有效性。

1 系統(tǒng)結(jié)構(gòu)

自主研制的機(jī)器人實時目標(biāo)跟蹤系統(tǒng)平臺，分成3層結(jié)構(gòu)模型，分別為應(yīng)用層、網(wǎng)絡(luò)層和感知控制層。

感知控制層由Raspberry 3B+模塊(內(nèi)置WiFi,Arduino模塊,ANC C230攝像頭和多個測距傳感器等組成,實現(xiàn)實時圖像信息的獲取和上傳、圖像處理結(jié)果的獲取、傳感器信息的采集和小車的運動控制。即將實時采集的視頻經(jīng)壓縮后上傳至本地視頻服務(wù)器，并接收上位機(jī)處理后的視頻信息。控制器結(jié)合超聲波采集的距離信息和應(yīng)用層反饋的目標(biāo)在圖像中位置信息,實施相應(yīng)的控制策略。

網(wǎng)絡(luò)層由WiFi,Internet和4G網(wǎng)絡(luò)等目前比較普遍的網(wǎng)絡(luò)通信構(gòu)成，可以實現(xiàn)在多種環(huán)境下的設(shè)備通信，在該網(wǎng)絡(luò)下應(yīng)用層和感知控制層可以實現(xiàn)高速穩(wěn)定的信息交換。

應(yīng)用層用來接收感知控制層發(fā)送的圖像信息，并將處理后結(jié)果通過網(wǎng)絡(luò)傳輸至感知控制層。系統(tǒng)圖像處理部分工作在Windows 7下Visual Studio+Opencv平臺，運行跟蹤算法對圖像中的目標(biāo)進(jìn)行跟蹤，分析目標(biāo)在圖像中的位置信息，將處理結(jié)果通過網(wǎng)絡(luò)層送到感知控制層。其他終端設(shè)備如智能手機(jī),Pad等可以通過訪問網(wǎng)頁的形式實時監(jiān)控感知控制層上傳的視頻信息。

在移動跟蹤平臺搭載嵌入式設(shè)備，采用V4l2視頻開發(fā)框架讀取攝像頭圖像，文中攝像頭的圖像格式Y(jié)UV420，將其壓縮成JPG格式的圖片，上傳至本地視頻服務(wù)器MJPG-Streamer。應(yīng)用層將從該服務(wù)器接口讀取視頻信息，并將圖像處理結(jié)果發(fā)回至該跟蹤平臺。平臺將融合圖像處理結(jié)果和測距傳感器獲取的距離信息，采用雙閉環(huán)PID控制器調(diào)制PWM輸出驅(qū)動電機(jī)，調(diào)整跟蹤小車的位姿，實現(xiàn)目標(biāo)實時自動跟蹤，并與目標(biāo)保持設(shè)定的位姿關(guān)系。

2 運動目標(biāo)圖像跟蹤算法

2.1 Camshift算法

Camshift算法是基于HSV顏色模型的顏色直方圖的核密度估計算法，其跟蹤流程如下：

1)首先手動選擇圖像中的矩形目標(biāo)區(qū)域，均勻劃分目標(biāo)區(qū)域為n個顏色區(qū)間構(gòu)成灰度直方圖，得到目標(biāo)模型的qu概率密度(u=1,2，…，n)，表示為

(1)

(2)

(3)

2)根據(jù)目標(biāo)模型的概率密度將下一幀圖像進(jìn)行反向投影，得到概率密度灰度圖。將第t-1幀目標(biāo)中心的位置yt-1和搜索區(qū)域作為第t幀搜索窗口的初始中心和區(qū)域，計算當(dāng)前幀的候選目標(biāo)區(qū)域直方圖。候選模型的概率密度pu(yt),u=1,2,…，n為

(4)

式中h為核函數(shù)窗口大小，決定權(quán)重分布，其他參數(shù)同式(1)～式(3)。

3)移動窗口的中心到窗口的質(zhì)心，使窗口中心逐漸逼近目標(biāo)的中心位置，循環(huán)迭代直到最后一次移動的距離小于閾值或者到最大迭代次數(shù)為止。設(shè)yt(x,y)為第t幀圖像的反向投影圖在(x,y)處的像素值，x和y變化的范圍為搜索窗口范圍，分別定義窗口的零階矩和一階矩如下

(5)

計算搜索窗口質(zhì)心

yt(xc,yc)=(M10/M00,M01/M00)

(6)

4)完成目標(biāo)搜索后，自適應(yīng)調(diào)整搜索窗口的長軸w，短軸l和搜索窗口的旋轉(zhuǎn)角θ，將調(diào)整后的搜索窗口作為下一幀初始搜索窗口。

(7)

(8)

(9)

2.2 基于Kalman濾波的改進(jìn)Camshift目標(biāo)跟蹤

2.2.1 基于Kalman濾波器Camshift跟蹤算法

由于均值漂移算法的推導(dǎo)過程中假設(shè)了一個目標(biāo)點在連續(xù)兩幀中偏移量較小的前提，即偏移量不能超過核函數(shù)的帶寬[11]。系統(tǒng)的任務(wù)決定了目標(biāo)在圖像平面移動快速，傳統(tǒng)Camshift跟蹤算法可能會跟蹤失敗。引入Kalman濾波能夠很好地解決該問題。目標(biāo)在圖像平面內(nèi)運動狀態(tài)方程描述如下

(10)

(11)

本文基于Kalman濾波器的改進(jìn)的Camshift跟蹤算法，對每幀圖像得到的當(dāng)前搜索窗口的位置進(jìn)行修正，將Kalman濾波器預(yù)測值作為下一幀搜索窗口的初始值，有效地克服了在跟蹤過程中，目標(biāo)快速移動部分遮擋和少量相似背景顏色的干擾等問題，Kalman運行例流程如圖1所示。

圖1 kalman濾波器流程

2.2.2 目標(biāo)丟失時自適應(yīng)調(diào)整目標(biāo)搜索窗口大小

當(dāng)搜索窗口面積Area

對于原因(2)，目標(biāo)從攝像頭視覺范圍內(nèi)消失的過程中目標(biāo)會漸漸地被壓扁并且目標(biāo)中心坐標(biāo)會逐漸趨近于圖像的邊緣。判斷條件如下

(12)

式中AreaT為目標(biāo)消失位置窗口面積閾值；cols和rows分別為圖像的分辨率；xc，yc分別為目標(biāo)中心坐標(biāo)。以上4個不等式分別表示目標(biāo)從圖像x軸和y軸方向消失。調(diào)整搜索窗口策略如下

yt+1(xc,yc)=yt(xc,yc)

(13)

式中yt+1和yt分別為下一幀和當(dāng)前幀初始搜索窗口中心；wt+1和wt分別為下一幀和當(dāng)前幀初始搜索窗口的寬度；ht+1和ht分別為下一幀和當(dāng)前幀初始搜索窗口的高度。

排除原因(2)即認(rèn)為原因(1)導(dǎo)致目標(biāo)丟失，根據(jù)當(dāng)前幀初始搜索窗口的直方圖概率模型、目標(biāo)模板的Bhattacharyya系數(shù)B0和前10幀搜索窗口與模板的Bhattacharyya系數(shù)的均值Ba，調(diào)整搜索窗口策略如式(14)。如果調(diào)整搜索窗口后，仍找不到目標(biāo)，將保持第一次丟失前搜索窗口位置和大小不變，等待目標(biāo)再次出現(xiàn)在視野中重新被定位。

(14)

綜上，改進(jìn)的Camshift算法流程如圖2所示。

圖2 改進(jìn)的Camshift算法流程

3 實驗結(jié)果與分析

實驗平臺為自主研制3層架構(gòu)模型的機(jī)器人實時目標(biāo)跟蹤系統(tǒng)，實物如圖3所示。

圖3 跟蹤平臺實物

如圖4所示，跟蹤帶有紅色標(biāo)記的移動小車，用b標(biāo)識的橢圓框表示基于Kalman濾波最優(yōu)估計得到的目標(biāo)位置，用a標(biāo)識的橢圓框表示基于Camshift跟蹤得到的目標(biāo)位置。從結(jié)果中可以看出，利用本文提出的基于Kalman濾波最優(yōu)估計修正Camshift跟蹤位置，能夠獲得更完美的跟蹤狀態(tài)。

圖4 跟蹤結(jié)果

為了證說明本文設(shè)計的Kalman濾波器對目標(biāo)運動基于速度不變的模型性相比于傳統(tǒng)Camshift算法基于位置不變的運動模型的精確性，本文設(shè)計了如下實驗：目標(biāo)以100 mm/s的速度垂直于跟蹤小車的運動方向做勻速運動。分別計算Kalman濾波器對下一幀預(yù)測位置和當(dāng)前目標(biāo)的Camshift得到的位置與下一幀實際位置預(yù)測誤差，定義如下

(15)

式中x＇k，y＇k分別為第k幀的預(yù)測值位置；(xk，yk)為第k幀目標(biāo)的實際位置；(xc，yc)為圖像中心坐標(biāo)。如圖5，給出了Kalman預(yù)測位置誤差和傳統(tǒng)Camshift預(yù)測位置誤差。

圖5 目標(biāo)位置預(yù)測誤差

可知，Kalman預(yù)測位置誤差小于傳統(tǒng)Camshift算法。說明基于Kalman濾波器目標(biāo)位置預(yù)測能夠更加逼近于實際目標(biāo)位置，減少迭代次數(shù)，從而提升Camshift運算速度及跟蹤的實時性。表1給出了系統(tǒng)時間性能指標(biāo)。

表1 算法實時性能

為了驗證改進(jìn)的算法對快速運動目標(biāo)的適應(yīng)性，比較傳統(tǒng)Camshift算法和本文提出算法對快速運動目標(biāo)的跟蹤效果，過程如圖6和圖7。從圖中可以看出，傳統(tǒng)Camshift算法在跟蹤快速移動的目標(biāo)時，由于相鄰兩幀圖像目標(biāo)位移過大導(dǎo)致目標(biāo)跟丟。而改進(jìn)的算法對目標(biāo)下一幀窗口位置進(jìn)行Kalman預(yù)測，提高兩幀目標(biāo)的關(guān)聯(lián)性，從而能夠跟蹤快速移動的目標(biāo)。

圖6 Camshift 算法目標(biāo)跟蹤結(jié)果

圖7 改進(jìn)算法目標(biāo)跟蹤結(jié)果

圖8所示，當(dāng)目標(biāo)快速移動超出攝像頭拍攝圖像的視野，跟蹤機(jī)器人會根據(jù)丟失前對目標(biāo)運動的預(yù)測自適應(yīng)調(diào)整小車的位姿，使目標(biāo)能夠再次出現(xiàn)在攝像頭視野內(nèi)，并再次跟蹤目標(biāo)，提高了系統(tǒng)的魯棒性。

圖8 目標(biāo)丟失及重新跟蹤過程

為了進(jìn)一步說明所設(shè)計的跟蹤平臺能夠有效地跟蹤目標(biāo)，圖9和圖10給出了目標(biāo)勻速直線運動和勻速圓周運動，140 s以后目標(biāo)停止運動三種狀態(tài)的目標(biāo)跟蹤過程中，跟蹤小車與目標(biāo)的實際距離和圖像中目標(biāo)中心位置偏離圖像中間的像素點值(xc-160)。其中xc=cols/z圖像的分辨率為rows×cols。跟蹤平臺的跟蹤距離設(shè)定值為70 cm，偏離中心位置設(shè)定值為0 像素。由圖可知，設(shè)計的跟蹤平臺在跟蹤不同運動狀態(tài)的目標(biāo)過程中，始終能夠平滑的調(diào)整位姿，實現(xiàn)快速跟蹤，且在目標(biāo)停止運動時，能夠快速收斂于設(shè)定位姿。

圖9 目標(biāo)直線運動過程中相對位姿

圖10 目標(biāo)圓周運動過程中相對位姿

4 結(jié) 論

本文基于自主研制的小車目標(biāo)跟蹤系統(tǒng)，采用提出的基于Kalman濾波的改進(jìn)的Camshift算法，能夠克服目標(biāo)快速移動部分遮擋和少量相似背景顏色的干擾問題，提出的自適應(yīng)調(diào)整搜索窗口方案能夠極大程度提升系統(tǒng)的穩(wěn)定性和魯棒性。經(jīng)實驗表明：設(shè)計的目標(biāo)跟蹤系統(tǒng)，實時性好，穩(wěn)定性好，跟蹤精度高，能夠適應(yīng)快速移動目標(biāo)的跟蹤。但是當(dāng)背景有相似顏色干擾時，系統(tǒng)不能很好的區(qū)別背景和目標(biāo)，導(dǎo)致跟蹤精度下降或者目標(biāo)丟失，這也是下一步工作需要解決的問題。

[1] Anderson G T,Tunstel E W,Wilson E W.Robot systemto search for signs of life on Mars[J].IEEE Transactions on Aerospace and Electronic Systems,2007,22(12):23-30.

[2] Ksenia S,John K T.Visual search for an object in a 3D environment using a mobile robot[J].Image vision Comput,2010,114(5):537-547.

[3] 胡桂林,流波峰,何玉成.基于遺傳算法的Canny邊緣檢測算子在配藥機(jī)器人中的應(yīng)用[J].傳感器與微系統(tǒng),2013,32(7):141-143.

[4] Bouwmans T.Recent advanced statiscal back ground modeling for foreground detection a systematic survey[J].Recent Patents on Computer Science,2011,4(13):147-176.

[5] Daniilidis K,Krauss C,Hansen M,et al.Real-time tracking of moving objects with an active camera[J].Real-Time Imaging 1998,4(1):3-20.

[6] Kassir M M,Palhang M.A region-based Camshift tracking with a moving camera[C]∥2014 The Second RSI/ISM International Conference on In Robotics and Mechatronics(ICRoM),IEEE,2014:451-455.

[7] 耿盛濤,劉國棟.一種穩(wěn)健的移動機(jī)器人目標(biāo)跟蹤算法[J].傳感器與微系統(tǒng),2011,30(6):112-116.

[8] Bradski G R.Real-time face and object tracking as acomponent of a perceptual user interface[C]∥Proceedingof IEEE Workshop on Applications of Computer Vision，Princeton,NJ,USA,1998, IEEE Computer Society,1998:214-219.

[9] 王 璐,崔益安,蘇 虹,等.移動機(jī)器人的運動目標(biāo)實時檢測與跟蹤[J].計算機(jī)工程與應(yīng)用，2015,15(33):30-33.

[10] 施 瀅,高建坡,崔 杰,等.分塊多特征自適應(yīng)融合的多目標(biāo)視覺跟蹤[J].傳感器與微系統(tǒng),2015,34(9):128-131.

[11] 虞 旦,韋 魏.基于單目視覺的移動機(jī)器人跟隨[J].儀器儀表學(xué)報,2010,31(3):659-664.

[12] 徐一鳴,陸 觀,顧菊平.基于N-LBP紋理與色度信息的Camshift跟蹤算法[J].計算機(jī)科學(xué),2015,42(6):313-317.

Designandimplementationofreal-timetargettrackingsystemforrobot*

ZHAO De-chao, PENG Li

(SchoolofIoTEngineering,JiangnanUniversity,Wuxi214122,China)

Aiming at real-time and robustness requirement of target tracking requirement of mobile robot using monocular camera,an improved target tracking Camshift algorithm based on Kalman filter.To compensate the offset of the object appearring in the image sequences caused by camera and object relatively moving,use the Kalman predicted value as target initial position.When the object is lost from the tracking system,analyze the reasons at once.And accordingly,the size of search window is expanded adaptively,which act as the initial search window of next frame of Camshift algorithm.An real-time target tracking system for robot is developed to verify the effectiveness of the proposed algorithm.Experimental results show that the target tracking system using the proposed algorithm is capable of good real-time characteristic,and robustness.

target tracking; Camshift algorithm; Kalman filter; search window

10.13873/J.1000—9787(2017)12—0087—04

TP 242

A

1000—9787(2017)12—0087—04

2016—09—30

國家自然科學(xué)基金資助項目(61203147,61374047,61403168)

趙德超(1992-)，男，碩士研究生，主要研究方向為智能系統(tǒng)與模式識別，E—mail:254266718@qq.com。彭 力(1967-)，男，通訊作者，博士研究生，教授，主要從事視覺傳感器網(wǎng)絡(luò)、人工智能及計算機(jī)仿真的研究工作，E—mail:pengli@jiangnan.edu.cn。