陳從平 黃 正 聶 葳 石小濤
1(三峽大學(xué)機(jī)械與動(dòng)力學(xué)院 湖北 宜昌 443002)2(三峽庫區(qū)生態(tài)環(huán)境教育部工程研究中心 湖北 宜昌 443002)
?
連續(xù)同色調(diào)背景下運(yùn)動(dòng)目標(biāo)自適應(yīng)跟蹤
陳從平1黃 正1聶 葳1石小濤2
1(三峽大學(xué)機(jī)械與動(dòng)力學(xué)院 湖北 宜昌 443002)2(三峽庫區(qū)生態(tài)環(huán)境教育部工程研究中心 湖北 宜昌 443002)
針對(duì)傳統(tǒng)的Meanshift算法在連續(xù)的同色調(diào)背景干擾下無法準(zhǔn)確、持續(xù)跟蹤目標(biāo)的問題,提出一種基于Kalman-optical flow(KOF)的改進(jìn)Meanshift目標(biāo)跟蹤算法。首先,通過基于色調(diào)空間的光流檢測對(duì)Meanshift窗口區(qū)域內(nèi)的特征點(diǎn)進(jìn)行建模,獲得其圖像坐標(biāo);然后,利用Kalman濾波的速度預(yù)估排除背景特征點(diǎn),得到基于目標(biāo)模型特征點(diǎn)的空間約束條件;最后,將得到的空間約束條件結(jié)合傳統(tǒng)Meanshift算法中的色調(diào)約束條件,構(gòu)建新的反投影直方圖,并將新的反投影圖作為Meanshift的概率密度圖進(jìn)行迭代,從而完成目標(biāo)跟蹤。實(shí)驗(yàn)表明,在連續(xù)的同色調(diào)背景區(qū)域的干擾下,該算法仍可以準(zhǔn)確、持續(xù)地跟蹤目標(biāo)。
Meanshift 目標(biāo)跟蹤 光流 Kalman濾波 同色調(diào)區(qū)域
基于視頻的運(yùn)動(dòng)目標(biāo)檢測與跟蹤已在許多領(lǐng)域得到了應(yīng)用,如導(dǎo)彈制導(dǎo)、機(jī)器人導(dǎo)航、制造領(lǐng)域中視覺定位與引導(dǎo)、智能交通及公共安全領(lǐng)域的目標(biāo)追蹤等。近年來,隨著計(jì)算機(jī)技術(shù)和通信技術(shù)的發(fā)展,對(duì)目標(biāo)跟蹤的實(shí)時(shí)性、準(zhǔn)確性要求也日益提高。目前,典型的目標(biāo)跟蹤算法有光流法[1]、幀差法[2]、粒子濾波[3]、Kalman濾波[4]及Meanshift等[5]。其中,光流法與幀差法是基于物體的運(yùn)動(dòng)信息進(jìn)行跟蹤的,它們能同時(shí)跟蹤所有前景目標(biāo),但無法實(shí)現(xiàn)目標(biāo)選擇性跟蹤(只能跟蹤全部的前景物體而無法針對(duì)具體目標(biāo)),且兩種算法都極易受到背景變動(dòng)的干擾;粒子濾波則需要足夠的粒子數(shù)目以保證算法的魯棒性,這極大地增加了跟蹤過程中的計(jì)算量;Kalman濾波需要結(jié)合觀測值得到最優(yōu)更新,需要與其他算法聯(lián)合使用,因此在自適應(yīng)跟蹤過程中通常作為輔助算法。Meanshift算法作為一種基于密度梯度的無參數(shù)估計(jì)跟蹤算法[6],以其計(jì)算速度快、實(shí)時(shí)性好等特點(diǎn)得到了廣泛的研究與應(yīng)用。
傳統(tǒng)的Meanshift算法是通過目標(biāo)模型的色調(diào)特征(顏色約束)實(shí)現(xiàn)對(duì)目標(biāo)跟蹤,而當(dāng)其應(yīng)用于如水下魚類軌跡追蹤、智能交通目標(biāo)追蹤等目標(biāo)與背景具有同色調(diào)信息的領(lǐng)域時(shí),若不增加其他特征約束,就容易造成目標(biāo)丟失。為了解決這個(gè)問題,文獻(xiàn)[7-9]首先通過幀差法確定運(yùn)動(dòng)的目標(biāo)區(qū)域以排除背景色調(diào)的干擾,然后利用Meanshift進(jìn)行跟蹤。該算法對(duì)于固定場景中的運(yùn)動(dòng)目標(biāo)具有很好的跟蹤效果,但當(dāng)背景發(fā)生較大改變或跟蹤目標(biāo)相對(duì)靜止時(shí),依然會(huì)產(chǎn)生跟蹤目標(biāo)丟失的現(xiàn)象。文獻(xiàn)[10-12]提出了一種對(duì)目標(biāo)特征進(jìn)行分塊跟蹤的方法,通過對(duì)跟蹤目標(biāo)各特征區(qū)域進(jìn)行建模并加權(quán)的方式得到目標(biāo)模型,能夠有效地排除背景信息的干擾。但這種方法的分塊模式較為死板,且難以跟蹤處于連續(xù)的同色調(diào)背景區(qū)域中的目標(biāo)或形態(tài)發(fā)生較大改變的目標(biāo)。
本文針對(duì)在目標(biāo)跟蹤過程中,由于連續(xù)幀間同色調(diào)背景的干擾所導(dǎo)致追蹤目標(biāo)丟失這一問題,提出了一種結(jié)合KOF的改進(jìn)Meanshift跟蹤算法。首先通過基于色調(diào)空間的光流法獲得Meanshift搜索窗口區(qū)域的特征點(diǎn)信息;然后再根據(jù)Kalman濾波中的速度預(yù)估值剔除背景特征點(diǎn)信息,構(gòu)建僅考慮目標(biāo)特征點(diǎn)的空間約束條件。最后將求得的空間約束結(jié)合傳統(tǒng)Meanshift算法中的顏色約束,得到改進(jìn)的反投影直方圖,并將改進(jìn)的反投影直方圖作為Meanshift的概率密度圖進(jìn)行迭代,從而完成目標(biāo)跟蹤。
跟蹤目標(biāo)確定時(shí),Meanshift算法通過提取目標(biāo)模型在HSV顏色空間的H分量來建立直方圖模型,并據(jù)直方圖模型計(jì)算后續(xù)各幀的概率密度圖—反投影直方圖,Meanshift算法即收斂于反投影直方圖的概率密度極大值點(diǎn)。其定位原理及過程如下[13,14]:
(1)
(2)
(3)
上述公式中,δ為KroneckerDelta函數(shù),g為核函數(shù),h為核函數(shù)帶寬,ξ為設(shè)定閾值。
由式(1)-式(3)可知,Meanshift算法通過計(jì)算目標(biāo)模型的色調(diào)信息{qu}以進(jìn)行跟蹤。然而,當(dāng)背景區(qū)域與跟蹤目標(biāo)的色調(diào)信息相似時(shí),僅靠色調(diào)約束無法準(zhǔn)確、持續(xù)地跟蹤目標(biāo)。為了解決這個(gè)問題,就需要對(duì)跟蹤目標(biāo)添加其他的約束條件??紤]到跟蹤目標(biāo)模型中可能存在的形態(tài)變化以及背景變化的干擾,本文使用對(duì)這兩種干擾不敏感的目標(biāo)模型特征點(diǎn)信息作為新的約束條件,并通過能夠準(zhǔn)確匹配相鄰幀中相對(duì)應(yīng)點(diǎn)的光流法進(jìn)行特征點(diǎn)求解。
2.1 基于色調(diào)空間的光流求解
當(dāng)Meanshift算法中選定初始窗口后,即可通過光流檢測得到Meanshift搜索窗口內(nèi)的特征點(diǎn)。若特征點(diǎn)的色調(diào)值在相鄰幀之間無變化,則總可以找到一個(gè)偏移量(u,v)使:
Ht(x,y)=Ht+1(x+u,y+v)
(4)
其中,Ht、Ht+1分別為當(dāng)前幀及下一幀的色調(diào)值。事實(shí)上,色調(diào)值在高飽和度且光強(qiáng)較為適中的圖像中能保持不變。為滿足這一前提,本算法中只考慮飽和度S>65且光照強(qiáng)度50 將式(4)泰勒展開并忽略高階項(xiàng),有: (5) 當(dāng)色調(diào)不變時(shí),式(5)可簡化為: (6) 在連續(xù)的視頻幀中,可認(rèn)為目標(biāo)模型中特征點(diǎn)與其鄰域點(diǎn)的偏移量一致,具有空間一致性。此時(shí),若已知鄰域點(diǎn)集的色調(diào)值(Hx1,Hx2,…,Hxn),則可據(jù)式(6)求得(u,v),繼而得到下一幀中特征點(diǎn)的坐標(biāo)為: (7) 為了提高改進(jìn)算法的實(shí)時(shí)性,本文只對(duì)Meanshift搜索窗口區(qū)域內(nèi)的特征點(diǎn)進(jìn)行檢測。此時(shí)檢測到的特征點(diǎn)中包含了會(huì)造成干擾的部分背景區(qū)域特征點(diǎn),且由于跟蹤目標(biāo)的運(yùn)動(dòng),當(dāng)前幀的跟蹤目標(biāo)可能不完全處于上一幀的Meanshift搜索窗口區(qū)域內(nèi)。這樣會(huì)導(dǎo)致前后兩幀的一部分特征點(diǎn)匹配失敗,降低整個(gè)改進(jìn)算法的魯棒性。為了防止以上兩種情況的發(fā)生,本文擬通過增加Kalman濾波來進(jìn)行改進(jìn)。 2.2 Kalman濾波 Kalman濾波[15]包括預(yù)測與更新兩個(gè)步驟,其預(yù)測狀態(tài)方程及預(yù)測協(xié)方差方程分別為: (8) (9) 式中,Kk為增益矩陣,Zk為輸入的觀測向量,H為觀測模型,R為誤差矩陣。 在利用Kalman濾波得到當(dāng)前幀目標(biāo)模型質(zhì)心的預(yù)估狀態(tài)向量(xk,yk,vx,vy)后,就可以通過設(shè)定閾值的方法提高M(jìn)eanshift搜索窗口的跟蹤精度,排除與預(yù)估速度不一致的背景特征點(diǎn);并且適度擴(kuò)大檢測特征點(diǎn)的窗口,以防止前后幀中部分特征點(diǎn)匹配失敗。 2.3 改進(jìn)的Meanshift算法 設(shè)第k幀目標(biāo)模型質(zhì)心橫、縱方向的Kalman預(yù)估坐標(biāo)及速度值分別為xk、yk、vkx、vky,為了防止改進(jìn)算法跟丟目標(biāo),其Meanshift跟蹤窗口坐標(biāo)應(yīng)滿足: (10) 檢測特征點(diǎn)的窗口的大小應(yīng)滿足: Bx=Lx-abs(2vkx)By=Ly-abs(2vky)Bwidth=Lwidth+abs(2vkx)Bheight=Lheight+abs(2vky) (11) 追蹤目標(biāo)的特征點(diǎn)應(yīng)滿足: abs(2vkx)>p[k,i,x]-p[k-1,i,x]>vkx/2abs(2vky)>p[k,i,y]-p[k-1,i,y]>vky/2 (12) 上述公式中,(Mx,My)為第k幀中Meanshift迭代窗口左上角坐標(biāo),(Bx,By)、Bwidth、Bheight分別為第k幀中檢測窗口左上角的坐標(biāo)以及窗口的寬度、高度,(Lx,Ly)、Lwidth、Lheight分別為第k-1幀中Meanshift迭代窗口左上角坐標(biāo)以及窗口的寬度、高度。p[k,i,x]與p[k,i,y]分別表示第k幀中第i個(gè)目標(biāo)特征點(diǎn)的橫、縱坐標(biāo)值。 通過式(10)-式(12)即可排除背景干擾點(diǎn),得到只基于目標(biāo)模型特征點(diǎn)的約束條件。再將目標(biāo)模型特征點(diǎn)進(jìn)行二值化、膨脹處理后,結(jié)合跟蹤目標(biāo)的色調(diào)約束就可以構(gòu)建新的反投影直方圖,完成Meanshift追蹤過程?;贙OF的改進(jìn)Meanshift算法的流程如圖1所示。 圖1 基于KOF的改進(jìn)Meanshift算法流程圖 3.1 非連續(xù)同色調(diào)背景下的跟蹤實(shí)驗(yàn) 本文通過VS2010+OpenCV 2.0平臺(tái)所編寫的C++代碼,對(duì)兩個(gè)測試視頻進(jìn)行了實(shí)驗(yàn),其中測試視頻1中的跟蹤目標(biāo)為自行車,背景信息固定且包含與跟蹤目標(biāo)具有相似色調(diào)信息的單列車輛。實(shí)驗(yàn)中使用三種跟蹤算法對(duì)目標(biāo)進(jìn)行追蹤,其中圖2為運(yùn)用傳統(tǒng)的Meanshift算法進(jìn)行跟蹤的效果圖,圖3為運(yùn)用Meanshift-Kalman濾波算法進(jìn)行跟蹤的效果圖,圖4為運(yùn)用本文中基于KOF的改進(jìn)Meanshift算法進(jìn)行跟蹤的效果圖。 圖2 基于傳統(tǒng)Meanshift算法的跟蹤效果 圖3 基于Meanshift-Kalman濾波算法的跟蹤效果 圖4 基于KOF的改進(jìn)Meanshift算法的跟蹤效果 反投影圖中區(qū)域的高亮程度代表著其與目標(biāo)模型色調(diào)信息相匹配的程度。因此,從圖2、圖3的反投影圖可以看出,在第55幀確定跟蹤目標(biāo)時(shí),背景圖像中的停靠車輛與跟蹤目標(biāo)具有相似的色調(diào)信息,故而在第65幀中當(dāng)跟蹤目標(biāo)靠近??寇囕v時(shí),基于色調(diào)信息的傳統(tǒng)Meanshift算法無法準(zhǔn)確區(qū)分目標(biāo)模型和背景區(qū)域,進(jìn)而丟失跟蹤目標(biāo);而基于Meanshift-Kalman濾波的跟蹤算法在第65幀中并沒有丟失跟蹤目標(biāo)。這是由于Kalman濾波的預(yù)測效果抵消了Meanshift算法的部分跟蹤誤差,且造成干擾的背景區(qū)域并非連續(xù)的同色調(diào)干擾背景,因此在之后的跟蹤過程中算法并未受到相似色調(diào)背景的影響,故而能夠精確地跟蹤目標(biāo)模型。從圖4中的反投影圖可以看出,本文算法較好地屏蔽了背景區(qū)域的干擾,因此在整個(gè)追蹤過程中都保持了較高的跟蹤精度。 3.2 連續(xù)同色調(diào)背景下的跟蹤實(shí)驗(yàn) 測試視頻2中的跟蹤目標(biāo)為行人,背景為與跟蹤目標(biāo)有相似色調(diào)信息的連續(xù)排列的車輛且背景為非固定背景。其中圖5為運(yùn)用傳統(tǒng)的Meanshift算法進(jìn)行跟蹤的效果圖,圖6為運(yùn)用Meanshift-Kalman濾波算法進(jìn)行跟蹤的效果圖,圖7為運(yùn)用本文中基于KOF的改進(jìn)Meanshift算法進(jìn)行跟蹤的效果圖。 圖5 基于傳統(tǒng)Meanshift算法的跟蹤效果 圖6 基于Meanshift-Kalman濾波算法的跟蹤效果 圖7 基于KOF的改進(jìn)Meanshift算法的跟蹤效果 從圖5-圖7的反投影圖可以看出,在第150幀中,由于跟蹤目標(biāo)與當(dāng)前背景區(qū)域有較大的色調(diào)差異,兩者在反投影圖中的高亮程度相差很大,因此三種算法都可以精確地跟蹤到運(yùn)動(dòng)目標(biāo)。但從圖5、圖6的反投影圖還可以看出,從第317幀開始,跟蹤窗口內(nèi)的背景區(qū)域和跟蹤目標(biāo)具有相似的色調(diào)信息,此時(shí)再使用只基于色調(diào)信息的傳統(tǒng)Meanshift算法就無法準(zhǔn)確地區(qū)分目標(biāo)模型和背景區(qū)域,最終將導(dǎo)致追蹤目標(biāo)丟失;而基于Meanshift-Kalman濾波的跟蹤算法通過Kalman濾波的預(yù)測增益抵消了部分Meanshift算法的跟蹤誤差,故而能夠在第317幀中較好地追蹤目標(biāo)模型。但是,與3.1節(jié)實(shí)驗(yàn)中的非連續(xù)性背景干擾所不同的是,在第317幀之后的跟蹤過程中,跟蹤目標(biāo)始終處于連續(xù)的同色調(diào)背景干擾中,因此在接下來的每一幀中Meanshift算法都無法準(zhǔn)確地跟蹤目標(biāo),這會(huì)使該算法的累積誤差越來越大,直至第493幀完全丟失目標(biāo)。而從圖7的反投影圖中可以看出,本文使用的基于KOF的改進(jìn)Meanshift算法能夠很好地消除連續(xù)同色調(diào)背景區(qū)域的干擾,定位跟蹤目標(biāo)區(qū)域,使算法能夠準(zhǔn)確、持續(xù)地跟蹤目標(biāo)。 為衡量以上算法跟蹤效果,對(duì)實(shí)驗(yàn)視頻2進(jìn)行了定位精度分析,定義定位誤差為: (13) 其中,(xi,yi)為第i幀中跟蹤窗口的中心坐標(biāo),(xic,yic)為第i幀中目標(biāo)模型實(shí)際質(zhì)心坐標(biāo),Li為兩者的像素距離。據(jù)式(13)對(duì)整個(gè)跟蹤過程進(jìn)行比較,結(jié)果如圖8所示??梢钥闯?,在背景干擾不大的區(qū)域(前200幀),三種算法都有較好的跟蹤精度;然而在第220~270幀之間,傳統(tǒng)Meanshift算法以及基于Kalman濾波的算法的跟蹤精度略高于本文算法。這是由于改進(jìn)算法中的特征點(diǎn)約束可能會(huì)造成部分目標(biāo)信息的丟失,使跟蹤窗口產(chǎn)生部分偏移所致。而在之后連續(xù)的同色調(diào)背景干擾區(qū)域,本文的改進(jìn)算法的跟蹤精度明顯高于其他兩種算法。 圖8 不同算法定位誤差比較 Meanshift算法能夠快速、實(shí)時(shí)地跟蹤目標(biāo),然而當(dāng)跟蹤目標(biāo)處于連續(xù)同色調(diào)背景區(qū)域時(shí),就會(huì)由于無法確定跟蹤目標(biāo)的信息而造成跟蹤失敗。本文結(jié)合KOF算法,首先根據(jù)光流法對(duì)色調(diào)空間的特征點(diǎn)進(jìn)行檢測,再根據(jù)Kalman速度預(yù)估甄選出目標(biāo)模型的特征點(diǎn)信息,最后將特征點(diǎn)信息結(jié)合傳統(tǒng)Meanshift算法中的色調(diào)信息構(gòu)建新的反投影圖,再進(jìn)行目標(biāo)跟蹤。實(shí)驗(yàn)結(jié)果表明,結(jié)合KOF的改進(jìn)Meanshift算法能夠準(zhǔn)確、持續(xù)地跟蹤目標(biāo),有效地解決了連續(xù)同色調(diào)背景區(qū)域?qū)δ繕?biāo)跟蹤造成的干擾問題。 [1] Bao L C,Yang Q X,Jin H L. Fast Edge-Preserving PatchMatch for Large Displacement Optical Flow[C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society,2014:3534-3541. [2] Jun Qiang,Jun Chen,Jun Wang. An Interfield and Intrafield Weighted Interpolative Deinterlacing Algorithm Based on Low-Angle Detection and Multiangle Extraction[J]. Mathematical Problems in Engineering,2014(15):1-8. [3] Sun X,Yao H X. A refined particle filter based on determined level set model for robust contour tracking[J]. Machine Vision and Applications, 2014,25(7):1727-1736. [4] Hoshiya M,Saito E. Structural Identification by Extended Kalman Filter[J]. Journal of Engineering Mechanics,1984,110(12):1757-1770. [5] 胡威. 一種新的Meanshift快速運(yùn)動(dòng)目標(biāo)魯棒跟蹤方法[J].計(jì)算機(jī)應(yīng)用與軟件,2014,31(1):140-143. [6] Song Y,Li S, Zhang J,et al. Scale Adaptive Tracking Using Mean Shift and Efficient Feature Matching[C]// 2014 22nd International Conference on Pattern Recognition (ICPR). IEEE Computer Society,2014:2233-2238. [7] 鄔大鵬,程衛(wèi)平,于盛林. 基于幀間差分和運(yùn)動(dòng)估計(jì)的Camshift目標(biāo)跟蹤算法[J].光電工程,2010,37(1):55-60. [8] 崔文超,洪新華,吳正平. 一種運(yùn)動(dòng)背景下目標(biāo)快速定位方法[J].三峽大學(xué)學(xué)報(bào):自然科學(xué)版,2007,29(2):163-166. [9] 張春林,李小堅(jiān). 基于幀間差分和背景差分結(jié)合的Camshift目標(biāo)跟蹤算法[J].工業(yè)控制計(jì)算機(jī),2014,27(6):118-120. [10] 董慧芬,董保磊,丁小芳,等. 基于相關(guān)區(qū)域分層的改進(jìn)Meanshift目標(biāo)跟蹤算法[J].計(jì)算機(jī)應(yīng)用,2014,34(S2):286-290. [11] 袁霄,王麗萍. 基于Meanshift算法的運(yùn)動(dòng)人體跟蹤[J].計(jì)算機(jī)工程與科學(xué),2008,30(4):46-49. [12] 王田,劉偉寧,韓廣良,等. 基于改進(jìn)Meanshift的目標(biāo)跟蹤算法[J].液晶與顯示,2012,27(3):396-400. [13] Vojir T,Noskova J,Matas J. Robust scale-adaptive mean-shift for tracking[J]. Pattern Recognition Letters,2014,49:250-258. [14] Sliti O,Hamam H,Benzarti F,et al. A More Robust Mean Shift Tracker Using Joint Monogenic Signal Analysis and Color Histogram[C]// 2014 22nd International Conference on Pattern Recognition (ICPR).IEEE Computer Society,2014:2453-2458. [15] Bourmaud G,Mégret R, Giremus A,et al. Global motion estimation from relative measurements using iterated extended Kalman filter on matrix LIE groups[C]// Image Processing (ICIP),2014 IEEE International Conference on.IEEE,2014:3362-3366. ADAPTIVE MOVING TARGET TRACKING UNDER INCESSANT SAME HUE BACKGROUND Chen Congping1Huang Zheng1Nie Wei1Shi Xiaotao2 1(CollegeofMechanicalandPowerEngineering,ChinaThreeGorgesUniversity,Yichang443002,Hubei,China)2(EngineeringResearchCenterofEco-environmentinThreeGorgesReservoirRegion,MinistryofEducation,Yichang443002,Hubei,China) Aiming at the problem that traditional Meanshift algorithm cannot track the target accurately and constantly under the interference of incessant same hue background, we proposed an improved Meanshift target tracking algorithm which is based on Kalman-optical flow (KOF). First, it models the feature points within the area of Meanshift window by hue space-based optical flow detection algorithm, and gets the coordinates of their images. Secondly, it uses the speed prediction of Kalman filter to exclude background feature points and obtains the space constraint condition which is based on the target model feature points. Finally, it combines the derived space constraint condition with the hue constraint condition of traditional Meanshift algorithm to construct new back projection histogram, and uses the new back projection graph as the probability density map of Meanshift for iteration, so as to complete the target tracking. Experimental results demonstrated that under the interference of incessant same hue background area this algorithm could still track targets accurately and constantly. Meanshift Target tracking Optical flow Kalman filter Same hue area 2015-07-30。國家自然科學(xué)基金項(xiàng)目(51475266);三峽庫區(qū)生態(tài)環(huán)境教育部工程研究中心開放基金項(xiàng)目(KF2015-11);湖北省三峽大學(xué)培優(yōu)基金項(xiàng)目(2015PY022)。陳從平,副教授,主研領(lǐng)域:機(jī)器視覺,自動(dòng)化工程,流體動(dòng)力學(xué)。黃正,碩士。聶葳,碩士。石小濤,副教授。 TP3 A 10.3969/j.issn.1000-386x.2016.11.0333 實(shí)驗(yàn)結(jié)果與分析
4 結(jié) 語