顧　鑫, 費智婷,2

(1. 中國運載火箭技術(shù)研究院研究發(fā)展中心, 北京 100076;

2.南京理工大學(xué)電子工程與光電技術(shù)學(xué)院, 江蘇 南京 210094)

?

基于局部背景加權(quán)直方圖的目標(biāo)跟蹤

顧鑫1, 費智婷1,2

(1. 中國運載火箭技術(shù)研究院研究發(fā)展中心, 北京 100076;

2.南京理工大學(xué)電子工程與光電技術(shù)學(xué)院, 江蘇 南京 210094)

摘要：針對傳統(tǒng)的顏色直方圖和加權(quán)顏色直方圖跟蹤算法難以在復(fù)雜環(huán)境下對目標(biāo)進行有效跟蹤的問題,提出了一種基于局部背景加權(quán)直方圖的目標(biāo)跟蹤算法,該算法將目標(biāo)的局部背景看作上下文,將其引入目標(biāo)表征。在粒子濾波跟蹤算法框架下,用局部背景加權(quán)直方圖來表征目標(biāo),以增強目標(biāo)與背景的鑒別性,從而突出目標(biāo)區(qū)域內(nèi)的前景信息。各種場景的實驗結(jié)果比較表明,提出的跟蹤算法比傳統(tǒng)的顏色直方圖和加權(quán)顏色直方圖跟蹤算法具有更好的穩(wěn)定性和魯棒性,特別是針對目標(biāo)被局部遮擋及跟蹤環(huán)境光照變化較大等情況。

關(guān)鍵詞：顏色直方圖; 目標(biāo)跟蹤; 局部背景加權(quán)直方圖; 粒子濾波

0引言

視覺目標(biāo)跟蹤是目前的熱點研究問題,它融計算機視覺、模式識別、圖像處理及人工智能于一體,具有廣泛的理論研究意義和實際應(yīng)用價值[1]。由于跟蹤場景及目標(biāo)復(fù)雜多變、光照強度不穩(wěn)定、部分或全部遮擋等問題的存在,使視覺目標(biāo)跟蹤仍然是一個經(jīng)典難題。近十幾年來,國內(nèi)外有相當(dāng)多的研究小組在該領(lǐng)域做了深入的研究,并提出了一些切實有效的算法。

在視覺目標(biāo)跟蹤研究初期,研究重點主要集中在光流法[2-4]及模板匹配[5]。隨著研究的深入,視覺目標(biāo)跟蹤的研究主要集中在如下兩方面:基于特征匹配的跟蹤和基于動態(tài)模型的跟蹤,基于特征匹配的跟蹤通過目標(biāo)的一些顯著特征及上一幀位置來定位目標(biāo),常用的跟蹤算法有:模板匹配、直方圖匹配、Mean-Shift[6]等,該算法在目標(biāo)運動較快或分布復(fù)雜時魯棒性較差。基于動態(tài)模型的跟蹤算法通過引入動態(tài)模型,能夠較好地處理這些難點,其經(jīng)典的跟蹤算法是基于遞歸貝葉斯框架的卡爾曼濾波、粒子濾波等。粒子濾波通過序列蒙特卡羅算法,能夠較好地處理非線性、非高斯問題,其核心是通過一組隨機樣本及其重要性權(quán)值離散表示所求解問題的后驗概率分布[7-8]。

視覺目標(biāo)跟蹤的一個核心問題是選用何種特征來表征目標(biāo),顏色直方圖是一種較為常用的目標(biāo)特征表征方法,該方法對目標(biāo)旋轉(zhuǎn)等情況具有較好的適應(yīng)性[9],但是傳統(tǒng)的顏色直方圖僅是對目標(biāo)區(qū)域像素值的統(tǒng)計,缺乏目標(biāo)區(qū)域的空間信息[10]。文獻[11]提出了一種加權(quán)顏色直方圖表征算法,該算法利用像素點與目標(biāo)中心的位置和像素值來計算顏色直方圖。以上兩種特征描述子都忽略了局部背景的信息,因此在跟蹤過程中,若目標(biāo)的某個部分的顏色特征與局部背景非常相似,或者目標(biāo)被部分遮擋的情況下,這兩種特征描述算法極易失效,如何結(jié)合局部背景信息以提升目標(biāo)描述能力備受關(guān)注[12]。

本文提出了一種新的局部背景目標(biāo)跟蹤算法,以局部背景加權(quán)直方圖來表征目標(biāo),在粒子濾波目標(biāo)跟蹤框架下實現(xiàn)對目標(biāo)跟蹤,該目標(biāo)描述方法引入了背景加權(quán)機制,由此降低了跟蹤目標(biāo)內(nèi)背景像素的權(quán)重,從而有效地抑制目標(biāo)內(nèi)的背景信息,并突出前景信息,基于該目標(biāo)描述方法可以有效地解決目標(biāo)被部分遮擋及其所處環(huán)境光照變化的問題。

1粒子濾波

定義貝葉斯跟蹤中目標(biāo)狀態(tài)如下:

(1)

式中，xt是目標(biāo)在t時刻的狀態(tài)向量,目標(biāo)的狀態(tài)遞歸估計如下:

(2)

式中，zt是狀態(tài)xt的觀測值;假設(shè)噪聲εt、et服從獨立分布。

從貝葉斯估計角度說,跟蹤問題就是根據(jù)給定觀測序列遞歸估計目標(biāo)狀態(tài),求解目標(biāo)狀態(tài)的后驗概率分布p(xt|z1∶t)。粒子濾波是基于序列蒙特卡羅和遞歸貝葉斯的估計方法,它將貝葉斯計算中無法數(shù)值解的積分運算轉(zhuǎn)化為有限樣本點的求和,即后驗概率分布p(xt|z1∶t)可近似表述[13]為

(3)

2基于局部背景加權(quán)直方圖的跟蹤實現(xiàn)

2.1局部背景加權(quán)直方圖

視覺目標(biāo)跟蹤問題是利用已獲取的目標(biāo)描述子,在當(dāng)前幀的搜索區(qū)域內(nèi)定位候選目標(biāo),搜索框通常由上一幀的目標(biāo)位置決定。圖1描述了各區(qū)域,包括:跟蹤目標(biāo)、局部背景、候選目標(biāo)以及搜索區(qū)域。跟蹤目標(biāo)由前景(車輛)和目標(biāo)內(nèi)背景組成。目標(biāo)跟蹤的實質(zhì)是利用目標(biāo)的特征解算出目標(biāo)的位置信息。

圖1　局部背景的定義

傳統(tǒng)的加權(quán)顏色直方圖定義區(qū)域內(nèi)不同位置點的像素對直方圖的貢獻是不一致的,距離目標(biāo)區(qū)域中心較近的像素被分配較大的權(quán)值[11]。

(4)

加權(quán)直方圖相對于傳統(tǒng)的直方圖僅解決了直方圖缺乏空間特性的問題,而目標(biāo)所處的局部背景信息可以作為目標(biāo)在運動過程中的上下文信息,為了引入局部背景信息,本文定義局部背景加權(quán)直方圖如下:

(5)

式中,vi為加權(quán)因子,表示第i個像素為前景的概率。對目標(biāo)區(qū)域和局部背景內(nèi)所有的像素,假設(shè)第i個像素為中心的一個3×3的鄰域Ωi內(nèi),像素值Ii可以用下式表示:

(6)

(7)

式中,ai，bi為回歸系數(shù)(在鄰域Ωi內(nèi)所有像素共用一組回歸系統(tǒng)ai和bi),定義整體回歸誤差為

(8)

文獻[14]定義整體回歸誤差滿足下式:

(9)

(10)

(11)

γ為加權(quán)系數(shù),則v存在閉合解如下:

(12)

式中，矩陣Id為單位矩陣。

2.2特征度量與模板更新

用局部背景加權(quán)直方圖來表征目標(biāo),Bhattacharyya距離是度量兩直方圖相似性的一種常用方法[15]。用htar表示目標(biāo)區(qū)域的背景加權(quán)直方圖,hmo表示目標(biāo)模板的背景加權(quán)直方圖,則目標(biāo)區(qū)域與模板的相似度ρ表征如下:

(13)

式中，Bin表示直方圖的維度,則基于局部背景加權(quán)直方圖的觀測概率[16]為

(14)

式中，λi為粒子分布的方差系數(shù),由于目標(biāo)在運動過程中受周圍環(huán)境等影響,其自身的模板發(fā)生較大變化,因此對目標(biāo)的模板直方圖hmo更新如下:

(15)

式中，β是更新率；η是閾值；ρ是歐氏距離。上式可以有效地避免模板的錯誤更新,大量實驗結(jié)果表明針對慢速移動目標(biāo),β=0.01且η=0.1是較好選擇。

3算法實現(xiàn)流程

具體算法流程如圖2所示,在粒子濾波框架下,基于局部背景加權(quán)顏色直方圖的粒子濾波跟蹤算法總結(jié)如下:

(2) 預(yù)測目標(biāo)的狀態(tài):由xt=Axt-1+W;

(3) 在上一幀的目標(biāo)狀態(tài)xt-1兩倍大小的區(qū)域內(nèi)計算局部背景加權(quán)顏色直方圖;

(6) 根據(jù)式(15)更新目標(biāo)模板hmo;

(7) 轉(zhuǎn)向步驟(2)。

圖2　算法流程圖

4實驗結(jié)果與分析

為了驗證算法的有效性,分別將本文算法和傳統(tǒng)的顏色直方圖跟蹤、加權(quán)顏色直方圖跟蹤進行比較。選擇在兩段公共視頻序列上進行算法驗證,兩段視頻序列圖像分別為室外航拍數(shù)據(jù)(圖像大小為640×480)和室內(nèi)監(jiān)控數(shù)據(jù)(圖像大小為320×240),采用R、G、B3個分量構(gòu)成目標(biāo)特征空間,根據(jù)跟蹤的精度和計算實時性的要求,直方圖的長度采用8×8×8的劃分原則,粒子數(shù)目選為100。本文所有算法均在Intel(R)Core(TM)i7CPU2.93GHz,4G內(nèi)存的計算機上用MATLABR2010a編程實現(xiàn)。在同一數(shù)據(jù)源上,人工標(biāo)定初始位置,用矩形來表征目標(biāo)的狀態(tài),分別進行各種算法的仿真。

實驗1是室外航拍數(shù)據(jù),如圖3所示,實驗數(shù)據(jù)源是光學(xué)視頻序列,跟蹤對象是戶外的汽車,第一行為傳統(tǒng)顏色直方圖跟蹤結(jié)果,第二行為加權(quán)顏色直方圖跟蹤結(jié)果,第三行為本文算法跟蹤結(jié)果。該視頻序列跟蹤的難點是目標(biāo)所處的背景變化較大,目標(biāo)不斷的進出有遮擋區(qū)的叢林,導(dǎo)致目標(biāo)受到局部遮擋,局部遮擋有兩層意義,一是車輛在運動過程中不斷的穿越叢林,車輛的顏色特征被樹林部分遮擋,導(dǎo)致其局部的顏色特征發(fā)生變化;二是目標(biāo)在不斷運動中,其被遮擋的時間有限,遮擋的部位不斷發(fā)生變化,在被遮擋幾幀后,整個目標(biāo)會再次進入跟蹤區(qū)域。在第127幀,目標(biāo)被遮擋后,顏色特征發(fā)生明顯變化,導(dǎo)致傳統(tǒng)的顏色直方圖跟蹤方式失效(127幀)。由于存在外部遮擋,加權(quán)顏色直方圖跟蹤的結(jié)果與目標(biāo)實際位置出現(xiàn)了較大偏差(127幀),目標(biāo)出叢林遮擋區(qū)域后,加權(quán)顏色直方圖跟蹤恢復(fù)正常(208幀)。目標(biāo)再次進入遮擋區(qū)域后,此時目標(biāo)被大部分遮擋,加權(quán)顏色直方圖跟蹤失效(250幀),本文算法在目標(biāo)被大部分遮擋時通過結(jié)合局部的背景信息來抑制目標(biāo)內(nèi)被遮擋部分的背景信息,從而增強前景的顯著性,最終提高目標(biāo)的描述能力,可以全程魯棒的跟蹤目標(biāo)。若目標(biāo)被長時間的全部遮擋或者大部分遮擋,目標(biāo)不能快速的從遮擋中運動出來,由于沒有額外的信息用于提供目標(biāo)觀測,本文的跟蹤算法將失效。

實驗2是室內(nèi)監(jiān)控圖像序列,如圖4所示,實驗數(shù)據(jù)源是光學(xué)視頻序列,跟蹤對象是室內(nèi)的人員,第一行為傳統(tǒng)顏色直方圖跟蹤結(jié)果,第二行為加權(quán)顏色直方圖跟蹤結(jié)果,第三行為本文算法跟蹤結(jié)果。該視頻跟蹤的難點是目標(biāo)不斷的進出光照區(qū)域和陰影區(qū),其所處環(huán)境的光照變化較大。光照變化主要包括以下幾個方面,一是由于外部光線發(fā)生了變化,導(dǎo)致目標(biāo)表面的特征發(fā)生變化;二是目標(biāo)不斷的進出光照不同區(qū)域,導(dǎo)致目標(biāo)表面的特征發(fā)生了變化。實驗二的場景中,目標(biāo)運動的時間有限,外部光線沒有發(fā)生明顯變化,主要是行人不斷的從建筑的陰影區(qū)進入無陰影的光照區(qū),再由光照區(qū)進入陰影區(qū),導(dǎo)致了目標(biāo)顏色特征發(fā)生較大分變化。目標(biāo)在運動過程中與其他行人交叉出現(xiàn),導(dǎo)致顏色跟蹤的結(jié)果偏差較大(211幀),在第308幀時目標(biāo)的顏色特征和背景沙發(fā)的顏色特征相似,且目標(biāo)處在陰影區(qū)與光照區(qū)的交界處,該處光照情況變化較大,顏色跟蹤無法正常跟蹤目標(biāo);第462幀目標(biāo)從陰影區(qū)進入光照區(qū)域,目標(biāo)區(qū)域的光照發(fā)生較大變化,導(dǎo)致加權(quán)顏色直方圖跟蹤失效。本文的跟蹤算法在目標(biāo)不斷的進出陰影區(qū)和光照區(qū)時,可以充分利用局部的背景信息來克服光照變化對目標(biāo)的影響,從而進一步增強前景的顯著性,提高特征的鑒別能力,實現(xiàn)對目標(biāo)的全程跟蹤。如果目標(biāo)所處環(huán)境的光照變化特別大,如直接從屋內(nèi)的陰影部分快速走到外面的光照很強烈區(qū)域,并沒有在兩者陰影和光照區(qū)有任何停留,即目標(biāo)處的背景光照發(fā)生劇烈變化,此時本文的算法將不能滿足跟蹤的要求。

圖3　實驗1跟蹤結(jié)果

圖4　實驗2跟蹤結(jié)果

表1給出了傳統(tǒng)顏色直方圖和加權(quán)顏色直方圖作為目標(biāo)的描述因子和本文算法跟蹤結(jié)果對比。實驗1結(jié)果表明:由于存在局部遮擋等外界因素干擾,傳統(tǒng)顏色直方圖和加權(quán)顏色直方圖跟蹤易失效,而本文算法通過結(jié)合局部的背景信息來抑制目標(biāo)內(nèi)背景,從而增強前景的顯著性,提高跟蹤的魯棒性。實驗2結(jié)果表明:本文算法對目標(biāo)不斷進出陰影區(qū),所處背景光照變化較大的情況具有較好適應(yīng)能力,可以一直對目標(biāo)穩(wěn)定跟蹤。

表1　實驗結(jié)果對比

表2給出了不同算法的跟蹤速度fps,由實驗結(jié)果可知本文算法的復(fù)雜度與傳統(tǒng)顏色直方圖和加權(quán)顏色直方圖的計算復(fù)雜度基本一致。

表2　5種算法的計算代價對比　fps

5結(jié)束語

本文提出了一種基于局部背景加權(quán)直方圖的目標(biāo)跟蹤算法,以局部加權(quán)直方圖來表征目標(biāo),將局部背景看作跟蹤目標(biāo)的上下文信息,提出的算法通過引入局部背景能有效地降低目標(biāo)內(nèi)背景的影響,有效地解決目標(biāo)被局部遮擋以及跟蹤環(huán)境中光照變化較大的難題。此外,本文跟蹤算法亦可應(yīng)用于其他跟蹤,如計算機視覺的其他領(lǐng)域,如融合識別、檢測等。

參考文獻：

[1] Gu X,Wang H T,Wang L F,et al. Fusing multiple features for object tracking based on uncertainty measurement[J].ActaAutomaticaSinica,2011,37(5):550-559.(顧鑫,王海濤,汪凌鋒,等.基于不確定性度量的多特征融合跟蹤[J].自動化學(xué)報,2011,37(5):550-559.)

[2] Baker S, Matthews I. Lucas-kanade 20 years on: a unifying framework[J].InternationalJournalofComputerVision,2004,56(3):221-255.

[3] Lucas B D, Kanade T. An iterative image registration technique with an application to stereo vision[C]∥Proc.oftheInternationalJointConferenceonArtificialIntelligence,1981,81:674-679.

[4] Shi J, Tomasi C. Good features to track[C]∥Proc.oftheIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition, 1994: 593-600.

[5] Porikli F, Tuzel O, Meer P. Covariance tracking using model update based on lie algebra[C]∥Proc.oftheIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition, 2006, 1: 728-735.

[6] Comaniciu D, Ramesh V, Meer P. Kernel-based object tracking[J].IEEETrans.onPatternAnalysisandMachineIntelligence, 2003, 25(5): 564-577.

[7] Arulampalam M S, Maskell S, Gordon N, et al. A tutorial on particle filters for online nonlinear/non-Gaussian Bayesian tracking[J].IEEETrans.onSignalProcessing,2002,50(2):174-188.

[8] Cheng J. Infrared target tracking based on particle filtering and hierarchical shape representation[J].SystemsEngineeringandElectronics, 2011, 33(6): 1217-1220.(程建. 基于粒子濾波與層級形狀描述的紅外目標(biāo)跟蹤[J]. 系統(tǒng)工程與電子技術(shù), 2011, 33(6): 1217-1220.)

[9] Sun G, Wang B, Zheng Z H, Real-time target recognition and tracking using local intensity histogram[J].SystemsEngineeringandElectronics, 2011, 33(9): 1927-1931.(孫抗, 汪渤, 鄭智輝. 基于局部亮度直方圖特征的實時目標(biāo)識別與跟蹤[J]. 系統(tǒng)工程與電子技術(shù), 2011, 33(9): 1927-1931.)

[10] Nummiaro K, Koller-Meier E, Van Gool L. An adaptive color-based particle filter[J].ImageandVisionComputing, 2003, 21(1): 99-110.

[11] Zhuang Y, Zhan H B,Wang W, et al. Weighted color histogram based particle filter for visual target tracking[J].ControlandDecision,2006,21(8):868-872.(莊嚴,戰(zhàn)洪斌,王偉,等. 基于加權(quán)顏色直方圖和粒子濾波的彩色物體跟蹤[J]. 控制與決策, 2006, 21(8): 868-872.)

[12] Chu H X, Xie Z Y, Wang J X, et al. Mean shift target tracking with spatiogram corrected background-weighted histogram[J].ControlandDecision,2014,29(3):528-532.(初紅霞,謝忠玉,王君祥,等.空間相關(guān)背景加權(quán)直方圖均值漂移目標(biāo)跟蹤[J].控制與決策,2014,29(3):528-532.)

[13] Han S, Zhang X L, Chen L, et al. Object tracking method based on improved Gaussian particle filter[J].SystemsEngineeringandElectronics, 2010, 32(6): 1191-1194.(韓松,張曉林,陳雷,等. 基于改進高斯粒子濾波器的目標(biāo)跟蹤算法[J]. 系統(tǒng)工程與電子技術(shù), 2010, 32(6): 1191-1194.)

[14] Ross D A, Lim J, Lin R S, et al. Incremental learning for robust visual tracking[J].InternationalJournalofComputerVision, 2008, 77(1/3): 125-141.

[15] Perez P, Vermaak J, Blake A. Data fusion for visual tracking with particles[J].ProceedingsoftheIEEE, 2004, 92(3): 495-513.

[16] Dalal N,Triggs B. Histograms of oriented gradients for human detection[C]∥Proc.oftheIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition, 2005.886-893.

顧鑫(1986-),男,工程師,碩士,主要研究方向為自動目標(biāo)檢測、目標(biāo)跟蹤。

E-mail:nync396@126.com

費智婷(1981-),女,高級工程師,碩士,主要研究方向為自動目標(biāo)檢測、雷達信號處理。

E-mail:susnnafei@163.com

網(wǎng)絡(luò)優(yōu)先出版地址：http://www.cnki.net/kcms/detail/11.2422.TN.20150706.1606.003.html

Object tracking based on local background weighted histogram

GU Xin1, FEI Zhi-ting1,2

(1.ChinaAcademyofLaunchVehicleTechnologyResearchandDevelopmentCenter,

Beijing100076,China; 2.SchoolofElectronicEngineeringandOptoelectronicTechnology,

NanjingUniversityofScienceandTechnology,Nanjing210094,China)

Abstract:For the object tracking based on traditional color histogram and weighted color histogram may be lost in the complex environment. An improved object tracking based on the local background weighted histogram (LBWH) is approached. The proposed tracking algorithm treats local background as the context, and introduces it into target representation. As a result, a target description, the LBWH is proposed in this paper. The LBWH enhances the discrimination between the target and background, so that highlights the foreground in the target region. An extensive number of comparative experiments show that the proposed tracking algorithm is more stable and robust than the traditional color histogram and weighted color histogram tracking algorithms, especially in the case of the object partial occlusion and illumination variation.

Keywords:color histogram; object tracking; the local background weighted histogram(LBWH); particle filter

作者簡介：

中圖分類號：TP 391

文獻標(biāo)志碼：A

DOI:10.3969/j.issn.1001-506X.2016.01.31

基金項目：國家自然科學(xué)基金(61305214)資助課題

收稿日期：2015-01-21；修回日期：2015-05-27；網(wǎng)絡(luò)優(yōu)先出版日期：2015-07-06。