龔春紅

?

基于多特征自適應融合的魯棒跟蹤方法

龔春紅

(湖南財政經濟學院信息管理系, 湖南長沙, 410205)

針對復雜場景下用單一特征描述目標導致的目標漂移問題, 基于均值漂移(Mean Shift)跟蹤框架, 構建了一種有效的自適應融合特征(Adaptive Fusion Feature, AFF) 描述子, 并提出一種自適應融合多特征的跟蹤方法。該方法融合了顏色特征和尺度不變轉換(Scale-Invariant Feature Transform,), 并通過相鄰幀間各特征的相似性來自適應動態(tài)調整特征的權值。實驗結果表明, 在復雜場景下多特征自適應融合方法(AFF)比單一特征跟蹤方法和經典跟蹤方法減少了目標漂移、目標跟蹤更加精確魯棒。

顏色特征; 尺度不變轉換; 自適應融合特征; 權值更新

運動目標跟蹤在視頻監(jiān)督[1]、行為識別[2]和人機交互[3]等領域應用廣泛。但是, 在跟蹤過程中跟蹤目標經常會受到背景的干擾或者自身發(fā)生形變, 使得復雜場景下的運動目標跟蹤仍然是一個亟待解決的重點問題。一個好的跟蹤算法[4], 必須具備較好的精確性、魯棒性和實時性。為了提高跟蹤算法的整體性能, 研究者們通常從跟蹤策略和目標表達2個方面改進跟蹤算法。在跟蹤策略方面, Kalal等[5]將長期的跟蹤過程分為“跟蹤–學習–檢測”3個模塊, 并取得了很好的效果。Babenko等[6]運用一個包含多個正樣本的樣本包來更新分類器, 從而很好地解決了跟蹤過程中的模糊問題。上述方法通過優(yōu)化跟蹤策略提高了跟蹤性能, 但是由于它們都只用單一特征來表達目標, 因此在一定程度上存在局限性, 在復雜場景下存在目標漂移現象。隨著計算機視覺領域的發(fā)展, 涌現出了越來越多的特征描述子, 包括全局特征描述子和局部特征描述子[7]。在目標表達方面, 研究者們一方面挖掘新穎有效的描述子來表達目標, 另一方面探究通過融合多個特征描述子來描述目標。由于單個特征描述子的目標表達能力有限, 通過融合多個特征來表達目標已經是當前運動目標跟蹤的趨勢。張紅穎等[8]將掩膜內目標像素的LTN特征與色度信息融合生成一種新的目標模型來提供跟蹤性能; 陳柄權等[9]定義了一種新型的有效結合顏色、紋理和形狀特征的描述子來提高圖像檢索性能; 賈松敏等[10]提出了一種在均值漂移框架下融合顏色特征和紋理特征的跟蹤方法, 該方法雖然取得了一定的效果, 但沒能實現特征的自適應融合; 劉一鳴等[11]在粒子濾波跟蹤框架下融合了顏色特征和邊緣特征, 取得了較好的實時性和魯棒性。然而, 在跟蹤過程中前景和背景都是動態(tài)變化的, 各個特征在跟蹤過程中的貢獻程度并非一成不變, 上述方法并沒有提出如何自適應地調整所融合特征的權值。雖然在目標表達方面研究者們取得了一定的進展, 但要解決復雜場景下的目標跟蹤問題, 十分有必要提出一種多特征自適應表達目標的方法。

本文在均值漂移跟蹤框架的基礎上, 提出一種多特征自適應融合的跟蹤方法, 以提高復雜場景下運動目標跟蹤的精確性。首先, 構建自適應融合特征(AFF)。其次, 通過相鄰幀之間單特征的相似性來自適應更新各特征的權值。再次, 在均值漂移的跟蹤框架中用得到的自適應融合特征表達目標實現魯棒而精確目標跟蹤。最后, 通過對比實驗從定性和定量2個方面證明所提出方法的優(yōu)越性。

1 理論基礎

1.1 顏色特征

顏色特征作為最經典的全局特征, 由于其簡單性和有效性在目標跟蹤領域被廣泛用來表達目標?？梢詮牟煌念伾臻g來提取顏色特征, 常見的有RGB空間和HSV空間。本文采用從RGB空間提取的顏色特征來表達, 將R、G、B三個顏色通道分別量化為16個顏色區(qū)間。統(tǒng)計目標區(qū)域內每個像素點所屬的顏色特征空間, 得到特征空間中每個特征值的概率, 其概率直方圖即為目標的顏色特征描述。Comaniciu等[12]提出用加權的顏色直方圖來表示顏色特征。由于離中心點遠的像素點經常被遮擋或者被背景干擾, 它們最不可靠, 因此在這種直方圖中離中心點遠的像素點權值較小, 離中心點近的像素點權值較大。

1.2 SIFT特征

尺度不變特征轉換(Scale-invariant feature transform, SIFT)是一種典型的局部特征描述子, 它在空間尺度中尋找極值點, 并提取出他們的位置、尺度、旋轉不變量。SIFT算法由Lowe[13]在1999年發(fā)表, 并于2004年進一步完善。由于SIFT特征描述子在尺度轉換方面的不變特性, 且能夠抵抗光線、噪聲等的變化, 因此被廣泛應用在視覺跟蹤領域。SIFT特征的構建主要包括5個步驟。第1步, 構建尺度空間, 檢測極值點并獲得尺度不變性。這是一個初始化操作, 尺度空間理論的目的是模擬圖像數據的多尺度特征。第2步, 過濾特征點, 并精確定位, 剔除不穩(wěn)定的特征點, 其本質是要去掉DoG局部曲率非常不對稱的像素。第3步, 在穩(wěn)定特征點處提取特征描述符, 為其分配方向值, 利用關鍵點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參數, 使算子具備旋轉不變性。幅值(,)和幅角(,)的計算公式分別為;。第4步, 生成特征描述子, 尋找匹配點。第5步, 計算變換參數。最后, SIFT特征描述子可以用一個歸一化的概率直方圖來表示。

1.3 MeanShift算法

均值漂移(MeanShift)由于其簡單性和有效性被廣泛用于運動目標跟蹤領域。MeanShift跟蹤算法中最關鍵的問題就是計算當前位置與新位置1之間的偏移量, 可以通過均值漂移的迭代公式計算得到。式中:()是核輪廓;是()的帶寬;x是目標候選區(qū)域的像素; 權值w定義為。其中,是灰度級數的索引值, 當(其中是閾值, 取經驗值0.5)時, 算法將會停止均值漂移的局部迭代過程。

2 多特征自適應融合策略

本文旨在提出一種多特征自適應融合的目標跟蹤策略, 主要貢獻如下: 通過融合典型的全局特征(Color)和局部特征(SIFT), 構建自適應融合特征(AFF); 提出根據所融合特征在相鄰幀之間的相似性來自適應更新特征權值的魯棒跟蹤方法。

2.1 構建自適應融合特征

很多特征描述子都可以用歸一化的直方圖來表示, 因此能用直方圖表示的特征就可以構建融合特征。本文以顏色特征Color和SIFT特征為例來構建自適應的融合特征(AFF)。

定義1 假設Color是歸一化的顏色特征直方圖,SIFT是歸一化的SIFT特征直方圖, 則自適應融合特征(AFF)定義為, 其中,Color是顏色特征的權值,SIFT是SIFT特征的權值。顯然,AFF仍然是一個歸一化的直方圖。

2.2 權值更新

由于跟蹤過程是動態(tài)變化的, 在不同幀中不同特征的重要性程度不一樣。因此, 如果在跟蹤過程中將各個特征的權值在一開始就設置為固定值, 并不能在不同的條件下很好地表述目標。在跟蹤過程中手動設置各幀不同特征的權值, 不但費時而且不現實。然而, 如果能在每一幀中根據特征的重要性程度自適應更新特征的權值, 那么就能很好地提高目標的表達能力, 因此動態(tài)更新特征權值非常必要。當前幀目標位置與下一幀目標的候選位置之間的相似性程度用Bhattacharyya系數

表述。式(1)中:q是目標模型;p()是中心在處的候選模型。

本文依據式(1)分別計算出顏色特征的相似度Color和SIFT特征的相似度SIFT。由于用某個特征表示目標, 當前位置與最佳候選位置相似度越大, 那么該特征也就越重要, 應該賦予相對更大的權值。顏色特征的權值Color和SIFT特征的權值SIFT可以按照如下方式更新。

其中,Color是顏色特征的相似性,SIFT是SIFT特征的相似性。Color越大說明顏色特征越重要, 同理SIFT越大說明SIFT特征越重要。

2.3 算法流程

本文所提出的多特征自適應融合跟蹤方法(AFF)主要包括以下幾個步驟: 首先, 初始化第1幀的多特征模型, 該步驟是通過手動劃定跟蹤區(qū)域完成的; 其次, 在后續(xù)的每1幀中根據式(1)分別計算顏色特征和SIFT特征的相似度; 再次, 根據式(2)和(3)計算各個特征的融合權值, 并更新目標模型中的融合權值; 最后, 根據均值漂移算法框架輸出最優(yōu)候選區(qū)域的空間信息作為當前幀目標的位置。多特征自適應融合算法流程如圖1所示。

圖1 多特征自適應融合算法流程

3 實驗結果

為了驗證本文所提出的多特征自適應融合跟蹤方法的有效性和優(yōu)越性, 通過對比實驗從定性和定量2個方面來予以證明。主要與采用單一特征(顏色或SIFT)描述目標的算法以及經典的壓縮跟蹤算法(CT)[14–15]進行比較。所采用的視頻序列都是公開的數據集, 其詳細情況如表1所示。

表1 視頻序列描述

3.1 定性分析

背景混雜。圖2中的Bus station序列用來證明提出的AFF算法在處理背景混雜這一復雜場景下性能的優(yōu)越性。在該序列中其跟蹤對象是一身穿棕色衣服的行人, 一開始他被旁邊的路燈所遮擋并慢慢走向與之顏色極為相似的大樹下。由圖2可知: 在第18幀中僅用顏色或SIFT表達目標的算法和CT算法都產生了不同程度的漂移; 在第40幀中用顏色特征表達目標的算法和CT算法跟丟了目標, 而用局部SIFT特征表達的算法仍然能夠大致定位目標; 然而, 在整個過程中所提出的AFF算法都能較好地定位目標, 其原因在于全局特征(Color)和局部特征(SIFT)的互補性, 大大提高了目標的描述能力。

圖2 Bus station序列

遮擋。圖3中的David3序列用來證明提出的AFF算法在處理目標遮擋時的有效性。圖3中跟蹤的目標David從左走向右, 再從右走向左, 期間被路燈和大樹所遮擋。在第82幀中目標被大樹遮擋, 顏色特征表達的算法產生了較大的漂移, 而其他3種方法基本能定位目標, 但本文提出的AFF算法定位相對最精確。當David經過大樹繼續(xù)往右走時, 只有AFF算法能夠很好地定位目標, 其他3種(Color表達、SIFT表達和CT)都跟丟了目標。最后, 當David返回左邊, 在經過大樹時, CT算法能夠重新定位目標, 雖然AFF算法存在一定的漂移, 但是AFF的漂移程度遠小于單特征(Color和SIFT)表達的算法。可見, 本文提出的多特征自適應跟蹤算法(AFF)比單一特征表達的算法在跟蹤遮擋目標時存在較大優(yōu)勢。

圖3 David3序列

光照變化。圖4中的Skiing序列用來證明提出的AFF算法能夠抵抗光照變化的干擾。序列中所跟蹤的對象是一個滑雪的人, 其過程中存在不同程度的光照變化。在第20幀中, 目標受到了強光的干擾, 用顏色表達的算法和CT算法產生了很大的漂移, 而用SIFT表達的算法由于能夠抵抗光線的干擾可以大致定位目標, 但是本文提出的AFF算法卻能非常精確地定位目標。其他3種算法都跟丟了目標, 而AFF算法能夠基本定位目標, 只是存在較小的漂移。因此, AFF算法在處理光照變化的目標中與單一特征表達和經典的CT算法相比較存在優(yōu)勢。

圖4 Skiing序列

3.2 定量分析

本節(jié)通過算法的跟蹤成功率(Success Rate,S)和中心點誤差(Center Location Error, CLE)來定性說明本文提出的AFF算法的優(yōu)越性, 并采用Wang等[16]提出的標準來衡量當前目標是否被成功定位, 即。其中,T表示跟蹤框的位置,G表示目標的實際位置,表示面積,當S大于50%時, 目標就被成功定位。跟蹤成功率(S)即為目標被成功定位的幀數占總幀數的比率。表2是不同方法進行跟蹤的成功率比較。由表2可知, 用單一特征(Color或SIFT)表達目標的跟蹤成功率都低于50%, 經典的CT算法由于只用Haar特征表達目標, 其跟蹤成功率也比較低。然而, 本文方法采用了2種特征來表示目標, 且不同目標的貢獻程度隨著跟蹤環(huán)境的變化在自適應地調整, 發(fā)揮了2種特征各自的優(yōu)勢。因此, 其跟蹤成功率較其他3種算法都有比較大的提升。此外, 通過中心點誤差(CLE)來證明本文方法的精確性。中心點誤差(CLE)即為跟蹤框的中心點與目標實際中心點之間的歐氏距離(像素)。圖5為不同方法的中心點誤差比較圖, 由圖5可知, 其他3種算法(CT、Color和SIFT)的中心點誤差都比較大, 而本文提出的AFF算法在4種算法中中心點誤差最小, 且波動最小。由此可見, 本文提出的自適應特征融合算法(AFF)在跟蹤精度方面優(yōu)于其他算法。

圖5 中心點誤差

4 結論

本文在均值漂移跟蹤框架下提出了一種多特征自適應融合的跟蹤策略, 構建了自適應融合特征(AFF), 并根據單一特征在相鄰幀之間的相似性來自適應動態(tài)調整不同情況下特征的權值。最后, 通過實驗從定性和定量兩方面證明了所提出的方法在處理背景混雜、目標遮擋、光照變化等復雜場景下的優(yōu)越性。

[1] Wang J, Bebis G, Miller R. Robustvideo-based surve illance by integrating target detection with tracking [C]// Computer Vision and Pattern Recognition Workshop, 2006: 137–145.

[2] Sun L U, Lank K, Beetz M. EYEWATCHME: 3-D hand and object tracking for inside out activity analysis [C]// IEEE Comput Soc Conf CVPR Workshops, 2009: 9–16.

[3] Nguyen T H D, Quit C T, Xu K, et al. Real-time 3D human capture system for mixed-reality art and entertainment [J]. IEEE Transactionsons on Visualization and Computer Graphics, 2005, 11(6): 706–721.

[4] Yang H, Shao L, Zheng F, et al. Recent advances and trends in visual tracking: Areview [J]. Neurocomputing, 2011, 74(18): 3 823–3 831.

[5] Kalal Z, Mikolajczyk K, Matas J. Tracking-learning-detection [J]. IEEE Transactionsons on Pattern Analysis and Machine Intelligence , 2012, 34(7): 1 409–1 422.

[6] Babenko B, Yang M H, Belongie S. Robust object tracking with online multiple instance learning [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(8): 1 619–1 632.

[7] Sunand L, Liu G. Visual Object Tracking Basedon Combination of Local Description and Global Representation [J]. IEEE transactions on Circuits and Systems for Video Technology, 2011, 21(4): 408–420.

[8] 張紅穎, 胡正. 融合局部三值數量和色度信息的均值漂移跟蹤[J]. 電子與信息學報, 2014, 36(3): 624–630.

[9] 陳炳權, 劉宏立. 基于顏色紋理和形狀特征相結合的圖像檢索系統(tǒng)[J]. 湖南文理學院學報(自然科學版), 2009, 21(4): 67–70.

[10] 賈松敏, 王爽, 王麗佳, 等. 多特征自適應均值漂移算法的目標跟蹤[J]. 光電子·激光, 2014, 25(10): 2 018–2 024.

[11] 劉一鳴, 周尚波. 基于多特征融合的粒子濾波視頻跟蹤算法[J]. 計算機工程, 2010, 36(22): 228–230, 235.

[12] Comaniciu D, Ramesh V, Meer P. Kernel-based object tracking [J]. IEEE Trans Pattern Anal Mach Intell, 2003, 25(5): 564–577.

[13] Lowe D G. Object recognition from local scale-invariant features [C]// iccv. IEEE Computer Society, 1999: 1 150–1 157.

[14] Fukunaga K, Hostetler L. The estimation of the gradient of a density function, with applications in pattern recognition [J]. IEEE Transactionsons on Information Theory, 1975, 21(1): 32–40.

[15] Zhang K, Zhang L, Yang M H. Real-time compressive tracking [M]. Heidelberg: Springer, 2012: 864–877.

[16] Wang Q, Chen F, Yang J, et al. Transferring Visual Prior for Online Object Tracking [J]. IEEE Transactions on Image Processing, 2012, 21(7): 3 296–3 305.

(責任編校:劉剛毅)

Robust tracking based on multi-feature adaptive fusion

Gong Chunhong

(Department of Information Management, Hunan University of Finance and Economics, Changsha 410205, China)

Aimed at using single feature to describe the target often leads to target drift in complex scenes, an effective Adaptive Fusion Feature (AFF) is constructed based on Mean Shift tracking framework, furthermore, a tracking method which used multiple fusion features to describe target adaptively is put forward. This tracking method combined color feature and SIFT feature, the similarity between adjacent frames of each feature is used to dynamically adjust the feature weights. The experimental results show that the proposed AFF tracking method is more accurate and robust than single feature tracking and state-of-the-art tracking methods in complex scenes.

color; SIFT; adaptive fusion feature; weight updating

10.3969/j.issn.1672–6146.2016.04.006

TP 391

1672–6146(2016)04–0021–06

龔春紅, 290584160@qq.com。

2016–03–30

湖南省重點學科建設項目; 湖南省教育廳科學研究重點項目(13A010)。