梁 碩，陳金勇，吳金亮

(1．中國電子科技集團(tuán)公司 航天信息應(yīng)用技術(shù)重點(diǎn)實(shí)驗(yàn)室，河北 石家莊050081; 2．中國電子科技集團(tuán)公司第五十四研究所，河北 石家莊050081)

簡易交互式視頻目標(biāo)跟蹤技術(shù)研究

梁 碩1，2，陳金勇1，2，吳金亮2

(1．中國電子科技集團(tuán)公司 航天信息應(yīng)用技術(shù)重點(diǎn)實(shí)驗(yàn)室，河北 石家莊050081; 2．中國電子科技集團(tuán)公司第五十四研究所，河北 石家莊050081)

針對視頻目標(biāo)跟蹤中背景干擾和跟蹤持續(xù)性差的問題，提出了一種簡易交互式視頻目標(biāo)跟蹤的方法。依據(jù)用戶提供的初始跟蹤窗口，對目標(biāo)范圍進(jìn)行自動優(yōu)化，有效地避免了背景信息對跟蹤的干擾。針對跟蹤偏離目標(biāo)的情況，結(jié)合用戶對目標(biāo)區(qū)域的粗定位，利用特征匹配方法快速獲取精確的目標(biāo)位置及范圍。實(shí)驗(yàn)結(jié)果表明，提出的算法有效地剔除了背景信息的干擾，提高了跟蹤的準(zhǔn)確性，結(jié)合簡易人工交互信息，實(shí)現(xiàn)了跟蹤的連貫性和時效性。

視頻目標(biāo)跟蹤;簡易交互;目標(biāo)范圍優(yōu)化;特征匹配

0 引言

視頻目標(biāo)跟蹤在視頻監(jiān)控、航空偵查等方面有著非常重要的作用，是當(dāng)前計(jì)算機(jī)視覺中一個非常具有挑戰(zhàn)性的熱點(diǎn)問題。視頻目標(biāo)跟蹤問題就是在視頻初始幀中給定目標(biāo)的位置和范圍之后，對目標(biāo)進(jìn)行特征提取，使得跟蹤器能夠在后續(xù)幀中與目標(biāo)特征進(jìn)行匹配，找到目標(biāo)的位置，通過每一幀中成功的跟蹤結(jié)果來更新跟蹤器。

經(jīng)過了幾十年尤其是近10年的發(fā)展，視頻目標(biāo)跟蹤取得了非常重要的成就。Avidan［1］提出基于支持向量機(jī)［2］(SVM)的跟蹤方法，通過求解使得目標(biāo)與背景具有最大差異的候選目標(biāo)這一優(yōu)化問題，實(shí)現(xiàn)對目標(biāo)的跟蹤。Dalal等［3］提出了基于HOG特征的行人檢測算法，將圖像的梯度方向直方圖和支持向量機(jī)相結(jié)合，在行人檢測方面獲得了良好的效果。Hare等［4］采用基于核函數(shù)［5］的 SVM分類器，實(shí)現(xiàn)了精度比較高的跟蹤，但是跟蹤的速度很慢。Zhang等［6］利用壓縮感知［7］的知識，將正負(fù)樣本通過尺度變換，對樣本量進(jìn)行擴(kuò)充，然后將這個多尺度的樣本空間的樣本通過稀疏矩陣投影到低維空間中，既保證了樣本準(zhǔn)確度，又提高了效率。Kalal等［8］提出Tracking Learning Detection(TLD)算法，通過在線結(jié)構(gòu)約束正負(fù)樣本，可以對目標(biāo)進(jìn)行長時間的跟蹤。Henriques等［9］在相關(guān)濾波器［10］作為跟蹤器的基礎(chǔ)上，加入了快速傅里葉變換，提出了 Kernelized Correlation Filters(KCF)算法，將時域的卷積計(jì)算變換到頻域的乘積運(yùn)算，大大提高了跟蹤的速度。除此之外，基于貝葉斯理論［11］的跟蹤方法和基于均值漂移［12］的跟蹤方法都能在一定程度上對目標(biāo)進(jìn)行跟蹤。

當(dāng)前跟蹤算法在沒有背景信息干擾的情況具有非常良好的跟蹤效果，并且能夠?qū)崿F(xiàn)實(shí)時跟蹤。但在背景比較復(fù)雜的情況下，因?yàn)閷δ繕?biāo)框選得不夠精確，背景干擾信息的加入極易造成跟蹤的失敗。目前的跟蹤算法對嚴(yán)重遮擋的情況，無法進(jìn)行有效處理，需要用戶重新框選目標(biāo)，重新進(jìn)行跟蹤，嚴(yán)重影響了跟蹤的連續(xù)性和時效性。本文算法可以有效避免背景信息的干擾，并且在跟蹤偏離目標(biāo)后，用戶只需要對目標(biāo)區(qū)域進(jìn)行簡單點(diǎn)擊，算法會自動匹配目標(biāo)位置和范圍，繼續(xù)對該目標(biāo)進(jìn)行跟蹤，實(shí)現(xiàn)跟蹤的持續(xù)性。

1 視頻目標(biāo)跟蹤框架

視頻目標(biāo)跟蹤基本框架主要包含表觀特征描述和跟蹤算法2個方面。表觀特征描述主要是通過相應(yīng)的目標(biāo)表觀特征描述方法將目標(biāo)相對穩(wěn)定的統(tǒng)計(jì)特性或某些不變特性提取出來。在對目標(biāo)的表觀特征進(jìn)行提取之后，選擇合適的跟蹤算法對目標(biāo)進(jìn)行跟蹤。

本文在視頻目標(biāo)跟蹤基本框架基礎(chǔ)上，增加目標(biāo)范圍優(yōu)化，減少背景信息的干擾;添加智能目標(biāo)匹配，處理跟蹤失敗情況，如圖1所示。

圖1 本文采取的視頻目標(biāo)跟蹤流程

2 目標(biāo)范圍的優(yōu)化計(jì)算

在對目標(biāo)應(yīng)用跟蹤算法之前，需要人為給定目標(biāo)的位置和范圍，由于被跟蹤目標(biāo)的幾何形狀是未知的，因此給定的初始目標(biāo)區(qū)域中總會包含部分背景信息，如圖2所示。初始幀中的誤差會隨著跟蹤的進(jìn)程而逐步擴(kuò)大，影響跟蹤效果。尤其當(dāng)目標(biāo)遇到遮擋，跟蹤極易失敗。

圖2 初始幀中人為標(biāo)記的跟蹤窗口

本文算法在初始幀中對目標(biāo)范圍做一些優(yōu)化，自動地將目標(biāo)特征提取的范圍縮小至目標(biāo)的幾何范圍，不包含任何背景信息，在跟蹤開始階段就消除背景的干擾。

對視頻中目標(biāo)范圍的優(yōu)化可以看成能量最小化問題，通過能量最小化函數(shù)，實(shí)現(xiàn)目標(biāo)范圍的優(yōu)化。Rother等［13］提出了 grabcut分割算法，能夠?qū)D像進(jìn)行有效分割。Tang等［14］在 grabcut的基礎(chǔ)上，對算法進(jìn)行了優(yōu)化，具有更快的速度。本文基于Tang等［14］提出的算法對目標(biāo)范圍進(jìn)行優(yōu)化。

初始化目標(biāo)區(qū)域可以表示為像素點(diǎn)的集合z= {z1，z2，z3…zn}，每一個像素點(diǎn)對應(yīng)一個標(biāo)記a= {a1，a2，a3…an}，an∈ { 0 ，1}，其中an值為0表示背景，1表示前景即目標(biāo)。在初始目標(biāo)區(qū)域中，背景區(qū)域和前景區(qū)域分別對應(yīng)一個高斯混合模型(GMM)，每個GMM對應(yīng)由K個高斯模型混合而成，每個像素有一個kn(kn∈ { 1 ，K })，參數(shù)來自前景還是背景取決于an的值。所選擇的能量函數(shù)為:

E(a，k，θ，z)=U(a，k，θ，z)+V(a，z)，

數(shù)據(jù)項(xiàng)U定義為:

D(an，kn，θ，zn)=－logp(zn|an，kn，θ)－logπ(an，kn)。

式中，p(·)表示高斯概率分布;π(·)表示混合權(quán)重系數(shù)。平滑項(xiàng) V可用 RGB空間的歐幾里德距離求:

式中，C為相鄰像素對。在初始目標(biāo)區(qū)域中，矩形框之內(nèi)的區(qū)域?yàn)槲粗獏^(qū)域Tu，矩形框外的區(qū)域?yàn)楸尘皡^(qū)域Tb，基于此初始化GMM，對Tu進(jìn)行迭代，求出目標(biāo)區(qū)域Tf，如圖3所示。

圖3 初始幀中提取特征時只對深色區(qū)域提取特征

3 智能匹配目標(biāo)

視頻目標(biāo)跟蹤中，一旦出現(xiàn)目標(biāo)跟丟的情況，即跟蹤失敗，無法達(dá)到長時間跟蹤的效果。本文為了解決無法長時間跟蹤的問題，設(shè)計(jì)實(shí)現(xiàn)簡易交互，通過圖像配準(zhǔn)算法，來智能重新捕獲目標(biāo)進(jìn)行跟蹤。

在出現(xiàn)目標(biāo)跟丟的情況，只需用戶在目標(biāo)區(qū)域內(nèi)點(diǎn)擊一下，通過圖像配準(zhǔn)來智能匹配目標(biāo)。SIFT［15］和SURF［1 6］特征都具有尺度不變性和旋轉(zhuǎn)不變的特點(diǎn)，對光照變化和仿射透視變換具有部分不變性。但SURF特征的速度更快，本文采用該特征來實(shí)現(xiàn)圖像配準(zhǔn)，具體流程如圖4所示。

圖4 圖像配準(zhǔn)流程

SURF使用了近似的Hessian矩陣檢測關(guān)鍵點(diǎn)，并使用積分圖像大幅減少了運(yùn)算。在特定點(diǎn)檢測階段，用不同大小的方框?yàn)V波與原始圖像做卷積，形成圖像金字塔，易于并行。特征點(diǎn)的位置確定以后，為保持特征點(diǎn)的旋轉(zhuǎn)不變性，需要給每個特征點(diǎn)確定一個主方向，特征點(diǎn)鄰近圓域內(nèi)，計(jì)算 x和y方向上的Haar小波響應(yīng)極值表示。以特征點(diǎn)為中心，選取一邊垂直于主方向、邊長為 20像素的正方形區(qū)域，劃分成4*4子域，每個子域計(jì)算5*5個區(qū)域用相對主方向的水平和垂直的子區(qū)域，每一子區(qū)域用8方向的 Haar小波響應(yīng)之和∑dx，∑dy，以及響應(yīng)的絕對值之和∑|dx|，∑|dy|來表示，形成4*4*4=64維描述向量。特征檢測結(jié)果如圖5所示。目標(biāo)的臉部以及腿部可以檢測到許多特征點(diǎn)，基于此參考圖像圖5(a)和待配準(zhǔn)圖像圖 5 (b)可以和目標(biāo)模板進(jìn)行配準(zhǔn)。

圖5 SURF特征檢測結(jié)果

4 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證算法的有效性，本文在KCF跟蹤算法中增加了目標(biāo)范圍優(yōu)化算法與智能匹配目標(biāo)算法，與KCF算法進(jìn)行比較。算法運(yùn)行環(huán)境為 Intel Core i7－3770，CPU 3.40 GHz，RAM3.47 GB的PC機(jī)，基于C++和Opencv實(shí)現(xiàn)，視頻分辨率為480*640，能夠做到實(shí)時處理，圖6展示了算法對比實(shí)驗(yàn)的結(jié)果。

圖6 實(shí)驗(yàn)結(jié)果

圖6(a)為KCF算法(細(xì)線條矩形框)與加入優(yōu)化目標(biāo)范圍之后的算法(粗線條矩形框)，分別為視頻第206、246、254、265幀。圖6(b)為長時間跟蹤之后的KCF算法(細(xì)線條矩形框)和加入智能目標(biāo)匹配之后的算法(粗線條矩形框)，分別為第 878、905、911、915幀。由圖6(a)可以看出，在沒有任何遮擋的情況下，KCF算法和本文算法都能對行人目標(biāo)進(jìn)行準(zhǔn)確跟蹤(第206幀)。當(dāng)有物體遮擋目標(biāo)時，如果不對目標(biāo)范圍進(jìn)行優(yōu)化，跟蹤就會發(fā)生偏離，并且無法找回目標(biāo)重新進(jìn)行跟蹤(圖6(a)中細(xì)線條矩形框)，而采用本文算法對目標(biāo)范圍進(jìn)行優(yōu)化之后，在面對遮擋的情況下仍然能夠取得良好的跟蹤效果(圖6 (a)中粗線條矩形框)。當(dāng)對目標(biāo)進(jìn)行長時間的跟蹤之后，由于誤差的累積，KCF算法和本文目標(biāo)范圍優(yōu)化的算法均會發(fā)生不同程度跟丟目標(biāo)的現(xiàn)象(圖6 (b)中第878幀和第905幀)。當(dāng)出現(xiàn)跟丟目標(biāo)的現(xiàn)象時，通過智能匹配目標(biāo)的算法，只要用鼠標(biāo)點(diǎn)擊目標(biāo)附近區(qū)域，則會自動對目標(biāo)進(jìn)行匹配，找回目標(biāo)繼續(xù)跟蹤(圖6(b)中粗線條矩形框)。

5 結(jié)束語

本文提出了一種簡易交互式視頻目標(biāo)跟蹤算法，該算法在不需要復(fù)雜人機(jī)交互的情況下能夠完成對視頻目標(biāo)的跟蹤。首先，在視頻目標(biāo)跟蹤的初始階段對目標(biāo)的范圍進(jìn)行優(yōu)化，將目標(biāo)區(qū)域縮小到了僅包含目標(biāo)的范圍，減少了背景信息的干擾，有效區(qū)分了目標(biāo)和背景的特性，提高了跟蹤的穩(wěn)定性。然后，在視頻目標(biāo)跟蹤過程中，當(dāng)出現(xiàn)丟失目標(biāo)的現(xiàn)象時，借由對目標(biāo)的粗定位，智能對目標(biāo)進(jìn)行匹配，使得丟失目標(biāo)之后能夠自動重新獲取目標(biāo)繼續(xù)跟蹤，提高了跟蹤的連續(xù)性。經(jīng)過實(shí)驗(yàn)驗(yàn)證，本文提出的算法極大地提高了視頻目標(biāo)跟蹤的魯棒性，更有利于對目標(biāo)進(jìn)行長時間穩(wěn)定地跟蹤。

［1］ AVIDAN S．Support Vector Tracking［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26(8):1 064－1 072．

［2］ RAMANAN D，MCALLESTER D，F(xiàn)ELZENSZWALB P，et al．A Discriminatively Trained，Multiscale，Deformable Part Model［C］∥ IEEE Conference on Computer Vision and Pattern Recognition，2008:1－8．

［3］ DALAL N，TRIGGS B．Histograms of Oriented Gradients for Human Detection［C］∥IEEE Conference on Computer Vision and Pattern Recognition，2005:886－893．

［4］ HARE S，SAFFARI A，TORR P．Struck:Structured Output Tracking with Kernels［C］∥IEEE International Conference on Computer Vision，2011:263－270．

［5］ 尹傳環(huán)．結(jié)構(gòu)化數(shù)據(jù)核函數(shù)的研究［D］．北京:北京交通大學(xué)，2008．

［6］ ZHANG K，ZHANG L，YANG M H．Real-time Compressive Tracking［C］∥European Conference on ComputerVision，2012:866－879．

［7］ 侯 猛，李 斌，孫學(xué)斌，等．基于簇的塊稀疏壓縮感知的60 GHz信道估計(jì)［J］．無線電通信技術(shù)，2012，38(6):32－34．

［8］ KALAL Z， MIKOLAJCZYK K， MATAS J． Tracking Learning Detection［J］．IEEE Transactiongs on Pattern Analysis And Machine Intelligence，2012，34(7):1 409－1 422．

［9］ HENRIQUES J F，CASEIRO R，MARTINS P，et al．High-Speed Tracking with Kernelized Correlation Filters［J］．IEEE Transactiongs on Pattern Analysis and Machine Intelligence，2015，37(3):583－596．

［10］DAVID S，BOLME J，BRUCE A，et al．Visual Object Tracking Using Adaptive Correlation Filters［C］∥ IEEE Conference on Computer Vision and Pattern Recognition，2010:2 544－2 550．

［11］宋驪平．被動多傳感器目標(biāo)跟蹤方法研究［D］．西安:西安電子科技大學(xué)，2008．

［12］張 瑞．粒子濾波和均值漂移相結(jié)合目標(biāo)跟蹤算法［J］．無線電通信技術(shù)，2011，37(2):29－31．

［13］ROTHER C，KOLMOGOROVV，BLAKEA．GrabCut Interactive Foreground Extraction Using Iterated Graph cut［J］．Proceedings of ACM SIGGRAPH，2004，23(3): 309－314．

［14］TANG M，GORELICK L，VEKSLER O，et al．GrabCut in One Cut［C］∥ IEEE InternationalConference on Computer Vision，2013:1 769－1 776．

［15］LOWE D G．Distinctive Image Features from Scaleinvariant Keypoints［J］．International Journal of Computer Vision，2004，60(2):91－110．

［16］BAY H，ESS A，TUYTELAARS T，et al．Surf:Speeded up Robust Features［J］．Computer Vision and Image Understanding，110(3):346－359．

An Easy Interactive Video Object Tracking Method

LIANG Shuo1，2，CHEN Jin-yong1，2，WU Jin-liang2

(1．Key Laboratory of Aerospace Information Applications of CETC，Shijiazhuang Hebei 050081，China; 2．The 54th Research Institute of CETC，Shijiazhuang Hebei 050081，China)

To overcome the problem of background interference and poorly persistent tracking in video object tracking，an easy interactive method is proposed．Using the initialized bounding box of the object given by the user，the extent of the bounding box is automatically optimized to avoid the interference of background information．For the drifting problem，the proposed method makes use of the coarse location given by the user and feature matching to regain the location and extent of the object．The experiment results show that the proposed method eliminates the interference of background information and improves the accuracy of tracking．With the easy interactive information，the proposed method realizes coherence and timeliness of tracking．

video object tracking;easy interaction;object extent optimization;feature matching

TP391.4

A

1003－3106(2017)02－0048－04

10．3969/j．issn．1003－3106．2017．02．12

梁 碩，陳金勇，吳金亮．簡易交互式視頻目標(biāo)跟蹤技術(shù)研究［J］．無線電工程，2017，47(2):48－51．

2016-11-18

海洋公益性科研專項(xiàng)基金資助項(xiàng)目(201505002)。

梁 碩男，(1991—)，碩士研究生。主要研究方向:視頻圖像處理。

陳金勇男，(1970—)，研究員，博士生導(dǎo)師。主要研究方向:航天地面應(yīng)用、電子信息系統(tǒng)。