劉 芳，余旺盛

（1.中國人民解放軍空軍94188部隊(duì)，陜西 西安710077；2.空軍工程大學(xué) 信息與導(dǎo)航學(xué)院，陜西 西安710077）

引言

視覺跟蹤技術(shù)廣泛應(yīng)用于視頻監(jiān)控、智能交通、工業(yè)控制以及視覺導(dǎo)航等諸多民用和軍事領(lǐng)域，是計(jì)算機(jī)視覺領(lǐng)域研究的熱點(diǎn)和難點(diǎn)問題［1－2］。近年來，針對(duì)視覺跟蹤技術(shù)的理論研究取得了快速的發(fā)展，常用的跟蹤算法通常可以分為基于區(qū)域的跟蹤［3］、基于特征的跟蹤［4］、基于變形模板的跟蹤［5］以及基于模型的跟蹤等［6］。眾多跟蹤算法中，Mean Shift跟蹤算法具有理論完備、原理簡單以及性能相對(duì)穩(wěn)定等優(yōu)點(diǎn)，是視覺跟蹤領(lǐng)域的重要研究內(nèi)容。然而，傳統(tǒng)的 Mean Shift跟蹤算法［7］采用簡單的顏色直方圖模型對(duì)目標(biāo)進(jìn)行描述，導(dǎo)致算法容易受到背景顏色的干擾，魯棒性降低。針對(duì)這一問題，Comaniciu等人提出了一種背景加權(quán)策略［8］，利用目標(biāo)周圍的背景信息對(duì)顏色直方圖模型進(jìn)行加權(quán)修正，以此提高目標(biāo)前景的可分辨性。然而，Ning等人［9］指出如果同時(shí)對(duì)目標(biāo)模型和目標(biāo)候選模型進(jìn)行加權(quán)修正，反而達(dá)不到預(yù)期的效果，并提出只對(duì)目標(biāo)模型進(jìn)行加權(quán)修正的改進(jìn)背景加權(quán)目標(biāo)跟蹤算法。Birchfield等人［10］則從傳統(tǒng)顏色直方圖模型空間信息缺失的角度出發(fā)，提出了空間直方圖（spatial histogram）概念，通過在傳統(tǒng)顏色直方圖模型中增加像素分布的空間矩特征，增強(qiáng)了顏色模型的特征分辨能力［11］。分析發(fā)現(xiàn)，背景顏色的干擾是影響跟蹤魯棒性的外因，目標(biāo)模型空間信息的缺失是影響跟蹤魯棒性的內(nèi)因。實(shí)際跟蹤中，內(nèi)外因通常同時(shí)起作用，對(duì)跟蹤造成干擾。上述研究僅從單一角度出發(fā)尋求解決問題的途徑，因此改進(jìn)后算法的性能提升有限。對(duì)此，本文提出一種基于背景加權(quán)空間直方圖模型，同時(shí)考慮影響跟蹤魯棒性的內(nèi)因和外因，取得了較好的跟蹤效果。

1 背景加權(quán)空間直方圖

背景加權(quán)空間直方圖的主要思路是將背景加權(quán)直方圖與空間直方圖進(jìn)行融合，在空間直方圖中引入背景加權(quán)策略，以提高特征的魯棒性。

1.1 空間直方圖

空間直方圖是一種融合了像素空間分布高階矩信息特征的直方圖，由于引入了空間分布信息，其區(qū)分度得到顯著增強(qiáng)。對(duì)于每一個(gè)直方圖子區(qū)間，空間直方圖需要統(tǒng)計(jì)3個(gè)信息：1）當(dāng)前子區(qū)間內(nèi)像素出現(xiàn)的頻率；2）當(dāng)前子區(qū)間內(nèi)所有像素的坐標(biāo)均值向量；3）當(dāng)前子區(qū)間內(nèi)所有像素坐標(biāo)的協(xié)方差矩陣。空間直方圖可表示如下：

式中：B為空間直方圖子區(qū)間的個(gè)數(shù)；nb、μb和∑b分別為子區(qū)間b中的像素出現(xiàn)的頻率、像素坐標(biāo)的均值向量以及協(xié)方差矩陣，其各自的計(jì)算公式如下［10］：

式中：N 為像素的個(gè)數(shù)；（3）式和（4）式中，xi為像素i的坐標(biāo)。為適應(yīng)圖像中不同位置和大小圖像區(qū)域的特征描述，需要將像素的坐標(biāo)值進(jìn)行歸一化處理，即將所有像素的坐標(biāo)值映射到［－1，1］區(qū)間內(nèi)［12］。

1.2 背景加權(quán)空間直方圖

為增強(qiáng)跟蹤區(qū)域背景和前景的可區(qū)分性，

則利用背景權(quán)向量修正后的背景加權(quán)直方圖可以表示為｛n′b＝C·vbnb｜b＝1，…，B｝，這里C 為歸一化的常量。

由于背景信息僅對(duì)直方圖的顏色分布造成干擾，因此對(duì)應(yīng)于空間直方圖，只需利用加權(quán)向量對(duì)直方圖數(shù)據(jù)中的顏色分量進(jìn)行修正，修正后的加權(quán)空間直方圖可表示為

式中，n′b＝C·vbnb為修正后的顏色分量。

1.3 相似性度量

由于引進(jìn)了像素的空間分布信息，空間直方圖的數(shù)據(jù)結(jié)構(gòu)在原有直方圖數(shù)據(jù)的基礎(chǔ)上發(fā)生了變化，傳統(tǒng)的相似性度量方法不適應(yīng)空間直方圖的相似性度量。Birchfield等人在研究空間直方圖的應(yīng)用時(shí)提出了一種類似于Bhattacharyya系數(shù)的相似性度量準(zhǔn)則。

對(duì)于空間直方圖h＝｛（nb，∞b，∑）｜b＝1，2，…，B｝和h′＝｛（n′b，μ′b，∑′b）｜b＝1，2，…，B｝，其相似性度量可用如下公式表示：Comaniciu等人提出了一種背景加權(quán)策略。其基本思想是通過統(tǒng)計(jì)緊鄰目標(biāo)的背景區(qū)域內(nèi)像素的顏色概率分布，計(jì)算出一組能夠抑制目標(biāo)中所含背景信息的權(quán)值向量，利用該向量對(duì)顏色直方圖模型進(jìn)行加權(quán)修正即可得到分辨率更高的目標(biāo)模型。取3倍面積于目標(biāo)的環(huán)形區(qū)域?yàn)楸尘皡^(qū)域，設(shè)｛nb｜b＝1，…，B｝和｛ob｜b＝1，…，B｝分別為目標(biāo)和背景區(qū)域的歸一化顏色直方圖，計(jì)o＊為｛ob｜b＝1，…，B｝中的最小正數(shù)，定義如下權(quán)值：

式中η為高斯歸一化常量。

2 本文跟蹤算法

2.1 基本原理

在跟蹤視頻的第1幀中以矩形框標(biāo)定被跟蹤的目標(biāo)，計(jì)算目標(biāo)區(qū)域的空間直方圖和背景加權(quán)向量，得到背景加權(quán)直方圖，記為q＝｛（nqb，μqb，∑qb）｜b＝1，2，…，B｝。依據(jù)Ning等人的研究結(jié)果，僅需對(duì)目標(biāo)模型進(jìn)行背景加權(quán)。假設(shè)p（y）＝｛（npb（y），μpb（y），∑pb（y））｜b＝1，2，…，B｝為以點(diǎn)y為中心的目標(biāo)候選模型，其中：

則目標(biāo)模型與目標(biāo)候選模型之間的相似性度量為

將ρ（y）在pb（y0）和μpb（y0）處進(jìn)行二維泰勒展開可得：

式中：

將上兩式代入ρ（y），對(duì)y求偏導(dǎo)數(shù)并整理可得：

令?ρ／?y＝0，可得：

式中，

2.2 算法步驟

本文綜合背景加權(quán)直方圖與空間直方圖各自的優(yōu)勢構(gòu)建魯棒的目標(biāo)模型，在Mean Shift跟蹤框架下實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤。當(dāng)視頻輸入時(shí)，在第1幀中標(biāo)定需要跟蹤的目標(biāo)，記目標(biāo)的初始位置為y1，以3倍于目標(biāo)區(qū)域的環(huán)形區(qū)域?yàn)楸尘皡^(qū)域，計(jì)算目標(biāo)區(qū)域的空間直方圖和背景加權(quán)向量，得到目標(biāo)的背景加權(quán)空間直方圖，記為當(dāng)下一幀輸入時(shí)，開始跟蹤流程，具體步驟如下：

第1步：在當(dāng)前幀中，以y0為中心，計(jì)算與目標(biāo)模板等大小圖像區(qū)域的空間直方圖，將其記為

第2步：將p（y0）的各分量代入（18）式和（19）式得到ωi和vb，進(jìn)一步代入（17）式得到遷移后的新位置y1。

第3步：計(jì)算ε＝‖y0－y1‖，將其與預(yù)先設(shè)定的閾值ε0進(jìn)行比較，若ε≤ε0，轉(zhuǎn)至第5步；否則進(jìn)入第4步。

第4步：若當(dāng)前循環(huán)次數(shù)N達(dá)到預(yù)先設(shè)定的閾值N0，則進(jìn)入第5步；否則，令y0＝y(tǒng)1，返回第1步。

第5步：以y1為當(dāng)前幀中目標(biāo)的最終位置，輸出跟蹤結(jié)果。

在跟蹤的過程中，目標(biāo)自身的顏色特征相對(duì)穩(wěn)定，但隨著跟蹤的推進(jìn)，目標(biāo)所處的背景會(huì)發(fā)生較為明顯的變化。因此定義模型更新規(guī)則如下：當(dāng)前幀跟蹤完成后，計(jì)算背景區(qū)域的歸一化顏色直方圖，將其與目標(biāo)模型的背景顏色直方圖進(jìn)行相似性度量，若相似性度量值小于ε′0，則用當(dāng)前背景區(qū)域的歸一化顏色直方圖更新目標(biāo)模型的背景加權(quán)向量，進(jìn)而對(duì)目標(biāo)模型進(jìn)行更新。

綜上所述，本文算法與傳統(tǒng)Mean Shift跟蹤算法的本質(zhì)區(qū)別是引入了描述空間分布信息的空間直方圖，并通過背景加權(quán)策略進(jìn)一步增強(qiáng)跟蹤的魯棒性。算法的具體流程如圖1所示。

3 實(shí)驗(yàn)與分析

為充分驗(yàn)證本文所提算法的跟蹤性能，選擇了僅利用背景加權(quán)直方圖的Mean Shift跟蹤算法［10］、僅利用空間直方圖的 Mean Shift跟蹤算法［11］以及壓縮感知跟蹤算法［13］作為對(duì)照實(shí)驗(yàn)。文獻(xiàn)［10］算法和文獻(xiàn)［11］算法分別用于驗(yàn)證僅考慮背景干擾和僅考慮空間信息時(shí)的跟蹤效果，文獻(xiàn)［13］算法為近年來性能相對(duì)優(yōu)越的跟蹤算法。在本文實(shí)驗(yàn)中，參數(shù)ε0均設(shè)為0.1，迭代次數(shù)ε′0設(shè)為15。本文中模型更新的閾值參數(shù)ε′0設(shè)為0.6。實(shí)驗(yàn)采用的測試視頻來自O(shè)TB2013數(shù)據(jù)庫［14］，跟蹤實(shí)驗(yàn)所采用的仿真平臺(tái)為MATLAB2011。

圖1 本文算法跟蹤流程圖Fig.1 Tracking flow chart of proposed algorithm

3.1 實(shí)驗(yàn)結(jié)果

圖2所示為本文算法與參考算法跟蹤的部分實(shí)驗(yàn)結(jié)果，圖中不同算法的跟蹤結(jié)果以不同顏色的矩形框以示區(qū)別，其中文獻(xiàn)［10］算法、文獻(xiàn)［11］算法、文獻(xiàn)［13］算法和本文算法依次為藍(lán)色、青色、紅色和綠色。

圖2 跟蹤的部分實(shí)驗(yàn)結(jié)果，自上至下依次為Basketball，Bolt，David3，MountainBike序列（彩圖在網(wǎng)上）Fig.2 Some experimental results of tracking，the sequences from top to bottom are Basketball，Bolt，David3，MountainBike sequentially（colour images are online）

第1組測試視頻為“Basketball”序列，跟蹤目標(biāo)為籃球運(yùn)動(dòng)員。由于球場上相似目標(biāo)較多，給跟蹤帶來一定的難度。文獻(xiàn)［10］中僅利用了目標(biāo)所處的背景信息，當(dāng)目標(biāo)遇到相似背景干擾時(shí)則容易丟失目標(biāo)，如第500幀、第600幀等。文獻(xiàn)［11］中算法過分依賴于目標(biāo)顏色的空間分布信息，導(dǎo)致跟蹤算法在第500幀、第600幀中出現(xiàn)偏差。文獻(xiàn)［13］算法的跟蹤效果不夠理想，在大多數(shù)結(jié)果中均出現(xiàn)了嚴(yán)重的偏差。相較而言，本文算法取得了更加穩(wěn)定的跟蹤結(jié)果。

第2組測試視頻為“Bolt”序列，跟蹤目標(biāo)為短跑運(yùn)動(dòng)員。目標(biāo)的快速運(yùn)動(dòng)以及相似目標(biāo)的干擾是跟蹤的難點(diǎn)。文獻(xiàn)［10］和文獻(xiàn)［11］中算法在前100幀中基本能夠完成對(duì)目標(biāo)的有效跟蹤，但之后即逐漸偏離目標(biāo)的真實(shí)位置，直至最終丟失目標(biāo)。文獻(xiàn)［13］中算法在跟蹤開始不久后即丟失目標(biāo)，跟蹤失敗，其主要原因是受到背景區(qū)域中相似目標(biāo)的干擾。在該視頻序列中，本文算法能夠自始至終地以較高的精度完成對(duì)目標(biāo)的跟蹤。

第3組測試視頻為“David3”序列，跟蹤的目標(biāo)為行人。目標(biāo)的短時(shí)遮擋以及背景區(qū)域的相似顏色分布是跟蹤的主要難點(diǎn)。文獻(xiàn)［10］中算法過于依賴目標(biāo)的背景加權(quán)分量，導(dǎo)致跟蹤的效果不甚理想，一開始不久即丟失目標(biāo)。由于目標(biāo)的相對(duì)結(jié)構(gòu)信息未發(fā)生明顯變化，因此文獻(xiàn)［11］算法取得了較為理想的跟蹤結(jié)果。文獻(xiàn)［13］算法采用的是Haar特征，目標(biāo)與背景區(qū)域中汽車存在較為相似的特征分布，因此在跟蹤的過程中受到干擾，如第150幀、第200幀等。

第4組測試視頻為“MountainBike”序列，跟蹤的目標(biāo)為山地自行車運(yùn)動(dòng)員。目標(biāo)的非剛性形變和低對(duì)比度是跟蹤難點(diǎn)。文獻(xiàn)［10］算法通過背景加權(quán)分量抑制了目標(biāo)區(qū)域內(nèi)的背景因素，取得了較為理想的跟蹤結(jié)果。文獻(xiàn)［11］算法整體跟蹤效果較好，但在最后階段受到目標(biāo)非剛性形變的影響而出現(xiàn)跟蹤偏差。文獻(xiàn)［13］算法在圖中第40幀之后的所有結(jié)果中均跟蹤失敗。

3.2 性能分析

為進(jìn)一步對(duì)所提出的算法以及參考算法的跟蹤性能進(jìn)行定量分析，選擇了跟蹤中心位置誤差［15］（center location error）進(jìn) 行 評(píng) 估。 其 評(píng)估標(biāo)準(zhǔn)是跟蹤所得結(jié)果與目標(biāo)真實(shí)結(jié)果的中心位置之間的歐氏距離，距離越小，表明算法的跟蹤精度越高，反之表明算法的跟蹤精度越低。平均中心位置誤差是對(duì)跟蹤性能進(jìn)行統(tǒng)計(jì)評(píng)估的指標(biāo)，數(shù)值越小，表明跟蹤綜合性能越優(yōu)。圖3所示為所有算法對(duì)4組測試視頻進(jìn)行跟蹤所得的中心位置誤差比較曲線圖。從圖中可以明顯看出，本文所提算法比參考算法具有明顯的優(yōu)勢。

圖3 跟蹤結(jié)果的中心位置誤差（單位：像素）比較Fig.3 Comparison of center location error of tracking results

表1 跟蹤結(jié)果的平均中心位置誤差比較 像素Table 1 Comparison of mean center location error of tracking results

表1為幾種算法所得的平均中心位置誤差的比較，由表中數(shù)據(jù)可以看出，本文算法在Basketball、Bolt和 MountainBike序列中均取得了最優(yōu)結(jié)果，在David3序列中取得了次優(yōu)結(jié)果，表明本文所提算法比參考算法的綜合跟蹤性能更加優(yōu)越。

在跟蹤的時(shí)間開銷方面，由于綜合了2種特征，導(dǎo)致跟蹤的效率較文獻(xiàn)［10］和文獻(xiàn)［11］算法略有降低，但總體上依然能夠達(dá)到10fps左右。在編程實(shí)現(xiàn)時(shí)，文獻(xiàn)［13］算法部分時(shí)間開銷較大的環(huán)節(jié)采用了C＋＋優(yōu)化，因此運(yùn)行速度能達(dá)到19fps左右。跟蹤時(shí)程序運(yùn)行的具體速度如表2所示。由此可見，本文算法犧牲了一定的時(shí)間開銷，以此獲得了跟蹤性能的提升。

表2 不同算法的跟蹤速度比較 f／sTable 2 The comparison of tracking speed of different tracking algorithms

4 結(jié)論

本文提出了一種綜合目標(biāo)背景加權(quán)直方圖和空間直方圖的目標(biāo)跟蹤算法，針對(duì)二者的優(yōu)勢取長補(bǔ)短，完成了對(duì)目標(biāo)的魯棒跟蹤。所提算法比采用背景加權(quán)直方圖的跟蹤算法具有更加優(yōu)越的空間變化適應(yīng)性能，比采用空間直方圖的跟蹤算法具有更加優(yōu)越的背景抑制性能。仿真實(shí)驗(yàn)和定量分析結(jié)果表明，本文所提算法提高了跟蹤的精度和魯棒性，具有一定的理論意義。

［1］ Smeulders A W M，Chu D M，Cucchiara R，et al.Visual tracking：an experimental survey ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，36（7）：1442－1468.

［2］ Hou Zhiqiang，Han Chongzhao.A survey of visual tracking［J］.Acta Automatica Sinica，2006，32（4）：603－617.侯志強(qiáng)，韓崇昭.視覺跟蹤技術(shù)綜述［J］.自動(dòng)化學(xué)報(bào)，2006，32（4）：603－617.

［3］ Henriques F，Caseiro R，Martins P，et al.Exploiting the circulant structure of tracking－by－detection with Kernels ［J］.Computer Science ，2012，575：702－715.

［4］ Li Xiangjun，Li Liangfu.Particle filter algorithm based on posterior probability measurement ［J］.Journal of Applied Optics，2011，32（4）：646－651.李向軍，李良福.基于后驗(yàn)概率度量的粒子濾波跟蹤算法研究［J］.應(yīng)用光學(xué)，2011，32（4）：646－651.

［5］ Leymarie F，Levine M D.Tracking deformable objects in the plane using an active contour model［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1993，15（6）：617－624.

［6］ Leotta M J，Mundy J L.Vehicle surveillance with a generic，adaptive，3Dvehicle model ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（7）：1457－1469.

［7］ Comaniciu D，Ramesh V，Meer P.Real－time tracking of non－rigid objects using mean shift［C］.USA：IEEE Press，2000：142－149.

［8］ Comaniciu D，Ramesh V，Meer P.Kernel－based object tracking［J］.IEEE Transactions on Pattern A－nalysis and Machine Intelligence，2003，25（5）：564－77.

［9］ Ning J，Zhang L，Zhang D，et al.Robust mean－shift tracking with corrected background－weighted histogram ［J］.IET Computer Vision，2012，6（1）：62－69.

［10］Birchfield S T，Rangarajan S.Spatiograms versus histograms for region－based tracking ［C］.USA：IEEE Press，2005：1158－1163.

［11］Yao Zhijun，Liu Juntao，Lai Chongyuan，et al.An improved Jensen－Shannon divergence based spatiogram similarity measure for object tracking［J］.Acta Automatica Sinica，2011，37（12）：1464－1473.姚志均，劉俊濤，賴重遠(yuǎn).一種改進(jìn)的JSD距離的空間直方圖相似性度量及目標(biāo)跟蹤［J］.自動(dòng)化學(xué)報(bào)，2011，37（12）：1464－1473.

［12］Conaire C O，O'connor N E，Smeaton A F.An improved spatiogram similarity measure for robust object localization ［C］.USA：IEEE Press，2007：1067－1072.

［13］Zhang K，Zhang L，Yang M.Real－time compressive tracking ［C］.Berlin：Springer－Verlag，2012：864－877.

［14］Wu Y，Lim J，Yang M H.Online object tracking：a benchmark［C］.USA：IEEE Press，2013：2411－2418.

［15］Yu Wangsheng，Tian Xiaohua，Hou Zhiqiang，et al.Visual tracking algorithm based on feature matching of key regions［J］.Acta Electronica Sinica.2014，42（11）：2150－2156.余旺盛，田孝華，侯志強(qiáng)，等.基于關(guān)鍵區(qū)域特征匹配的視覺跟蹤算法［J］.電子學(xué)報(bào).2014，42（11）：2150－2156.