張百戩 王嘉豐

（西安電子科技大學計算機學院 西安 710071）

1 引言

視覺跟蹤技術，是對視頻序列中的運動目標逐幀進行描述、檢測、特征提取、識別，跟蹤，以此獲得感興趣的運動目標（例如車輛、行人等）的運動狀態(tài)（位置、速度、加速度等），以及運動軌跡參數，經過分析和處理，實現(xiàn)對運動目標的行為理解。

基于區(qū)域檢測的跟蹤算法成為目前視覺跟蹤領域的一個熱點方向。核心是用學習所得到的外觀模型對圖像中每一幀的位置和區(qū)域進行判別，找出目標的可能位置。目標模板的選擇對算法性能有著重要的影響。例如，顏色直方圖是目前應用廣泛的目標模型，這種方法雖然簡單，但丟失了像素的位置信息，使其易受遮擋、光照變化的影響。

Sevilla-lara等首次提出了分布場的概念，引起廣泛關注。分布場是一類特征描述符的一般化，并不能對目標的特征做出完整描述，因此所能達到的性能有限。

本文中，以分布場目標跟蹤算法為研究對象，克服了原始分布場的局部搜索和實時性差的局限，將單一特征與SURF特征相融合來提高分布場跟蹤算法的魯棒性，并加入TLD算法的失敗檢測機制以提高跟蹤效率，最后通過實驗對融合方法的有效性進行驗證。

2 分布場簡介

分布場是一個概率分布數組。如果特征空間表示圖像的灰度值，那么每個位置字段（像素位置）會有一個概率分布在0～255的值。DF是表示為一個矩陣d（2+N）維度，分別表示圖像的寬度和高度。在分布場內DF分解圖像I可以定義為

當i和j是索引圖像的行和列的值時，k是像素的可能索引值。因此每一個k值對應一個層。在這一點上，分布場表示包含相同的信息作為原始表示。

為了更好地使用分布場進行目標跟蹤，對分布場進行一定的平滑處理可引入一定的不確定性從而減少噪聲的干擾。平滑分布場dfs可以定義為

h(x ，y)表示二維高斯核函數，*為卷積運算。

可以進一步把平滑dfss與空間平滑分布場的關系表達為

hz表示一維高斯核函數的特征維度。

比較不同圖像的分布場可以使用任意距離函數來完成。為了度量兩個分布場的相似性，我們用L1范數表示兩個數組d1和d2之間的距離：

兩個分布場的距離越小，相似性越高。

3 基于分布場的特征融合重檢測魯棒性算法

作為一種特征描述符，分布場僅能刻畫目標像素值在灰度空間上的分布特性，分布場與SURF特征融合的方法，其中面臨的問題有：分布場的相似性通過L1范數表達，而其數值并不具有概率意義，不能作為當前結果的置信值。與其他特征進行融合時，不能使用傳統(tǒng)的置信度判決或加權平均方法。

3.1 SURF特征與分布場的融合

3.1.1 SURF特征

積分圖像是圖像與高斯二階微分模板的濾波，可以轉化為對積分圖像的加減運算。在圖像中任意一點(i，j)，從原圖像左上角到點(i，j)相應的對角線區(qū)域灰度值的總和，表示這一點(i，j)的積分圖像值ii(i ， j) ，即

式中，p(r，c)表示圖像中點 (r，c)的灰度值，ii(i，j)可以用下面兩式迭代計算得到。

因其在精度和計算時間上的良好性能，我們使用基于Hessian的矩陣。在圖像中給定一個點x=(x，y)，在點 x的 σ 規(guī)模的Hessian矩陣 H(x，σ)可以定義為

高斯尺度空間分析是最佳的。使用近似二階高斯導數，可以使用積分圖像的快速評價。其性能相當于一個使用離散化和剪裁的高斯。

圖1 高斯二階微分簡化表示

首先選用模板的大小為9×9，并把這一模板作為選定的最小值來對σ=1.2的高斯二階微分濾波器進行濾波和斑點檢測。我們使用Dxx、Dxy和Dyy表示模板與圖像之間進行卷積的結果?？梢院喕玫叫辛惺健?/p>

可以使用以上公式近似得到某一點的響應值。在圖像中遍歷所有的像素點，可得到在這一尺度下的響應圖像。尺度空間通常被實現(xiàn)為圖像金字塔。將尺度空間進行分組劃分。一個組代表逐漸增大的濾波模板，并對圖像進行濾波的響應計算。在這一過程中，每一組由固定的層組成。層與層之間的變化由響應長度k決定相應的規(guī)模。在這基礎上將尺寸增量翻倍就可以得到下一組濾波器的尺寸。

圖2 尺度空間

為了保持不變的旋轉，確定一個可重復的方向感興趣點。特征矢量生成的第一步是構造一個正方形興趣點，并沿著上節(jié)產生的特征點方向。

dx和dy總結各個區(qū)域，形成整點的第一個的特征向量。為了帶來的強度變化極性信息，可以提取響應的絕對值之和。因此，對基本強度V的思維描述表示為

圖3 構造surf特征特征點描述算子

3.1.2 系統(tǒng)實現(xiàn)

D=∑(ln-ln')設i為目標中的一個點，它的原始分布場可表示為 Di=(l1，l2，l3，…，ln)，與此同時，提取該點的SURF特征，表示為 Si=(k1，k2，k3，…，kn)，設點i包含分布場信息與SURF特征的表示為Hi，那么 f(h)=f(d)+f(s)。設ln′為待選區(qū)域點i的分布場，則對于點i分布場相似性D=∑(ln-ln')，設kn′為待選區(qū)域點i的SURF特征向量，那么對于點i的相似度可表示為S=kn-kn′。為了提高匹配的精度，在分布場表示的基礎上，對于目標點增加了SURF特征的表示，那么對于點i的相似度我們可以表示為ΔH=ΔD+ΔS，ΔD表示點的灰度引起的差異，ΔS表示點的結構引起的差異，當Hi為最小時，認為目標點與待選區(qū)域重合。

這種將SURF特征融合與分布場的跟蹤算法的實現(xiàn)過程如下：

1）選擇目標點并構造包含點的信息的函數Hi=Di+Si，那么基于分布場初始模板可以定義為，含有SURF的初始模板定義為sm1；

2）提取待檢測點的SURF特征 sm′，用E=edge(I)表示目標中包含結構信息的點的集合，初始化兩級平滑尺度下的目標模型=(df(E)+df(I))*hδs(i)*hδf，i=1，2 ；

3）從第二幀開始對視頻的每一幀，以上一幀目標位置為中心，以30像素為搜索半徑確定待選區(qū)域If；

3.2 基于分布場的重檢測跟蹤算法

在分布場跟蹤算法中，沒有相應的跟蹤失敗檢測機制，致使跟蹤的效率不是很高，引入TLD算法的失敗檢測機制，以改進分布場跟蹤算法。對于整個視頻序列，可以把它當做是一個動態(tài)的隨機系統(tǒng)，而目標的位置信息和大小就是系統(tǒng)的狀態(tài)，算法過程如下：

第一步初始化邊界框。把目標的狀態(tài)用邊界框FB來表示，當確定跟蹤目標的邊界框后，我們以FBi表示跟蹤目標的邊界框，在TBi內用網格取樣，均勻的選取N個像素點 x1，x2，x3，…，xn，N的值根據實際情況進行選取，如果初始目標框太小，最終計算的置信度會不準確。

第二步跟蹤失敗檢測。對于已選擇的像素點，利用金字塔LK光流法跟蹤，得到像素點y1，y2，y3，…，yn，再用金字塔LK光流法跟蹤上一幀中的像素點 f1，f2，f3，…，fn，計算像素點的跟蹤前向和后向的誤差FB_error［i］。在模板匹配中，用歸一化相關系數匹配法（NNC），計算xi和 yi中像素點的相關系數simi。取相關系數的中值S1，找出 yi中相關系數大于中值系數的點 y1，y2，y3，…，ym，取向后跟蹤的誤差中值 S2，找FB_error［i］≤ M2的點p1，p2，p3，…，pm，1＜m＜n 。

第三步預測跟蹤目標位置。當跟蹤到的像素點個數大于1時，說明跟蹤成功。接下來用跟蹤到的像素點 p1，p2，p3，…，pm與上一幀中對應的像素點 x1，x2，x3，…，xm，求它們之間像素點的位移，并求出位移中各像素點位移的中值，根據中值預測跟蹤目標框的位置和大小，得到FBi+1。如果得到的像素點的個數小于1，那么說明跟蹤不成功，或者預測到的目標框位置超出了圖像范圍，這種情況下，重復進行第一步。

第四步計算當前跟蹤目標框的置信度。把跟蹤目標框FBi+1縮放成15×15像素的圖像塊，計算圖像塊的均值和方差，將其轉化為均值0的圖像塊。根據轉變后的圖像塊，計算出跟蹤目標框和在線模型的置信度，如果大于某一值，則說明跟蹤有效。

4 實驗與分析

計 算 機 硬 件 配 置 為 Intel（R）Core（TM）i7-4770 CPU，主頻3.40GHz，內存容量為8.00G，操作系統(tǒng)為Windows 8.164位操作系統(tǒng)，編程環(huán)境為Matlab2014a。筆者提出基于分布場特征融合重檢測跟蹤算法（Robust Feature Confusion Distribution Field Tracking，REFIT）。

在本文的測試中，使用吳毅等提供的跟蹤評測數據集。6個視頻序列分別為David，Car4，Bolt，Dog1，Walking2，Sylvester。測試的算法有CT、TLD、STRUCK、MIL、DFT、OAB（如表1）。用于測試的算法參數設置與提供代碼中保持一致。

對于本文中REFIT算法，在試驗中對參數進行如下設置：分布場的層數b=16，混合參數λ=0.95，一維平滑高斯核函數的寬度分別為［8，16］，方差為［4，9］，二維平滑的高斯核函數的寬度為6，方差為0.625。

本文提出算法通過給出的視頻序列進行了測試，并與其他比較成熟的跟蹤算法進行了性能比較。測試的算法有CT、TLD、STRUCK、MIL、DFT、OAB。這幾種跟蹤算法的簡要介紹如表1所示。

4.1 評價方法

在這項工作中，本文使用中心差和成功率進行定量分析。此外，同時也評估了跟蹤算法的魯棒性。

4.1.1 中心差

一種廣泛使用的評價指標對跟蹤精度的中心位置誤差，可以表示為跟蹤目標的中心位置和手動標記的矩形框之間的平均歐氏距離。

上式中x表示跟蹤算法初始人工標定的目標矩形框的中心點的坐標，^x表示跟蹤算法得到的目標矩形框的中心點坐標。中心差從直觀的角度反映了跟蹤算法對目標跟蹤的結果偏移正確結果的誤差。

4.1.2 成功率

另一個衡量標準是成功率。它是跟蹤結果中的目標矩形框與開始時人工標定矩形框的交集的面積與并集面積的比值，可以表示為

公式中r是初始人工標定矩形框，^r是算法得到的矩形框。公式中交集與并集的面積可以如圖4所示。圖中使用相同的面積表示了跟蹤前后的矩形框，在跟蹤算法中，可以通過上面的覆蓋率公式計算得出目標位置和大小與初始人工標定的矩形框的覆蓋率的值，將這一數值與0.5作比較，判斷是否跟蹤成功，而后計算成功的跟蹤的幀數占視頻總幀數的百分比。

4.2 定量分析

跟蹤算法在每一視頻序列中測試的中心誤差如圖4和5所示。7個跟蹤算法在10個視頻測試序列中的平均中心誤差如表2所示，各算法的跟蹤成功率如表3所示。

圖4 不同跟蹤算法的跟蹤結果

表2 不同跟蹤算法的中心差（單位：像素）

表3 不同跟蹤算法的成功率（單位：百分比）

可以看出，本文提出的基于分布場的特征融合重檢測算法在中心差上，在大部分測試視頻上明顯低于基于分布場的跟蹤算法。在成功率上，也在大部分測試視頻上高于基于分布場的跟蹤算法。總體來說，從定量分析上來看，本文提出的算法優(yōu)于基于分布場的跟蹤算法。

4.3 定性分析

4.3.1 姿勢和光照變化

對于David室內的序列如圖5所示，當人走出黑暗的會議室時，由于光照和姿態(tài)的變化而逐漸改變。TLD，CT，DFT和REFIT算法在這個序列上表現(xiàn)良好。TLD方法效果很好，因為它使用了一個探測器，用Haar特征進行跟蹤。在Sylvester序列中，對象進行大的姿態(tài)和光照變化。TLD，STRUCK，CT，MIL，REFIT和DFT算法對該序列進行較低的跟蹤誤差，比其他方法執(zhí)行好。

圖5 不同跟蹤算法的跟蹤結果中心差

在Car4測試序列中，也包含了光照和尺度的變化。REFIT算法在這一序列上表現(xiàn)良好。OAB和MIL算法在跟蹤執(zhí)行到汽車進入到橋的陰影后，因為受到光照變化的影響，跟蹤目標丟失。Struck算法雖然可以完成整個跟蹤過程，但僅僅提供了位置信息，無法自適應完成目標跟蹤。TLD算法可以自適應的跟蹤目標的大小，但在跟蹤過程中，它的跟蹤尺度不能隨目標變化而發(fā)生變化。

4.3.2 遮擋和姿態(tài)變化

在Walking視頻序列中，包含了遮擋、尺度變化和目標像素低的特點。MIL和CT算法在跟蹤過程中由于目標遮擋而發(fā)生失敗，轉而跟蹤另外的目標，原始跟蹤目標丟失。在目標遮擋后，TLD算法也停止了對目標的繼續(xù)跟蹤。OAB和Struck算法基本不受遮擋的影響。DFT和REFIT算法在目標被遮擋的情況下，效果也不是很好。

4.3.3 旋轉和快速運動

在Dog1視頻序列中，目標發(fā)生了劇烈運動和比較大的尺度變化。用于測試的算法都能完成對目標的跟蹤，但是這些算法都不能給出目標的大小信息。從中心差的角度來看，這幾種跟蹤算法表現(xiàn)差距不大。但在成功率上，本文提出的算法有很大的優(yōu)勢。在Bolt視頻序列中，同樣包含高速運動的目標，但是尺度和光照始終變化不大。各種算法的跟蹤效果明顯有著很大的差異。大部分跟蹤算法跟蹤丟失，跟蹤成功率很低。由于目標的快速運動，視頻開始時，跟蹤算法就已丟失目標，可見大部分跟蹤算法在處理快速運動的目標時還有局限。

4.4 定性分析

用論文提出的基于分布場特征融合重檢測算法（REFIT）與CT、TLD、STRUCK、MIL、DFT、OAB算法在10個視頻序列上進行測試，這10個視頻序列包括：David，Car4，Bolt，Dog1，Walking2，Sylvester。這7種跟蹤算法利用這些視頻序列測試的跟蹤結果如圖4和5所示。

跟蹤算法在每一視頻序列中測試的中心誤差如圖4和圖5所示。7個跟蹤算法在10個視頻測試序列中的平均中心誤差如表2所示，各算法的跟蹤成功率如表3所示。

5 結語

本文從兩個方面提出了對于基于分布場目標跟蹤算法的改進，分別是特征融合和重檢測，從實驗的結果來看，這些改進對于跟蹤效果在某些方面有了明顯的提高，本文引入了TLD算法的失敗檢測機制。在這一這過程中使用了LK光流法來實現(xiàn)。但是光流法必須滿足三個約束條件，相對來說，這些條件對于某些視頻序列要求比較嚴格，因此容易發(fā)生跟蹤失誤。例如對于目標過大的運動目標和運動速度過快的目標都不適用此算法。為了更好解決這一不足，在今后的研究中，可以考慮引入金字塔光流法。

［1］Cannons K.A Review of Visual Tracking［J］.Dept.comput.sci.eng，2008.

［2］Kalal Z，Matas J，Mikolajczyk K.P-N learning：Bootstrap?ping binary classifiers by structural constraints［J］.2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2010，238（6）：49-56.

［3］Lin R S，Yang M H，Levinson S E.Object tracking using

［4］Ji H.Real time robust L1 tracker using accelerated proxi?mal gradient approach［C］//IEEE Conference on Comput?er Vision and Pattern Recognition.IEEE Computer Soci?ety，2012：1830-1837.

［5］C.Bao，Y.Wu，H.Ling，and H.Ji，“Real time robust l1 tracker using accelerated proximal gr-adient approach，”in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，pp.1830-1837，2012.

［6］Viola P，Jones M.Rapid Object Detection using a Boosted Cascade of Simple Features［J］.Proc Cvpr，2001，1：511.

［7］Wu Y，Lim J，Yang M H.Online Object Tracking：A Benchmark［J］.2013，9（4）：2411-2418.

［8］Hare S，Saffari A，Torr P H S.Struck：Structured output tracking with kernels［C］//International Conference on Computer Vision.IEEE Trans Pattern Anal Mach Intell，2011：263-270.

［9］Paragios N，Deriche R.Geodesic active contours and level sets for the detection and tracking of moving objects［J］.IEEE Transactions on Pattern Analysis&Machine Intelli?gence，2000，22（3）：266-280.

［10］Comaniciu D，Ramesh V，Meer P.Real-time tracking of non-rigid objects using mean shift［C］//Computer Vi?sion and Pattern Recognition，2000.Proceedings.IEEE Conference on.IEEE，2000：2142.

［11］Nguyen H T，Worring M，Rein V D B.Occlusion robust adaptive template tracking［J］.Proc.of International Conf.on Computer Vision，2003，1：678-683.

［12］Matthews L，Ishikawa T，Baker S.The template update problem［J］.IEEE Transactions on Pattern Analysis&Machine Intelligence，2004，26（6）：810-815.

［13］Jepson A D，F(xiàn)leet D J，Elmaraghi T F.Robust Online Appearance Models for Visual Tracking［C］//Computer Vision and Pattern Recognition，2001.CVPR 2001.Pro?ceedings of the 2001 IEEE Computer Society Conference on.IEEE，2001：1296-1311.