張 玲，田 鵬，王 溢，饒志宏

(1.中國電子科技網(wǎng)絡信息安全有限公司，四川 成都 610000；2.國家國防科技工業(yè)局信息中心，北京 100191)

0 引 言

目標跟蹤是計算機視覺領(lǐng)域一個重要的研究方向。但由于背景復雜、目標多樣性等特點[1-2]，目標的準確跟蹤仍是一個具有挑戰(zhàn)性的課題。近年來，目標跟蹤算法得到了廣泛研究。其中，基于“匹配-搜索”框架的跟蹤算法成為研究的主流。該框架下，目標跟蹤一般包含兩個階段：目標的表示和運動搜索。

跟蹤中，目標表觀的變化對跟蹤起到了至關(guān)重要的作用[2]，很多學者對此進行了研究。例如，文獻[3]提出RGB彩色空間線性融合的方法，區(qū)分目標和背景。該算法通過線性組合R、G、B三個特征通道，并依據(jù)目標和背景的差異性，形成顯著的圖像來表示目標。文獻[4]提出將多通道圖像中的數(shù)據(jù)作為目標和背景的信息數(shù)據(jù)，利用Fisher判別準則將信息數(shù)據(jù)投影到目標和背景區(qū)分度最為明顯的投影軸上，形成一個目標和背景區(qū)分度較高的子空間，但該方法在一定程度上減少了目標特征的表示，具有一定局限性。針對該問題，文獻[5]提出以顏色特征為基礎(chǔ)的自適應目標跟蹤算法，該算法將顏色空間根據(jù)像素值的大小進行分層處理，得到各子層中的目標表示，通過篩選目標的顯著性，形成目標的魯棒表示，實現(xiàn)準確跟蹤。文獻[6]提出在粒子濾波框架下采用多特征融合構(gòu)建目標模型的算法，以解決單特征對目標描述不足的問題。然而，以上算法[3-6]只是在單空間中討論目標的顯著性表示，缺乏對目標的全面描述。為了解決該問題，文中提出在多維子空間中去討論目標的表示，使目標表示更具魯棒性。

運動搜索也是一個重要方面。Mean-shift[6-7]和粒子濾波算法[8-9]是經(jīng)典的搜索算法。Mean-shift算法常陷于局部最優(yōu)解[10]，而粒子濾波算法是用一些離散的隨機粒子來近似表示狀態(tài)變量的概率密度函數(shù)，當粒子的數(shù)目足夠大時，這些粒子可以很好地逼近后驗概率密度函數(shù)[11-13]。針對跟蹤中常出現(xiàn)的非線性、非高斯等情況，粒子濾波得到了廣泛的應用[13-15]。然而，在搜索階段，粒子的拋撒帶有隨機性，其中有些粒子是冗余的，不能很好地表示后驗概率，有效粒子的篩選成為重要的組成部分。針對這一問題，文獻[13]提出重采樣方法，其核心思想是減少權(quán)值較小的粒子數(shù)，增加權(quán)值較大的粒子數(shù)。常用的重采樣方法包括自適應蒙特卡羅粒子篩選(the Monte Carlo particle filter)[14]和預測采樣[15]等。然而，對于現(xiàn)有的跟蹤算法，粒子的篩選大多關(guān)注特征的相似性[16]，且都僅僅在單特征空間中進行討論，而考慮在多維子空間中將特征和位置信息相結(jié)合則相對缺乏。

文中在“匹配-搜索”跟蹤框架下，提出基于顯著性特征和粒子篩選的目標跟蹤算法。通過對目標表示和搜索策略兩方面的改進，提升算法的準確性。首先，在多維顯著子空間篩選的基礎(chǔ)上，通過降維處理去除冗余顏色特征，保留有效顏色特征，形成目標的顯著性特征矩陣表示，有效解決了基于單空間下目標表示的冗余性問題。其次，搜索階段，在目標表示的基礎(chǔ)上，結(jié)合粒子的空間相關(guān)性，提出基于特征和空間位置相結(jié)合的有效粒子篩選方法，有效地對目標位置進行預測和調(diào)整，解決了冗余粒子干擾跟蹤準確性和降低運算效率的問題。

1 多子空間中差別性特征表示

目標跟蹤中，目標的表示是決定性因素，且不同的特征空間中，目標的表示也各異?；诖?，文中在多個顯著性子空間下，構(gòu)建目標的顯著性特征矩陣表示，以解決跟蹤過程中目標表示的魯棒性問題。

1.1 顯著顏色空間篩選

實際場景中，不同的特征子空間，目標的表觀模型通常是不同的，即目標和背景的差異程度在不同的子空間中呈現(xiàn)差異性。文中采用R、G、B空間，以及它們的線性組合，對目標和背景的差異大小進行分析。目標基于各子空間的表示如圖1所示。

圖1 子空間中目標的表示

在眾多的顏色空間中，由于目標在各特征子空間中的各異性，篩選出目標相對于背景差異度最大的顯著性子空間，更有利于目標特征的表示。為了準確評價目標和背景的差異程度，文中采用文獻[3]中的方差比作為對比度來衡量目標和背景的差異性，以差異性大小，篩選出目標與背景最為顯著的10個顯著性子空間。

1.2 顯著性子空間矩陣(discriminative sub-space matrix，DSSM)

文中使用空間顏色直方圖描述目標，該特征不僅反映了目標的全局統(tǒng)計信息，且包含了目標像素間的空間信息，更有利于對目標的差異性分析。目標加權(quán)直方圖公式為：

(1)

空間顏色直方圖Qi，反映了目標在不同子空間中區(qū)別于背景的特征表示。將不同子空間中的特征有效表示融合在一起，實現(xiàn)對目標的多層次描述，目標的模型定義為：

Q10*32={Q1Q2…Qi…Q10}

(2)

其中，Qi表示第i個子空間中目標的空間顏色直方圖向量；Q10*32表示基于10個篩選的顯著子空間中，32維空間顏色直方圖組成的特征矩陣。

1.3 顯著性子空間顏色矩陣(discriminative sub-space & color matrix，DSSCM)

目標的特征矩陣Q10*32包含兩類信息，目標的顏色信息和小部分的目標周邊的背景信息。其中，少數(shù)背景信息和次要顏色信息對目標區(qū)別于背景造成了干擾，同時也增加了后續(xù)的計算量。基于此，文中采用主成分分析法(principal component analysis，PCA)去除非目標或目標中次要的顏色信息，以突出目標的特征表示。這里采用主成分分析法，提取貢獻度不小于80%的特征向量，組成新的目標矩陣表示。形成10×M的矩陣形式，此時的目標模型Q10*M較準確地描述了目標區(qū)別于背景的特征，且降維處理提高了后續(xù)計算的實時性，表示為：

(3)

在顯著性子空間篩選的基礎(chǔ)上，形成基于多子空間的目標的特征矩陣表示。為了有效地對目標進行表示，通過降維的方式，形成目標的顯著性特征表示，流程如圖2所示。

圖2 顯著性特征的形成過程

1.4 顯著性特征矩陣DSSCM的驗證

(4)

對圖3中的原始圖像，黑色矩形框為目標模板(初始位置)，白色十字為目標框中心，沿x軸和y軸移動軌跡。如圖3所示，相似度變化差異越大，目標的特征表示的魯棒性越好。

2 基于DSSCM與粒子篩選的目標定位

匹配-搜索框架下，搜索策略也是影響跟蹤的重要因素之一。其中，基于粒子濾波的搜索中，有效粒子的篩選成為影響跟蹤的重要因素。本節(jié)在目標顯著性表示的基礎(chǔ)上，對粒子進行有效的特征表示并結(jié)合粒子的空間位置相關(guān)性，對粒子進行有效篩選，提高跟蹤的準確性。

2.1 粒子的聚集分析

(5)

相似度矩陣C(n,m)由所有子空間的模板Q和樣本Qtemp的相似度得到；n為子空間索引；m是樣本索引，如圖4所示。

圖4 樣本矩陣

2.2 基于特征DSSCM和局部聚集的有效粒子篩選

通過特征相似性和位置的粒子篩選，有效粒子參與后續(xù)的跟蹤。在空間中粒子的位置具有唯一性，即在所有的特征子空間中，目標的位置具有唯一性。針對相似度矩陣C(n,m)中粒子相似度值的分布，抽取相似度最大的前10%的粒子，如果該粒子存在于相似度矩陣中同一列的所有行中，則該粒子為有效粒子，如圖5所示。

以上篩選只是參照了粒子相似度，然而由于相似度測量的誤差，必然存在誤匹配的離散粒子，即相似度較大，但距離目標較遠的離散粒子，如果保留這種粒子，必然對跟蹤造成影響。從空間的角度，對保留的粒子進行進一步篩選，即具有局部聚集特性且相似度值較大的粒子才是真正的目標粒子。反之，粒子呈現(xiàn)離散狀且具有較低的相似度，則對于跟蹤來說為無效粒子，如圖5所示。

圖5 相似度篩選

2.3 基于粒子篩選的目標定位

在相似度篩選的基礎(chǔ)上，以每個粒子為中心形成和模板大小的樣本，提取樣本的特征表示。采用歐氏距離度量相應樣本和模板的特征距離，并對所有粒子的距離進行歸一化處理，作為粒子的權(quán)值。以目標大小為移動窗口，對當前幀進行卷積操作，移動窗口中有效性粒子權(quán)值之和最多的區(qū)域即為最終的跟蹤位置R，如下所示：

(6)

其中，wi為第i個粒子的權(quán)重信息；ri為第i個粒子的位置；n為相關(guān)區(qū)域中粒子的總數(shù)。

3 算法流程

以粒子濾波進行運動目標狀態(tài)估計，實現(xiàn)基于顯著特征和空間位置的粒子濾波目標跟蹤算法，步驟及流程如下所示：

初始化：

(1)形成初始模板并基于目標-背景的判別性分析篩選出顯著性子空間。

跟蹤：

(3)在當前幀搜索區(qū)域中散布100個粒子，得到100個候選目標。

(5)在各個子空間中，計算模板和候選目標的顏色直方圖相似度，并形成10×100的相似度矩陣。

(6)基于相似度矩陣和在特征子空間中的位置關(guān)系，篩選出相似度高且存在于所有子空間中的有效粒子。

(7)通過模板和相應樣本的距離，確定有效粒子的權(quán)重，并進行歸一化。

(8)通過當前幀滑動窗內(nèi)所有粒子的融合操作，確定最終的目標位置。

(9)每n幀更新重新篩選特征子空間并形成目標表示DSSCM。

4 實驗結(jié)果

為評估該算法在復雜場景下跟蹤的魯棒性，采用標準測試視頻CAVIAR、David和Highway，與國內(nèi)外其他研究成果進行對比[17]。采用文獻[3]中Collins的跟蹤算法、PFMCF粒子濾波算法[6]和ER算法[13]。對于每個視頻序列，在初始幀時，對目標進行手動標定。驗證的復雜情況包括運動目標發(fā)生形變、目標亮度變化、目標快速移動、縮放變化等。

實驗1：CAVIAR是光照變化較為嚴重的一段視頻序列，隨著目標亮度的變化，運動目標本身表觀特征變化明顯，此外，目標帶有輕微的縮放，明顯的姿態(tài)變化。

圖6 為CAVIAR視頻序列，可以看出，使用PFMCF算法時，光照的變化，目標的顏色發(fā)生變化，特征度量失效，跟蹤表現(xiàn)不穩(wěn)定。ER算法在單一特征空間下進行粒子篩選，因為表觀特征的改變，加大了粒子篩選的誤差，使跟蹤失敗。Collins跟蹤算法，采用方差比評價準則進行特征篩選，當目標存在光照變化、縮放時，需要不斷更新，此時易造成評價準則誤差、最優(yōu)特征的錯選，當誤差累計到一定程度時，便會導致跟蹤目標的失敗。文中算法通過空間顏色的特征融合，有效地挖掘圖像的特征分布，一定程度上克服了亮度變化、縮放等對跟蹤的影響，實現(xiàn)了較好的跟蹤效果。

圖6 CAVIAR視頻序列

實驗2：David通用標準視頻中，目標亮度在視頻序列播放中發(fā)生明顯變化，并存在目標本身旋轉(zhuǎn)與鏡頭之間的角度的變化，目標發(fā)生強烈的形變，此外還有縮放現(xiàn)象。

圖7 David視頻序列

圖7為David視頻序列，可以看出，使用PFMCF算法，當經(jīng)過壁畫區(qū)域時，存在相似物干擾，并且粒子拋撒的均勻性，進一步加劇了特征度量的失效，出現(xiàn)目標丟失現(xiàn)象。對于ER算法，在相似物干擾情況下，粒子的篩選只考慮特征單方面因素，易造成度量的誤差，影響跟蹤效果；Collins跟蹤算法在特征選擇時存在評價誤差，當目標存在劇烈形變，并在伴有光照、縮放變化時，出現(xiàn)跟蹤失??；而文中算法采用多個子空間特征的融合，降低了單個特征的局限性，同時在搜索階段結(jié)合各子空間中粒子的位置信息，確定目標位置，在跟蹤過程中保持穩(wěn)定性跟蹤。

實驗3：在Highway這段室外視頻序列中，目標表現(xiàn)出快速的移動及強烈的縮放變化。

圖8 Highway視頻序列

圖8為Highway視頻序列，可以看出，PFMCF跟蹤算法在目標快速移動、強烈縮放的情況下，因模板更新和搜索策略的限制，產(chǎn)生了明顯錯誤。ER算法，在目標劇烈變化時，因粒子拋撒的隨機性和模板更新的限制，導致特征匹配的誤差增大，對跟蹤造成不利影響。Collins跟蹤算法因存在最優(yōu)特征的錯選，當目標存在快速移動及強烈縮放變化時，便會出現(xiàn)目標漂移現(xiàn)象，在漂移過程中誤差累計到一定程度時，導致跟蹤失??；而文中算法在粒子濾波框架下結(jié)合各子空間中樣本的位置信息判別，實現(xiàn)了目標的準確定位，在跟蹤過程中保持穩(wěn)定性跟蹤。

實驗4：圖9展示了一個量化的實驗對比。在原始視頻上每5幀手動標注一個真實的目標位置，繪制各個跟蹤算法得到的結(jié)果與真實的目標位置之間的位置差異曲線。對任意跟蹤算法，與目標真實位置差異越小，表示跟蹤結(jié)果越準確。從圖中可看出，在3段視頻序列中，文中算法所得目標定位結(jié)果與實際目標位置的差異較小，目標跟蹤結(jié)果準確性較高。

圖9 多種運動目標跟蹤算法結(jié)果與實際位置差異曲線

5 結(jié)束語

在多個子空間中，文中提出基于特征信息和樣本位置相結(jié)合的目標跟蹤算法。通過顯著性子空間中目標與背景的差異性分析，形成目標的顯著性表示；在搜索階段，基于目標的顯著性表示和空間中粒子的位置關(guān)系，篩選出有效粒子，一定程度上實現(xiàn)了目標的準確跟蹤。實驗結(jié)果表明，在光照變化，旋轉(zhuǎn)、縮放和快速移動等情況下實現(xiàn)了較好效果。文中算法對目標采用整體的描述方式，且特征是基于簡單的空間顏色直方圖特征，在后續(xù)的研究中將嘗試采用局部和全局相結(jié)合的方式，且融合多種不同類型的特征對目標進行魯棒性表示，從而使跟蹤算法更加準確。