廖加文,齊春,曹劍中,黃繼江

(1.西安交通大學(xué)電子與信息工程學(xué)院,710049,西安;2.中國(guó)科學(xué)院西安光學(xué)精密機(jī)械研究所,710119,西安;3.中國(guó)科學(xué)院大學(xué),100049,北京)

無(wú)模型目標(biāo)跟蹤是指在給定初始位置和尺寸的情況下,跟蹤算法能夠持續(xù)定位序列中的任意跟蹤目標(biāo)。這類算法由于不需要預(yù)先采集大量訓(xùn)練樣本以及對(duì)跟蹤目標(biāo)的普適性,近年來(lái)獲得了很大的關(guān)注。跟蹤的主要問題是目標(biāo)外觀的變化,例如遮擋、形變、出視場(chǎng)等,會(huì)對(duì)跟蹤算法的性能有很大影響。

當(dāng)目標(biāo)出現(xiàn)嚴(yán)重遮擋或者顯著形變時(shí),算法的預(yù)測(cè)結(jié)果將會(huì)變得不太可靠,同時(shí)濾波器模型也將會(huì)被污染。因此,跟蹤結(jié)果的可靠性需要進(jìn)行驗(yàn)證,因?yàn)樗鼤?huì)影響到后續(xù)的模型更新。一些算法通過分塊來(lái)提高濾波器模型對(duì)于形變和遮擋的魯棒性[1-2],有些算法著力解決跟蹤過程中的特征魯棒表達(dá)[3-4]或者是尺度變化[5],有些算法通過緩存以往模板解決其中的遮擋問題[6],當(dāng)然也有一些算法通過充分利用背景信息以訓(xùn)練一個(gè)更加魯棒的跟蹤算法[7-8],但是由于模型更新所引入的問題仍然存在。

跟蹤的另一個(gè)問題是當(dāng)遮擋、劇烈形變甚至出視場(chǎng)出現(xiàn)時(shí),如何有效的矯正不可靠的預(yù)測(cè)結(jié)果,這就需要一個(gè)有效的重新檢測(cè)模型。然而,一些長(zhǎng)時(shí)跟蹤算法[9]僅僅避免了濾波器模型污染,而當(dāng)目標(biāo)丟失時(shí)這些算法卻無(wú)法重新檢測(cè)目標(biāo)。有些算法引入檢測(cè)模塊,在判斷跟蹤丟失時(shí)通過撒粒子隨機(jī)搜索的方式檢測(cè)目標(biāo)[10],然而,這種方式有較大的盲目性,可能無(wú)法得到較優(yōu)的結(jié)果。

為解決上述問題,本文提出一種結(jié)合自適應(yīng)特征選擇和蕨類分類器的相關(guān)濾波跟蹤(DRDCF)算法。為了抵御形變以及局部遮擋的影響,首先,對(duì)目標(biāo)特征進(jìn)行自適應(yīng)選擇;其次,采用保守更新和進(jìn)取更新兩種更新策略訓(xùn)練兩個(gè)濾波器模型,進(jìn)取型濾波器采用固定插值因子在每一幀對(duì)模型進(jìn)行更新,能夠適應(yīng)跟蹤目標(biāo)的動(dòng)態(tài)變化,保守型濾波器則只有滿足一定準(zhǔn)則才進(jìn)行濾波器更新,能夠較穩(wěn)定的保持跟蹤目標(biāo)的特性;最后,引入隨機(jī)蕨類分類器作為檢測(cè)器,當(dāng)需要啟動(dòng)檢測(cè)器時(shí),由檢測(cè)器在固定的區(qū)域采用固定大小的矩形框以滑窗形式檢測(cè)搜索區(qū)域。實(shí)驗(yàn)結(jié)果表明,本文DRDCF算法可以有效解決目標(biāo)突變所造成的模型污染以及跟蹤失敗問題。

1 核相關(guān)濾波架構(gòu)

(1)

(2)

對(duì)于下一幀目標(biāo)位置的預(yù)測(cè),首先截取預(yù)測(cè)位置周圍的一個(gè)圖像塊,然后提取特征層St,最后對(duì)特征層在頻域進(jìn)行濾波得到頻域的響應(yīng)圖譜

(3)

在不同位置的響應(yīng)值可以通過以下離散傅里葉逆變換獲得

yt=f-1(Yt)

(4)

然后,尋找最大響應(yīng)值位置,即可以得到下一幀中目標(biāo)的偏移量預(yù)測(cè)值。

(5)

通過尋找式(5)的傅里葉逆變換ys,t的最大值,可以得到預(yù)測(cè)尺度值。

2 目標(biāo)動(dòng)態(tài)特征表示

(a)標(biāo)定的籃球運(yùn)動(dòng)員位置 (b)標(biāo)定的男孩頭部位置

(c)原始各特征層預(yù)測(cè)的籃球運(yùn)動(dòng)員位置 (d)原始各特征層預(yù)測(cè)的男孩頭部位置

(e)自適應(yīng)特征選擇處理后各層預(yù)測(cè)的籃球運(yùn)動(dòng)員位置 (f)自適應(yīng)特征選擇處理后各層預(yù)測(cè)的男孩頭部位置圖1 自適應(yīng)特征選擇對(duì)跟蹤目標(biāo)位置預(yù)測(cè)的處理效果

不同的特征表達(dá)從不同視角反映了目標(biāo)的特性,比如,方向梯度直方圖(HOG)特征[12]能夠比較好地刻畫跟蹤目標(biāo)的紋理信息,而顏色名(CN)特征[13]則能夠較好地反映跟蹤目標(biāo)的顏色信息。常規(guī)上,通過這些互補(bǔ)的特征進(jìn)行組合表達(dá),能夠較魯棒地表示跟蹤目標(biāo),但是由于跟蹤目標(biāo)類型各不相同,即使同一個(gè)目標(biāo),隨著跟蹤的持續(xù),目標(biāo)會(huì)呈現(xiàn)出不同的特性。比如,圖1a的跟蹤目標(biāo)——籃球運(yùn)動(dòng)員隨著跟蹤的持續(xù),可能會(huì)出現(xiàn)被周邊的其他白色服裝的運(yùn)動(dòng)員所遮擋的情況,如果只是觀察CN統(tǒng)計(jì)的顏色特征,有些層就會(huì)出現(xiàn)非常大的變化,而基于CN特征所預(yù)測(cè)的跟蹤位置會(huì)嚴(yán)重偏離真實(shí)的跟蹤目標(biāo),這樣對(duì)于多特征組合表達(dá)的預(yù)測(cè)形式,此時(shí)的部分顏色特征對(duì)跟蹤算法的性能沒有提升作用,反而降低了性能。圖1演示了自適應(yīng)特征選擇對(duì)于跟蹤目標(biāo)位置的預(yù)測(cè)效果,可以直觀地發(fā)現(xiàn)經(jīng)過自適應(yīng)特征選擇處理后,不同特征層對(duì)于跟蹤目標(biāo)的預(yù)測(cè)位置較為準(zhǔn)確,那些預(yù)測(cè)誤差較大的特征層被比較好的過濾掉。通過自適應(yīng)特征選擇模塊保留預(yù)測(cè)精度較高的特征表達(dá)層,擯棄掉預(yù)測(cè)誤差較大的特征層,能夠更加精確地預(yù)測(cè)跟蹤目標(biāo)的位置,提高跟蹤性能。

在信號(hào)處理中,通常認(rèn)為信號(hào)具有較大的方差,而噪聲具有較小的方差。對(duì)于跟蹤來(lái)說,大部分特征層能夠較準(zhǔn)確地預(yù)測(cè)跟蹤目標(biāo)的位置,而少部分特征層會(huì)出現(xiàn)較大誤差,可以認(rèn)為原始特征表達(dá)中預(yù)測(cè)精度較高的特征層為信號(hào),而預(yù)測(cè)誤差較大的特征層為噪聲。通過降維擯棄方差較小的特征層,最好的d維特征是將j維樣本點(diǎn)轉(zhuǎn)換為d維后,每一維上的樣本方差都很大?？紤]到目標(biāo)特性的連續(xù)性,本文充分利用之前幀的信息,這里采用線性插值策略以得到比較穩(wěn)定連續(xù)的原始特征表達(dá)Ot,即

Ot=(1-θ)Ot-1+θPt

(6)

式中:Pt為跟蹤目標(biāo)在第t幀中直接提取的原始特征表達(dá);Ot-1表示在第t-1幀時(shí)的穩(wěn)定原始特征表達(dá);θ∈[0,1]為固定插值因子。利用特征表達(dá)Ot來(lái)生成投影矩陣Ωt,通過投影矩陣,可以把穩(wěn)定原始特征表達(dá)從高維空間映射到相對(duì)低維子空間,排除掉部分預(yù)測(cè)誤差較大的特征層。通過最小化目標(biāo)特征表達(dá)Ot的重建誤差ε,可以得到投影矩陣

(7)

式中:α表示對(duì)特征表達(dá)層每個(gè)空間位置進(jìn)行遍歷操作,此時(shí)每個(gè)空間位置Ot(α)∈Rj×1;I表示單位矩陣。對(duì)自相關(guān)矩陣Ct進(jìn)行特征分解

(8)

通過選擇最大d個(gè)特征值對(duì)應(yīng)的特征向量即可得到該投影矩陣Ωt。然后,將穩(wěn)定原始特征特征層Ot經(jīng)過投影矩陣Ωt進(jìn)行映射,得到的前d個(gè)最大的特征值對(duì)應(yīng)的特征向量就是最佳的d維新特征,而且這d維新特征之間正交。由于在跟蹤過程中,穩(wěn)定原始特征表達(dá)以插值形式固定引入每一幀的新信息,這樣隨著跟蹤目標(biāo)的變化,投影矩陣也在動(dòng)態(tài)變化,因而動(dòng)態(tài)地提取不同的特征表達(dá)層可以更魯棒地表示跟蹤目標(biāo)。

3 跟蹤目標(biāo)突變判別及檢測(cè)

首先介紹保守更新的濾波器Γ∈RM×N×i,它通過對(duì)樣本進(jìn)行矢量化然后圓周移位得到循環(huán)矩陣,然后回歸到一個(gè)高斯軟標(biāo)簽,最終得到系數(shù)矩陣即為濾波器參數(shù)。該濾波器判斷當(dāng)前預(yù)測(cè)位置圖像塊的最大響應(yīng)值γmax∈R,只有當(dāng)響應(yīng)值大于設(shè)定閾值η∈R時(shí),才把當(dāng)前圖像塊作為訓(xùn)練樣本進(jìn)行保守濾波器模型更新,否則濾波器模型保持不變更新后的濾波器表示如下

(9)

式中:Γnew為引入當(dāng)前樣本信息做出更新后的濾波器;Γold為沒有引入當(dāng)前樣本信息的濾波器;Ht表示由當(dāng)前幀學(xué)習(xí)到的濾波器參數(shù)。這樣可以更加穩(wěn)定的保持跟蹤目標(biāo)的信息,不受突變、遮擋等劇烈形變的影響。保守更新濾波器可以用來(lái)作為當(dāng)前跟蹤位置狀態(tài)的衡量標(biāo)準(zhǔn)。

(10)

gt=(ζt-χt-1)/χt

(11)

(a)進(jìn)取型濾波器預(yù)測(cè)位置 (b)檢測(cè)器啟動(dòng)搜索圖2 目標(biāo)丟失后檢測(cè)器的搜索效果

式中:?∈R為判斷發(fā)生突變的閾值。如果發(fā)生突變,則啟動(dòng)目標(biāo)檢測(cè)器,對(duì)突變位置鄰近區(qū)域進(jìn)行跟蹤目標(biāo)的檢測(cè)。目標(biāo)(玩偶)丟失后檢測(cè)器重新找回目標(biāo)的效果如圖2所示。由圖2可見:經(jīng)過一段時(shí)間的嚴(yán)重遮擋后,圖2a中黑框?yàn)檫M(jìn)取型濾波器對(duì)于跟蹤目標(biāo)位置的預(yù)測(cè),玩偶為跟蹤目標(biāo),由于模型更新,該濾波器已經(jīng)學(xué)習(xí)到背景信息導(dǎo)致預(yù)測(cè)位置出現(xiàn)錯(cuò)誤;圖2b為檢測(cè)器以滑窗形式搜索周圍區(qū)域,覆蓋了目標(biāo)重新出現(xiàn)后的區(qū)域,丟失的目標(biāo)能夠重新被檢測(cè)出來(lái),從而實(shí)現(xiàn)穩(wěn)定的跟蹤。檢測(cè)器采用的是隨機(jī)蕨類分類器,該分類器在第一幀進(jìn)行分類器初始化,為了保持該分類器對(duì)于跟蹤目標(biāo)平滑變化的適應(yīng)性,分類器進(jìn)行保守更新,只有當(dāng)響應(yīng)值大于設(shè)定閾值時(shí)才進(jìn)行分類器的更新。檢測(cè)器在預(yù)設(shè)檢測(cè)區(qū)域進(jìn)行滑窗掃描搜索,選擇分值最大的圖像位置為檢測(cè)器預(yù)測(cè)位置。最終,跟蹤目標(biāo)位置的確定仍然需要保守型濾波器對(duì)預(yù)測(cè)位置圖像塊進(jìn)行打分,通過對(duì)檢測(cè)器預(yù)測(cè)位置與進(jìn)取型濾波器預(yù)測(cè)位置所截取的圖像塊的分值大小進(jìn)行跟蹤位置確定,確定法則如下式

(12)

當(dāng)突變發(fā)生后,需要進(jìn)行多次檢測(cè),以解決遮擋以及劇烈形變帶來(lái)的跟蹤丟失問題。當(dāng)候選目標(biāo)區(qū)域打分值大于進(jìn)取型濾波器最大響應(yīng)值的δ倍時(shí),認(rèn)定該候選目標(biāo)區(qū)域?yàn)樽罱K目標(biāo),放棄后續(xù)的檢測(cè)流程,否則就持續(xù)檢測(cè)直到達(dá)到最大檢測(cè)次數(shù)μ∈R。檢測(cè)采用每隔5幀進(jìn)行一次,用于提高跟蹤算法的運(yùn)算速率,因?yàn)閷?duì)于常規(guī)視頻,5幀之間的時(shí)間間隔比較小,因而目標(biāo)的移動(dòng)區(qū)域不會(huì)太大。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文DRDCF算法的性能,在OTB-2015[14]以及Temple Color[15]數(shù)據(jù)集上進(jìn)行了綜合實(shí)驗(yàn),從精度和覆蓋率兩個(gè)方面進(jìn)行性能評(píng)估。運(yùn)行環(huán)境為MATLAB2017,硬件配置為3.6-GHz Intel I7-7700 CPU和8 GB RAM的標(biāo)準(zhǔn)計(jì)算機(jī)。實(shí)驗(yàn)結(jié)果表明,本文算法實(shí)現(xiàn)了高于10幀/s的速率。

(1)特征表達(dá)。本文采用HOG特征、CN特征以及直方圖特征組成組合特征,其中,HOG特征包括對(duì)灰度圖像提取8維直方圖信息以及對(duì)灰度圖像進(jìn)行非參秩變換[16]后提取8維直方圖信息,這兩個(gè)灰度直方圖信息提取直接采用的是piotr工具箱中的函數(shù),其中HOG特征為31層,CN為10層,區(qū)域直方圖特征16層,彩色圖像一共57層特征,黑白圖像不提取CN特征,一共47層特征。

(2)參數(shù)設(shè)置。保守濾波器以及蕨類分類器的更新閾值設(shè)為η=0.4,蕨類分類器的搜索范圍為相關(guān)濾波器搜索尺寸的1.2倍,相關(guān)濾波器的參數(shù)設(shè)置與文獻(xiàn)[17]相同。經(jīng)過自適應(yīng)特征選擇模塊處理后的跟蹤目標(biāo)的特征層數(shù)選擇,如果是彩色目標(biāo)i=30,而如果是灰度跟蹤目標(biāo)i=27。判斷跟蹤目標(biāo)發(fā)生突變的閾值設(shè)為?=-0.13,檢測(cè)到突變后的最大目標(biāo)檢測(cè)次數(shù)設(shè)為μ=9。本文所設(shè)的參數(shù)在整個(gè)實(shí)驗(yàn)過程中保持不變。

4.1 與前沿跟蹤算法的效果對(duì)比

將本文提出的DRDCF算法與4種前沿跟蹤算法CSR-DCF[18]、Staple[19]、LCT[20]及fDSST[17]算法進(jìn)行了總體性能比較。圖3為5種算法在數(shù)據(jù)集OTB-2015上的精度與覆蓋率曲線,圖例按照性能由好到差順序排列。本文提出的算法取得了最好的效果,在跟蹤精度以及覆蓋率兩項(xiàng)指標(biāo)上分別達(dá)到了81.2%和61.1%。相較于CSR-DCF(CVPR-17)算法,在精度與覆蓋兩項(xiàng)指標(biāo)上分別提升了2.78%和4.26%。

4.2 基于屬性的性能對(duì)比

驗(yàn)證本文跟蹤算法對(duì)不同類型挑戰(zhàn)的適應(yīng)性。實(shí)驗(yàn)結(jié)果表明,在覆蓋率指標(biāo)上,本文算法在OTB2015標(biāo)注的11種屬性里有9項(xiàng)取得了最好效果,這9項(xiàng)屬性分別是遮擋、出視場(chǎng)、形變、出平面旋轉(zhuǎn)、亮度變化、尺度變化、運(yùn)動(dòng)模糊、平面內(nèi)旋轉(zhuǎn)以及背景干擾;在精度指標(biāo)上,有6項(xiàng)取得了最好效果,這6項(xiàng)屬性分別是遮擋、出視場(chǎng)、形變、運(yùn)動(dòng)模糊、出平面旋轉(zhuǎn)和尺度變化。采用5種算法對(duì)6種屬性的跟蹤性能進(jìn)行對(duì)比,結(jié)果如表1所示。由表1和圖3都可以看出,本文提出的DRDCF算法在精度以及覆蓋率方面都取得了最好的效果,說明本文算法在應(yīng)對(duì)目標(biāo)挑戰(zhàn)性變化方面具有出色的效果。

(a)5種算法的精度曲線

(b)5種算法的覆蓋率曲線圖3 OTB2015數(shù)據(jù)集上5種跟蹤算法的跟蹤效果

4.3 跟蹤算法模型對(duì)比分析

該部分驗(yàn)證進(jìn)取型濾波器對(duì)跟蹤算法性能的影響。對(duì)本文提出的DRDCF算法進(jìn)行了調(diào)整,排除了進(jìn)取型濾波器,形成一種新的算法,命名為DRDCF-Cons。圖4展示了本文DRDCF和DRDCF-Cons算法在OTB-2015數(shù)據(jù)集上的精度和覆蓋率兩項(xiàng)指標(biāo)對(duì)比,可以發(fā)現(xiàn),去除進(jìn)取型濾波器后,DRDCF-Cons算法在精度和覆蓋率兩項(xiàng)指標(biāo)上均有較大的下降。由于保守濾波器以及檢測(cè)器均采用保守更新,傾向于保持目標(biāo)特性的穩(wěn)定,導(dǎo)致跟蹤算法對(duì)于目標(biāo)的動(dòng)態(tài)變化適應(yīng)性較差,DRDCF算法通過進(jìn)取型濾波器積極適應(yīng)目標(biāo)的動(dòng)態(tài)變化,保守型濾波器和檢測(cè)器都能夠保持目標(biāo)特性的穩(wěn)定。通過第3節(jié)介紹的融合準(zhǔn)則可知,DRDCF算法既能夠保持對(duì)目標(biāo)的動(dòng)態(tài)適應(yīng),又能保持目標(biāo)的穩(wěn)定特性,從而達(dá)到更好的跟蹤效果。

表1 5種算法的跟蹤性能對(duì)比

注：黑體數(shù)據(jù)為最高數(shù)值。

(a)精度曲線 (b)覆蓋率曲線圖4 OTB2015數(shù)據(jù)集上兩種算法的精度與覆蓋率曲線

4.4 Temple Color數(shù)據(jù)集性能

在Temple Color數(shù)據(jù)集上對(duì)本文算法進(jìn)行驗(yàn)證,與4種前沿濾波器CSR-DCF[18]、RPT[19]、LCT[20]及fDSST[17]算法進(jìn)行了總體性能比較,實(shí)驗(yàn)結(jié)果如圖5所示。為了公平起見,所有算法均選擇RGB顏色特征。由圖5可見:具有檢測(cè)模塊的長(zhǎng)時(shí)跟蹤LCT算法在覆蓋率和精度指標(biāo)上分別達(dá)到了43.32%和60.68%,而本文提出的算法在兩項(xiàng)指標(biāo)上達(dá)到了48.65%和64.97%,相較于LCT算法在兩項(xiàng)指標(biāo)上分別提升了12.3%和7.0%;本文算法在Temple Color數(shù)據(jù)集上取得了接近CSR-DCF算法的效果;本文算法的跟蹤效果顯著優(yōu)于其他跟蹤算法。

(a)精度曲線

(b)覆蓋率曲線圖5 TempleColor數(shù)據(jù)集上不同算法的跟蹤效果

4.5 跟蹤算法定性分析

(a)Girl2遮擋前 (b)Girl2遮擋中 (c)Girl2遮擋后圖6 3種算法在Girl2序列中的跟蹤結(jié)果對(duì)比

(a)box遮擋前 (b)box出遮擋 (c)box尺度變化圖7 3種算法在Box序列中的跟蹤結(jié)果對(duì)比

(a)Dragonbaby (b)旋轉(zhuǎn) (c)出平面旋轉(zhuǎn)圖8 3種算法在DragonBaby序列中的跟蹤結(jié)果對(duì)比

(a)Sylvester旋轉(zhuǎn)(b)旋轉(zhuǎn)+光照變化 (c)旋轉(zhuǎn)圖9 3種算法在Sylvester序列中的跟蹤結(jié)果對(duì)比

將本文算法與其他2種跟蹤算法CSR-DCF[18]以及LCT[20]進(jìn)行性能對(duì)比,圖6～圖9顯示了3種算法在4個(gè)有較大目標(biāo)突變場(chǎng)景的跟蹤效果,為了便于觀察,本文算法用黑色矩形框,CSR-DCF用長(zhǎng)短線白色虛框,LCT用點(diǎn)狀白色虛框。由圖6～圖9可見:Girl2以及Box序列中,本文算法能夠在目標(biāo)重新出現(xiàn)后找到目標(biāo),說明檢測(cè)器對(duì)于這些異常情況處理很有必要;在Dragonbaby序列中目標(biāo)出現(xiàn)平面旋轉(zhuǎn)、遮擋等情況,本文算法能夠比較準(zhǔn)確地跟蹤目標(biāo);在Sylvester序列目標(biāo)呈現(xiàn)出平面旋轉(zhuǎn)、光照變化,在目標(biāo)形變時(shí),受益于檢測(cè)模塊;本文算法和LCT均能夠跟蹤目標(biāo),但是當(dāng)目標(biāo)出現(xiàn)大的旋轉(zhuǎn)變化時(shí),只有本文算法能夠穩(wěn)定地跟蹤目標(biāo);相較于對(duì)比的前沿跟蹤算法,本文算法在應(yīng)對(duì)遮擋和形變等突變場(chǎng)景時(shí),能夠較好地保持對(duì)目標(biāo)的跟蹤。

5 總 結(jié)

(1)本文提出的跟蹤算法有效解決了目標(biāo)外觀突變?cè)斐傻母櫴?通過采用自適應(yīng)特征選擇,根據(jù)目標(biāo)特性選擇相應(yīng)的特征分量,能夠更魯棒地表達(dá)目標(biāo)特征。

(2)采用進(jìn)取型和保守型兩種濾波器模型更新策略,進(jìn)取型濾波器用于實(shí)現(xiàn)對(duì)下一幀目標(biāo)位置的預(yù)測(cè),保守型濾波器用于對(duì)跟蹤模塊以及檢測(cè)器產(chǎn)生的預(yù)測(cè)位置進(jìn)行可靠性計(jì)算。

(3)當(dāng)進(jìn)取型濾波器預(yù)測(cè)位置不可靠時(shí),檢測(cè)器產(chǎn)生一系列候選塊通過選擇機(jī)制確定最優(yōu)預(yù)測(cè)位置。本文提出的算法在OTB-2015以及Temple Color數(shù)據(jù)集上進(jìn)行了綜合驗(yàn)證,實(shí)驗(yàn)表明,本文算法能夠有效減輕目標(biāo)突變?cè)斐傻母檨G失,在精度以及覆蓋率兩項(xiàng)指標(biāo)上達(dá)到了前沿算法的效果。