孫 欣 何 寧

(北京聯(lián)合大學(xué)智慧城市學(xué)院 北京 100101)

0 引 言

相關(guān)濾波器[1-8]跟蹤成功的主要原因是通過循環(huán)位移來近似密集采樣，訓(xùn)練樣本在傅里葉域中更新相關(guān)濾波器使得計算效率提高。其前提是背景均勻，物體移動位移較小。但是這些假設(shè)并不適用于所有情況，一個主要缺點是由于循環(huán)假設(shè)存在的邊界效應(yīng)。此外，目標(biāo)搜索區(qū)域為保持計算成本低，僅包含一個小的局部鄰域來限制漂移。邊界效應(yīng)通常通過余弦窗口來抑制，導(dǎo)致減少了搜索區(qū)域。因此，相關(guān)濾波跟蹤器通常關(guān)于其背景的信息是非常有限的，并且在快速運動、遮擋或背景有雜物的情況下容易漂移。為了解決這一局限性，本文將目標(biāo)周圍的背景信息考慮進(jìn)去，并將其集成到學(xué)習(xí)的濾波器中，最終作為一個框架輸出。該框架可以與大部分相關(guān)濾波跟蹤器集成來提高其性能，且擁有較高的幀速率。

1 相關(guān)濾波器

1.1 循環(huán)矩陣的性質(zhì)

相關(guān)濾波是一種簡單且高效的濾波器，是數(shù)字信號處理領(lǐng)域的一種重要算法，通常用于信號在時域與頻域之間的轉(zhuǎn)換。在跟蹤領(lǐng)域，其相關(guān)性可以用來衡量目標(biāo)的外觀模型和其運動模型產(chǎn)生的候選的相似程度。結(jié)合循環(huán)矩陣的良好性質(zhì)，相關(guān)濾波器在目標(biāo)檢測跟蹤領(lǐng)域發(fā)揮了很大的作用。

相關(guān)濾波器允許在目標(biāo)周圍進(jìn)行密集采樣，通過固定大小的搜索窗口將目標(biāo)所有可能的平移位置建模為循環(huán)位移并形成循環(huán)矩陣A0。由于循環(huán)矩陣的行列均是平移變換得到的，所以循環(huán)矩陣具有很好的性質(zhì)，如：任意的循環(huán)矩陣能夠被離散傅里葉變換矩陣對角化；循環(huán)矩陣的和、乘積、逆運算都是循環(huán)行列式。如下所示：

(1)

1.2 目標(biāo)函數(shù)

采用循環(huán)矩陣在傅里葉域中的嶺回歸問題來作為相關(guān)濾波器的目標(biāo)函數(shù),并利用循環(huán)矩陣的性質(zhì)解決了在傅里葉域的嶺回歸問題，使得計算更高效，避免了復(fù)雜運算。嶺回歸問題如下：

(2)

式中：向量w表示學(xué)習(xí)到的相關(guān)濾波器；矩陣Α0表示圖像塊a0平移變換的循環(huán)矩陣；目標(biāo)函數(shù)y是二維高斯圖像矢量。

(3)

式中：*表示共軛。

檢測時，學(xué)習(xí)更新的濾波器w在下一幀與搜索窗口z進(jìn)行卷積操作，Z表示塊循環(huán)矩陣。響應(yīng)值最大的位置即為搜索窗口中下一幀目標(biāo)的預(yù)測位置p，即rp(w,Z)=Zw，在傅里葉域轉(zhuǎn)換為:

(4)

2 基于背景空間信息跟蹤算法

由于目標(biāo)處于大量豐富的背景信息中，背景信息大部分都是連續(xù)變化或基本不變的，當(dāng)目標(biāo)突然快速運動或周圍環(huán)境發(fā)生變化時，如果將其相鄰的部分背景圖像塊也考慮進(jìn)檢測識別系統(tǒng)，則能夠從連續(xù)的背景信息的變化或不變來反向確定目標(biāo)圖像塊，從而相應(yīng)地提高目標(biāo)檢測的識別率和準(zhǔn)確性。

2.1 整體框架

算法整體框架如圖1所示。在相關(guān)濾波器的基礎(chǔ)上，對目標(biāo)鄰近的背景圖像塊采集信息并以圖像矩陣的形式添加到濾波器中。為保證背景信息對目標(biāo)塊檢測的支持，避免干擾，在式(2)中，添加參數(shù)來控制背景信息的程度，使得濾波器的速率基本不受到太大的影響并提高了特定場景(遮擋、光照變化、快速運動等)中跟蹤的成功率。

圖1 算法整體框架

2.2 采樣策略

采樣策略的復(fù)雜性和負(fù)樣本采樣數(shù)量對跟蹤性能有較大的影響，所以采樣策略是決定算法性能的關(guān)鍵。如圖2所示，背景采樣信息來自目標(biāo)圖像塊相鄰的4個負(fù)樣本區(qū)域[Α1，Α2，Α3，Α4]，這些背景區(qū)域圖像塊與背景圖像塊有小范圍的區(qū)域是重疊的。負(fù)樣本的作用是保證在檢測過程中目標(biāo)塊識別率更高，不被相鄰背景區(qū)域干擾發(fā)生漂移。為此，需要在目標(biāo)函數(shù)中引入?yún)?shù)使得背景區(qū)域響應(yīng)值接近于零但不等于零。所以，在目標(biāo)函數(shù)中，通過設(shè)置參數(shù)使得背景區(qū)域響應(yīng)值與目標(biāo)塊響應(yīng)值相差較大，從而保證了添加背景信息后也不會對目標(biāo)塊響應(yīng)值造成干擾。

圖2 采樣策略

2.3 預(yù)測目標(biāo)位置

感興趣的目標(biāo)區(qū)域塊a0對應(yīng)的循環(huán)矩陣為Α0，周圍k個負(fù)采樣區(qū)域ai經(jīng)過循環(huán)移位得到對應(yīng)的循環(huán)矩陣Αi。其中，ai∈Rn，Αi∈Rn*n。我們需要學(xué)習(xí)到一個濾波器w∈Rn在目標(biāo)區(qū)域響應(yīng)值遠(yuǎn)高于背景區(qū)域。通過在式(2)中添加背景圖像塊并進(jìn)一步加入?yún)?shù)λ2控制背景區(qū)域的響應(yīng)強(qiáng)度，使得背景區(qū)域的響應(yīng)值遠(yuǎn)低于目標(biāo)區(qū)域的響應(yīng)值，最后給出新的目標(biāo)凸函數(shù)：

(5)

3 實驗結(jié)果與分析

將本文基于背景信息的算法添加到多個基于經(jīng)典相關(guān)濾波器的跟蹤算法SAMF[9]、STAPLE[10]、MOSSE[11]中，采用本文方法改進(jìn)后的相關(guān)濾波器分別記作BS-SAMF、BS-STAPLE、BS-MOSSE等。并在數(shù)據(jù)集標(biāo)準(zhǔn)OTB-50/OTB-100[12-13]上與Struck、SCM、TLD、DFT、CXT、LSK、OAB等算法進(jìn)行對比實驗并評估結(jié)果。所有算法跟蹤器均使用MATLAB在同一操作平臺(Inter(R) Core(TM) i7-4790 CPU @ 3.60 GHz)上運行。

3.1 評估標(biāo)準(zhǔn)和參數(shù)設(shè)置

評估方法根據(jù)OTB-50/OTB-100中定義的成功率和精度值來評價。精度評估是根據(jù)跟蹤目標(biāo)的邊界框與標(biāo)定框中心位置的誤差值來計算的。一般設(shè)定閾值為20個像素點。成功率評估主要測量的是跟蹤框與標(biāo)注框的重疊率。跟蹤成功的幀數(shù)占總幀數(shù)的百分比即為成功率。一般給定重疊閾值為0.5。使用成功率圖中曲線下的面積(AUC)來給跟蹤算法排序。魯棒性的評估主要分為時間(TRE)上和空間(SRE)上的評估測量。OPE 是指從視頻序列第一幀開始跟蹤直到視頻序列結(jié)束，根據(jù)一次跟蹤的結(jié)果進(jìn)行評價，是 Benchmark 標(biāo)準(zhǔn)跟蹤測試數(shù)據(jù)集一次性評估的結(jié)果。

為了公平比較，將基于背景空間信息的相關(guān)濾波器設(shè)置為相同參數(shù)。負(fù)采樣區(qū)域(背景)個數(shù)k設(shè)置為4，因為當(dāng)k大于4時，算法框架運行時間明顯增加，但效果改善不明顯。改進(jìn)后的BS-SAMF、BS-STAPLE、BS-MOSSE算法，設(shè)置其學(xué)習(xí)率為0.005、0.015、0.025，參數(shù)λ2分別設(shè)置為0.4、0.5、20。

3.2 評估不同相關(guān)濾波器結(jié)果比較

圖3中，接近跟蹤目標(biāo)區(qū)域的兩個框分別為BS-SAMF、BS-STAPLE算法結(jié)果，遠(yuǎn)離跟蹤目標(biāo)區(qū)域，甚至跟蹤失敗的框分別是SCM、TLD算法結(jié)果?？梢钥闯?，在剛開始的跟蹤過程中，各個方法基本上都可以實現(xiàn)目標(biāo)的跟蹤，但隨著目標(biāo)的運動和背景的變化，一些方法受到光照變化、目標(biāo)旋轉(zhuǎn)等復(fù)雜環(huán)境的影響，出現(xiàn)了漂移的現(xiàn)象，導(dǎo)致跟蹤失敗，并且在跟蹤失敗后無法重新檢測目標(biāo)進(jìn)行調(diào)整。所以，結(jié)合了背景空間信息的相關(guān)濾波方法可以克服在光照變化、快速運動、低分辨率以及背景混雜等復(fù)雜背景下運動目標(biāo)的檢測跟蹤。并且在不影響跟蹤速率的情況下能夠以高精度和高準(zhǔn)確性實現(xiàn)目標(biāo)跟蹤檢測，不容易出現(xiàn)漂移的問題，能夠?qū)崿F(xiàn)目標(biāo)全程實時跟蹤。

圖3 運行結(jié)果

圖4展示了特定場景中的成功率。在光照變化、尺度變化、背景雜物、遮擋、快速運動等情況下，SRE成功率有明顯的提高。特別是如果在連續(xù)幾幀里，目標(biāo)外觀(遮擋)或者周邊背景(背景雜物)發(fā)生急劇變化，基于背景空間信息的更大搜索匹配區(qū)域使得實驗效果優(yōu)于其他框架。同樣，圖5反映了其他場景下的TRE的精度結(jié)果。

(a) 光照變化 (b) 尺度變化

(c) 背景雜物 (d) 遮擋

(e) 快速運動 (f) 運動模糊圖4 SRE的成功率結(jié)果圖(AUC)

(a) 形變 (b) 低分辨率

總體質(zhì)量評估如圖6所示，可以看出，當(dāng)根據(jù)實際跟蹤速度調(diào)整幀速率時，大部分跟蹤器的速度變慢，導(dǎo)致跟蹤效果變差，性能顯著下降。相比之下，基于背景信息的相關(guān)濾波器框架的性能只是略微降低。這更說明了本文改進(jìn)的算法框架具有一定的優(yōu)勢，能夠在保證跟蹤速度的基礎(chǔ)上，提高在復(fù)雜場景中的跟蹤性能。

(a) OPE總體精度 (b) OPE總體成功率圖6 OPE總體質(zhì)量評估

綜上所述，當(dāng)根據(jù)實際跟蹤速度調(diào)整幀速率時，大部分跟蹤器的速度變慢，導(dǎo)致跟蹤效果不好，性能顯著下降。相比之下，基于背景信息的相關(guān)濾波器框架的性能只是略微降低，基于背景空間的相關(guān)濾波框架較其他框架的跟蹤器更有優(yōu)勢，在保證跟蹤速度的基礎(chǔ)上，提高了在復(fù)雜場景中的跟蹤性能。

4 結(jié) 語

本文通過對目標(biāo)周圍的局部背景信息采樣來改進(jìn)相關(guān)濾波器，在計算成本較低的同時實現(xiàn)了很好的跟蹤效果，對一些復(fù)雜場景，如光照變化、遮擋、尺度變化、背景雜物、快速運動等發(fā)生時，表現(xiàn)尤其突出，能夠準(zhǔn)確地檢測到目標(biāo)并跟蹤，避免了跟蹤過程中出現(xiàn)漂移。實驗表明，引入負(fù)樣本信息的相關(guān)濾波器跟蹤性能得到了提高，并且與不是相關(guān)濾波框架的算法比較也有較大的優(yōu)勢。