梁文輝，宋 濤，葉永達(dá)

(1.解放軍31004部隊，北京 100094；2.解放軍信息工程大學(xué)，河南 鄭州 450000；3.解放軍陸軍工程大學(xué)，江蘇 南京 210001)

0 引 言

視覺跟蹤的主要任務(wù)是在視頻序列中連續(xù)得到感興趣目標(biāo)的運動軌跡、形狀和速度等狀態(tài)，在智能交通、自動監(jiān)控、精確制導(dǎo)等領(lǐng)域應(yīng)用廣泛。近年來，跟蹤算法研究成果層出不窮，但由于現(xiàn)實目標(biāo)變化靈活、偽目標(biāo)干擾、遮擋及復(fù)雜背景等原因，使得構(gòu)建高精度、高穩(wěn)定性的視覺跟蹤算法仍然亟待研究。

基于一階馬爾可夫模型的貝葉斯濾波將視覺跟蹤轉(zhuǎn)化為求解目標(biāo)狀態(tài)最大后驗概率密度估計問題或后驗概率的期望估計問題，為視覺跟蹤提供了一個非常優(yōu)秀的空時融合框架。但是，近年來出現(xiàn)的大多主流視覺跟蹤方法均致力于研究目標(biāo)觀測模型[1-4]，僅將動態(tài)模型和目標(biāo)更新視為簡單的輔助機(jī)制。文獻(xiàn)[5]結(jié)合Mean-Shift算法提出基于核密度估計的貝葉斯濾波跟蹤方法，利用多線索融合提高了觀測模型的可靠性，但Mean-Shift易陷入局部極值，無法有效預(yù)測目標(biāo)運動信息。文獻(xiàn)[6]結(jié)合生成和判別模型提出魯棒的協(xié)作外觀模型，該類方法難點在于如何平衡學(xué)習(xí)階段兩類模型訓(xùn)練樣本集之間的比重，過度依賴正樣本易導(dǎo)致模型過擬合，過度依賴負(fù)樣本則會降低模型的泛化能力。文獻(xiàn)[7]利用像素、超像素和整體目標(biāo)建立多級外觀模型，增加了觀測模型的匹配精度，但該方法以整體目標(biāo)的似然匹配來預(yù)測目標(biāo)的運動信息，易陷入局部極值。上述文獻(xiàn)均過度關(guān)注目標(biāo)外觀的空間特性而忽略了目標(biāo)的時間運動特征，破壞了貝葉斯框架的空時融合機(jī)制。

針對上述問題，文中在間隔貝葉斯估計框架[8]的基礎(chǔ)上結(jié)合空時運動邊界提出一種在線學(xué)習(xí)的視覺跟蹤方法，充分利用時間運動預(yù)測模型、空間匹配觀測模型和模型更新的各自優(yōu)勢，將視覺跟蹤轉(zhuǎn)化為運動目標(biāo)檢測、關(guān)聯(lián)和更新的空時多線索融合機(jī)制。不同于傳統(tǒng)運動模型提供的目標(biāo)中心點在下一幀可能出現(xiàn)的位置坐標(biāo)，文中利用色度反投影和時間顯著度計算目標(biāo)的運動邊界，預(yù)測目標(biāo)可能出現(xiàn)的區(qū)域、形狀和尺度，并能去除背景干擾，提高外觀模型似然匹配的可靠性。建立整體和局部雙層外觀模型，根據(jù)間隔似然模型采用多尺度匹配原則尋找最優(yōu)的目標(biāo)框選窗口，并利用局部模型判斷目標(biāo)的遮擋狀態(tài)。在模型更新階段，根據(jù)整體模型和局部分塊模型的匹配權(quán)重提出交叉限制的在線更新方法，能夠有效處理長期和短期的跟蹤場景。

1 基于間隔貝葉斯估計的視覺跟蹤框架

文獻(xiàn)[8]將間隔分析應(yīng)用于視覺目標(biāo)跟蹤，提出基于間隔貝葉斯估計的跟蹤框架(如式(1)所示)，但該方法通過預(yù)設(shè)高斯函數(shù)來近似狀態(tài)間隔的轉(zhuǎn)移模型，無法真實反映目標(biāo)運動和尺度變化。

(1)

1.1 間隔預(yù)測模型

(2)

1.2 間隔觀測模型

在視覺跟蹤中，間隔觀測模型是為了度量預(yù)測狀態(tài)間隔與觀測值之間的似然程度，如式(3)所示。在預(yù)測狀態(tài)間隔的空間范圍內(nèi)，文中首先利用多尺度整體外觀候選模型尋找匹配權(quán)值最大的目標(biāo)窗口，然后通過局部分塊匹配判斷目標(biāo)的外觀變化和遮擋狀態(tài)，并為模型更新提供線索。

(3)

2 目標(biāo)運動邊界

感興趣目標(biāo)的運動邊界是十分重要的空時結(jié)構(gòu)信息，其精確反映了目標(biāo)的位置、形狀和尺度變化，并能完全去除背景干擾；尤其對非剛性目標(biāo)而言，只有運動邊界內(nèi)的目標(biāo)外觀信息才是真實的前景目標(biāo)(true positives，TP)，而運動邊界和跟蹤窗口之間的像素都屬于背景(true negatives，TN)。但在實際應(yīng)用環(huán)境中卻很難捕捉到可靠的運動邊界。

(4)

(5)

數(shù)據(jù)注意力模型體現(xiàn)了目標(biāo)空間特性，文中采用文獻(xiàn)[9]提出的基于內(nèi)容感知的空間顯著度檢測方法，并根據(jù)簡單線性迭代聚類算法(simple linear iterative clustering，SLIC)[10]和第一級狀態(tài)間隔確定像素子塊的尺度。

s.t.xi∈Carea

(6)

圖1 目標(biāo)運動邊界示意圖

SS/T(xi)=γt·I(xi)+(1-γt)·Sr(xi)

(7)

3 目標(biāo)匹配與模型更新

3.1 多尺度目標(biāo)匹配

(8)

3.2 基于交叉限制的模型更新

4 實驗結(jié)果與分析

4.1 實驗說明

目標(biāo)運動邊界是文中算法的核心，為驗證算法有效性，選擇YMB(YouTube motion boundaries dataset)[12]中帶有真實目標(biāo)運動邊界檢測結(jié)果的公共標(biāo)準(zhǔn)圖像序列進(jìn)行測試，采用CVPR2013(computer vision and pattern recognition dataset)[13]提供的視覺跟蹤算法通用評估體系，采集了50段常用公開標(biāo)準(zhǔn)視頻測試序列，并為每段序列標(biāo)注屬性及真實目標(biāo)的位置尺度。為驗證文中算法在處理相似背景干擾和尺度變化方面的優(yōu)越性，與CVPR2013數(shù)據(jù)庫中三類具有代表性的跟蹤算法SCM[6]、KMS[14]和TLD[15](如表1所示)進(jìn)行了兩組對比實驗。所有相關(guān)實驗都是在Intel雙核2.2 GHz CPU、2.0 GB內(nèi)存的PC平臺上，利用C/C++、Matlab和OpenCV函數(shù)庫實現(xiàn)的。

表1 三類代表性算法SCM、KMS、TLD和文中算法的跟蹤策略

通過中心點跟蹤誤差dt和目標(biāo)覆蓋率rt來定量評價跟蹤算法的有效性。

(9)

4.2 實驗結(jié)果與性能分析

實驗1定性分析了文中所提目標(biāo)運動邊界檢測算法的檢測性能，場景選擇YMB數(shù)據(jù)庫中五類目標(biāo)。從圖2(a)～(c)可以看出，對于背景單一且目標(biāo)與背景對比度較大的場景，文中算法能夠完全擬合目標(biāo)邊界。對于背景紋理比較復(fù)雜的應(yīng)用場景，文中算法可能會融入錯誤的背景邊緣，但對整體跟蹤框架而言，背景邊緣所產(chǎn)生的影響只是擴(kuò)大了預(yù)測狀態(tài)間隔上限，不會對后續(xù)觀測模型起決定性作用，如圖2(d)所示。相似背景干擾是跟蹤算法的一大難點，文中算法捕獲的目標(biāo)運動邊界從很大程度上去除了相似背景干擾，即使在極度相似的背景中依然能夠有效區(qū)分目標(biāo)和背景，如圖2(e)中的白色運動服和白色冰面。

圖2 文中算法效果

實驗2定性分析了SCM、KMS、TLD和文中算法在相似背景、尺度變化應(yīng)用場景下的跟蹤性能，如圖3所示。圖3(a)是數(shù)據(jù)庫ChangeDnet2014的“snowFall”視頻序列，其難點在于：感興趣目標(biāo)尺度逐漸減小且與背景非常相似。從圖3(a)可看出，KMS在跟蹤過程中逐漸丟失目標(biāo)，無法捕捉目標(biāo)尺度變化；TLD在學(xué)習(xí)過程中無法有效區(qū)分正負(fù)樣本，導(dǎo)致跟蹤窗口逐漸偏離；SCM和文中算法都能隨著目標(biāo)尺度變化自適應(yīng)調(diào)整跟蹤窗口大小，但文中算法的跟蹤窗口能更好擬合目標(biāo)真實邊界。圖3(b)是數(shù)據(jù)庫VOT2015的“iceskater1”視頻序列，其難點在于：感興趣目標(biāo)尺度隨機(jī)變化且存在大量相似背景信息。從圖3(b)可以看出，只有文中算法能夠有效捕捉到細(xì)微的目標(biāo)運動邊界。

圖3 SCM、KMS、TLD和文中算法在相似背景干擾和尺度變化環(huán)境下的跟蹤結(jié)果

圖4量化反映了SCM、KMS、TLD和文中算法在實驗2中的跟蹤性能，SCM和TLD均無法處理嚴(yán)重的相似背景干擾和連續(xù)的非剛性尺度變化，dt和rt指標(biāo)迅速惡化。如圖4(a)所示，雖然整個跟蹤過程SCM和文中算法dt指標(biāo)比較接近，但文中算法rt指標(biāo)優(yōu)于SCM并且rt的平均值大于75%，說明文中算法能夠很好地擬合目標(biāo)邊緣、去除相似背景干擾。從圖4(b)可以看出，文中算法與SCM的dt和rt指標(biāo)比較接近且rt的平均值≈45%，這是因為非剛性目標(biāo)跟蹤窗口包含大量背景像素；但圖3(b)已展示了文中算法能夠更好擬合目標(biāo)邊緣。

圖4 實驗2的定量分析圖

5 結(jié)束語

文中提出了一種基于間隔貝葉斯估計框架的在線視覺跟蹤方法。利用目標(biāo)驅(qū)動和數(shù)據(jù)驅(qū)動的雙層視覺注意力模型計算感興趣目標(biāo)在下一幀的運動邊界，有效去除了背景干擾并為觀測模型提供了位置和尺度等線索，提高了多尺度模型匹配的可靠性。根據(jù)目標(biāo)局部子塊的匹配權(quán)值提出了基于交叉限制的在線更新機(jī)制，能夠長時間保持目標(biāo)整體模型的同時利用子塊實時捕捉目標(biāo)外觀的局部變化。實驗結(jié)果表明，相較于SCM、KMS和TLD三類具有代表性的跟蹤算法，文中算法在相似背景干擾和尺度變化的應(yīng)用場景中存在明顯優(yōu)勢，能夠有效擬合目標(biāo)邊界，找到最優(yōu)的目標(biāo)框選窗口。