張 堯,才 華,2,曹 露,王冰雪,陳廣秋

(1.長春理工大學 電子信息工程學院,長春 130022；2.長春中國光學科學技術館,長春 130117)

目標跟蹤技術在公共安全、智能交通等領域應用廣泛[1].在實際應用中,通常由于光照明暗變化、外部遮擋等因素的干擾,影響視頻跟蹤的魯棒性.利用目標周圍的上下文環(huán)境進行輔助跟蹤定位,不僅可使用前后相關幀的時間上下文,還可利用目標自身及周圍的背景條件作為空間上下文達到魯棒跟蹤的目的.Zhang等[2]提出了一種效果優(yōu)良的時空上下文(spatio-temporal context,STC)算法,充分考慮了目標附近稠密的上下文環(huán)境,其性能超過了大部分當前主流算法.此外,加權時空上下文算法[3]和基于稀疏表示的時空上下文算法[4],也極大提高了時空上下文的跟蹤效果.

字典學習包括稀疏編碼和字典更新兩個階段,先更新迭代稀疏系數(shù)矩陣,然后在迭代字典矩陣和稀疏系數(shù)矩陣時更新字典,以得到符合優(yōu)化目的的字典,對數(shù)量巨大的數(shù)據(jù)集進行降維,從中得到最能表現(xiàn)樣本的特征,達到運算量最小的目的.目前較成熟的字典學習算法有正交匹配追蹤(orthogonal matching pursuit,OMP)算法[5]、最優(yōu)方向法(method of directions,MOD)算法[6]等.利用構建圖像特征集合字典對目標特征信息進行分析對比,可解決目標長期靜止時的跟蹤問題,并利用實時更新目標模板,最大限度保證模板實時表征目標的各種特性[7].潘晴等[8]提出了在跟蹤過程中構建字典,其中背景字典由每幀圖像重新構造,并通過特征選擇避免在更新過程中引入干擾,該算法可有效解決視角變化、光照變化帶來的跟蹤失敗問題.時空上下文算法可挖掘連續(xù)幀間目標周圍局部場景中的時空關系信息,將其與字典學習相結合,可將時空信息融合到字典構建與模板更新中,能有效對抗強遮擋導致的跟蹤失敗問題.

1 時空上下文算法

在目標跟蹤過程中,目標和所在場景在相鄰幀內有較強的時空對應關系,這種關系可被應用在精準定位目標上.時空上下文算法利用Bayes框架計算置信圖,其中最大似然概率的位置即為目標中心[9].目標規(guī)模通常會隨著時間而改變.因此,權函數(shù)ωσ中的規(guī)模參數(shù)σ應相應更新.權重函數(shù)的尺度參數(shù)更新公式為

(1)

圖1 STC算法流程Fig.1 Flow chart of STC algorithm

圖2 前景字典的構造Fig.2 Construction of foreground dictionary

2 改進算法

2.1 構造前景字典

2.2 構造上下文字典

在目標跟蹤過程中,目標很少與全部場景分割開,因為總存在一些與目標運動有短時間或長時間關聯(lián)的部分.本文將該部分稱為空間背景上下文[10],目標與上下文的相關性可以被利用.

圖3為跟蹤目標區(qū)域卷積時空上下文模型得到的置信圖.由圖3可見,目標存在嚴重障礙,導致目標的外觀發(fā)生很大變化.黃色跟蹤框中為跟蹤的目標,被嚴重遮擋,但紅色框中的上下文區(qū)域卻僅有小部分被阻擋.圖中黃色點表示目標中心,周圍紅色點表示上下文區(qū)域中的特征點,因為黃色點與紅色點的空間關系并未發(fā)生變化,連續(xù)兩幀整體的上下文區(qū)域還存在較高的相似度,因此目標局部上下文未出現(xiàn)較大變化,此幀的局部上下文也可較好地估計下一幀的目標位置.

圖3 上下文信息與目標時空關系分析Fig.3 Analysis of context information and target spatio-temporal relation

圖4 上下文字典的構造Fig.4 Construction of context dictionary

2.3 基于稀疏表示的特征選擇

先進行尺度上的歸一化,再觀察跟蹤結果,從而有效地克服尺寸變化.本文使用一個d維的歸一化尺度模板T∈d×1,描述目標的外觀,其中d為模板的特征維數(shù)[11].在除首幀外的每一幀中,通過跟蹤器定位目標狀態(tài)后,先要歸一化目標到模板尺度,再按照m×n的大小采樣子塊pi∈l×1,i=1,2,…,N,利用

(2)

(3)

(4)

(5)

按概率權重的大小對子塊進行排序,從中選取權重最高的前k個子塊更新前景字典,為保證字典的規(guī)模不變,將特征信息量少的k個子塊進行剔除.同時,選擇以前維度中具有最高概率權重的特征更新到模板[14].這種更新方法可有效保持目標外觀,避免增加干擾導致跟蹤失敗.

2.4 基于稀疏表示的時空上下文算法

徑向函數(shù)hsc(x-z)編碼了目標與其空間上下文間的空間關系,ηi表示子塊特征的概率權重,將目標與其空間上下文的聯(lián)系進行權重分配,有效區(qū)分了各空間上下文的重要性,所以本文將條件概率公式P(x|c(z),o)改寫為

P(x|c(z),o)=ηihsc(x-z).

(6)

置信圖通過空間上下文模型和先驗概率模型進行圖求解,可得

其中:I(z)表示點的灰度；ωσ(z-x*)表示一個加權函數(shù),z距離x*越近,權值越大；b為歸一化參數(shù)；α為尺度參數(shù)；β為一個形狀參數(shù).進行快速Fourier變換(FFT),得

(8)

利用FFT學習改進的空間上下文模型為

(9)

(10)

計算第(t+1)幀置信圖：

(11)

置信圖函數(shù)值最大的一點即為目標位置：

(12)

利用補充特征權重的方法,使STC算法能在受強遮擋干擾的情況下,保持穩(wěn)定、準確的跟蹤效果.

2.5 算法描述

步驟1) 輸入視頻,利用Python視頻分幀,將視頻的每一幀提取并保存,從而得到視頻幀序列；

步驟2) 初始化,在首幀手動圈出目標,對目標進行均勻采樣一系列子塊,構造前景字典Φtar,在空間上下文區(qū)域隨機采樣一系列局部子塊構造上下文字典Φtar；

步驟3) 應用稀疏表示,計算模板中每一維特征的概率權重；

步驟4) 利用計算出的概率權重,重新排序特征,選取排名前k的特征及其對應子塊,用于更新前景字典Φtar和模板T；

步驟6) 重復步驟3)～5),實現(xiàn)對視頻中運動目標的跟蹤.

改進算法跟蹤過程結構流程如圖5所示.

圖5 改進算法跟蹤流程Fig.5 Tracking flow chart of improved algorithm

3 實 驗

本文實驗平臺為MATLAB R2016a,PC機配置為Inter(R) Core(TM) i3-2120 CPU@ 3.30 GHz.實驗中部分測試視頻數(shù)據(jù)集來自于VOT2018數(shù)據(jù)集.針對遮擋程度的差異,選擇Shelter1,Faceocc,Jogging這3個數(shù)據(jù)集進行實驗,并采用經(jīng)典跟蹤算法DSST(discriminative scale space tracking)算法[15]和KCF(kernelized correlation filters)算法[16]進行對比實驗,實驗結果如圖6所示.

圖6 測試序列跟蹤結果Fig.6 Tracking results of test sequence

通過計算實際目標位置與跟蹤到目標位置之間的歐氏距離定義中心誤差,計算公式為

(13)

其中:xi和yi分別表示跟蹤算法得到目標中心的橫縱坐標;xg和yg分別表示實際中心的橫縱坐標.Shelter1和Faceocc兩個數(shù)據(jù)集中遮擋程度逐漸嚴重.圖7為4種算法在Shelter1(A)和Faceocc(B)數(shù)據(jù)集中進行跟蹤實驗的中心位置誤差變化曲線.

利用實際框與跟蹤到的目標框之間的重疊度判斷跟蹤成功率,重疊度計算公式為

(14)

改進算法在目標準確度上明顯優(yōu)于原算法,在Jogging數(shù)據(jù)集測試中,原算法從58幀開始丟失目標,中心誤差驟增,而改進算法仍能穩(wěn)健跟蹤.表1為各算法在數(shù)據(jù)集中的中心誤差平均值及成功率對比結果.

圖7 4種算法在Shelter1(A)和Faceocc(B)數(shù)據(jù)集中進行跟蹤實驗的中心位置誤差變化曲線Fig.7 Error curves of center position of tracking experiment of four algorithms in data sets of Shelter1 (A) and Faceocc (B)

數(shù)據(jù)集總幀數(shù)中心誤差平均值/像素原算法改進算法文獻[15]算法文獻[16]算法Shelter13269.724.877.348.25Faceocc411125.516.717.117.85Jogging307120.77.89150.15140.2數(shù)據(jù)集總幀數(shù)各算法成功率/%原算法改進算法文獻[15]算法文獻[16]算法Shelter132694.898.296.795.6Faceocc41116.5494.894.593.1Jogging30719.594.527.223.1

由表1可見,在存在不同遮擋情況的3組數(shù)據(jù)集中,改進后的時空上下文算法都能保持良好的成功率,平均中心位置誤差在3個序列中表現(xiàn)最佳.在出現(xiàn)強遮擋的Jogging數(shù)據(jù)集中,原算法與文獻[15]算法和文獻[16]算法均出現(xiàn)了不同程度的跟蹤漂移現(xiàn)象,而本文改進算法成功率為94.5%,能有效對抗強遮擋導致的跟蹤失敗問題.

綜上所述,本文提出了一種基于字典學習改進的時空上下文算法,構建了前景字典和上下文字典.利用稀疏解的特性,判斷哪些特征受遮擋或干擾,將子塊特征的概率權重參與到構建條件概率中.通過3組對比實驗定性、定量分析了實驗結果.實驗結果表明,改進算法能較好地克服強遮擋導致的跟蹤失敗問題,具有較強的魯棒性.