(華南理工大學 土木與交通學院,廣州 510640)

0 引言

伴隨著信號處理技術和數(shù)字技術的成熟，視頻監(jiān)控系統(tǒng)在數(shù)字化、網(wǎng)絡化、智能化和集成化方向飛速發(fā)展，整個視頻監(jiān)控行業(yè)已經快速進入了智能監(jiān)控的時代。智能視頻監(jiān)控中的目標檢測與跟蹤技術是當今前沿的研究課題，有著重要的實際應用價值和研究意義。目標檢測和跟蹤作為智能視頻監(jiān)控的核心技術，其性能好壞直接影響著目標識別與理解的準確性[1]。

目前對于智能視頻監(jiān)控系統(tǒng)沒有一個統(tǒng)一的定義，一般為人們所理解的是指利用計算機視覺技術對視頻信號進行處理、分析和理解，在不需要人為干預的情況下，通過對序列圖像自動分析，對監(jiān)控場景中的變化進行定位、識別和跟蹤，并在此基礎上分析和判斷目標的行為，能在異常情況發(fā)生時及時發(fā)出警報或提供有用信息，有效地協(xié)助安全人員處理危機的系統(tǒng)。因此目標跟蹤使整個系統(tǒng)的核心步驟，其性能好壞直接影像后續(xù)的分析處理。

盡管目標跟蹤領域提出大量的算法提升跟蹤性能，然而監(jiān)控環(huán)境的復雜性以及待跟蹤目標的多樣性，使得目標跟蹤仍然是一個具有挑戰(zhàn)性的研究課題。現(xiàn)有的目標跟蹤算法大致上可分為三類：基于生成模型的目標跟蹤[2]、基于判別模型的目標跟蹤[3]，以及基于二者混合模型的目標跟蹤[4]，其中基于生成模型的跟蹤算法利用相似匹配的原則，通過在圖像中搜索出與保存的模板最相似的區(qū)域來鑒別目標，但生成模型只是利用目標模板特征搜尋與模板最相似的區(qū)域，并沒有考慮目標的背景信息[5-6]。目前多目標檢測跟蹤領域，大多數(shù)算法都集中在在線學習方向[7]，并提出許多優(yōu)秀的跟蹤算法[8-9]。由于目標形態(tài)千差萬別，背景信息復雜多變，無法囊括所有的樣本進行訓練，因此正負樣本欠采樣是阻礙跟蹤性能的主要因素[10-12]。盡管近年來圖像跟蹤領域提出了許多卓有成效的跟蹤算法，大大地改善了跟蹤的視覺效果與性能，然而目標跟蹤在實際應用中仍然在較多的挑戰(zhàn)性問題[13]。

為了實現(xiàn)監(jiān)控領域復雜背景條件下對目標穩(wěn)定跟蹤，本文以空時上下文跟蹤模型為基礎框架，利用多特征的互補特性，提出了一種魯棒有效的基于多特征融合的自適應模型更新的空時上下文目標跟蹤算法，該算法不僅具有空時上下文目標算法跟蹤的實時性，還具有魯棒的跟蹤能力，能夠在復雜背景條件下對目標穩(wěn)定跟蹤。實驗結果表明，本文提出的算法的跟蹤性能優(yōu)于現(xiàn)有的KCF, MFC和STC跟蹤算法。

1 基于時空上下文的目標跟蹤算法

在時空上下文目標跟蹤(STC)算法中，跟蹤問題被描述為估計目標位置似然的置信圖m(x)的過程，即：m(x)=p(x|o)，其中x是疑似目標位置，o是目標信息。為了便于描述，假設目標位置為x*，因此上下文特征集合Xc={c(z)=(I(z),z)|z∈Ωc(x*)}，其中，I(z)表示圖像中z點的特征；Ωc(x*)則表示目標中心x*附近區(qū)域。

STC算法充分利用目標局部上下文區(qū)域信息建立時空上下文模型計算置信圖，將置信圖中概率最大的位置作為目標位置。大量定性定量仿真實驗表明STC算法能夠很好地解決微弱形變、目標旋轉等常見的跟蹤問題，但是在目標運動過程中，如果目標被遮擋，或對比度差異較大，那么目標及局部背景區(qū)域灰度會發(fā)生波動，獲得的置信圖不準確，導致目標漂移甚至跟蹤失敗。

2 基于多特征融合的自適應模型更新的目標跟蹤算法

STC算法的關鍵核心是通過目標周圍的上下文區(qū)域，通過尋找置信圖的最大置信度來預測跟蹤目標在下一幀的位置。整體框架是在貝葉斯框架下進行了，利用貝葉斯概率，計算時空上下文信息的置信度，最大置信度的位置即為目標位置。通過STC置信度方程可以看出，目標特征條件下的上下文先驗概率是該算法模型的關鍵。因此，本文將從多特征出發(fā)，通過相關學習對本文提出的算法進行改進。

由于相關模型設計問題是代價函數(shù)中損失項與正則項之間的折中。因此，對所有訓練樣本X和期望輸出Y通過求解以下線性回歸的目標函數(shù):

(1)

其中:λ是其正則參數(shù)防止過擬合；f為分類函數(shù)，用以調節(jié)分類器的泛化性能；xi和yi分別表示第i個訓練樣本和期望輸出?？紤]線性回歸的目標函數(shù)的最小化輸出均方和誤差來獲得初始的濾波器H，該最優(yōu)優(yōu)化Hopt可以表示如下：

(2)

通過對等式(2)最優(yōu)求導，可以得到Hopt的解析解，其表達式如下：

(3)

可以看出，本文在空時上下文模型基礎上引入了一個時空多特征濾波模型。在不同的假設條件下，本文提出的模型可以等效成不同的算法。一般情況下，常見的相關濾波最小化如下代價函數(shù)：

(4)

(5)

可以看出，等式(4)的代價函數(shù)的最小化為：

(6)

(7)

眾所周知，特征提取是目標檢測與識別的基礎，魯棒的特征可以提升應用的能力。圖像特征可以包括區(qū)域特征、顏色特征、紋理特征、形狀特征、低秩特征以及局部特征點等，然而單一特征表征能力不足，本算法主要利用多特征的互補特性輔助解決單一特征無法完全表征目標的所有形態(tài)的問題。最終利用等式(6)獲得的最大值為最終跟蹤結果。

3 基于峰值旁瓣比的自適應模型更新

由于監(jiān)控領域目標跟蹤過程中目標及背景是動態(tài)變化的，跟蹤算法要對目標表觀模型進行實時更新?，F(xiàn)有的模型參數(shù)的更新都是通過線性插值，利用學習因子調節(jié)模型的泛化能力。通常情況下，學習因子的選取需要根據(jù)經驗設置，然而固定學習因子的方式比較機械，不能完全適應復雜背景與顯著的外觀變化。本文將在傳統(tǒng)更新模型的基礎上提出基于峰值旁瓣比的自適應模型更新策略，在常規(guī)更新模型中引入自適應權值因子，其模型如下：

(8)

(9)

mt表征目標跟蹤質量情況，p、μ和σ分別表示以峰值為中心的窗口11×11內像素的峰值、均值與方差；x∈[x1,x2]，α∈[α1,α2]，i和ρ分別表示幀數(shù)和學習因子。如果權值較大，表明跟蹤過程出現(xiàn)波動，必須增大學習因子，適應目標快速的形態(tài)變化，增強模型泛化能力。

4 實驗與結果分析

為了驗證本文提出的目標跟蹤算法，采用標準數(shù)據(jù)集與外場采集真實視頻結合的具有各種挑戰(zhàn)性的多段視頻作為測試用例，其中序列囊括了遮擋，尺度變化，低對比度，目標旋轉變形和運動模糊等各種現(xiàn)象。由于本章主要驗證本文提出的多特征融合的自適應模型更新的跟蹤性能，因此對比算法只選取了KCF[14], MFC[15]和STC[16]; 本文外場試驗分析均來自于東莞交管局監(jiān)控系統(tǒng)2016年5月采集的監(jiān)控視頻，保證了對比基準數(shù)據(jù)的一致性，以及工程應用適應性。本文所有實驗都在東芝Intel i5 CPU, 8 GB內存的臺式機進行，算法通過MATLAB2013實現(xiàn)。

4.1 定性定量對比

為了對跟蹤性能進行量化比較，本文采用重疊率準則和跟蹤中心誤差兩種評價準則。表1和表2分別展現(xiàn)了所有算法在測試基準視頻序列上的平均OR和CLE跟蹤性能，其中前七個視頻序列來自于OTB-2013基準數(shù)據(jù)庫，后兩個序列是交管局的行人監(jiān)控數(shù)據(jù)。可以看出，本文提出的跟蹤算法性能在Face等多個視頻序列上的效果優(yōu)于其他算法，而在Sylvester視頻序列上的效果與其他算法類似。

表1 各跟蹤算法的中心位置誤差

表2 各跟蹤算法的重疊精度對比

為了驗證在遮擋、光照等干擾因素影響下目標跟蹤性能的精度，本文利用多組基準視頻序列進行對比試驗，部分試驗結果如圖1所示?？梢钥闯?，在Animal序列1中，第 323幀以前目標沒有被光線，本文算法與對比算法都能很好地進行跟蹤，其跟蹤指標基本一致，但是當目標運動時出現(xiàn)了光線干擾，背景干擾后，STC與KCF跟蹤算法出現(xiàn)了跟蹤漂移，而本文提出的算法則穩(wěn)定跟蹤目標。充分說明了本文提出的算法對干擾因素的適應性能力。判別相關濾波器 ( KCF ) 在視覺跟蹤中是很高效的，但是會受到邊界效應的影響。核相關正則化 通過對 KCF 系數(shù)施加空間懲罰來解決這一問題，在提高了跟蹤性能的同時不可避免地增加了復雜度。

圖1 不同跟蹤算法對監(jiān)控視頻的定性結果

為了解決在線更新問題，本文在多特征訓練圖像上建立模型，進一步增加了提高效率的難度。通過將時間正則化方法引入到單樣本模型中，提出了一種時空正則化相關多特征融合跟蹤模型。在在線被動攻擊算法的啟發(fā)下，我們將時間正則化引入到單特征模型中，得到了時空正則化相關濾波器。通過結合時間和空間正則化，我們的算法可以處理邊界效應，同時不損失效率，并且在準確率和速度上優(yōu)于其他對比算法。實驗在多個基準數(shù)據(jù)集上進行。與STC相比，本文采用多個設計的特征，速度提高了 5 倍， CLE分數(shù)分別提高了5.4%和3.6%。此外，與HOG特征相結合的 KCF與基于時空上下文的STC相比，性能良好，尤其在Walking 序列上指標提升了68.3%。

部分跟蹤結果如圖1所示。圖1(a)的序列3視頻，跟蹤目標的快速移動造成運動模糊，不同目標間也存在互遮擋。 STC、KCF和我們的算法都可以穩(wěn)定跟蹤到目標，但我們的算法更靠近目標中心。由于我們算法采用了提出模型自適應學習因子更新機制，以此減弱模型泛化能力不強產生的跟蹤漂移。由圖可以看出，基于STC的方法對于目標大部分長時間遮擋情況，會出現(xiàn)跟蹤漂移，而本文方法，則能較好地克服目標大部分被遮擋情況。目標在相互遮擋時，目標本文算法利用多特征的互補特性會增強抗干擾的能力。

5 結論

為了解決單一特征在空時上下文模型中跟蹤不穩(wěn)的問題，我們提出了一種基于多特征融合的自適應模型更新的空時上下文目標跟蹤算法，該算法利用多特征豐富多樣的特征信息，將不同特征整合到空時是上下文模型中，并利用多特征加權融合來消除不同特征差異性，同時也采用自適應參數(shù)更新策略，來提升目標表征的泛化能力。大量的定性定量實驗表明本文所提的算法對復雜的跟蹤場景具有更強的魯棒性與抗干擾能力。

參考文獻：

[1] 王 歡，王江濤，任明武,等.一種魯棒的多特征融合目標跟蹤新算法[J].中國圖象圖形學報，2011，14(3)：489-498.

[2] Wang L X, Chen Y P, High-speed residual resampling scheme for hardware implementation of particle filter[J]. Signal Processing 2017,30(1)：97-100.

[3] Wang T H, Chen J T. Survey of research on kernel selection[J]. Computer Engineering and Design, 2012,33(3):25-28.

[4] Hare S, Saffari A, Torr P H S. Struck:structured output tracking with kernels[A]. ICCV[C]. 2011:263-270.

[5] Zhang K, Zhang L, Yang M H. Real-time compressive tracking[A]. ECCV[C]. 2012:864-877.

[6] 吳寶成.粒子濾波重采樣算法研究及其應用[D]．哈爾濱：哈爾濱工業(yè)大學，2011.

[7] Yao J M. Particle filter tracking method[D]. Changchun, Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences,2011.

[8] Bolme D S, Beveridge J R, Draper B A, et al. Visual objecttracking using adaptive correlation on filters[A]. IEEE Conference on Computer Vision and Pattern Recognition[C].Los Alamitos: IEEE Computer Society Press, 2010: 2544-2550.

[9] Henriques J F, Caseiro R, Martins P, et al. Exploiting the circulantstructure of tracking-by-detectionwithkernels[A]..Proceedings of the 12th European Conference on Computer Vision[C].New York: ACM Press, 2012, Part IV: 702-715D.

[10] Zhang S, Benenson R, Schiele B, et al. Filtered channel features for pedestrian detection[J]. computer vision and pattern recognition, 2015: 1751-1760.

[11] Guo L, Ge P S, Zhang M H, Li L H. Pedestrian detection for intelligent transportation systems combining AdaBoost algorithm and support vector machine[J]. Expert Syst. Appl. 2012, 39(4):4274-4286.

[12] Hosang J H, Benenson R, Dollar P, et al. What Makes for Effective Detection Proposals[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(4): 814-830.

[13] Girshick R B, Donahue J, Darrell T, et al. Region-Based Convolutional Networks for Accurate Object Detection and Segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(1): 142-158.

[14] Kieritz H, Becker S,et al. Online multi-person tracking?using integral channel feature[A]. 13th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS)[C]. 2016: 122-130.

[15] Danelljan M, Khan F S,et al. Adaptive color attributes for real-time visual tracking[A]. Computer Vision & Pattern Recognition[C]. 2014 :1090-1097.

[16] Zhang K H, Zhang L, Yang M H,et al. Fast trackingvia spatio-temporal context learning[J]. Computer Science,2013.