柯俊敏, 洪 親,2,3, 蔡堅(jiān)勇,2,3, 李 楠, 歐陽樂峰, 郭升挺

1(福建師范大學(xué) 光電與信息工程學(xué)院,福州 350007)

2(福建師范大學(xué) 醫(yī)學(xué)光電科學(xué)與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,福州 350007)

3(福建師范大學(xué) 福建省先進(jìn)光電傳感與智能信息應(yīng)用工程技術(shù)研究中心,福州 350007)

1 引言

目標(biāo)跟蹤在安防監(jiān)控、人機(jī)交互乃至AI系統(tǒng)中發(fā)揮著重要作用. 然而跟蹤算法的性能受到了眾多問題的限制,導(dǎo)致如今仍然不存在單一的方法能夠同時(shí)處理所有問題[1]. 跟蹤中算法應(yīng)對的挑戰(zhàn)因素有尺度變化、快速運(yùn)動、低分辨率等. 近年來較為前沿的目標(biāo)跟蹤算法依據(jù)原理主要分為兩類：生成模型和判決模型[2]. 生成式跟蹤方法是通過計(jì)算機(jī)視覺的目標(biāo)表示方法對目標(biāo)建模,搜索與目標(biāo)外觀模型最相似的區(qū)域. 增量視覺跟蹤算法(Incremental Visual Tracking,IVT)[3]雖然通過少量樣本來學(xué)習(xí)目標(biāo)的外觀模型,但遇到遮擋因素就會影響目標(biāo)的外觀. 基于多任務(wù)稀疏學(xué)習(xí)的魯棒性目標(biāo)跟蹤算法(Robust Visual Tracking via Multi-Task Sparse Learning,MTT)[4]利用APG原理保證快速收斂,提高了跟蹤速度,但跟蹤精度不高. 分布式跟蹤場(Distribution Fields for Tracking,DFT)[5]算法在目標(biāo)表示中引入模糊性,克服了形變和光照變化的影響,但跟蹤速度有待提高. 生成式方法所帶的信息豐富,但不能充分地利用背景信息,魯棒性不高. 而且由于其復(fù)雜外觀模型,跟蹤非常耗時(shí). 判別式跟蹤算法則將跟蹤問題看作一個(gè)二分類問題,對分類器進(jìn)行訓(xùn)練,將目標(biāo)與背景進(jìn)行分離. 與上述生成式方法相比,其能充分利用目標(biāo)和背景信息,準(zhǔn)確率更高,但不能反映自身特性.比較主流算法有基于核化的結(jié)構(gòu)化輸出(Structured Output Tracking with Kernel,Struck)[6]算法、壓縮感知(Compressive Tracking,CT)[7]算法等,這些算法為了實(shí)時(shí)跟蹤,通常選取的樣本有限. 而基于相關(guān)濾波器的目標(biāo)跟蹤算法由于高效率、高精度引起關(guān)注. 例如,Henriques等人提出循環(huán)結(jié)構(gòu)跟蹤器(Circulant Structure of Tracking,CSK)[8]通過循環(huán)移位進(jìn)行稠密采樣,獲得目標(biāo)包含的信息,并且在檢測過程中采用循環(huán)移位構(gòu)造大量候選圖像塊,然后結(jié)合快速傅立葉變換進(jìn)行分類器訓(xùn)練. Danelljan等[9]在CSK基礎(chǔ)上引入了顏色屬性特征,為了提高效率,對特征向量采用降維技術(shù). 后來,核相關(guān)濾波目標(biāo)跟蹤算法(Kernelized Correlation Filters,KCF)[10]被提出,它是利用多通道的HOG特征來替代了單通灰度特征,并且使用核函數(shù)的方式對多通道HOG特征進(jìn)行融合,加強(qiáng)分類器魯棒性,但在目標(biāo)運(yùn)動模糊或背景受噪聲干擾嚴(yán)重時(shí),HOG的描述能力就變?nèi)? 而以上基于相關(guān)濾波器算法難以對目標(biāo)運(yùn)動中發(fā)生的較大尺度變化進(jìn)行有效的處理,這會使得分類器模型出現(xiàn)誤差累積,最終會導(dǎo)致跟蹤精度降低. 于是,本文在KCF基礎(chǔ)上融入顏色特征,可與HOG特征組成更魯棒的特征; 加入了尺度檢測,在后續(xù)幀中對當(dāng)前目標(biāo)建立尺度模型,通過檢測與上一幀尺度模型進(jìn)行相關(guān)濾波響應(yīng)值的位置,計(jì)算目標(biāo)的尺度; 另外,加入重檢測模塊,對目標(biāo)的置信度進(jìn)行判定,減少與目標(biāo)外觀模型的偏差.

2 KCF跟蹤算法

KCF算法雖然用HOG特征代替了灰度特征,增強(qiáng)了對光照變化的適應(yīng)性,但僅靠這一個(gè)特征很難對復(fù)雜場景變化進(jìn)行處理. 由于KCF算法使用大小恒定的跟蹤框,當(dāng)目標(biāo)尺度發(fā)生變化時(shí),算法的跟蹤準(zhǔn)確度會降低. 從本質(zhì)上來說,這其實(shí)是一種模板匹配的方法,第一幀圖像初始化對后續(xù)的跟蹤是有影響的. 此外,由于周期性循環(huán)移位產(chǎn)生的邊界效應(yīng),算法不能有效地處理遮擋問題.

針對以上問題,本文對KCF方法進(jìn)行改進(jìn)：

(1) 融合了顏色屬性特征. 該特征和圖像中場景物體十分相關(guān),并且計(jì)算簡單. HOG特征強(qiáng)調(diào)圖像的梯度,而顏色特征是全局特征,不能很好捕捉對象的局部特征,將此兩種特征進(jìn)行融合來創(chuàng)建更強(qiáng)的特征集.

(2)引入了尺度估計(jì),解決了模板固定問題,實(shí)現(xiàn)尺度自適應(yīng).

(3)然而KCF算法仍然會因?yàn)槟繕?biāo)所處的環(huán)境因素使得跟蹤結(jié)果失敗,例如：目標(biāo)受到物體遮擋、遇到與目標(biāo)相似的物體等等. 因此本文為了能夠長期跟蹤目標(biāo),加入了再定位的組件.

2.1 分類器訓(xùn)練

對于判別式跟蹤算法主要分為訓(xùn)練和檢測兩個(gè)步驟. 對于訓(xùn)練圖像,我們可以看作嶺回歸問題. 這是由于嶺回歸對任意的輸入有閉式最優(yōu)解. 訓(xùn)練的目標(biāo)是找到一個(gè)函數(shù)使得如下殘差函數(shù)最?。?/p>

根據(jù)文獻(xiàn)[11]可求得閉式解：

其中X為樣本矩陣,Y為回歸目標(biāo). 當(dāng)f(x)為非線性時(shí),可將x映射到高維空間可得：

可以解決高維特征矩陣點(diǎn)積計(jì)算復(fù)雜問題. 由文獻(xiàn)[12]可求解：

2.2 目標(biāo)快速檢測

對于待檢測的圖像塊,響應(yīng)可表示為：

3 改進(jìn)的算法

3.1 特征融合

KCF算法采用HOG,雖然HOG特征具有一定的平移、旋轉(zhuǎn)不變性和光照不變性,但這種單一的特征難以適應(yīng)跟蹤中出現(xiàn)的多種挑戰(zhàn)因素. 而CN特征[13]具有對圖像大小和方向不敏感的特點(diǎn). 所以改進(jìn)算法將HOG和CN兩種特征進(jìn)行融合,然后對目標(biāo)進(jìn)行描述,可實(shí)現(xiàn)優(yōu)勢互補(bǔ),提高了分類器的性能. 假設(shè)兩個(gè)特征向量為和,則其在高緯度特征相似度為：

然后通過高斯核函數(shù),將方向梯度直方圖(HOG)和CN特征級聯(lián)組合成特征集,以此構(gòu)建更強(qiáng)力的目標(biāo)外觀.

3.2 尺度估計(jì)

由于目標(biāo)會發(fā)生尺度和旋轉(zhuǎn)等變化,如果不能自適應(yīng)尺度的變化,更新模型過程中會出現(xiàn)誤差累積,導(dǎo)致跟蹤不準(zhǔn)確或者跟蹤失敗. 因此對目標(biāo)的尺度進(jìn)行抽樣[14],得到尺度空間. 用P×Q表示當(dāng)前幀目標(biāo)的尺度大小,N為尺度樣本數(shù),尺度的取值范圍用集合表示,對于尺度在檢測位置中心獲取尺寸大小為的圖像塊,將大小調(diào)整為P×Q并用HOG特征構(gòu)建尺度金字塔.

3.3 重檢測機(jī)制

與之前的長期跟蹤方法TLD相比,不同之處在于再檢測機(jī)制并沒有每幀都進(jìn)行更新,采用閾值方法. 為了提高計(jì)算效率,若檢測后得到的值小于閾值T1,則檢測器開始重新檢測跟蹤目標(biāo),這時(shí)我們利用隨機(jī)蕨分類器對當(dāng)前幀進(jìn)行掃描,最后再評估目標(biāo)的置信度信息. 若檢測后的最大值比閾值T2大,則獲取正負(fù)樣本并利用它們來訓(xùn)練和更新分類器. 對于待檢測的圖像塊而言,我們使用最近鄰分類器(Nearest Neighbor Classifier)的相似度度量方式. 在跟蹤過程中,圖像塊與目標(biāo)框的重疊率大于0.7的作為正樣本,重疊率小于0.2的作為負(fù)樣本. 這里的閾值是根據(jù)經(jīng)驗(yàn)設(shè)定的.

3.4 改進(jìn)的算法步驟

1) 讀入視頻序列幀,在第一幀圖像中對目標(biāo)進(jìn)行初始化,確定搜索區(qū)域與目標(biāo)區(qū)域.

2) 提取目標(biāo)特征,對位置濾波模板和尺度濾波模板進(jìn)行訓(xùn)練.

3) 位置檢測：在下一幀中,根據(jù)上一幀所確定的位置與尺度,選擇一定尺寸的搜索區(qū)域,插值到與位置濾波器一樣的尺寸,提取特征,計(jì)算響應(yīng)值,得到新位置.

4) 尺度檢測：在目標(biāo)位置附近創(chuàng)建尺度金字塔,根據(jù)尺度調(diào)整圖片大小,利用分類器對樣本的最高得分來更新目標(biāo)的位置.

5) 再檢測：如果檢測的最大值小于重檢測閾值T1,啟動分類器重新掃描,找到候選的位置,計(jì)算置信度.最大的值所在的位置即為目標(biāo).

6) 如果檢測的最大值大于目標(biāo)外觀閾值T2時(shí),訓(xùn)練并更新分類器.

4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文提出的算法是否對目標(biāo)的尺度變化和遮擋等問題有所改善,本文算法對OTB-2013的50個(gè)含有不同屬性的視頻進(jìn)行評估,屬性分別為光照變化(Illumination Variation,IV)、尺度變化(Scale Variation,SV)、遮擋(Occlusion,OCC)、運(yùn)動模糊(Motion Blur,MB)、快速運(yùn)動(Fast Motion,FM)、平面外旋轉(zhuǎn)(Outof-Plane Rotation,OPR)、平面內(nèi)旋轉(zhuǎn)(In-Plane Rotation,IPR)和復(fù)雜背景(Background Clutters,BC)[15].

4.1 實(shí)驗(yàn)環(huán)境與參數(shù)

本文使用Window 7操作系統(tǒng),計(jì)算機(jī)CPU為Intel Xeon處理器,主頻3.0 GHz,內(nèi)存4 GB,實(shí)驗(yàn)軟件平臺為MATLAB 2012a. 實(shí)驗(yàn)中HOG特征的cell大小為4,梯度方向個(gè)數(shù)為9,正則項(xiàng)參數(shù)λ為0.01,學(xué)習(xí)參數(shù)η為0.015,尺度樣本數(shù)為33,尺度因子為1.02,T1為0.5,T2為0.6.

4.2 定性分析

(1) 遮擋和旋轉(zhuǎn)

在圖 1中,視頻jogging中跑步的人受到電線桿的遮擋,只有本文的算法和TLD的算法在受到遮擋后仍能對目標(biāo)進(jìn)行跟蹤,其它的算法已經(jīng)丟失了跟蹤框. 這是由于本文的算法加入了再檢測的機(jī)制,可以提高對目標(biāo)的定位能力,而KCF則跟蹤失敗. 圖 2這個(gè)tiger2視頻序列除了遮擋因素外還伴有強(qiáng)烈光照變化和旋轉(zhuǎn)等挑戰(zhàn)因素,旋轉(zhuǎn)會使目標(biāo)紋理受到影響,尤其是在受到長時(shí)間遮擋后,模板沒有及時(shí)更新情況下,即使目標(biāo)離開再重回視野也難以繼續(xù)跟蹤. 到289幀時(shí),只有本文算法能跟蹤準(zhǔn)確. 而KCF算法由于沒有再檢測模塊,無法重新定位目標(biāo)的位置.

表1 實(shí)驗(yàn)測試的視頻屬性

圖1 jogging

圖2 tiger2

(2) 快速運(yùn)動和運(yùn)動模糊

圖 3 jumping中人一直快速運(yùn)動,到第106幀時(shí)KCF跟蹤框開始出現(xiàn)丟失現(xiàn)象,這是由于目標(biāo)的快速運(yùn)動導(dǎo)致外觀發(fā)生了大幅變化. 到312幀時(shí)僅剩下struck、TLD、MIL和本文算法能繼續(xù)跟蹤. 這是由于本文算法加入了對置信度的判定,減少與模型的誤差累積. 圖 4 deer序列在第24幀時(shí)出現(xiàn)運(yùn)動模糊,會導(dǎo)致特征判別能力減弱,在52幀時(shí)受到周圍相似鹿干擾,除了本文的算法能跟蹤到正確位置,其他算法的目標(biāo)框與真實(shí)位置出現(xiàn)誤差. 圖 5 football1序列在第74幀時(shí)可以發(fā)現(xiàn)KCF跟蹤算法受旋轉(zhuǎn)和復(fù)雜背景挑戰(zhàn)因素影跟蹤失敗,而本文算法能準(zhǔn)確跟蹤,這是由于特征的融合提高了目標(biāo)外觀模型的魯棒性.

(3) 尺度變化

圖 6 car4數(shù)據(jù)集中,車尺度從大變小,又伴隨著光照影響,TLD、IVT和本文算法均可較好地處理尺度變化. 本文算法相較于KCF跟蹤較準(zhǔn)確原因在于當(dāng)位置濾波器能準(zhǔn)確跟蹤到目標(biāo)中心后,引入的尺度估計(jì)會搜索最為匹配的尺度,可以更好適應(yīng)目標(biāo)外觀變化.

圖3 jumping

圖4 deer

圖5 football1

圖6 car4

4.3 定量分析

通過選取10個(gè)富有挑戰(zhàn)性視頻,利用中心位置誤差和重疊精度來衡量改進(jìn)算法與KCF算法. 中心位置誤差是指對圖像人工標(biāo)定的目標(biāo)位置與跟蹤到位置之間的歐氏距離. 重疊精度指跟蹤的目標(biāo)框區(qū)域與真實(shí)目標(biāo)框區(qū)域的交集占并集的比例. 由表2和表3可見,改進(jìn)算法相對KCF算法有較魯棒性的跟蹤結(jié)果. 改進(jìn)的算法中心位置誤差的均值相比于KCF算法提高10%. 對于重疊率,改進(jìn)算法較于KCF算法則提高了15%. 這是由于改進(jìn)算法能實(shí)現(xiàn)自適應(yīng)尺度跟蹤,它是在當(dāng)前目標(biāo)的不同尺度之間去尋找一個(gè)最優(yōu)值,而且再檢測機(jī)制又提高了目標(biāo)的定位能力.

表2 改進(jìn)算法與KCF算法中心位置誤差的對比(單位：pixel)

表3 改進(jìn)算法與KCF算法重疊率對比(單位：%)

4.4 整體性能評估

本文采取跟蹤成功曲線圖來評估目標(biāo)跟蹤方法的性能,反映的是跟蹤結(jié)果與數(shù)據(jù)真實(shí)值之間重合部分面積的比例. 隨著重疊閾值的增大,其成功率反而減小.當(dāng)重疊率大于0.5時(shí),一般認(rèn)為跟蹤成功. 為了客觀地評價(jià)算法性能,利用成功率曲線下的面積作為性能的評價(jià)準(zhǔn)則. 曲線下的面積越大,則跟蹤器性能越好. 通過在OTB-2013數(shù)據(jù)集上與原有算法進(jìn)行

圖7 本文算法(cqgz)與其他算法在幾種屬性上的成功率與精度的比較

對比測試,由圖7可以看出,改進(jìn)的算法的成功率在尺度變化、運(yùn)動模糊、變形和低分辨率情況下分別高出了9%、6%、4%和13%. 由于跟蹤過程中可以對目標(biāo)過程中出現(xiàn)的尺度變化進(jìn)行相應(yīng)處理,另外,再檢測模塊使得物體受到遮擋后重回視野,可以重新定位目標(biāo)的位置. 從定性分析、定量分析以及整體性能評估中可以看出,改進(jìn)的算法較于其他跟蹤器來說相對較好.

5 結(jié)論與展望

通過核函數(shù)將HOG特征和顏色特征進(jìn)行融合,可以提高抗遮擋能力. 針對基于核相關(guān)濾波器的算法不能對尺度變化有較好的適應(yīng)性,本文構(gòu)建尺度相關(guān)濾波器,可實(shí)現(xiàn)多尺度自適應(yīng)地對目標(biāo)進(jìn)行跟蹤,實(shí)時(shí)更新尺度模型. 最后加入再檢測模塊,訓(xùn)練在線分類器,提高正樣本的準(zhǔn)確性. 當(dāng)目標(biāo)丟失后重回場景,可鎖定目標(biāo)繼續(xù)跟蹤. 測試結(jié)果表明,所提的算法對尺度、運(yùn)動模糊等問題能進(jìn)行有效地處理,在復(fù)雜背景下跟蹤性能較優(yōu),但仍存在不足. 未來可考慮兩點(diǎn)：(1)利用深度學(xué)習(xí),將卷積神經(jīng)網(wǎng)絡(luò)中不同特征圖結(jié)合,然后在相關(guān)濾波框架下進(jìn)行跟蹤; (2)對尺度估計(jì)方法改進(jìn)或?qū)μ卣鬟M(jìn)行并行計(jì)算,以提高算法速度.

1 Wu Y,Lim J,Yang MH. Object tracking benchmark. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9)：1834-1848. [doi：10.1109/TPAMI.2014.2388226]

2 Smeulders AWM,Chu DM,Cucchiara R,et al. Visual tracking：An experimental survey. IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,36(7)：1442-1468. [doi：10.1109/TPAMI.2013.230]

3 Ross DA,Lim J,Lin RS,et al. Incremental learning for robust visual tracking. International Journal of Computer Vision,2008,77(1-3)：125-141.

4 Zhang TZ,Ghanem B,Liu S,et al. Robust visual tracking via multi-task sparse learning. Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Providence,RI,USA. 2012. 2042-2049.

5 Sevilla-Lara L,Learned-Miller E. Distribution fields for tracking. Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Providence,RI,USA. 2012. 1910-1917.

6 Hare S,Saffari A,Torr PHS. Struck：Structured output tracking with kernels. Proceedings of 2011 IEEE International Conference on Computer Vision (ICCV).Barcelona,Spain. 2011. 263-270.

7 Zhang KH,Zhang L,Yang MH. Real-time compressive tracking. Proceedings of the 12th European Conference on Computer Vision. Florence,Italy. 2012. 864-877.

8 Henriques JF,Caseiro R,Martins P,et al. Exploiting the circulant structure of tracking-by-detection with kernels.Proceedings of the 12th European Conference on Computer Vision. Florence,Italy. 2012. 702-715.

9 Danelljan M,Khan FS,Felsberg M,et al. Adaptive color attributes for real-time visual tracking. Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Columbus,OH,USA. 2014.1090-1097.

10 Henriques JF,Caseiro R,Martins P,et al. High-speed tracking with kernelized correlation filters. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(3)：583-596. [doi：10.1109/TPAMI.2014.2345390]

11 Gray RM. Toeplitz and circulant matrices：A review.Foundations and Trends?in Communications and Information Theory,2005,2(3)：155-239. [doi：10.1561/010 0000006]

12 Rifkin R,Yeo G,Poggio T. Regularized least-squares classification. In：Suykens J,Horvath G,Basu S,et al. eds.Advances in Learning Theory：Methods,Models and Applications. Amsterdam：IOS Press,2003. 131-154.

13 van de Weijer J,Schmid C,Verbeek J,et al. Learning color names for real-world applications. IEEE Transactions on Image Processing,2009,18(7)：1512-1523. [doi：10.1109/TIP.2009.2019809]

14 Danelljan M,H?ger G,Khan FS,et al. Accurate scale estimation for robust visual tracking. Proceedings of British Machine Vision Conference 2014. Nottingham,UK. 2014.

15 Wu Y,Lim J,Yang MH. Online object tracking：A benchmark. Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Portland,OR,USA. 2013. 2411-2418.