王 蓓,陳金廣,王明明
1.西安工程大學(xué) 計算機科學(xué)學(xué)院,西安710048
2.柯橋區(qū)西紡紡織產(chǎn)業(yè)創(chuàng)新研究院,浙江 紹興312030
視頻目標(biāo)跟蹤是計算機視覺中重要的組成部分,在智慧城市、虛擬現(xiàn)實、公共安全監(jiān)測、機器視覺等實際應(yīng)用中起到關(guān)鍵作用。目標(biāo)跟蹤算法在近些年的發(fā)展中大致分為三個研究方向[1]:深度學(xué)習(xí)方向[2-6]、相關(guān)濾波方向[7-12]和傳統(tǒng)的跟蹤算法方向[13-15],而在實際跟蹤環(huán)境中,傳統(tǒng)方法在面對尺度變換、復(fù)雜背景、遮擋等跟蹤問題時難以滿足準(zhǔn)確性、快速性和魯棒性。而基于深度學(xué)習(xí)的目標(biāo)跟蹤算法面對上述問題時,跟蹤精度雖然能夠保障,但跟蹤實時性較差。近十年發(fā)展起來的相關(guān)濾波算法因在復(fù)雜環(huán)境中的跟蹤精度和實時性具有良好性能,逐步成為視頻跟蹤算法的重要研究方向。
2010 年,Bolme 等[7]首次將信號相關(guān)性和傅里葉時頻域轉(zhuǎn)換引入視頻目標(biāo)跟蹤中,提出誤差最小平方和濾波器(Minimizing the Output Sum of Squared Error,MOSSE),奠定了相關(guān)濾波視頻目標(biāo)跟蹤算法的基礎(chǔ)。之后的幾年中該算法得到了迅速的發(fā)展,Henriques等[8]針對MOSSE 中滑動卷積的樣本重復(fù)采樣問題,引入循環(huán)矩陣,提出核循環(huán)算法(Circulant Structure of trackingby-detection with Kernel,CSK),并結(jié)合多通道方向梯度直方圖(HOG)進(jìn)行特征融合提出了核相關(guān)濾波(Kernelized Correlation Filters,KCF)算法;Danelljan 等[11]基于CSK提出了基于自適應(yīng)顏色屬性(Color Names,CN)的視頻跟蹤算法,有效解決跟蹤過程中由復(fù)雜背景導(dǎo)致的目標(biāo)定位不準(zhǔn)確的問題。以上方法具有較好的跟蹤效果和跟蹤穩(wěn)定性,但在復(fù)雜場景中的跟蹤效果并不理想。
針對尺度變化問題,Danelljan等[9]以MOSSE算法為基礎(chǔ),提出多尺度空間濾波跟蹤算法(Discriminative Scale Space Tracking,DSST)在此基礎(chǔ)上為解決DSST跟蹤速度慢的問題提出了快速的多尺度空間濾波跟蹤算法(fast Discriminative Scale Space Tracking,fDSST)[10],此方法雖能夠較準(zhǔn)確地估計目標(biāo)的實時尺度,但缺乏對目標(biāo)樣本的學(xué)習(xí)和更新機制,對除尺度變化之外的其他復(fù)雜背景問題的跟蹤效果不佳。在此基礎(chǔ)上,Li等[16]引入七尺度的尺度池,能夠解決模塊大小定型的問題,并且融合HOG和CN特征來提升算法的整體性能。
針對復(fù)雜背景和遮擋跟蹤問題,目前對大多數(shù)的改進(jìn)集中于盡可能多地采集目標(biāo)及目標(biāo)周圍特征,使得目標(biāo)在跟蹤的過程中能夠獲得目標(biāo)的更大響應(yīng)。Bertinetto等[17]融合HOG 和顏色特征,以DSST 方法估計目標(biāo)尺度,提出了一種基于互補學(xué)習(xí)的跟蹤方法(Staple),較高效解決了目標(biāo)形變跟蹤魯棒性差,但融合特征計算量大且復(fù)雜,因此跟蹤實時性偏低。Mueller等[18]在相關(guān)濾波的框架下,引入全局上下文信息來輔助定位目標(biāo)位置,提出CA-CF(Context-Aware Correlation Filter)算法,該算法能夠處理目標(biāo)周圍的邊界響應(yīng)問題,又能夠較準(zhǔn)確地跟蹤目標(biāo)位置。但由于提取的目標(biāo)特征單一,因此對于跟蹤遮擋目標(biāo)效果較差。Zhang 等[19]在KCF 的基礎(chǔ)上將多個特征進(jìn)行融合,并引入多個核函數(shù),訓(xùn)練多個位置濾波器,從而使得核有自適應(yīng)選擇的能力。還有如Ojala等[20]提出的局部二值模式(Local Binary Pattern,LBP),有計算量小、對噪聲不敏感、對灰度和旋轉(zhuǎn)具有不變性等優(yōu)點,被應(yīng)用于目標(biāo)跟蹤方法中[21]。
在復(fù)雜場景下核相關(guān)濾波及改進(jìn)的跟蹤算法在處理復(fù)雜場景下的視頻序列時仍會存在一些問題,主要表現(xiàn)在:目標(biāo)遮擋時,特征只能提取一部分,甚至不能提取到有效的目標(biāo)特征;存在尺度變換和背景雜波時,固定的尺度大小容易提取到背景復(fù)雜時的非目標(biāo)特征噪聲,從而引起跟蹤漂移、丟包等錯誤。
本文以KCF 算法為基礎(chǔ),針對相關(guān)濾波器在目標(biāo)遮擋、尺度變換、背景雜波等復(fù)雜場景下跟蹤效果不佳的問題進(jìn)行改進(jìn),首先引入位置濾波器,分別提取HOG和CN特征并進(jìn)行線性加權(quán)融合,估計目標(biāo)中心位置,再引入尺度濾波器,估計目標(biāo)尺度變換,用相關(guān)能量平均峰值判斷目標(biāo)是否被遮擋,當(dāng)目標(biāo)被遮擋時,用卡爾曼濾波根據(jù)目標(biāo)歷史路徑數(shù)據(jù)估計出被遮擋時的目標(biāo)位置。AMFKCF算法能夠較好地解決上述復(fù)雜場景下跟蹤效果不佳等問題,且兼具有核相關(guān)濾波算法的優(yōu)點。
核相關(guān)濾波目標(biāo)跟蹤算法[12]使用循環(huán)矩陣訓(xùn)練濾波器,并通過核函數(shù)預(yù)測目標(biāo)位置。該算法包括目標(biāo)特征循環(huán)采樣、訓(xùn)練位置濾波器、預(yù)測位置及更新參數(shù)等過程。
KCF 算法中,首先對初始化目標(biāo)框進(jìn)行一次采樣,其他目標(biāo)樣本由循環(huán)偏移產(chǎn)生如圖1所示,以目標(biāo)位置的1.5~2 倍的矩形區(qū)域進(jìn)行一次樣本采樣,記為s1,循環(huán)偏移產(chǎn)生目標(biāo)樣本記為s1=[ s1,s2,…,sn] ,然后通過循環(huán)矩陣N 對樣本進(jìn)行循環(huán)移位,若循環(huán)移位一次記為s2=N2s1=[ sn,s1,s2,…,sn-1] ,則循環(huán)移位的所有樣本集合可表示為:Si+1=Ni+1*s1,i=1,2,…,n-1,Ni為N的第i 行元素,循環(huán)矩陣N 為:
圖1 循環(huán)移位
KCF算法以嶺回歸方式訓(xùn)練濾波器,其目標(biāo)是尋找一個目標(biāo)分類器f(w)=wTv(S),使得濾波器期望輸出yi和樣本Si之間的均方誤差函數(shù)最小,即:
式中,Si、yi分別表示第i 個訓(xùn)練樣本和期望輸出,λ 為防止過擬合的正則化參數(shù)[22],v(S)為Si的高維空間映射。若能找到一個目標(biāo)分類器f(w)使得式(2)最小,則可以達(dá)到訓(xùn)練濾波器的目的。
當(dāng)引入的圖像塊為多通道特征(如本文用HOG 和CN 特征進(jìn)行融合)時,此時圖像塊映射v(S)為非線性函數(shù),引入一個核函數(shù),對圖像塊進(jìn)行核化、對偶,記為a,則目標(biāo)分類器內(nèi)核函數(shù)就可表示為w=vTa,將其代入目標(biāo)函數(shù)式(2)中,通過學(xué)習(xí)可得對偶空間系數(shù)a=(K+λI)-1y,其中K=vvT為核矩陣,K 為循環(huán)矩陣,因此對其進(jìn)行離散化傅里葉變換可得分類函數(shù)的頻域解,即:
式中,Kvv為樣本向量Si之間的核相關(guān)向量。
式中,z 為下一幀待檢測目標(biāo)塊,其檢測對偶域求解公式為f( z;a )=aTvsv( z );vs表示更新后的模型參數(shù);采用與1.2節(jié)相同的方式求解目標(biāo)塊z 的所有循環(huán)移位的響應(yīng)值,并計算濾波器頻域響應(yīng)表示相鄰幀之間的快速傅里葉變換,再通過傅里葉反變換,得到最大響應(yīng)點即為目標(biāo)中心位置。
因目標(biāo)外觀、背景、所處環(huán)境的不斷變換,所以跟蹤過程中濾波器的相關(guān)參數(shù)也在不斷地更新,核相關(guān)濾波算法的更新參數(shù)為對偶空間系數(shù)和圖像模塊?,更新策略為:
在背景雜波、尺度變換、目標(biāo)遮擋等復(fù)雜場景中,核相關(guān)濾波算法容易發(fā)生目標(biāo)跟蹤丟失。實時地提取、融合目標(biāo)圖像塊的多個特征,估計、更新目標(biāo)尺度的變化,將會有效地提高目標(biāo)的跟蹤性能。本文算法流程如圖2所示。首先提取目標(biāo)圖像塊的方向梯度直方圖(Histogram of Oriented Gradient,HOG)[23]和顏色(Color Name,CN)[11]特征,并將兩類特征進(jìn)行融合,然后利用多個尺度池估計目標(biāo)的尺度大小,再利用卡爾曼濾波器對目標(biāo)的位置進(jìn)行補償,最后更新位置參數(shù)和尺度參數(shù)。本文算法的五個步驟:多特征融合、尺度計算、遮擋判別、卡爾曼位置濾波器補償、濾波器參數(shù)更新。
HOG 是通過計算、統(tǒng)計目標(biāo)圖像塊的梯度方向直方圖來構(gòu)成目標(biāo)的特征,具有圖像幾何和光學(xué)形變的不變性;CN 是通過提取目標(biāo)塊RGB 空間的3 維顏色特征映射到黑、藍(lán)、棕、灰、綠、橙、粉、紫、紅、白和黃的11 維顏色空間,對不同顏色物體進(jìn)行分離,對顏色區(qū)別顯著且紋理形狀相似的目標(biāo)和背景具有很好的區(qū)分度,CN顏色特征具有旋轉(zhuǎn)、平移和尺度不變性的優(yōu)點。HOG和CN特征具有一定的互補性,二者提取的算法相對簡單,對實時跟蹤效果影響小,因此本文選取這兩種特征進(jìn)行融合。
提取HOG和CN特征采用31和10維通道來描述目標(biāo),因此融合后的特征維數(shù)為41維,設(shè)HOG和CN特征分別為:
式中,aHOG和aCN分別為HOG 和CN 對應(yīng)的特征訓(xùn)練相關(guān)濾波器,和分別表示多通道特征的的訓(xùn)練樣本ν 與預(yù)測區(qū)域z 之間的核相關(guān),F(xiàn)()?和F-1()?分別表示傅里葉變換和傅里葉逆變換。通過線性加和的方式融合多通道特征,即:
式中,βHOG、βCN為HOG和CN特征響應(yīng)融合權(quán)值。方便起見,取值βHOG=0.5,βCN=0.5。
在跟蹤目標(biāo)的過程中,目標(biāo)的尺度實時變化,因此固定跟蹤框大小的算法跟蹤效果往往不理想,無法準(zhǔn)確地跟蹤目標(biāo)。因此本文加入了尺度濾波器估計目標(biāo)尺度。
圖2 AMFKCF算法流程
假設(shè)P×M 為基礎(chǔ)圖像塊大小,則目標(biāo)尺度池可表示為:
其中,P、M 分別表示上一幀目標(biāo)的高度和寬度,a=1.02 為尺度因子,γ=33 為尺度池圖像塊個數(shù)。
幀數(shù)大于2 時,首先核相關(guān)濾波器計算新位置,在上一幀尺度的基礎(chǔ)上利用尺度濾波器,以當(dāng)前新位置獲取不同尺度的圖像池,從而找到最匹配的尺度。計算可參考文獻(xiàn)[12]。
在目標(biāo)跟蹤的過程中,抗遮擋算法一直以來都是研究的熱點,本文引入Wang等[24]提出的平均峰值-相關(guān)能量(Average Peak-to Correlation Energy,APCE)遮擋判據(jù)。APCE的定義公式如式(11):
式中,F(xiàn)max、Fmin和Fw,h分別為f(z)的峰值、谷值及位置(w,h)對應(yīng)的響應(yīng)值,mean(?)為求平均值。
該判據(jù)可以反映出響應(yīng)圖的振蕩程度,如圖3 所示,當(dāng)目標(biāo)沒有發(fā)生遮擋時,響應(yīng)圖只有一個尖銳的峰和平滑下降的區(qū)域,APCE 變得更大,當(dāng)目標(biāo)被遮擋或消失的時候,APCE 將會急劇下降,響應(yīng)圖會存在多峰和凹凸的區(qū)域。當(dāng)Fw,h響應(yīng)值峰值大于δ1和響應(yīng)值均值的乘積,同時當(dāng)前位置的APCE 值F(w,h)|APCE也大于δ2和目標(biāo)位置的APCE歷史均值的乘積時,目標(biāo)沒有發(fā)生遮擋,此時下式成立:
在目標(biāo)軌跡跟蹤方面卡爾曼濾波(Kalman Filter)發(fā)揮重要作用[25-27],通過系統(tǒng)輸入輸出觀測數(shù)據(jù)對系統(tǒng)狀態(tài)進(jìn)行最優(yōu)估計,尤其適用于目標(biāo)遮擋情況。假設(shè)目標(biāo)的狀態(tài)向量為,觀測向量為zk=[ x,y]T,其中x、y 為目標(biāo)位置分量,˙為目標(biāo)速度分量。因此跟蹤物體的運動狀態(tài)方程為:
其中,xk和zk分別為第k 幀目標(biāo)的狀態(tài)和觀測值,Ak是狀態(tài)轉(zhuǎn)移矩陣,Hk是觀測矩陣,過程噪聲wk和觀測噪聲vk為協(xié)方差分別為Qk和Rk的高斯白噪聲。通常目標(biāo)在相鄰兩幀的運動狀態(tài)可以看作勻速直線運動,所以Ak和Hk定義為:
除了傳統(tǒng)色彩濃厚外,蔣介石的意識形態(tài)建構(gòu)崇尚軍事化,這與其早年在日本所受嚴(yán)格的軍事訓(xùn)練及他本人對日本社會的觀感有很大關(guān)系。蔣介石認(rèn)為日本之所以驟致富強,與武士道精神有密切關(guān)系。蔣介石在新生活運動中提倡社會軍事化,以軍事化的標(biāo)準(zhǔn)來改造社會。與其長期以來對黨組織的失望和嫌惡相比,蔣介石對于軍人和軍隊組織的美德贊譽有加。而崇尚軍事化的意識形態(tài)宣導(dǎo)窒息了社會的活力和能動性,為實現(xiàn)僵化的統(tǒng)制,放棄了意識形態(tài)的社會動員功能。
式中,Δt 表示相鄰兩幀采樣時間間隔。如視頻序列每秒采樣n 次,則Δt=1/n。
Kalman算法一般包括預(yù)測和更新兩個步驟。預(yù)測步驟為:
其中,Kk為卡爾曼增益,為k 時刻的狀態(tài)最優(yōu)估計結(jié)果,Pk|k為k 時刻的狀態(tài)估計的協(xié)方差。
從第2幀開始對目標(biāo)的位置進(jìn)行預(yù)測,通過位置濾波器式(4)計算出的未修正目標(biāo)位置為,因此卡爾曼濾波器補償目標(biāo)位置策略為:式中,δ1、δ2為位置補償權(quán)值,[ x,y] 為卡爾曼濾波器預(yù)測的位置,本文中當(dāng)APCE 判據(jù)判斷未發(fā)生遮擋時δ1=0.99、δ2=0.01;發(fā)生遮擋時δ1=0.01、δ2=0.99,此時卡爾曼濾波器充當(dāng)位置濾波器,估計目標(biāo)位置。
模板更新包括尺度模板和參數(shù)模板更新,當(dāng)獲得的最優(yōu)尺度SPM與模板尺寸對應(yīng)的對偶空間系數(shù)aPM-1之間采用線性加權(quán)法來更新第t+1 幀的目標(biāo)尺度模板:
式中,ε 為尺度模型更新學(xué)習(xí)率,本文設(shè)為0.025。
圖3 遮擋與未遮擋時APEC值
本文選取具有目標(biāo)形變、遮擋、尺度變換、運動模糊、平面旋轉(zhuǎn)、光照變換、背景雜波等特性的圖像序列,與KCF[12]、CACF[18]、CN[11]、CSK[8]、DSST[9]、CXT[28]、CT[29]、DFT[30]等經(jīng)典算法在CVPR2013 Benchmark[31]數(shù)據(jù)上進(jìn)行對比。為了綜合地評價各個跟蹤算法的性能,選取5個常用目標(biāo)跟蹤評估指標(biāo)[32]分別為:中心位置誤差(Center Location Error,CLE)、距離精度(Distance Precision,DP)、每秒運行幀數(shù)(Frames Per Seconds,F(xiàn)PS)、一次通過評價(One-Pass Evaluation,OPE)所計算的成功率和精確度。
實驗軟件環(huán)境為MATLAB R2018a,硬件環(huán)境為:Intel Core i5-5200U處理器,2.20 GHz主頻,4 GB內(nèi)存,Windows 10操作系統(tǒng)。
中心位置誤差是跟蹤目標(biāo)精度的一個評估指標(biāo),是目標(biāo)跟蹤框中心位置和實際目標(biāo)跟蹤框中心位置之間歐式距離的均值。CLE值越小,跟蹤結(jié)果越準(zhǔn)確。表1是各算法跟蹤圖像序列的CLE結(jié)果,每個圖像序列最優(yōu)的CLE 加粗,次優(yōu)用斜體標(biāo)注。在表1 中,本文算法(AMFKCF)有11 個最優(yōu)中心位置誤差,12 個次優(yōu)的中心位置誤差。AMFKCF算法的平均CLE為10.85像素,相比于基礎(chǔ)算法KCF的平均CLE(25.52個像素)提高了14.67個像素,故AMFKCF算法的平均CLE均優(yōu)于其他6種跟蹤算法。
距離精度是跟蹤目標(biāo)中心位置誤差小于一定閾值的幀數(shù)和總幀數(shù)的比值。DP 值越大,表示跟蹤結(jié)果越準(zhǔn)確。表2 是各種算法跟蹤圖像序列的DP 結(jié)果,每個圖像序列最優(yōu)的DP 加粗,次優(yōu)斜體標(biāo)注。本文算法(AMFKCF)的平均DP 是90.81%,比基礎(chǔ)算法(KCF)的平均DP(81.06%)提高了9.75個百分點,比MOSSE_CA的平均DP(55.94%)提高了34.87 個百分點,比CN 的平均DP(68.91%)提高了21.9個百分點,比CSK的平均DP(65.94%)提高了24.87個百分點,比DCF_CA的平均DP(87%)提高了3.81 個百分點,比DSST 的平均DP(84.74%)提高了6.07 個百分點,故AMFKCF 算法的平均DP均優(yōu)于其他6種跟蹤算法。
表1 中心位置誤差(CLE) 像素
表2 距離精度(DP) %
每秒運行的幀數(shù)是跟蹤算法每秒處理圖像序列的幀數(shù),是衡量算法跟蹤速度的標(biāo)準(zhǔn)之一。FPS 的值越大,代表算法處理圖像序列速度越快,表3 是各種算法跟蹤圖像序列的FPS,每個圖像序列最優(yōu)的FPS 加粗,次優(yōu)斜體標(biāo)注。雖然本文算法(AMFKCF)的FPS 和KCF 的FPS 相比有所降低,但是速度相比于經(jīng)典算法DSST還是略高,基本滿足實時性。
本文采用OPE 評價標(biāo)準(zhǔn)計算的成功率圖和精度圖來進(jìn)一步分析AMFKCF 算法和其他9 個跟蹤算法的跟蹤性能,OPE是指跟蹤算法按照視頻序列的順序來處理每幀的視頻序列。精確度是指中心位置誤差在給定閾值范圍內(nèi)的幀數(shù)和總幀數(shù)的比值,圖4的精確度曲線圖的閾值范圍為0到50。成功率表示的是給定一個閾值,計算跟蹤目標(biāo)位置和真實目標(biāo)位置的重疊率,重疊率定義為:
其中,rt是跟蹤目標(biāo)框,rs是真實目標(biāo)框,| |?是目標(biāo)框內(nèi)的像素點數(shù)目。
估計圖像序列中目標(biāo)位置和實際目標(biāo)位置的重疊率S 大于給定閾值的圖像序列幀數(shù)與總圖像序列幀數(shù)的比值即是成功率。成功率圖采用曲線下面積(AUC)的值來衡量算法性能,閾值范圍是0到1,AUC代表跟蹤目標(biāo)成功率的大小,AUC 越大,跟蹤目標(biāo)的成功率越大。圖4 的精確度圖中本文算法(AMFKCF)的精確度是0.959,比第二名DSST 算法精確度(0.898)高0.061,比KCF精確度(0.844)高0.115。圖5成功率圖中AMFKCF成功率是0.659,比第二名DCF_CA 算法成功率(0.613)高0.046,比KCF成功率(0.576)高0.083。
圖4 精確度圖
表3 每秒幀數(shù)(FPS)
圖5 成功率圖
為了全面準(zhǔn)確地分析本文算法(AMFKCF)在各種復(fù)雜場景下的性能,圖6是AMFKCF和其他9種跟蹤算法對24個具有不同屬性具有挑戰(zhàn)性的圖像序列進(jìn)行跟蹤所得到的精確度圖和成功率圖。從圖中可以看出,AMFKCF在處理背景雜波、平面旋轉(zhuǎn)、形變、嚴(yán)重遮擋、尺度變換、光照變換等屬性的視頻序列時跟蹤精度和成功率均優(yōu)于其他算法,只有跟蹤具有光照變換屬性的視頻序列,AMFKCF 的跟蹤精度和成功率相比于有些算法性能略差。
為了直觀說明本文算法(AMFKCF)跟蹤的準(zhǔn)確性,圖7 給出了AMFKCF 和9 種主流算法跟蹤視頻序列cardark、david、david3、dog1、faceocc2、girl、jogging1、shaking、treilles、walking1、woman 的結(jié)果。在圖7(a)cardark 截取的部分跟蹤結(jié)果圖中,AMFKCF 的跟蹤框一直準(zhǔn)確地跟蹤著目標(biāo)車輛,并隨著車輛在視頻序列中的尺度大小變換而變換。圖7(b)是david部分視頻跟蹤結(jié)果,在#0569幀中,目標(biāo)尺度變大,AMFKCF算法跟蹤框也隨著變大,在#0696幀中,視頻中人摘掉眼鏡,目標(biāo)尺度變大,AMFKCF算法跟蹤框隨著變大,并準(zhǔn)確跟蹤上。圖7(c)是david3 部分視頻跟蹤結(jié)果,#0032 幀視頻中的人從電線桿后面經(jīng)過,#0092 幀中人經(jīng)過樹,#0200幀人往回來走,再次經(jīng)過樹,#0243幀再次經(jīng)過電線桿,面對嚴(yán)重遮擋,AMFKCF 算法能夠很好地跟蹤上視頻中的行人。圖7(d)是dog1 部分視頻跟蹤結(jié)果,視頻中玩具狗的尺度在#0264 幀、#0550 幀、#0740 幀、#0937 幀都有明顯的尺度變換,AMFKCF 算法的跟蹤框也隨著發(fā)生了較為明顯的尺度變換。圖7(e)是faceocc2 的部分視頻跟蹤結(jié)果,視頻中男士在#0026 幀、#0151 幀、#0263 幀、#0570 幀視頻序列中均有明顯尺度變換,在#0263幀、#0489幀、#0570幀男士的面部有了一些遮擋,但是AMFKCF算法的跟蹤框一直能夠準(zhǔn)確地跟蹤上目標(biāo)。圖7(f)是girl的部分視頻序列,在#0038幀、#0173、#0310幀,視頻序列中的女孩面部有明顯的旋轉(zhuǎn),AMFKCF算法跟蹤框一直能夠跟蹤上,在girl 中的女孩面部有尺度變換,AMFKCF 算法可以很好地處理。圖7(g)是jogging1的部分視頻序列,從#0073幀、#0084幀,視頻序列中的女孩經(jīng)過電線桿的遮擋,AMFKCF 算法的跟蹤框還是能跟蹤上目標(biāo)。圖7(h)是shaking的部分視頻序列,視頻序列中的歌手站在舞臺上,有明顯的光照變換和尺度變換,跟蹤框一直能夠跟蹤上目標(biāo)。圖7(i)是treilles的部分視頻跟蹤序列,圖中的視頻序列中的人物處在很暗的環(huán)境下,并且有些尺度變換,AMFKCF算法仍能跟蹤上目標(biāo)。圖7(j)是walking1的部分視頻序列,#0018 幀、#0089 幀、#0121 幀視頻序列中的人經(jīng)過電線桿,還是能夠在嚴(yán)重遮擋情況下跟蹤上目標(biāo)。圖7(k)是woman的部分視頻序列,在#0125幀、#0205幀、#0323幀中的女士均發(fā)生嚴(yán)重遮擋,到#0392幀AMFKCF能夠準(zhǔn)確跟蹤上目標(biāo)。
圖6 復(fù)雜場景下的精確度、成功率圖
圖7 部分視頻序列跟蹤結(jié)果
本文提出一種結(jié)合卡爾曼濾波的多特征融合的尺度自適應(yīng)相關(guān)濾波算法,算法中有位置和尺度濾波器,在KCF 的框架上得到兩個特征的響應(yīng)值,并進(jìn)行線性加權(quán)融合,融合后的響應(yīng)值來確定目標(biāo)的位置;在此基礎(chǔ)上,引入了尺度濾波器來估計目標(biāo)的尺度,以此來增強尺度的自適應(yīng)能力;但是在面臨嚴(yán)重遮擋問題時還會出現(xiàn)跟蹤目標(biāo)丟失的現(xiàn)象,所以本文再引入卡爾曼濾波,對跟蹤目標(biāo)的位置進(jìn)行修正來保證跟蹤結(jié)果的精確性。為了驗證本文算法(AMFKCF)算法的綜合性能,AMFKCF 和9 種經(jīng)典算法同時處理具有不同屬性的圖像序列,結(jié)果表明,AMFKCF算法處理遮擋、尺度變換、背景雜波、形變、平面旋轉(zhuǎn)等具有挑戰(zhàn)性的場景時,在保證速度的同時跟蹤精確度也表現(xiàn)良好。
AMFKCF 算法在處理大多數(shù)具有挑戰(zhàn)性場景的視頻序列時都能表現(xiàn)出良好的性能,而且基本滿足實時性,但是在跟蹤具有運動模糊屬性的視頻序列時跟蹤性能稍弱,因此未來工作將基于AMFKCF 算法在處理運動模糊方面做出改進(jìn)。