肖振久,李 鑫
遼寧工程技術(shù)大學(xué) 軟件學(xué)院,遼寧 葫蘆島 125105
目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)研究領(lǐng)域的一個(gè)重要課題,有著重要的研究意義,一般指對(duì)一段視頻圖像序列中預(yù)先選擇的目標(biāo)對(duì)象進(jìn)行連續(xù)的跟蹤定位,以獲得目標(biāo)尺度和位置信息的研究方向,在視頻監(jiān)控、人機(jī)交互等方面有著重要應(yīng)用[1]。隨著研究的發(fā)展,基于相關(guān)濾波的跟蹤方法和基于深度學(xué)習(xí)[2]的跟蹤方法都在跟蹤領(lǐng)域取得了重大成績(jī)[3]。雖然主流的目標(biāo)跟蹤算法已經(jīng)能在一些數(shù)據(jù)集上取得較好的跟蹤效果,但在一些特殊情況下還面臨如目標(biāo)遮擋、光照變換[4]等很多困難。如何解決這些挑戰(zhàn),是目標(biāo)跟蹤領(lǐng)域亟待解決的問(wèn)題。
目標(biāo)跟蹤算法在建模上可分為生成式方法[5]和判別式方法[6],生成式跟蹤方法主要通過(guò)建立模型后直接與跟蹤目標(biāo)進(jìn)行匹配,經(jīng)典的方法有均值漂移算法[7](Mean-Shift),Mean-Shift算法實(shí)現(xiàn)簡(jiǎn)單,速度較快,但是沒(méi)有考慮背景信息,在面對(duì)背景復(fù)雜、快速運(yùn)動(dòng)、尺度變換等問(wèn)題時(shí)跟蹤效果較差。判別式跟蹤方法將目標(biāo)跟蹤問(wèn)題轉(zhuǎn)化為目標(biāo)與背景信息的二分類問(wèn)題,區(qū)分目標(biāo)與背景以實(shí)現(xiàn)目標(biāo)的跟蹤。經(jīng)典的判別式算法有Struck[8]、TLD[9]等,盡管判別式算法具有較快的跟蹤速度,依然不能滿足目標(biāo)實(shí)時(shí)性的要求。尋找一種效率與精準(zhǔn)度更高的算法依然是該領(lǐng)域研究的重要方向。最小平方和誤差濾波器[10(]MOSSE)首次將相關(guān)濾波方法用于目標(biāo)跟蹤領(lǐng)域,通過(guò)卷積(CNN)的方法,快速將目標(biāo)與背景信息的相似程度進(jìn)行對(duì)比,對(duì)目標(biāo)進(jìn)行采樣與學(xué)習(xí)。核循環(huán)結(jié)構(gòu)跟蹤方法[11(]CSK)在MOSSE的基礎(chǔ)上引入了循環(huán)矩陣和核的概念,通過(guò)密集采樣大幅擴(kuò)充了訓(xùn)練樣本的容量,從而提升了跟蹤精度,同時(shí)由于采用了核技巧,導(dǎo)致訓(xùn)練時(shí)間并沒(méi)有因?yàn)橛?xùn)練樣本的增加而延長(zhǎng),解決了MOSSE中采用稀疏矩陣造成的樣本冗余問(wèn)題。核相關(guān)濾波算法[12(]KCF)引入高斯核函數(shù),利用訓(xùn)練樣本的周期性假設(shè)來(lái)對(duì)目標(biāo)鄰域中的分類器進(jìn)行有效地學(xué)習(xí),并在CSK的基礎(chǔ)上擴(kuò)展了多通道梯度特征[13],提高了濾波器的跟蹤效果。背景感知相關(guān)濾波算法[14(]BACF)在傳統(tǒng)相關(guān)濾波的跟蹤方法上增加了樣本數(shù)量,同時(shí)通過(guò)裁剪操作提高了樣本質(zhì)量,解決了相關(guān)濾波跟蹤中目標(biāo)背景不能隨時(shí)間建模導(dǎo)致的次優(yōu)性問(wèn)題,并在實(shí)現(xiàn)過(guò)程中對(duì)求解過(guò)程進(jìn)行了優(yōu)化,較大地提高了跟蹤器的跟蹤效果。然而,傳統(tǒng)的相關(guān)濾波器在對(duì)尺度預(yù)測(cè)上依然存在較大的缺陷,文獻(xiàn)[15]提出了快速尺度估計(jì)的增強(qiáng)型多核相關(guān)濾波算法,在KCF的基礎(chǔ)上引入一種快速判別式尺度估計(jì)的目標(biāo)跟蹤方法。文獻(xiàn)[16]針對(duì)尺度突變問(wèn)題,提出了一種先檢測(cè)后跟蹤的自適應(yīng)尺度突變的跟蹤算法。在尺度方面做了改進(jìn),提出了尺度自適應(yīng)核相關(guān)濾波目標(biāo)跟蹤。文獻(xiàn)[17]通過(guò)尺度池在線學(xué)習(xí)判別式尺度濾波器,在目標(biāo)位置估計(jì)最佳目標(biāo)尺寸,提出了自適應(yīng)尺度的上下文感知相關(guān)濾波跟蹤算法。
這些方法著重于算法的精確度,對(duì)濾波器的訓(xùn)練速度并沒(méi)有大幅的提升,為了有效解決濾波器的訓(xùn)練跟蹤速度,在保證跟蹤效果的同時(shí)盡可能提高跟蹤效率,本文在傳統(tǒng)跟蹤方法中引入密集峰值聚類算法[18(]DPC),并將其應(yīng)用于BACF跟蹤框架。(1)對(duì)目標(biāo)區(qū)域與背景區(qū)域分別進(jìn)行聚類。(2)使用單尺度傳統(tǒng)目標(biāo)跟蹤方法對(duì)位置進(jìn)行粗定位。(3)在定位過(guò)程中,取消了圖像金字塔的跟蹤訓(xùn)練方法,通過(guò)DPC方法進(jìn)行尺度回歸,最終得到目標(biāo)的尺度與位置。(4)對(duì)目標(biāo)函數(shù)問(wèn)題進(jìn)行優(yōu)化求解,通過(guò)構(gòu)造輔助因子,利用增廣拉格朗日乘子法和ADMM方法進(jìn)行求解,在數(shù)據(jù)集OTB2013、OTB2015和DTB70上評(píng)估本文算法,實(shí)驗(yàn)結(jié)果表明,與當(dāng)前主流算法相比,在保證準(zhǔn)確率的情況下,本文算法的跟蹤速度能夠達(dá)到47.09幀/s。
傳統(tǒng)相關(guān)濾波器在當(dāng)前幀構(gòu)造一個(gè)濾波器模板,以求得下一幀圖像中目標(biāo)的響應(yīng)圖,相應(yīng)圖峰值為目標(biāo)的中心位置。核檢測(cè)跟蹤的循環(huán)結(jié)構(gòu)目標(biāo)跟蹤算法(CSK),采取嶺回歸的方法對(duì)問(wèn)題進(jìn)行求解,通過(guò)密集采樣擴(kuò)大了樣本容量,提高了跟蹤精度與跟蹤效率,其目標(biāo)函數(shù)如下:
式中,m是訓(xùn)練樣本數(shù)量,h是濾波器權(quán)重矩陣,是正則項(xiàng),防止濾波器模板出現(xiàn)過(guò)擬合現(xiàn)象,L(y,f(x))=(y-f(x) )2是損失函數(shù),f(x)是線性分類器,記為f(x)=w,x+b,λ是正則項(xiàng)系數(shù)。
核相關(guān)濾波算法(KCF)通過(guò)訓(xùn)練樣本的周期性假設(shè)來(lái)對(duì)目標(biāo)鄰域中的分類器進(jìn)行高效學(xué)習(xí)。并在CSK的基礎(chǔ)上增加了HOG特征以提高跟蹤效果,其目標(biāo)函數(shù)如下:
式中,h為濾波器權(quán)重矩陣,yi為真實(shí)響應(yīng)矩陣,f(xi)為濾波器響應(yīng)矩陣,為正則項(xiàng),訓(xùn)練的目標(biāo)是找到一個(gè)函數(shù)f(z)=wTz,使其能夠最小化樣本及其回歸目標(biāo)yi的平方誤差,λ是控制過(guò)擬合的正則化參數(shù)。
背景感知相關(guān)濾波算法(BACF)使用由真實(shí)位移產(chǎn)生的負(fù)樣本,擴(kuò)充了樣本容量,并通過(guò)ADMM方法對(duì)濾波器模型進(jìn)行求解,極大地降低了求解過(guò)程的時(shí)間復(fù)雜度,其目標(biāo)函數(shù)如下:
其中,P是一個(gè)D×T的二進(jìn)制矩陣,它剪裁信號(hào)xk的中間元素。
本文提出一種基于密度峰值聚類的全尺度相關(guān)濾波跟蹤方法,通過(guò)聚類模型代替圖像金字塔進(jìn)行尺度預(yù)測(cè),使用單尺度相關(guān)濾波器對(duì)目標(biāo)進(jìn)行粗定位,再根據(jù)聚類模型對(duì)目標(biāo)中的樣本點(diǎn)進(jìn)行預(yù)測(cè),以得到尺度置信度最高的預(yù)測(cè)框。
如圖1(a),黃色框區(qū)域內(nèi)側(cè)為前景區(qū)域,本算法在前景內(nèi)進(jìn)行間隔隨機(jī)前景采樣,得到目標(biāo)的前景特征集合,如圖1(b)藍(lán)色框與黃色框之間的區(qū)域?yàn)镻adding區(qū)域,在Padding區(qū)域內(nèi)對(duì)背景進(jìn)行間隔隨機(jī)采樣。采樣后對(duì)前景區(qū)域與背景區(qū)域分別進(jìn)行聚類運(yùn)算。為了減少前景樣本空間中的背景點(diǎn)對(duì)前景聚類產(chǎn)生干擾影響,在聚類過(guò)程中,需要從前景信息點(diǎn)中剔除與背景特征近似的點(diǎn),以此對(duì)前景點(diǎn)的聚類進(jìn)行更合理的劃分,從而得到更準(zhǔn)確的前景點(diǎn)聚類中心。
圖1 前背景采樣示意圖Fig.1 Schematic diagram of front background sampling
2.1.1 密度峰值聚類方法
由于數(shù)字圖像的特征矩陣滿足在聚類時(shí),簇中心的局部密度大于圍繞它的鄰距的局部密度,且不同簇中心之間的距離相對(duì)較遠(yuǎn)。因此本文算法通過(guò)引入局部密度來(lái)對(duì)前景點(diǎn)和背景點(diǎn)進(jìn)行聚類分析。在聚類過(guò)程中,通過(guò)局部密度的定義來(lái)計(jì)算簇中心,計(jì)算方法如下:
式中,ρi是樣本點(diǎn)xi的局部密度,dij是特征維度為K的樣本點(diǎn)xi與xj的閔氏距離,dc為樣本點(diǎn)的截?cái)嗑嚯x,χ(·)為邏輯判斷函數(shù),同時(shí),可以得到距離δi的表達(dá)式:
之后可以根據(jù)上述定義通過(guò)構(gòu)造δi和ρi的決策圖,對(duì)數(shù)字圖像的前景點(diǎn)和背景點(diǎn)進(jìn)行快速聚類。
2.1.2 前背景依存度κ
在不同視頻序列中,被跟蹤的目標(biāo)區(qū)域內(nèi),有可能因?yàn)檎趽趸騽?dòng)態(tài)模糊出現(xiàn)與背景特征相似的像素點(diǎn),如圖2,對(duì)于不同位置的點(diǎn),不僅從聚類方法上對(duì)點(diǎn)的前背景歸屬屬性進(jìn)行判斷,也需要從點(diǎn)的鄰域環(huán)境對(duì)點(diǎn)的歸屬進(jìn)行分類。
圖2 前背景依存度計(jì)算示意圖Fig.2 Schematic diagram of front background dependency calculation
在這種情況下,本文引入前背景依存度的概念來(lái)對(duì)目標(biāo)區(qū)域中相似于背景點(diǎn)的前景點(diǎn)來(lái)進(jìn)行分類,點(diǎn)p(x,y)的前背景依存度表示如下:
式中,κ(x,y)為點(diǎn)p(x,y)的前背景依存度,Ψ(d,x,y)表示以p(x,y)為中心點(diǎn)且寬度為d的正方形檢測(cè)區(qū)域內(nèi)前景點(diǎn)的數(shù)量,d為待檢測(cè)點(diǎn)的鄰域?qū)挾取?/p>
2.1.3 自由尺度
在目標(biāo)跟蹤的數(shù)據(jù)集中,部分視頻序列會(huì)出現(xiàn)前景背景特征相似的問(wèn)題,為避免在前景和背景相似時(shí),跟蹤目標(biāo)出現(xiàn)劇烈的尺度變化,本文通過(guò)引入自由尺度π和尺度置信度?來(lái)提高對(duì)前背景特征相似時(shí)尺度預(yù)測(cè)的精確度,提高尺度預(yù)測(cè)的魯棒性。
在對(duì)目標(biāo)尺度進(jìn)行預(yù)測(cè)搜索時(shí),本文算法僅在Boxout和Boxin的范圍之間對(duì)目標(biāo)進(jìn)行尺度預(yù)測(cè),這樣能夠避免在前背景顏色相似時(shí),或出現(xiàn)光照變換時(shí),尺度進(jìn)行波動(dòng)的情況。
如圖3,上一幀中目標(biāo)的尺度為Boxtraget,以當(dāng)前幀目標(biāo)響應(yīng)值為最大點(diǎn),在Boxout和Boxin的范圍之間對(duì)目標(biāo)進(jìn)行尺度預(yù)測(cè),其中Boxout和Boxin的中心位置為當(dāng)前幀目標(biāo)響應(yīng)值最大點(diǎn),搜索區(qū)域的尺寸計(jì)算方法為:
圖3 自由尺度示意圖Fig.3 Schematic diagram of auto-scale
式中,width(·)為box區(qū)域的寬度,Scale(·)為box區(qū)域的縮放因子,length(·)為box區(qū)域的長(zhǎng)度。
2.1.4 尺度置信度?
自由尺度只能從尺度的最大變換范圍給出一個(gè)限制,但在面對(duì)相似背景或邊緣分割模糊的情況下就難以預(yù)測(cè)目標(biāo)的真實(shí)尺度。為解決這個(gè)問(wèn)題,本文引入尺度置信度的概念,來(lái)對(duì)一個(gè)目標(biāo)的尺度進(jìn)行更精準(zhǔn)的預(yù)測(cè),尺度置信度?表示如下:
式中,?為當(dāng)前預(yù)測(cè)框的尺度置信度,Areaf為預(yù)測(cè)區(qū)域的前景點(diǎn)面積,Areab為預(yù)測(cè)區(qū)域的整體面積,Δd為上一幀中目標(biāo)區(qū)域與當(dāng)前幀中預(yù)測(cè)區(qū)域的差值,a為置信度系數(shù)。如圖4所示,在預(yù)測(cè)過(guò)程中,本方法通過(guò)尋找尺度置信度最大的預(yù)測(cè)框,來(lái)對(duì)目標(biāo)區(qū)域進(jìn)行定位搜索。
圖4 尺度置信度計(jì)算示意圖Fig.4 Schematic diagram of scale confidence calculation
如圖4,兩幀之間進(jìn)行尺度預(yù)測(cè)的過(guò)程中,虛線框?yàn)樯弦粠械哪繕?biāo)區(qū)域,實(shí)線框?yàn)橄乱粠哪繕?biāo)區(qū)域。在繼續(xù)減小目標(biāo)長(zhǎng)度時(shí),由于目標(biāo)是一個(gè)不規(guī)則圖形而非矩形,雖然區(qū)域中前景面積與區(qū)域面積的比值會(huì)繼續(xù)增大,但目標(biāo)置信度?反而會(huì)由于面積的減小而縮小,從而使目標(biāo)跟蹤的尺度預(yù)測(cè)更為精準(zhǔn)。
2.1.5 間隔采樣
考慮到聚類方法的聚類速度較慢,在同一個(gè)視頻序列中顏色的分布情況近似,在一片搜索區(qū)域內(nèi)做等距離的區(qū)域分割,每個(gè)區(qū)域的顏色分布將會(huì)近似,因此,在聚類過(guò)程中本文采取間隔采樣的方法,分別對(duì)前景和背景的樣本點(diǎn)進(jìn)行采樣。在采樣過(guò)程中,目標(biāo)的尺寸為W×H,搜索區(qū)域的縮放因子為β,采樣間隔為ψ,如圖5(a)綠色區(qū)域?yàn)榍熬安蓸訁^(qū)域,如圖5(b)綠色區(qū)域?yàn)楸尘安蓸訁^(qū)域。
圖5 間隔采樣示意圖Fig.5 Schematic diagram of interval sampling
2.2.1 模型目標(biāo)函數(shù)
為了提高在目標(biāo)跟蹤過(guò)程中粗定位的精度,增強(qiáng)濾波器跟蹤性能,本文將聚類后的距離δi用于指導(dǎo)濾波器的擬合程度,由此,模型的目標(biāo)函數(shù)如下:
其中,T是樣本x的尺寸大小或者像素點(diǎn)的數(shù)量,P是一個(gè)D×T的二維矩陣,使樣本x的尺寸從T變?yōu)镈(D?T),Δτj為循環(huán)矩陣的第j個(gè)樣本。ω為采樣區(qū)域中全部樣本中心距離δi的最大值,用來(lái)指導(dǎo)濾波器的擬合程度。
2.2.2 密度峰值聚類的全尺度跟蹤模型求解
為優(yōu)化求解速度,根據(jù)循環(huán)樣本的頻域能夠快速求解的特性,使用帕塞瓦爾定理將表達(dá)式(9)變換到頻域,并引入增廣拉格朗日乘子法(ALM)進(jìn)行求解,公式如下:
得到式(10)后,對(duì)g和f進(jìn)行分別優(yōu)化求解,可以簡(jiǎn)化為兩個(gè)子問(wèn)題如下:
由傅里葉變換解得:
將上式對(duì)g(t)求偏導(dǎo)的值為0,得到:
上式中求逆運(yùn)算增加了計(jì)算的復(fù)雜度,為減少計(jì)算時(shí)間,引入Shernan-Morrison[19]求解逆矩陣,降低運(yùn)算復(fù)雜度,可以得到如下式子:
2.2.3 拉格朗日因子更新
最后,拉格朗日乘子向量ξ更新方法為:
2.2.4密度峰值聚類的全尺度跟蹤模型跟蹤
為了應(yīng)對(duì)目標(biāo)跟蹤過(guò)程中,跟蹤目標(biāo)可能遇到的形變、光照和旋轉(zhuǎn)等影響,本文采用自適應(yīng)策略來(lái)提高跟蹤器的跟蹤魯棒性,幀h處的在線自適應(yīng)公式如下:
2.2.5 尺度預(yù)測(cè)
跟蹤過(guò)程中,本文提供的方法將先通過(guò)濾波器對(duì)目標(biāo)進(jìn)行粗定位,之后結(jié)合上一幀目標(biāo)大小、背景樣本空間和前景樣本空間對(duì)當(dāng)前幀的目標(biāo)進(jìn)行尺度預(yù)測(cè)。預(yù)測(cè)時(shí)將會(huì)以尺度置信度?最高的區(qū)域的尺度標(biāo)記為目標(biāo)的最終尺度。
由于背景感知相關(guān)濾波(BACF)跟蹤算法具有較高的準(zhǔn)確性和魯棒性,因此本文以背景感知相關(guān)濾波算法作為主體框架,在跟蹤過(guò)程中通過(guò)基于密度峰值聚類的全尺寸預(yù)測(cè)方法進(jìn)行尺度預(yù)測(cè),并引入前背景依存度、自由尺度和尺度置信度來(lái)對(duì)目標(biāo)在當(dāng)前幀的尺寸進(jìn)行更加精準(zhǔn)的定位,以提高在跟蹤過(guò)程中算法的準(zhǔn)確率和成功率。如圖6基于度峰值 聚類的全尺度相關(guān)濾波跟蹤算法模型的算法步驟如下:
圖6 跟蹤器跟蹤階段流程圖Fig.6 Tracker tracking phase flow chart
步驟1初始化階段。(1)得到初始幀的圖像進(jìn)行間隔采樣。(2)根據(jù)目標(biāo)區(qū)域計(jì)算出目標(biāo)區(qū)域鄰近背景的尺寸,對(duì)背景區(qū)域進(jìn)行間隔采樣。(3)分別對(duì)目標(biāo)區(qū)域與背景區(qū)域進(jìn)行密度峰值聚類,剔除目標(biāo)區(qū)域中與背景近似的樣本點(diǎn)。(4)由分離度較高的樣本點(diǎn)構(gòu)成樣本空間。(5)提取前景外觀特征,通過(guò)訓(xùn)練得到濾波器模型。
步驟2目標(biāo)跟蹤階段。(1)根據(jù)上一幀濾波器,在當(dāng)前幀的搜索區(qū)域進(jìn)行相關(guān)運(yùn)算,得到響應(yīng)圖。(2)該響應(yīng)圖為目標(biāo)跟蹤的粗定位中心,通過(guò)前景樣本中心計(jì)算臨近點(diǎn)的前背景依存度。(3)根據(jù)前背景依存度判斷當(dāng)前樣本點(diǎn)屬于前景樣本點(diǎn)還是背景樣本點(diǎn)。(4)循環(huán)計(jì)算當(dāng)前尺度的尺度置信度,得到尺度置信度最高的區(qū)域,為被跟蹤目標(biāo)的預(yù)測(cè)位置。(5)該區(qū)域中心為目標(biāo)預(yù)測(cè)中心,該區(qū)域的尺寸即為目標(biāo)的預(yù)測(cè)尺寸。
步驟3模型更新階段。(1)對(duì)目標(biāo)區(qū)域進(jìn)行裁剪,根據(jù)目標(biāo)區(qū)域的尺寸計(jì)算出目標(biāo)區(qū)域鄰近背景的尺寸。(2)對(duì)目標(biāo)區(qū)域和鄰近背景分別進(jìn)行間隔區(qū)域采樣。(3)對(duì)目標(biāo)區(qū)域和鄰近背景聚類,更新前景和背景的樣本空間。(4)提取前景外觀特征,訓(xùn)練得到前景濾波器模型。
為了驗(yàn)證改進(jìn)后目標(biāo)跟蹤方法的有效性,本章進(jìn)行性能測(cè)試。這一部分中,將本文算法與其他目標(biāo)跟蹤方法進(jìn)行對(duì)比,在OTB2013、OTB2015、DTB70這三個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)分析。其中數(shù)據(jù)集中包含了光照變化、尺度放縮變化、遮擋等11種不同類別的跟蹤場(chǎng)景。采用一次通過(guò)評(píng)估方法來(lái)計(jì)算本文方法的成功率和準(zhǔn)確率。同時(shí),由于本文方法著重考慮通過(guò)對(duì)搜索區(qū)域內(nèi)樣本點(diǎn)的分類來(lái)進(jìn)行目標(biāo)尺度的預(yù)測(cè),避免圖像金字塔對(duì)搜索方法速度的影響,因此在跟蹤過(guò)程中算法的運(yùn)行速度也在本次實(shí)驗(yàn)的討論范圍之內(nèi)。
本文實(shí)驗(yàn)是在處理器為Intel Core i9-9900K,操作系統(tǒng)為Ubuntu,編程軟件為Matlab2018b。
本文算法有5個(gè)參數(shù):前背景依存度的鄰域?qū)挾萪=5,自由尺度scale-min=0.8,scale-max=1.2,置信系數(shù)α=0.5,采樣率為0.2,HOG單元大小為4×4,HOG特征通道數(shù)為31,迭代求解次數(shù)為2,其余參數(shù)與BACF的默認(rèn)配置相同。
在實(shí)驗(yàn)中,本文選取了KCF、SRDCF[20]、Staple[21]、BACF、ASRCF[22]、LDES[23]、AutoTrack[24]、CSK、DSST[25]共9種同類型的算法進(jìn)行對(duì)比實(shí)驗(yàn)。圖7為10種算法在OTB2013、OTB2015以及DTB70三種數(shù)據(jù)集上面的成功率曲線和精確率曲線。在成功率上,本文算法分別超越BACF 6.80、0.70、0.10個(gè)百分點(diǎn)。在精確率上,本文算法在DTB70和OTB2013數(shù)據(jù)集上分別超越BACF 0.90和0.70個(gè)百分點(diǎn)。雖然在部分?jǐn)?shù)據(jù)集上本文算法的成功率或精確率并未有超過(guò),但在跟蹤速度上,本文算法較BACF有一個(gè)較大的提升。通過(guò)聚類DPC對(duì)尺度進(jìn)行預(yù)測(cè),能夠從一定程度上改善跟蹤器的跟蹤速度。
圖7 10種算法在不同數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)Fig.7 Comparative experiments of 10 algorithms on different data sets
從表1中可以看出,本文算法的跟蹤速度相較于BACF有所提高,對(duì)比于傳統(tǒng)跟蹤算法,該算法在一定程度上減少了傳統(tǒng)圖像金字塔的跟蹤訓(xùn)練方法對(duì)算法速度的影響,在保證準(zhǔn)確率和成功率的基礎(chǔ)上提升速度。
表1 10種算法的平均跟蹤速度Table 1 Average tracking speed of 10 algorithms 單位:幀/s
為了能更直觀地對(duì)算法進(jìn)行定性分析,本文在OTB2015上的100個(gè)視頻序列進(jìn)行實(shí)驗(yàn)并選取了5組具有代表性的視頻序列進(jìn)行結(jié)果展示,圖8為10種不同跟蹤算法下視頻序列的結(jié)果對(duì)比。這5組視頻序列包括目標(biāo)遮擋、尺度變換等11種指標(biāo),本文選取其中5種指標(biāo),具體分析如下:
圖8 各種算法在部分序列上的跟蹤結(jié)果對(duì)比Fig.8 Comparison of tracking results of various algorithms on partial sequences
(1)目標(biāo)遮擋(OCC)是目標(biāo)跟蹤中最常見(jiàn)的挑戰(zhàn)之一。在David、Tiger2和Jogging的視頻序列中均發(fā)生了目標(biāo)遮擋現(xiàn)象,在Jogging的第54和71幀中,本文方法、LDES、Auto track、SRDCF方法跟蹤到了目標(biāo),其他算法的跟蹤目標(biāo)漂移到了遮擋物上面,導(dǎo)致跟蹤失敗。
(2)尺度變換(SV)是目標(biāo)在運(yùn)動(dòng)過(guò)程中的由遠(yuǎn)及近或由近及遠(yuǎn)而產(chǎn)生的尺度大小變化的現(xiàn)象。在David的第411和第460幀中均發(fā)生了明顯的尺度大小變化,其中KCF和CSK沒(méi)有精確地預(yù)測(cè)到目標(biāo)框的大小導(dǎo)致跟蹤發(fā)生了偏移,本文算法通過(guò)背景感知的方法在目標(biāo)框的預(yù)測(cè)上展現(xiàn)了很好的效果。
(3)平面內(nèi)旋轉(zhuǎn)(IPR)是指跟蹤目標(biāo)發(fā)生了旋轉(zhuǎn)等現(xiàn)象。在Singer2、Trellis、David、Tiger2的視頻序列中均發(fā)生了平面內(nèi)旋轉(zhuǎn),其中Trellis的第408幀中,旋轉(zhuǎn)改變了跟蹤目標(biāo)的特征,使提取目標(biāo)特征的難度增加,其中CSK方法跟蹤失敗,KCF跟蹤發(fā)生了偏移。在Tiger2的第111幀中發(fā)生了快速運(yùn)動(dòng)加上平面內(nèi)的旋轉(zhuǎn),DSST、KCF、CSK方法均跟蹤失敗。本文方法對(duì)前景和背景分別提取特征并聚類,能在目標(biāo)發(fā)生旋轉(zhuǎn)時(shí)跟蹤結(jié)果仍然準(zhǔn)確。
(4)目標(biāo)形變(DEF)指的是目標(biāo)表觀的不斷變化。在Singer2中,第336幀跟蹤目標(biāo)發(fā)生了形變,SRDCF、CSK和ARCF算法由于目標(biāo)的形變導(dǎo)致在跟蹤過(guò)程中發(fā)生偏移最終跟蹤失敗,本文算法能在目標(biāo)形變過(guò)程中很好地適應(yīng)目標(biāo)表觀變化并及時(shí)進(jìn)行模型更新。
(5)光照變化(IV)指的是目標(biāo)區(qū)域的光照發(fā)生顯著變化。在Trellis的第158和321幀中發(fā)生了明顯的明暗對(duì)比,CSK、KCF在光照的影響下出現(xiàn)了不同程度的跟蹤漂移,本文算法在面對(duì)光照影響時(shí)仍然能夠精準(zhǔn)跟蹤到目標(biāo)。
表2為本文算法和其他9種對(duì)比算法在OTB2013、OTB2015、DTB70上的3個(gè)公開(kāi)數(shù)據(jù)集上的實(shí)驗(yàn)數(shù)據(jù)匯總。本文算法在OTB2013數(shù)據(jù)集的51個(gè)視頻序列上的成功率僅次于最高的LDES算法,精確率也與最高的LDES算法相差0.08。在OTB2015數(shù)據(jù)集的100個(gè)視頻序列上,本文算法的成功率優(yōu)于其他算法,OTB2015的精確率較最高的BACF稍差。
表2 10種跟蹤算法屬性Table 2 Attributes of 10 tracking algorithms
在表3和表4中,本文詳細(xì)地列出了10種跟蹤算法在OTB2015數(shù)據(jù)集上各種屬性上的成功率和準(zhǔn)確率得分。本文方法在光照變化(IV)的視頻序列上的成功率和準(zhǔn)確率表現(xiàn)效果一般,但在平面內(nèi)旋轉(zhuǎn)(IPR)和平面外旋轉(zhuǎn)(OPR)上優(yōu)于其他同屬性算法,說(shuō)明本文算法能很好地應(yīng)對(duì)跟蹤目標(biāo)的旋轉(zhuǎn)。由于本文算法引入了前景依存度概念,使跟蹤算法在尺度變換(SV)和低分辨率(LR)上也展現(xiàn)了很好的跟蹤效果。
表3 10種跟蹤算法在OTB2015上精確率得分Table 3 Accuracy scores of 10 tracking algorithms on OTB2015
表4 10種跟蹤算法在OTB2015上成功率得分Table 4 Success rate scores of 10 tracking algorithms on OTB2015
本文提出一種基于密度峰值聚類的全尺度相關(guān)濾波跟蹤方法,通過(guò)聚類模型代替圖像金字塔進(jìn)行尺度預(yù)測(cè),先使用單尺度相關(guān)濾波器對(duì)目標(biāo)進(jìn)行粗定位,再根據(jù)聚類模型對(duì)目標(biāo)中的樣本點(diǎn)進(jìn)行前景背景預(yù)測(cè),以得到尺度置信度最高的預(yù)測(cè)框。在OTB2013、OTB2015和DTB70共三個(gè)數(shù)據(jù)集上進(jìn)行的大量對(duì)比實(shí)驗(yàn),本文算法在BACF的基礎(chǔ)上提高了跟蹤速度,并且相較于BACF,本文方法的平均成功率和平均精確率有較大提升。下一步可以考慮引入深度特征以提高跟蹤精度與成功率,并且可以考慮結(jié)合卡爾曼濾波方法為搜索區(qū)域計(jì)算空間正則項(xiàng),實(shí)現(xiàn)更好的跟蹤效果與魯棒性。