熊丹 盧惠民 肖軍浩 鄭志強(qiáng)

目標(biāo)跟蹤作為計(jì)算機(jī)視覺領(lǐng)域的一個(gè)核心的并且極具挑戰(zhàn)性的研究課題,在多年之前科研人員就已經(jīng)開始進(jìn)行深入研究.大量關(guān)于目標(biāo)跟蹤的參考文獻(xiàn)和算法已經(jīng)發(fā)表和提出,具體的這些文獻(xiàn)和算法可以參考目標(biāo)跟蹤的一些綜述[1?5]或視覺跟蹤競賽[6?8].根據(jù)視覺外觀的統(tǒng)計(jì)模型不同,可將現(xiàn)有的跟蹤方法分為基于生成模型的目標(biāo)跟蹤方法和基于判別模型的目標(biāo)跟蹤方法.

基于生成模型的跟蹤方法一般首先構(gòu)建目標(biāo)的外觀模型,然后通過擬合該模型在圖像中找到最相似的區(qū)域作為目標(biāo)區(qū)域.文獻(xiàn)[9]提出了能夠同時(shí)編碼目標(biāo)的顏色和顏色空間分布的空間–顏色混合高斯外觀模型.文獻(xiàn)[10]提出了一種基于向量子空間的統(tǒng)計(jì)模型對剛性和鉸接式的跟蹤目標(biāo)進(jìn)行建模.文獻(xiàn)[11]提出利用增量式的核主成分分析方法為跟蹤目標(biāo)構(gòu)建具有穩(wěn)定更新速度和恒定內(nèi)存需求的非線性子空間模型.基于生成模型的跟蹤方法普遍對背景信息缺乏考慮,跟蹤子在背景凌亂的環(huán)境中效果不是很理想.基于判別模型的跟蹤方法將目標(biāo)跟蹤問題考慮為一個(gè)二分類問題,通過構(gòu)建分類器來區(qū)分跟蹤目標(biāo)和背景.與僅利用目標(biāo)外觀信息的生成模型不同,基于判別模型的跟蹤子對目標(biāo)和目標(biāo)周圍環(huán)境都進(jìn)行了建模.Grabner等利用在線Boosting算法訓(xùn)練級聯(lián)分類器來區(qū)分目標(biāo)和背景[12].文獻(xiàn)[13]利用壓縮特征對目標(biāo)進(jìn)行描述,并通過樸素貝葉斯分類器區(qū)分跟蹤的目標(biāo)和背景.Kalal等將跟蹤、檢測和學(xué)習(xí)結(jié)合起來,檢測子能夠恢復(fù)跟蹤失敗的跟蹤子,而跟蹤子的跟蹤結(jié)果能夠?yàn)闄z測子提供具有結(jié)構(gòu)約束的訓(xùn)練樣本,提高了檢測子的魯棒性和區(qū)分能力[14].

近年來,相關(guān)濾波方法在目標(biāo)檢測和目標(biāo)跟蹤中得到廣泛應(yīng)用,顯示出較好的檢測和跟蹤性能.基于相關(guān)濾波的目標(biāo)跟蹤方法采用判別式統(tǒng)計(jì)模型為目標(biāo)的視覺外觀進(jìn)行建模,該方法將兩個(gè)圖像塊之間的卷積操作轉(zhuǎn)換為傅里葉域的點(diǎn)乘操作,計(jì)算簡單高效.文獻(xiàn)[15]提出了一種誤差最小平方和相關(guān)濾波方法(Minimum output sum of squared error filter,MOSSE),在目標(biāo)跟蹤中得到了成功應(yīng)用.MOSSE跟蹤算法對跟蹤過程中的光照、局部非剛性扭曲等變化具有較好的魯棒性,并且計(jì)算非常簡單,跟蹤幀速率甚至能夠達(dá)到每秒幾百幀,但是MOSSE跟蹤子并沒有考慮目標(biāo)的尺度和旋轉(zhuǎn)變化.文獻(xiàn)[16]提出了一種核相關(guān)濾波方法(Kernelized correlation filter,KCF),并應(yīng)用于目標(biāo)跟蹤中,取得了較好的跟蹤效果,但是KCF同樣沒有考慮目標(biāo)的尺度和旋轉(zhuǎn)變化問題.為了解決跟蹤過程中的尺度變化問題,文獻(xiàn)[17]利用學(xué)習(xí)的濾波器在原始圖像和該圖像雙線性插值縮放后的圖像上檢測目標(biāo),通過響應(yīng)最大的平移位置和響應(yīng)所在的尺度估計(jì)出目標(biāo)的位置和尺度.文獻(xiàn)[18]使用基于HOG特征的自適應(yīng)多尺度相關(guān)濾波器(Discriminative scale space tracker,DSST)估計(jì)目標(biāo)的尺度,進(jìn)一步考慮到基于相關(guān)濾波的目標(biāo)跟蹤算法一般都是利用周期性假設(shè)產(chǎn)生具有循環(huán)結(jié)構(gòu)的訓(xùn)練樣本,這樣不可避免在樣本中引入了邊界效應(yīng),為此在學(xué)習(xí)濾波器時(shí)加入了空間正則項(xiàng),能夠得到區(qū)分能力更強(qiáng)的濾波器[19].基于相關(guān)濾波跟蹤子對運(yùn)動模糊和光照變化具有較好的魯棒性,但是對目標(biāo)形變比較敏感,而基于顏色統(tǒng)計(jì)的目標(biāo)外觀模型受到目標(biāo)的形變影響較小,Bertinetto等將兩者結(jié)合起來提高了跟蹤子的性能[20].文獻(xiàn)[21]利用具有循環(huán)結(jié)構(gòu)的訓(xùn)練樣本訓(xùn)練支持向量機(jī),得到具有更強(qiáng)區(qū)分能力的支持相關(guān)濾波器,在目標(biāo)跟蹤中得到了成功的應(yīng)用.文獻(xiàn)[22]提出將空間上下文模型和時(shí)間上下文模型結(jié)合起來學(xué)習(xí)相關(guān)濾波器,并且根據(jù)上下文中不同區(qū)域與跟蹤目標(biāo)相似度大小對目標(biāo)區(qū)域進(jìn)行了加權(quán),提高了跟蹤算法的魯棒性.Ma等提出了一種長時(shí)間的相關(guān)濾波目標(biāo)跟蹤方法,他們學(xué)習(xí)了三個(gè)相關(guān)濾波器,分別用于估計(jì)目標(biāo)的平移、尺度和跟蹤結(jié)果的置信度,除此之外還專門訓(xùn)練了一個(gè)隨機(jī)蕨分類器,用于目標(biāo)丟失時(shí)再檢測[23].

在目標(biāo)跟蹤過程中,目標(biāo)出現(xiàn)尺度和旋轉(zhuǎn)變化是一種比較常見的情況.以往的研究對目標(biāo)尺度估計(jì)考慮較多,很少會專門針對目標(biāo)的旋轉(zhuǎn)運(yùn)動進(jìn)行分析,因此當(dāng)目標(biāo)存在旋轉(zhuǎn)時(shí),如何實(shí)現(xiàn)魯棒的視覺跟蹤仍然是一個(gè)極具挑戰(zhàn)的研究問題.此外,在目標(biāo)跟蹤過程中,特別是長時(shí)間目標(biāo)跟蹤過程中,因?yàn)榇嬖陂L時(shí)間半遮擋或全遮擋等情況,跟蹤子有時(shí)不可避免地會跟蹤失敗.如何讓跟蹤子從失敗中恢復(fù)過來是實(shí)現(xiàn)長時(shí)間目標(biāo)跟蹤的前提.文獻(xiàn)[14]和文獻(xiàn)[23]都設(shè)計(jì)有專門的檢測模塊用以恢復(fù)錯誤的跟蹤子,但是這兩種方法均沒有考慮目標(biāo)的旋轉(zhuǎn)情況,而且檢測子需要處理每一個(gè)滑動窗口來判斷其是否包含目標(biāo),整個(gè)過程比較耗時(shí),降低了跟蹤算法的實(shí)時(shí)性能.本文針對上述問題,提出了具有尺度和旋轉(zhuǎn)適應(yīng)性的長時(shí)間目標(biāo)跟蹤方法.傅里葉–梅林變換能夠?qū)⒃紙D像上的目標(biāo)尺度和旋轉(zhuǎn)估計(jì)轉(zhuǎn)換為頻域幅值譜對數(shù)極坐標(biāo)圖像上簡單的平移估計(jì),在圖像配準(zhǔn)領(lǐng)域已經(jīng)得到了成功應(yīng)用[24?26].本文受到該方法啟發(fā),將其與核相關(guān)濾波結(jié)合起來,提出一種魯棒的旋轉(zhuǎn)和尺度參數(shù)估計(jì)方法.為了讓跟蹤子具有從失敗中恢復(fù)過來的能力,本文提出了基于直方圖和方差加權(quán)的目標(biāo)搜索算法,根據(jù)計(jì)算的權(quán)重采用蒙特卡羅隨機(jī)抽樣原理,能夠從大量的滑動窗口中抽取其中權(quán)重比較高的進(jìn)行處理,提高了整個(gè)檢測的實(shí)時(shí)性能.本文還訓(xùn)練了兩個(gè)核相關(guān)濾波器專門用于估計(jì)目標(biāo)平移運(yùn)動和跟蹤結(jié)果的置信度.魯棒準(zhǔn)確的跟蹤結(jié)果置信度估計(jì)能夠用于激活基于直方圖和方差加權(quán)的目標(biāo)搜索模塊,當(dāng)跟蹤失敗時(shí),通過激活搜索模塊使得跟蹤子能夠從失敗中恢復(fù)過來.

1 基于傅里葉?梅林變換和核相關(guān)濾波的尺度和旋轉(zhuǎn)參數(shù)估計(jì)

大量圖像配準(zhǔn)方面的研究工作是通過估計(jì)圖像之間的平移、旋轉(zhuǎn)和尺度參數(shù)來得到像素點(diǎn)之間的變換關(guān)系[24?26].在目標(biāo)跟蹤過程中,短時(shí)間內(nèi)可以將目標(biāo)附近區(qū)域看作是近似靜止的,如此就可將圖像配準(zhǔn)領(lǐng)域得到成功應(yīng)用的一些成熟方法應(yīng)用到目標(biāo)跟蹤過程中,估計(jì)前后幀目標(biāo)之間的旋轉(zhuǎn)和尺度關(guān)系.但是,圖像配準(zhǔn)一般針對兩幀獨(dú)立的圖像,對目標(biāo)跟蹤而言,僅僅利用前后兩幀圖像估計(jì)目標(biāo)的尺度和旋轉(zhuǎn),會使得估計(jì)的結(jié)果抗干擾能力不強(qiáng),魯棒性不高.本文將圖像配準(zhǔn)領(lǐng)域得到成功應(yīng)用的傅里葉–梅林變換和核相關(guān)濾波方法結(jié)合起來,提高了目標(biāo)尺度和旋轉(zhuǎn)參數(shù)估計(jì)的魯棒性和準(zhǔn)確性.

1.1 傅里葉?梅林變換

笛卡爾坐標(biāo)系下尺度變化和旋轉(zhuǎn)運(yùn)動轉(zhuǎn)換到對數(shù)極坐標(biāo)下表現(xiàn)為純粹的平移運(yùn)動.對數(shù)極坐標(biāo)變換過程中在變換中心附近密集采樣,在遠(yuǎn)離中心附近稀疏采樣,因此對變換中心的改變非常敏感,在目標(biāo)跟蹤過程中會表現(xiàn)出對平移較為敏感.在目標(biāo)跟蹤過程中,通過對原始圖像進(jìn)行對數(shù)極坐標(biāo)變換可以估計(jì)出目標(biāo)的旋轉(zhuǎn)和尺度參數(shù),但是存在的目標(biāo)平移運(yùn)動會導(dǎo)致變換中心可能發(fā)生改變,使得估計(jì)出的尺度和旋轉(zhuǎn)參數(shù)并不準(zhǔn)確.先估計(jì)出目標(biāo)的平移,然后估計(jì)目標(biāo)的旋轉(zhuǎn)和尺度參數(shù),一定程度上能夠減小變換中心對旋轉(zhuǎn)和尺度參數(shù)估計(jì)的影響,但是目標(biāo)存在尺度變換和旋轉(zhuǎn)運(yùn)動時(shí),估計(jì)的平移參數(shù)也可能不是很準(zhǔn)確,不能保證尺度和旋轉(zhuǎn)參數(shù)估計(jì)的準(zhǔn)確性.但是在頻率域內(nèi),兩幅圖像僅僅存在平移時(shí),傅里葉變換的幅值譜圖像是完全相同的,僅僅存在相位上的差異,變換中心幾乎是固定不變的,這就避免了平移對目標(biāo)旋轉(zhuǎn)和尺度參數(shù)估計(jì)的影響.傅里葉–梅林變換將原始圖像上的尺度和旋轉(zhuǎn)估計(jì)轉(zhuǎn)換到頻率域內(nèi)進(jìn)行,與DSST等依靠有限的尺度金字塔估計(jì)尺度信息不同,該方法能夠?qū)崿F(xiàn)連續(xù)空間的尺度和旋轉(zhuǎn)參數(shù)估計(jì).

假設(shè)存在圖像s(x,y),進(jìn)行旋轉(zhuǎn)、平移和尺度縮放后得到圖像為t(x,y),變換中心為原點(diǎn)(0,0),其中旋轉(zhuǎn)變化為?θ,尺度變化為α,平移向量為(?x,?y),變換后的圖像t(x,y)可以表示為

將t(x,y)和s(x,y)進(jìn)行傅里葉變換,得到傅里葉譜T(u,v)和S(u,v),兩者之間存在如下關(guān)系:

對數(shù)log的底與幅值譜的長寬和變換后對數(shù)極坐標(biāo)圖像的距離軸的寬度有關(guān).假設(shè)幅值譜圖像的長為H,寬度為W,變換后距離軸的寬度為d,則文中對數(shù)log的底定義為.本文實(shí)驗(yàn)部分,令Mt和Ms分別為log(|T(u,v)|)和log(|S(u,v)|)的對數(shù)極坐標(biāo)圖像,,θt=arctan(v/u).用 (ε,η)表示(log(ρt),θt),則式 (3)可以表示為

最終圖像之間的旋轉(zhuǎn)運(yùn)動和尺度縮放轉(zhuǎn)換成了幅值譜對數(shù)極坐標(biāo)圖像距離軸和角度軸上的平移運(yùn)動:?ε=log(α),?η=?θ.

傅里葉–梅林變換的具體過程如下:1)對輸入圖像進(jìn)行傅里葉變換,得到對數(shù)幅值譜圖像;2)對對數(shù)幅值譜圖像進(jìn)行高通濾波;3)對數(shù)極坐標(biāo)變換,得到圖像傅里葉–梅林變換之后的特征.其中對對數(shù)幅值譜圖像進(jìn)行高通濾波,是因?yàn)橥ㄟ^高通濾波能夠突出圖像的邊緣信息和輪廓特征,這些信息對尺度和旋轉(zhuǎn)參數(shù)的估計(jì)更加重要,最終使得估計(jì)的結(jié)果更加準(zhǔn)確.高通增強(qiáng)濾波器定義如下:

其中,X(u,v)=cos(π(u/H? 0.5))cos(π(v/W?0.5)),W和H為待濾波圖像的寬度和高度.

1.2 核相關(guān)濾波

核相關(guān)濾波實(shí)質(zhì)是一種目標(biāo)檢測方法,該方法將核函數(shù)脊回歸與循環(huán)矩陣結(jié)合起來,提高了訓(xùn)練和檢測的效率,增強(qiáng)了算法的實(shí)時(shí)性能.基于核相關(guān)濾波的目標(biāo)跟蹤是一種基于檢測的目標(biāo)跟蹤方法,它在樣本空間利用循環(huán)矩陣稠密采樣,越靠近目標(biāo)區(qū)域?yàn)檎龢颖镜目赡苄栽酱?該方法在目標(biāo)跟蹤中已經(jīng)取得了較好的跟蹤效果.

線性空間的脊回歸和循環(huán)矩陣也能夠結(jié)合起來訓(xùn)練相關(guān)濾波檢測子,但是在實(shí)際應(yīng)用中,并不能保證獲得的樣本是線性可分,利用線性脊回歸處理非線性樣本效果并不是非常理想.通過核策略將非線性樣本映射到高維核空間后,樣本在映射后的空間一般是線性可分的,因此使用核技巧使得學(xué)習(xí)的檢測子更加魯棒.假設(shè)核函數(shù)為?(x),核回歸模型為,xi,i=1,2,···,n為訓(xùn)練樣本,對核脊回歸求解最終得到[16]:

其中,Kij=?(xi, xj).為了保證K為循環(huán)矩陣,必須滿足下列兩個(gè)條件:1)訓(xùn)練的樣本集xi,i=1,2,···,n應(yīng)該具有循環(huán)結(jié)構(gòu),即X=[x1, x2,···, xn]T為循環(huán)矩陣;2)核函數(shù)必須滿足條件:假設(shè)x和x′滿足條件1)時(shí),對于任意的排列矩陣M,有?(x, x′)=?(M x,M x′),x和x′并不要求來自于同一循環(huán)結(jié)構(gòu)樣本集,M是每一行每一列都恰有一個(gè)元素為1,其他均為0的方陣.則求解式(6),得

其中,符號∧表示傅里葉變換后的結(jié)果,kxx為循環(huán)矩陣K的第一行向量,該向量是對稱的,它的傅里葉變換結(jié)果為實(shí)數(shù),的共軛為其本身.

在目標(biāo)跟蹤中,訓(xùn)練樣本由目標(biāo)區(qū)域圖像塊(或者圖像塊提取的特征)x=x1和它循環(huán)移位的候選樣本xi,i=2,···,n組成,每個(gè)樣本的對應(yīng)標(biāo)簽根據(jù)移位的距離確定,越靠近目標(biāo)區(qū)域?yàn)檎龢颖镜膸茁试酱?在檢測時(shí),待檢測的樣本也是由一個(gè)圖像塊(或者圖像塊提取的特征)z=z1和它循環(huán)移位的樣本zi,i=2,···,n構(gòu)成,通過回歸模型處理待檢測樣本,得到

其中,f(z)為所有待檢測樣本的檢測輸出(屬于正樣本的置信度)組成的向量,Kzij=?(xi, zj).(Kz)T是一個(gè)循環(huán)矩陣,對式(8)兩邊進(jìn)行傅里葉變換,得

其中,為Kz的第一行向量進(jìn)行傅里葉變換的結(jié)果.

在基于核相關(guān)濾波的學(xué)習(xí)和檢測過程中,僅僅需要通過脊回歸模型計(jì)算循環(huán)矩陣第一行向量kxx和kxz即可,然后進(jìn)行傅里葉變換,即可代入式(7)和式(9)進(jìn)行求解.在實(shí)際應(yīng)用中,高斯核函數(shù)比較常用,kxx和k xz的求解過程與kab相同[16].

1.3 尺度和旋轉(zhuǎn)參數(shù)估計(jì)算法

基于相關(guān)濾波的目標(biāo)跟蹤算法一般利用圖像塊x0,0訓(xùn)練的濾波器對視覺外觀進(jìn)行建模,x0,0的長寬分別為M和N,則通過循環(huán)移位一共可以得到M×N個(gè)樣本xm,n,(m,n)∈{0,1,···,M?1}×{0,1,···,N?1},每個(gè)樣本通過高斯函數(shù)分配一個(gè)標(biāo)簽y(m,n).核函數(shù)脊回歸模型為,其中?為核函數(shù),損失函數(shù)定義如下:

在目標(biāo)尺度和旋轉(zhuǎn)參數(shù)估計(jì)過程中,x0,0是圖像塊經(jīng)過傅里葉–梅林變換之后的對數(shù)極坐標(biāo)圖像,式(11)中的訓(xùn)練樣本集xm,n是由x0,0循環(huán)移位產(chǎn)生.基于傅里葉–梅林變換的核相關(guān)濾波模型學(xué)習(xí)如圖1所示.為了消除傅里葉變化過程中的窗口效應(yīng),需要在對數(shù)極坐標(biāo)圖像上疊加具有空間權(quán)重的漢寧窗.

圖1 基于傅里葉–梅林變換的核相關(guān)濾波模型學(xué)習(xí)Fig.1The kernelized correlation filtering model learning based on the Fourier-Mellin transform

在估計(jì)旋轉(zhuǎn)和尺度參數(shù)時(shí),首先得到目標(biāo)區(qū)域的圖像塊,進(jìn)行傅里葉–梅林變換后得到對數(shù)極坐標(biāo)圖像z,與樣本集xm,n產(chǎn)生過程類似,對z循環(huán)移位得到待檢測的樣本集.快速檢測方法參考式(9),對其進(jìn)行傅里葉反變換得到位移的空間置信度.

通過的最大響應(yīng)位置可以求得距離軸的平移?ε和角度軸的平移?η,最終計(jì)算出尺度α和旋轉(zhuǎn)角度?θ.

在目標(biāo)跟蹤中,目標(biāo)的視覺外觀可能會發(fā)生變化,模型應(yīng)該具有適應(yīng)目標(biāo)的視覺外觀變化的能力.如果第t?1幀訓(xùn)練的模型記為Mrs(t?1),模型中包含兩部分:訓(xùn)練的樣本x(t?1)和核脊回歸的模型參數(shù)(t?1).在第t幀,跟蹤算法最終會得到目標(biāo)新的位置、尺度和旋轉(zhuǎn)參數(shù),根據(jù)這些參數(shù)剪切圖像塊,然后進(jìn)行傅里葉–梅林變換得到新的樣本x(t)和核脊回歸的模型參數(shù)(t),假設(shè)學(xué)習(xí)率為β,模型更新過程如下:

2 基于核相關(guān)濾波的目標(biāo)位移和跟蹤結(jié)果置信度估計(jì)

在目標(biāo)跟蹤過程中,可能會遇到目標(biāo)被遮擋、外部光照改變、目標(biāo)快速運(yùn)動和背景雜亂等情況,跟蹤算法的最重要任務(wù)就是在這些挑戰(zhàn)性的情形下魯棒地估計(jì)目標(biāo)的位置.在目標(biāo)跟蹤過程中,準(zhǔn)確判斷目標(biāo)當(dāng)前的跟蹤狀態(tài)是一件非常有意義的事情,能夠給更上層的決策例如風(fēng)險(xiǎn)評估等提供支持.一般的跟蹤算法在估計(jì)目標(biāo)位置的同時(shí),也會給出一個(gè)結(jié)果置信度值[16],但是在跟蹤過程中,目標(biāo)模型的更新經(jīng)常會存在緩慢漂移等現(xiàn)象,如此會導(dǎo)致跟蹤算法給出的置信度值始終比較高,該值并不能夠用于準(zhǔn)確判斷目標(biāo)跟蹤狀態(tài).本文提出訓(xùn)練兩個(gè)核相關(guān)濾波器分別用于估計(jì)目標(biāo)在圖像序列中的平移和目標(biāo)跟蹤結(jié)果的置信度.

用于目標(biāo)位移估計(jì)和跟蹤結(jié)果置信度估計(jì)的核相關(guān)濾波模型過程如圖2所示.圖2中的兩個(gè)核相關(guān)濾波器,一個(gè)用于估計(jì)目標(biāo)在圖像序列中的位移,一個(gè)用于估計(jì)跟蹤結(jié)果的置信度.兩個(gè)濾波器的學(xué)習(xí)、檢測和模型更新過程與第1節(jié)介紹的目標(biāo)尺度和旋轉(zhuǎn)參數(shù)估計(jì)過程一樣,都是利用核相關(guān)脊回歸方法來實(shí)現(xiàn)快速的模型學(xué)習(xí)和目標(biāo)檢測,具體的過程參見圖1和式(11)～(13).從圖2可以看出,兩個(gè)核相關(guān)濾波器都使用了HOG特征,這是因?yàn)镠OG特征對外部光照變化和目標(biāo)局部扭曲具有較好的魯棒性,而且在目標(biāo)跟蹤過程中已經(jīng)取得了較好的跟蹤效果[16].在目標(biāo)位移估計(jì)過程中,在目標(biāo)和它的周圍區(qū)域內(nèi)的圖像塊上提取HOG視覺特征作為訓(xùn)練的樣本,并且在提取的HOG特征上疊加具有空間權(quán)重的漢寧窗.在目標(biāo)跟蹤結(jié)果置信度估計(jì)時(shí),應(yīng)該減少周圍環(huán)境對目標(biāo)跟蹤置信度估計(jì)的影響,而且跟蹤結(jié)果的所有像素點(diǎn)應(yīng)該是同等重要的,因此本文在訓(xùn)練置信度估計(jì)的核相關(guān)濾波器時(shí)僅僅考慮了跟蹤算法定位的目標(biāo)區(qū)域,并沒有疊加具有空間權(quán)重的漢寧窗,如此可使得估計(jì)的置信度結(jié)果更加準(zhǔn)確.

圖2 用于目標(biāo)位移估計(jì)和跟蹤結(jié)果置信度估計(jì)的核相關(guān)濾波模型Fig.2The kernelized correlation filtering models for the estimation of object translation and the confidence of the tracking result

3 基于直方圖和方差加權(quán)的跟蹤目標(biāo)搜索

直方圖對目標(biāo)幅度不大的平移和縮放等幾何變化具有較好的魯棒性,對觀察軸為軸心的旋轉(zhuǎn)變換具有較好的不變性.顏色直方圖是一種比較簡單的全局視覺特征,計(jì)算非常高效.對于圖像I,它的顏色直方圖特征是一個(gè)n維的向量HI=[h1,h2,···,hn],向量中的第j個(gè)元素hj表示圖像I落在組件j確定的顏色區(qū)間像素點(diǎn)的個(gè)數(shù).在目標(biāo)跟蹤過程中,一般需要計(jì)算特定區(qū)域的直方圖(如目標(biāo)區(qū)域),圖像I中特定區(qū)域?的直方圖表示為.區(qū)域?內(nèi)像素點(diǎn)的數(shù)目為M×N,直方圖的組件數(shù)為n,對直方圖進(jìn)行歸一化實(shí)質(zhì)上反映了圖像顏色空間的一種概率分布,每個(gè)組件對應(yīng)的概率為

在目標(biāo)跟蹤應(yīng)用中,?表示的是跟蹤目標(biāo)在圖像中的矩形區(qū)域.本文根據(jù)P(b)構(gòu)建概率模型Mh對目標(biāo)進(jìn)行描述,并且將其用于目標(biāo)丟失時(shí)的再搜索.Mh包含兩部分:目標(biāo)區(qū)域的歸一化直方圖Hp=[P(b1),P(b1),···,P(bn)] 和目標(biāo)區(qū)域歸一化概率和S?.

其中,xi為?區(qū)域內(nèi)的像素點(diǎn),它最終分配到的Hp中的組件表示為bxi.

在跟蹤目標(biāo)丟失時(shí),需要根據(jù)構(gòu)建的模型Mh在圖像Is快速找到目標(biāo).對于圖像Is上的任意像素點(diǎn)x,最終分配到的直方圖組件表示為bx,則x像素點(diǎn)屬于目標(biāo)的概率表示為P(x∈Is)=P(bx),最終得到了與目標(biāo)相關(guān)的似然圖像L,其中L上的每個(gè)像素點(diǎn)x表示其對應(yīng)的原始圖像Is(x)屬于目標(biāo)的概率為P(bx).假設(shè)前一幀的目標(biāo)位置矩形框記錄為wt,目標(biāo)框的長寬分別Wt,Ht,使用大小和wt相同的矩形框在當(dāng)前幀圖像Is滑動可以得到大量的滑動窗口wi,i=1,2,···,n.統(tǒng)計(jì)每個(gè)滑動窗口區(qū)域歸一化的概率和S(wi)為

可以利用L的積分圖像快速計(jì)算,最終得到每個(gè)滑動窗口是否包含有目標(biāo)的權(quán)重為

利用直方圖對滑動窗口進(jìn)行加權(quán),主要考慮了目標(biāo)區(qū)域顏色信息概率分布情況,并沒有反映出顏色信息的變化幅度,即在均值上下的波動的劇烈程度,因此對原始圖像的像素分布情況考慮并不充分.方差特征能夠反映目標(biāo)區(qū)域顏色數(shù)據(jù)的波動大小,對于直方圖特征而言是一種非常有效的補(bǔ)充.本文根據(jù)目標(biāo)區(qū)域的方差值V?構(gòu)建方差模型Mv.利用積分圖像能夠快速求解出每個(gè)滑動窗口對應(yīng)圖像塊的方差值V(wi)[14].通過方差求得每個(gè)滑動窗口是否包含有目標(biāo)的權(quán)重為

將Wh(wi)和Wv(wi)線性加權(quán)最終得到每個(gè)滑動窗口包含有目標(biāo)的權(quán)重為

對所有滑動窗口的權(quán)重進(jìn)行歸一化,得

其中,W(wi)為i窗口被抽樣的概率P(wi),故滑動窗口被抽樣的概率分布已知.根據(jù)蒙特卡羅離散型分布抽樣原理,可以從滑動窗口中隨機(jī)抽取部分候選窗口進(jìn)行處理,能夠提高跟蹤目標(biāo)的搜索效率.

在目標(biāo)跟蹤失敗時(shí),短時(shí)間內(nèi)目標(biāo)很可能仍然在丟失位置附近,因此并不需要在整幀圖像上搜索目標(biāo),通過限定搜索范圍能夠提高采樣到目標(biāo)區(qū)域的概率.本文在跟蹤失敗時(shí),目標(biāo)位置剪切L倍目標(biāo)區(qū)域大小的圖像塊作為限定的搜索區(qū)域,在剪切的圖像塊上計(jì)算權(quán)重,采樣待處理的候選樣本.在目標(biāo)跟蹤中,模型需要實(shí)時(shí)更新以適應(yīng)目標(biāo)的視覺外觀變化.在基于直方圖和方差的跟蹤目標(biāo)搜索過程中,整個(gè)模型Mhv包含兩部分:直方圖模型Mh和方差模型Mv.假設(shè)學(xué)習(xí)率為γ,模型更新過程如下:

4 具有旋轉(zhuǎn)和尺度適應(yīng)性的長時(shí)間目標(biāo)跟蹤算法

為了實(shí)現(xiàn)具有旋轉(zhuǎn)和尺度適應(yīng)性的長時(shí)間目標(biāo)跟蹤,本文訓(xùn)練了三個(gè)核相關(guān)濾波器,分別用于估計(jì)目標(biāo)的尺度和旋轉(zhuǎn)參數(shù)、目標(biāo)在圖像中位移以及跟蹤結(jié)果的置信度。同時(shí)本文提出一種基于直方圖和方差加權(quán)的目標(biāo)搜索方法,能夠快速選擇置信度高的候選目標(biāo)區(qū)域,用于目標(biāo)丟失時(shí)再檢測.本文提出的具有尺度和旋轉(zhuǎn)適應(yīng)性的長時(shí)間目標(biāo)跟蹤(Robust long-term object tracking with adaptive scale and rotation estimation,RLOT)算法框圖如圖3所示.

RLOT算法的具體執(zhí)行流程如下:

圖3 具有尺度和旋轉(zhuǎn)適應(yīng)性的長時(shí)間目標(biāo)跟蹤算法框圖Fig.3 The architecture of robust long-term object tracking with adaptive scale and rotation estimation

步驟1.初始化:

目標(biāo)狀態(tài)S0=(x0,y0,α0,s0),位移估計(jì)核相關(guān)濾波模型Mt,尺度和旋轉(zhuǎn)估計(jì)核相關(guān)濾波模型Mrs,置信度估計(jì)核相關(guān)濾波模型Mc,直方圖和方差模型Mhv.

步驟 2.對于第t幀圖像Ith,根據(jù)St?1從圖像中剪切塊pi,提取HOG特征,通過Mt估計(jì)目標(biāo)位置.

步驟3.在pi上提取傅里葉–梅林變換特征,通過Mrs估計(jì)旋轉(zhuǎn)和尺度.

步驟4.根據(jù)(xt?1,yt?1,t,t)在Ith上剪切新的圖像塊,提取HOG特征,通過Mt估計(jì)目標(biāo)位置.

步驟5.根據(jù)和(t,t,αt?1,st?1)剪切兩個(gè)目標(biāo)區(qū)域圖像塊和pti,提取HOG特征,通過Mc估計(jì)兩個(gè)圖像塊的置信度和cti.

步驟6.

步驟7.

步驟7.1.根據(jù)St旋轉(zhuǎn)Ith,然后利用Mhv加權(quán)采樣得到候選的目標(biāo)狀態(tài)X.

步驟7.2.

根據(jù)Mc計(jì)算每個(gè)候選區(qū)域的置信度,得到Endfor.

步驟7.3.

步驟8.更新模型Mt,Mrs.

步驟9.

步驟10.如果序列沒有結(jié)束,則轉(zhuǎn)到步驟2,否則算法終止.

估計(jì)尺度和旋轉(zhuǎn)參數(shù)的核相關(guān)濾波器的特征為幅值譜對數(shù)極坐標(biāo)圖像,而估計(jì)目標(biāo)置信度和目標(biāo)位移的兩個(gè)核相關(guān)濾波器采用的是HOG特征,提取HOG特征的單元格大小定義為4,特征的維數(shù)為31.三個(gè)核相關(guān)濾波器都采用了高斯核函數(shù).利用式(9)和式(12),在頻率域內(nèi)計(jì)算樣本之間的相關(guān)性,運(yùn)算效率有了較大提高.在估計(jì)目標(biāo)的位移和跟蹤結(jié)果的置信度之前,需要利用估計(jì)的旋轉(zhuǎn)和尺度參數(shù)將目標(biāo)及其周圍區(qū)域進(jìn)行旋轉(zhuǎn)和縮放,使得旋轉(zhuǎn)和縮放后的目標(biāo)區(qū)域與核相關(guān)濾波模型Mt有同樣的旋轉(zhuǎn)角和尺度,可使得目標(biāo)位移的估計(jì)更加準(zhǔn)確.在目標(biāo)丟失后,采用基于直方圖和方差的跟蹤目標(biāo)搜索算法再次定位目標(biāo).本文使用的彩色直方圖在Lab顏色空間上計(jì)算得到,而方差是在灰度圖像上計(jì)算得到的.Lab色彩空間是顏色–對立空間,維度L表示亮度,a和b表示顏色對立維度,Lab顏色空間是描述人眼可見的所有顏色最完備的色彩模型,在計(jì)算機(jī)視覺領(lǐng)域已經(jīng)得到了廣泛的應(yīng)用.Lab顏色空間每個(gè)通道離散化為32個(gè)組件,則Lab顏色空間上得到的直方圖組件數(shù)為323=32768.直方圖和方差的權(quán)重計(jì)算都是在積分圖像上進(jìn)行,運(yùn)算效率很高.RLOT跟蹤算法中,求解得到的跟蹤結(jié)果的置信度都不小于0,當(dāng)Tr參數(shù)設(shè)置為負(fù)值時(shí),步驟7.1,7.2,7.3不會運(yùn)行,相當(dāng)于RLOT中的再檢測模塊被屏蔽,此時(shí)無需更新模型Mhv,本文將沒有再檢測模塊的RLOT算法稱為ROT.

5 目標(biāo)跟蹤實(shí)驗(yàn)

本文在目標(biāo)跟蹤標(biāo)準(zhǔn)數(shù)據(jù)集OTB上比較了提出的RLOT、ROT跟蹤算法和目前主流的目標(biāo)跟蹤算法的性能[6?7].OTB數(shù)據(jù)集包含100個(gè)測試序列,這些序列包含11種不同類型的視覺跟蹤挑戰(zhàn),包括目標(biāo)突然快速運(yùn)動、凌亂背景、運(yùn)動模糊、扭曲、光照變化、平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)、低分辨率、半遮擋、出相機(jī)視野和尺度變化.OTB數(shù)據(jù)集上的所有圖像序列都已經(jīng)被人工標(biāo)注,標(biāo)注的真值在圖像上表現(xiàn)為包含有目標(biāo)的矩形框.OTB數(shù)據(jù)集提供了29個(gè)跟蹤子的跟蹤結(jié)果,能夠用于評估跟蹤算法的性能.本文使用C++實(shí)現(xiàn)了提出的目標(biāo)跟蹤算法,所有實(shí)驗(yàn)都在配備有3.1GHz i7-5557U CPU和8GB RAM的計(jì)算機(jī)上進(jìn)行.

5.1 實(shí)驗(yàn)設(shè)置

OTB數(shù)據(jù)集提供了精度和成功率兩種度量準(zhǔn)則來評估目標(biāo)跟蹤算法性能.精度準(zhǔn)則是基于中心的位置誤差進(jìn)行度量,是指跟蹤算法估計(jì)的目標(biāo)中心和標(biāo)注的目標(biāo)區(qū)域中心之間的平均距離.一個(gè)序列的所有幀的平均中心位置誤差可表征該序列的總體跟蹤精度性能.精度圖顯示了對于給定的位置誤差閾值,跟蹤算法估計(jì)的目標(biāo)位置與真值之間距離落在閾值之內(nèi)的幀數(shù)占整個(gè)測試數(shù)據(jù)集幀數(shù)的百分比.成功率是利用重疊度進(jìn)行度量,實(shí)質(zhì)是指跟蹤算法估計(jì)的目標(biāo)區(qū)域和標(biāo)注的目標(biāo)區(qū)域之間的重疊度.跟蹤算法得到的目標(biāo)區(qū)域?yàn)锽t,標(biāo)注的真實(shí)區(qū)域?yàn)锽a,則定義兩者的重疊度為O=|Bt∩Bs|/|Bt∪Bs|.成功率圖顯示了對于給定的重疊度閾值,跟蹤算法估計(jì)的目標(biāo)區(qū)域與真值區(qū)域之間的重疊度大于閾值的幀數(shù)占整個(gè)測試數(shù)據(jù)集幀數(shù)的百分比.使用特定的閾值來判斷跟蹤算法的成功率并不公平,OTB分別使用成功率圖和精度圖曲線下的面積(Area under curve,AUC)對跟蹤算法進(jìn)行排序[6].OTB標(biāo)注真值為標(biāo)準(zhǔn)矩形(矩形的兩邊和圖像的邊界平行),其重疊度和精度的計(jì)算方法針對的也是兩個(gè)標(biāo)準(zhǔn)矩形.本文通過估計(jì)目標(biāo)的旋轉(zhuǎn)參數(shù)得到了非標(biāo)準(zhǔn)的矩形,根據(jù)OTB提供的方法需要得到非標(biāo)準(zhǔn)矩形的外接矩形的中心和區(qū)域來計(jì)算中心位置誤差和重疊度.目標(biāo)標(biāo)注真值、跟蹤產(chǎn)生的非標(biāo)準(zhǔn)矩形和非標(biāo)準(zhǔn)矩形的外接矩形示意圖如圖4所示.從圖4可以看出,利用外接矩形計(jì)算重疊度時(shí),可能會降低重疊度的計(jì)算準(zhǔn)確性,外接矩形的中心和非標(biāo)準(zhǔn)矩形的中心比較接近,該方法對中心位置誤差的結(jié)果影響比較小.為了提高估計(jì)結(jié)果的準(zhǔn)確性,本文直接求解非標(biāo)準(zhǔn)矩形和真值之間的中心位置誤差和重疊度.因?yàn)闃?biāo)注的真值也沒有考慮目標(biāo)的旋轉(zhuǎn)情況,標(biāo)注的區(qū)域和實(shí)際目標(biāo)區(qū)域還是存在一定的區(qū)別,但是標(biāo)注的區(qū)域中心和實(shí)際目標(biāo)的中心會比較接近,最終采用本文提出的估計(jì)方法在計(jì)算重疊度上還是存在著一定的偏差,但是偏差較原始OTB方法已經(jīng)有一定程度的減小,在計(jì)算中心位置誤差時(shí)則比較準(zhǔn)確.

圖4 目標(biāo)標(biāo)注真值、跟蹤產(chǎn)生的非標(biāo)準(zhǔn)矩形和非標(biāo)準(zhǔn)矩形的外接矩形示意圖Fig.4 The diagram of target annotations,nonstandard rectangles from our trackers and external rectangles of nonstandard rectangles

本文設(shè)計(jì)了三個(gè)核相關(guān)濾波器,相關(guān)的參數(shù)如表1所示,其中對于高斯標(biāo)簽寬度參數(shù)s,位移估計(jì)和置信度估計(jì)核相關(guān)濾波器中n和m指的是目標(biāo)區(qū)域?qū)捄透叻较蛏螲OG單元格的數(shù)目,尺度旋轉(zhuǎn)核相關(guān)濾波器中d表示距離軸長度,a表示角度軸長度,兩個(gè)軸上高斯寬度的參數(shù)不同.對于目標(biāo)位移估計(jì)相關(guān)濾波器和尺度、旋轉(zhuǎn)估計(jì)相關(guān)濾波器,需要將目標(biāo)和它附近一定區(qū)域的背景剪切出來,提取視覺特征,訓(xùn)練相關(guān)濾波器、檢測待跟蹤的目標(biāo).本文設(shè)置剪切的初始圖像塊大小為目標(biāo)區(qū)域的2.8倍.從RLOT算法流程可以看出,有幾個(gè)閾值參數(shù)需要設(shè)置.Tr設(shè)置為0.25,通過該閾值來判斷是否需要使用基于直方圖和方差加權(quán)的方法搜索目標(biāo);Td設(shè)置為0.4,通過其判斷搜索到的結(jié)果是否可信,是否需要用該結(jié)果重新初始化目標(biāo);Tu設(shè)置為0.4,通過該閾值判斷是否需要更新置信度估計(jì)核相關(guān)濾波模型Mc,直方圖和方差模型Mhv.通過基于直方圖和方差加權(quán)采樣得到的候選滑動窗口數(shù)量設(shè)置為150,直方圖權(quán)重和方差權(quán)重的比重是相等的,即式(19)中的α設(shè)置為0.5.跟蹤失敗時(shí),限定搜索區(qū)域的參數(shù)L設(shè)置為4.當(dāng)運(yùn)行ROT跟蹤算法時(shí),Tr設(shè)定為?1,此時(shí)Mhv不更新.

表1 三個(gè)核相關(guān)濾波器參數(shù)Table 1 The parameters of three kernelized correlation filters

5.2 定量分析

本文定量比較了提出的目標(biāo)跟蹤算法RLOT,ROT與目前主流的跟蹤算法的性能.其中OTB已經(jīng)提供了29個(gè)跟蹤子,包括有TLD[14],Frag[27],Struck[28],CT[13],SCM[29],ASLA[30],CXT[31]等的算法性能,本文還比較了幾個(gè)最新的跟蹤算法KCF[15],SAMF[17],DSST[18],SRDCF[19],Staple[20],LCT[23].為了使得評估的效果更加公平有效,更能反映出跟蹤算法的魯棒性能.本文從傳統(tǒng)的一次通過估算(One-pass evaluation,OPE)、時(shí)間魯棒性估算(Temporal robustness evaluation,TRE)和空間魯棒性估算(Spatial robustness evaluation,SRE)三個(gè)方面給出了跟蹤算法的精度圖和成功率圖[6].其中OPE是指在整個(gè)序列第1幀用標(biāo)注的真值進(jìn)行初始化后,得到跟蹤算法的平均精度和成功率,整個(gè)跟蹤執(zhí)行一次,這是一種傳統(tǒng)的跟蹤算法性能評估方法.然而,跟蹤子可能對初始人工給定的真值比較敏感,并且在不同起始幀進(jìn)行初始化時(shí)跟蹤算法的性能也可能不同,因此通過TRE和SRE在初始化時(shí)對跟蹤子添加人工的干擾以分析不同初始條件下目標(biāo)跟蹤算法的魯棒性.

圖5 通過OPE,SRE和TRE估算準(zhǔn)則得到的跟蹤算法精度圖和成功率圖Fig.5 Precision plots and success rate plots of tracking algorithms evaluated by OPE,SRE and TRE standards

在OTB數(shù)據(jù)集下,本文提出的目標(biāo)跟蹤算法和主流跟蹤算法的性能比較結(jié)果如圖5所示,為了使得結(jié)果清晰可見,圖5僅顯示了前10個(gè)最好的跟蹤結(jié)果.從圖5可以看出,SRDCF和Staple跟蹤算法的性能比較優(yōu)越,但是本文提出的RLOT算法性能與兩者比較接近,也取得了較好的跟蹤效果.沒有檢測模塊的ROT跟蹤算法性能有一定的下降,與LCT,SAMF算法的性能比較接近,但是要好于DSST,KCF等跟蹤算法.對于OPE評估準(zhǔn)則,RLOT算法的精度僅次于SRDCF,僅相差0.006(0.8%),成功率與Staple非常相近,與SRDCF也僅相差0.026(4.3%).ROT的精度性能和成功率性能略差于SAMF和LCT.采用空間魯棒性SRE評估時(shí),RLOT算法的精度與SRDCF和Staple相近,但是成功率性能略低于SRDCF,Staple和SAMF,要高于LCT.ROT算法同樣對空間干擾比較敏感.不準(zhǔn)確的初始值會導(dǎo)致估計(jì)的旋轉(zhuǎn)和尺度估計(jì)準(zhǔn)確度下降,最終導(dǎo)致性能一定程度的降低.對于時(shí)間魯棒性TRE,RLOT精度性能比較高,與SRDCF和Staple僅相差0.005(0.68%),成功率與SAMF算法相同,與SRDCF和Staple性能比較接近.ROT算法性能與LCT比較接近.RLOT較之ROT,算法參數(shù)完全相同,唯一區(qū)別在于ROT屏蔽了再檢測模塊,從兩者的性能比較可以看出,目標(biāo)跟蹤過程中再檢測模塊是有意義的,能夠提高跟蹤子的性能.

OTB數(shù)據(jù)集中包含11種不同類型的視覺跟蹤挑戰(zhàn),每個(gè)序列可能遇到的視覺挑戰(zhàn)都已經(jīng)被人工標(biāo)注,通過這些標(biāo)注的序列可以分析跟蹤算法針對不同挑戰(zhàn)的性能.本文提出的RLOT目標(biāo)跟蹤算法主要有兩個(gè)優(yōu)點(diǎn):1)目標(biāo)的旋轉(zhuǎn)和尺度估計(jì);2)目標(biāo)丟失時(shí)再檢測.平面外旋轉(zhuǎn)、平面內(nèi)旋轉(zhuǎn)以及尺度變換都已經(jīng)被標(biāo)注,通過標(biāo)注的數(shù)據(jù)能夠分析出算法旋轉(zhuǎn)和尺度估計(jì)的有效性.在跟蹤過程中,目標(biāo)存在半遮擋或全遮擋時(shí),跟蹤經(jīng)常會失敗,通過標(biāo)注的半遮擋序列能夠評估再檢測模塊的性能.在平面外旋轉(zhuǎn)、平面內(nèi)旋轉(zhuǎn)、尺度變化、半遮擋視覺挑戰(zhàn)情況下,通過OPE估算準(zhǔn)則得到的跟蹤算法精度和成功率如圖6所示,為了使得結(jié)果清晰可見,圖6僅顯示了前10個(gè)最好的跟蹤結(jié)果.從圖6可以看出,在平面內(nèi)旋轉(zhuǎn)和平面外旋轉(zhuǎn)時(shí),RLOT在精度和成功率上都取得了最好的性能.ROT在平面內(nèi)旋轉(zhuǎn)時(shí)與LCT的性能非常相近,僅次于RLOT跟蹤算法.ROT在平面外旋轉(zhuǎn)時(shí),性能有一定程度的下降,但是較KCF和DSST也有較大提高.在目標(biāo)存在尺度變化時(shí),RLOT算法取得了最好的精度性能,成功率性能僅次于SRDCF.而ROT算法性能與SAMF非常接近.從上面分析可以看出,基于傅里葉–梅林變換和相關(guān)濾波方法的目標(biāo)旋轉(zhuǎn)和尺度估計(jì)是有效的,能夠有效提高跟蹤算法的性能.存在半遮擋時(shí),RLOT跟蹤子和SRDCF跟蹤子、SAMF跟蹤子和Staple跟蹤子性能比較接近,要好于ROT跟蹤子,驗(yàn)證了跟蹤過程中再檢測模塊的有效性.

5.3 定性分析

圖6 不同視覺挑戰(zhàn)情況下通過OPE估算準(zhǔn)則得到的跟蹤算法精度圖和成功率圖Fig.6 Precision plots and success rate plots of tracking algorithms evaluated by OPE standard under different visual tracking challenges

圖7 RLOT,ROT,SRDCF[19],LCT[23],TLD[14]和Struck[28]在11個(gè)OTB序列上的跟蹤結(jié)果Fig.7 Tracking results using RLOT,ROT,SRDCF[19],LCT[23],TLD[14]and Struck[28]on 11 OTB image sequences

表2 OTB數(shù)據(jù)集中選擇的11個(gè)序列包含的視覺挑戰(zhàn)Table 2 The visual tracking challenges included in the 11 image sequences selected from the OTB datasets

本節(jié)定性分析RLOT、ROT跟蹤算法與目前主流目標(biāo)跟蹤算法的性能,包括相關(guān)濾波跟蹤算法SRDCF,具有再檢測模塊的相關(guān)濾波跟蹤算法LCT,基于檢測的目標(biāo)跟蹤方法Struck以及將跟蹤、檢測和學(xué)習(xí)結(jié)合的跟蹤算法TLD.同時(shí)本文從100個(gè)圖像序列中選擇11個(gè)具有代表性的序列進(jìn)行著重分析,這些序列包含OTB中幾乎所有的視覺挑戰(zhàn),如表2所示.表2中0表示該序列不包含該項(xiàng)挑戰(zhàn),1表示序列包含該項(xiàng)挑戰(zhàn).跟蹤算法RLOT,ROT,SRDCF,LCT,Struck以及TLD在這11個(gè)序列上的跟蹤結(jié)果如圖7所示.圖7中,從上到下分別為David,CarScale,Dog1,FaceOcc2,Jogging-2,Lemming,MotorRolling,Shaking,Singer2,Tiger1和Soccer.SRDCF跟蹤子將HOG特征、顏色特征和灰度特征結(jié)合起來訓(xùn)練相關(guān)濾波器,并且針對循環(huán)移位的邊界效應(yīng),添加了空間正則項(xiàng),提高了跟蹤子的性能.SRDCF借鑒了SAMF的尺度估計(jì)方法,在原始圖像和該圖像縮放后圖像上檢測目標(biāo),最終得到最大響應(yīng)值對應(yīng)的尺度和位置.SRDCF沒有估計(jì)目標(biāo)的旋轉(zhuǎn)參數(shù),除了具有快速旋轉(zhuǎn)變換的MotorRolling序列外,SRDCF在其他序列上都取得了較好的跟蹤性能.LCT跟蹤子將直方圖特征和HOG特征結(jié)合起來訓(xùn)練相關(guān)濾波器,并且還專門訓(xùn)練了一個(gè)隨機(jī)蕨分類器,用于目標(biāo)丟失時(shí)再檢測.LCT并沒有包含旋轉(zhuǎn)估計(jì)模塊,當(dāng)目標(biāo)具有旋轉(zhuǎn)運(yùn)動時(shí),跟蹤效果并不理想(如MotorRolling).當(dāng)背景非常凌亂,整個(gè)目標(biāo)與周圍區(qū)域相似性又比較高時(shí),LCT檢測模塊也會發(fā)生漂移,導(dǎo)致跟蹤失敗(如Soccer).其他情況下,LCT取得了較好的跟蹤性能.Struck對尺度變化的魯棒性不好(如CarScale,Dog1),當(dāng)存在快速的平面內(nèi)旋轉(zhuǎn)時(shí),跟蹤會失敗(如MotorRolling),而且在目標(biāo)存在大的平面外旋轉(zhuǎn)時(shí)存在漂移(如David),對凌亂背景的序列的跟蹤效果也不是太理想(如Singer2,Soccer).Struck在其他條件下的跟蹤性能都比較好,特別是對重度遮擋的目標(biāo)具有較好的魯棒性.TLD算法將跟蹤、檢測和學(xué)習(xí)結(jié)合起來,當(dāng)跟蹤丟失時(shí)能夠再次檢測目標(biāo),而且檢測子對樣本的選擇非常嚴(yán)格,使得檢測子的漂移較跟蹤子更慢.TLD的檢測模塊在凌亂背景,光照較暗的情況下性能并不好(如Singer2,Shaking,Soccer),TLD整個(gè)檢測框架并沒有考慮目標(biāo)大的旋轉(zhuǎn)運(yùn)動(如MotorRolling).TLD雖然具有從錯誤跟蹤中恢復(fù)過來的能力,但是其跟蹤模塊采用簡單的光流法跟蹤目標(biāo),整體性能比較差,而檢測子依賴跟蹤子提供的目標(biāo)運(yùn)動線索更新檢測模塊,如此導(dǎo)致TLD檢測子性能也受到影響,最后雖然能再次定位目標(biāo),但是中間可能存在比較多的圖像幀跟蹤失敗的情況(如Lemming,Tiger1).RLOT和ROT算法利用傅里葉–梅林變換和核相關(guān)濾波器估計(jì)目標(biāo)的尺度和旋轉(zhuǎn)參數(shù),在目標(biāo)存在旋轉(zhuǎn)和尺度變化時(shí)跟蹤效果比較好(如CarScale,Dog1,FaceOcc2,MotorRolling,Singer2).但是ROT沒有再檢測模塊,當(dāng)目標(biāo)存在嚴(yán)重的半遮擋時(shí),ROT跟蹤失敗后無法自行恢復(fù),而RLOT能夠再次檢測到目標(biāo)(如Jogging-2,Lemming,Shaking,Tiger1).與LCT類似,背景非常凌亂,整個(gè)目標(biāo)與周圍區(qū)域相似性又比較高時(shí),RLOT檢測模塊也會發(fā)生漂移(Soccer).通過定性分析可以看出,當(dāng)目標(biāo)存在尺度變換和旋轉(zhuǎn)運(yùn)動時(shí)(特別是快速旋轉(zhuǎn)運(yùn)動),本文提出的RLOT、ROT算法的優(yōu)勢比較明顯,定性分析結(jié)果也進(jìn)一步驗(yàn)證了跟蹤過程中再檢測模塊的有效性.

5.4 算法實(shí)時(shí)性分析

不同目標(biāo)跟蹤算法的平均處理幀速率如表3所示,包括RLOT,SRDCF,LCT,KCF,DSST,TLD和Struck.從表3可以看出,KCF跟蹤子的平均處理幀速率最高,其次是本文提出的RLOT跟蹤算法,SRDCF,LCT,DSST,TLD和Struck跟蹤子處理幀速率都沒超過30fps.SRDCF幀速率最低,僅為4fps.RLOT在KCF基礎(chǔ)上整合了旋轉(zhuǎn)和尺度估計(jì)、跟蹤結(jié)果置信度估計(jì)和基于直方圖和方差加權(quán)的目標(biāo)搜索等模塊,導(dǎo)致計(jì)算量增加,一定程度上降低了處理幀速率,但是其平均處理幀速率能達(dá)到36fps,仍然滿足目標(biāo)跟蹤的實(shí)時(shí)性要求.

表3 不同跟蹤算法的平均處理幀速率Table 3 The average frame rates of different object tracking algorithms

6 結(jié)論

本文提出了一種具有尺度和旋轉(zhuǎn)適應(yīng)性的長時(shí)間目標(biāo)跟蹤方法(RLOT).該方法可以分為三個(gè)部分:1)基于傅里葉–梅林變換和核相關(guān)濾波的尺度和旋轉(zhuǎn)參數(shù)估計(jì);2)基于核相關(guān)濾波的目標(biāo)平移和跟蹤結(jié)果置信度估計(jì);3)基于直方圖和方差加權(quán)的目標(biāo)搜索.本文提出的方法能夠準(zhǔn)確估計(jì)出目標(biāo)的尺度、旋轉(zhuǎn)和平移參數(shù),并且能夠?qū)Ω櫧Y(jié)果的置信度進(jìn)行有效評估,以判斷跟蹤結(jié)果是否正確,根據(jù)跟蹤結(jié)果的置信度選擇是否激活基于直方圖和方差加權(quán)的目標(biāo)搜索模塊,最終使得跟蹤算法具有從失敗中恢復(fù)過來的能力.本文的尺度和旋轉(zhuǎn)參數(shù)估計(jì)模塊、跟蹤結(jié)果置信度估計(jì)模塊和再檢測模塊能夠用于其他跟蹤算法,提高跟蹤算法的性能.本文在OTB數(shù)據(jù)集上開展了實(shí)驗(yàn)研究,并與當(dāng)前主流的目標(biāo)跟蹤算法進(jìn)行了比較,實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出算法的有效性和優(yōu)越性.