劉巧元 王玉茹 張金玲 殷明浩

視頻跟蹤作為計算機視覺的重要研究方向,近年來備受關注,它的主要任務是根據已知視頻序列中目標的初始狀態(tài),通過系列算法估計出目標的運動軌跡.視頻跟蹤方法在高級人機交互[1]、安全監(jiān)控[2]和行為分析[3]等方面具有潛在的經濟價值和廣泛的應用前景.

視頻跟蹤方法從最初的差分法[4]、光流法[5]到現在各類目標跟蹤算法百花齊放的態(tài)勢已有40多年的發(fā)展歷史;自引入機器學習算法以來,視頻跟蹤算法更是得到了突飛猛進的發(fā)展.目前視頻目標跟蹤主要有三大發(fā)展方向:深度學習方向[6?8]、相關濾波方向[9?11]和其他傳統(tǒng)策略[12?13].基于深度學習的視頻跟蹤方法大多關注神經網絡的構建與深度特征的提取,但深度神經網絡內部參數較多,訓練時間較長,所以這類方法跟蹤速度相對較慢,很難達到實時跟蹤;而基于相關濾波器的跟蹤方法卻因速度快、效果好的特點吸引了眾多研究者的目光,逐步成為視頻跟蹤算法發(fā)展的主要方向.由于該系列方法興起不久,且發(fā)展速度較快,所以目前尚缺少相關綜述性文獻.

相關濾波器基于判別式框架,與經典的支持向量機(Support vector machine,SVM)[14]等分類算法一樣同屬于監(jiān)督學習.與SVM 等二分類算法不同的是,基于相關濾波器的跟蹤方法將訓練樣本標簽連續(xù)化以形成置信圖,求得圖中響應最大的位置即為目標.鑒于這種方法能有效提高跟蹤算法的精度和魯棒性,許多改進算法被相繼提出,并取得了突破性進展.

本文第1節(jié)介紹相關濾波器的基本理論,第2節(jié)介紹近年來針對跟蹤難題提出的相關濾波跟蹤算法,第3節(jié)介紹針對跟蹤策略提出的相關濾波跟蹤算法,第4節(jié)展示并分析所論述跟蹤算法的實驗結果,第5節(jié)對各種方法尚存在的問題進行分析,總結并闡述未來的發(fā)展趨勢.

1 基本相關濾波器方法介紹

相關濾波器通常也稱為判別相關濾波器(Discriminative correlation filters,DCF),是視頻跟蹤領域應用最為廣泛的算法之一.計算機方向學者把信號處理學中計算兩種信號相關性的思路引入到視頻跟蹤的研究當中,將目標與待檢測區(qū)域比作信號,并做相關計算,求得相關性最大的區(qū)域,即為目標區(qū)域.

相關濾波方法認為,每個被良好檢測的目標區(qū)域都可為跟蹤提供有效信息,且以這些目標區(qū)域作為訓練樣本所訓練出來的模型會更可靠,具體做法如下:

步驟1.對已跟蹤出的多個目標位置提取特征,訓練出一個濾波器模板;

步驟2.用訓練出的濾波器與新一幀中的待檢測區(qū)域特征做相關,相關響應最大的位置即為新一幀中目標的預測位置;

步驟3.以目標預測位置為中心提取特征,反過來進一步訓練濾波器模型,并重復上述步驟進行后續(xù)的目標跟蹤與模型訓練,進而實現模型的在線訓練與目標的實時跟蹤.

本節(jié)簡單介紹基于相關濾波器跟蹤算法的起源及發(fā)展過程中用到的經典計算策略.

1.1 最早的MOSSE方法

基于相關濾波器的目標跟蹤算法最早于2010年[15]提出,MOSSE(Minimum output sum of squared error)方法開創(chuàng)了相關濾波器應用于目標跟蹤問題的先河.最初的相關濾波器模型相對簡單,由于使用快速傅里葉變換方法輔助計算,所以速度較快,可達到669幀/s,雖然在處理各類跟蹤問題時效果欠佳,但具有里程碑式的意義,為近年來相關濾波的發(fā)展奠定了堅實基礎.

按照上面提到的思路,相關濾波跟蹤算法的目標就是訓練一個最優(yōu)的濾波模板,使其在目標上的響應最大,可表示為

其中,f為輸入圖像,h為濾波模板,g為響應輸出,?為卷積操作,式(1)可進一步展開為

由于卷積計算耗時較大,所以MOSSE方法利用快速傅里葉方法,將f和h表示在傅里葉頻域內,把卷積轉化為點乘,這樣可以極大地減少計算量,則式(1)變?yōu)?/p>

MOSSE方法對初始跟蹤框進行隨機仿射變換,生成m個樣本{fi|i∈1,···,m},再利用高斯函數生成以fi的中心位置為峰值的響應圖gi,最后利用如下目標函數訓練出最優(yōu)的相關濾波模板.

1.2 經典改進方法

自MOSSE方法提出以后,基于相關濾波器的跟蹤算法受到了廣泛的關注,經典方法CSK(Circulant structure of tracking-by-detection with kernels)[16]和KCF(Kernelized correlation filters)[17]都是在MOSSE的基礎上進行改進得出的,其中用到的循環(huán)矩陣和嶺回歸策略巧妙有效,有力推進了相關濾波在跟蹤領域的發(fā)展,彌補了MOSSE方法存在的不足,改善了跟蹤效果.

本小節(jié)主要對循環(huán)矩陣和嶺回歸的計算方法做簡單介紹.

1.2.1 循環(huán)矩陣

跟蹤初始階段的樣本數量有限,可通過對單個樣本使用循環(huán)矩陣生成的新樣本豐富樣本庫,進而訓練出更好的相關濾波模板,該方法最早在CSK[16]算法中被提出,樣本轉化在傅里葉頻域中進行.

定義一個中心位于目標的估計位置的圖像塊為基礎樣本,如圖1所示.

圖1 循環(huán)采樣示意圖Fig.1 Sketch map of circular sampling

對基礎樣本進行循環(huán)位移操作,以實現對目標周圍的連續(xù)采樣.若將樣本表示成向量形式,可得到循環(huán)矩陣如下:

其中,第1行代表基礎樣本,下面各行代表經過循環(huán)位移得到的采樣.

循環(huán)矩陣具備一個非常好的特性,即可以通過離散傅里葉變換矩陣F實現對角化.

其中,x為基礎樣本,為經過離散傅里葉變換的基礎樣本,=Fx.通過這種方法矩陣相乘可根據循環(huán)矩陣的性質轉化為元素點乘,并在有效降低時間復雜度的同時提升跟蹤速度.

1.2.2 嶺回歸

不同于MOSSE以最小二乘作為目標函數,CSK[16]和KCF[17]等經典相關濾波方法均采用了嶺回歸分類策略,最小化目標函數

其中,f為濾波器,i為樣本個數,x為樣本,λ為正則化參數,y為樣本標簽,ω為濾波器系數.嶺回歸目標函數在最小二乘的基礎上加入了正則項λ‖ω‖2,其優(yōu)點是能夠放棄最小二乘法的無偏性,以損失部分信息、降低精度為代價獲得更符合實際、更可靠回歸系數,通過對式(7)求偏導化簡目標函數,最終可獲得封閉解.

當f為線性時,f(z)=wTz,可得到封閉解如下:

其中,X為第1.2.1節(jié)提到的循環(huán)矩陣,I為單位矩陣,根據循環(huán)矩陣的性質,矩陣間的乘除計算可化簡為元素間的點乘或點除.

當f為非線性時,引入核函數k,將樣本從低維空間映射到高維的核空間,則,在低維空間不可分的情況到高維空間之后變得線性可分了,仍可得到封閉解為

這種方法可快速檢測到目標的位置.

2 針對跟蹤難題提出的相關濾波跟蹤算法

最初基于相關濾波的跟蹤方法跟蹤速率較快,但在復雜背景、目標形變、長時遮擋、尺度變換等復雜情況下表現不佳,所以近年來的相關濾波跟蹤算法主要針對這幾類跟蹤難題提出了相應的改進策略,跟蹤效果得到了很大的改善.本節(jié)詳細介紹并分析針對這幾種跟蹤難題提出的相關濾波跟蹤方法.

2.1 復雜背景

在復雜的自然環(huán)境中,目標的機動性較大,對目標的區(qū)分和跟蹤都相對困難,最簡便有效的方法是使用顏色特征對目標進行區(qū)分.經典的KCF[17]算法將MOSSE[15]方法的灰度特征替換為多通道的彩色特征,使得跟蹤效果得到很大提升.如果在跟蹤過程中有效利用顏色特征,那么訓練出的模型往往能夠具有很強的魯棒性.

基于自適應顏色屬性的視頻跟蹤方法(Color names,CN)[18]是2014年Danelljan基于CSK方法提出的一種擴展方法,該方法不僅使用了顏色特征,還將傳統(tǒng)的RGB三通道特征結合亮度細分為黑、藍、棕、灰、綠、橙、粉、紫、紅、白和黃11種特征,可有效解決跟蹤過程中由復雜背景導致的目標定位不準確的問題,但由于通道過多導致計算量增大,該方法采用自適應顏色屬性策略對特征進行降維,使整體跟蹤效果得到提升,速度可達100幀/s以上.通過最小化如下目標函數實現樣本分類.

其中,?為核函數的投影方式,j為幀數,y為樣本標簽,(m,n)為樣本中心位置,每一幀的誤差權重β可有效增加算法的魯棒性,該目標函數同樣需要將各參數從時域轉換到傅里葉頻域中進行計算.

為加快跟蹤速度,該方法利用如式(11)所示的PCA(Principal component analysis)方法實時選擇當前幀中比較顯著的顏色用于跟蹤,同時為當前幀p找到一個合適的降維映射,訓練出最好的投影矩陣B.具體方法為

其中,ηdata為僅由當前幀決定的重構誤差,α為重構誤差對應權重,ηsmooth為新舊幀間投影矩陣的重構誤差,B為降維投影矩陣,b為矩陣B中的單個向量,λ為單個向量對應權重.

實驗表明,采用自適應降維方法可將初始的11維降低至2維,可同時提高跟蹤精度與計算速度,CN方法雖然在多種跟蹤難題中的表現都優(yōu)于CSK方法,但與目前很多算法的效果相比,仍存在很大差距,該算法思想僅可視為一個過渡算法.

2.2 目標形變

針對目標形變問題,2016年牛津大學的Bertinetto等[19]提出了Staple方法,開創(chuàng)了模板類特征(HOG)與統(tǒng)計類特征(顏色直方圖)相結合的先河.HOG特征對運動模糊和照度很魯棒,但是對形變不夠魯棒;而顏色直方圖特征不考慮每一個像素的位置信息,可有效處理物體形變問題但對光照不魯棒.由于單獨使用上述任一特征的表示模型判別能力都不夠強,且這兩種特征性質互補,所以該方法在嶺回歸的框架下,結合使用HOG特征和顏色直方圖特征,設計目標表示方法,并應用在跟蹤方法中.該方法優(yōu)于同時期的其他復雜模型方法,速度可以達到80幀/s以上.主要貢獻在于提出了一種有效的特征融合方法,并沒有單純用融合特征去跟蹤目標得到打分,而是從打分的角度進行融合.當輸入一張圖片后,對目標圖片提取HOG特征,用來訓練濾波器,然后根據相關濾波器的學習規(guī)則學習得到濾波模板并更新;與此同時,使用顏色直方圖特征對濾波模板進行學習,并使用同樣的方式對學習到的模板進行更新.

在跟蹤過程中,首先基于上幀學習到的位置標出大致目標位置,然后利用訓練出的兩個濾波器模板對目標區(qū)域做兩個響應圖,最后用線性方法將得到的兩個響應圖融合成最終響應圖,進而最終確定目標位置.使用的線性方法如下:

2.3 目標尺度變換

大部分跟蹤方法尤其是相關濾波跟蹤方法在訓練過程中都忽略對尺度的估計或使用統(tǒng)一的尺度處理不同尺度的樣本,導致在目標發(fā)生大尺度形變時較易發(fā)生目標丟失或目標偏移,例如KCF方法的目標框從始至終大小未發(fā)生變化.多數方法設計主要集中于目標定位,也有少數方法的設計是針對尺度變化,但跟蹤速度較慢,很難達到實時.

2014年Danelljan等[20]基于MOSSE框架提出DSST(Discriminative scale space tracking)方法,首次在相關濾波跟蹤方法中同時使用位置濾波器和尺度濾波器,分別進行目標定位和尺度評估.

DSST方法中的位置濾波器基于上一幀確定的目標框獲取候選框,在確定目標位置后,尺度濾波器以當前目標框的大小為基準,基于33種較精細的不同尺度候選框確定新的目標尺度.整個聯合相關濾波器基于三維尺度空間,大小為M×N×S,其中M,N為相關濾波器的長寬,S為相關濾波器的尺度大小;訓練樣本基于特征金字塔被構造為一個大小為M×N×S的立方體,它滿足以目標位置和尺度為中心的立體高斯分布,尺度參數的更新和之前使用學習率更新相關濾波參數的方式相同,相關響應最大的位置即為目標位置.DSST方法雖然速度較慢,當目標發(fā)生巨大形變時效果不佳,但聯合相關濾波器和立體化訓練樣本思路新穎獨特,精度方面獲得了2014年VOT競賽的冠軍.2017年Danelljan等[21]基于該文又發(fā)表了一篇擴展論文,加入了一些加速方法后,速度有所提升.

2015年Zhang等[22]提出了JSSC(Tracker using joint scale-spatial correlation filters)方法,該方法提出了一種聯合尺度空間的自適應框架,同時考慮不同尺度的多個循環(huán)矩陣,使用結合核函數的嶺回歸方法訓練模型,同時檢測目標的位置和尺度信息.

該方法采用模板匹配策略,首先假設不同尺度采樣的匹配打分符合混合高斯分布,在嶺回歸中最大限度的減少樣本響應和匹配打分之間的差異來訓練模型.在訓練階段,比較計算不同尺度間的樣本使跟蹤算法能夠敏感于目標尺度的變換.在檢測階段,利用先驗概率對樣本進行線性插值計算,進而確保對目標連續(xù)的尺度估計.經實驗分析,使用5種不同尺度的采樣訓練出的相關濾波模板效果最優(yōu),最終跟蹤效果相對于上面提到的DSST方法有明顯改善.同年Zhang等[23]在JSSC方法的基礎上又延伸出了RAJSSC(Joint scale-spatial correlation tracking with adaptive rotation estimation)方法.在原方法的基礎上,從目標旋轉的角度對跟蹤算法進行改進,將目標模板從直角坐標系轉換到極坐標系以保留旋轉目標中的循環(huán)矩陣信息,使跟蹤器能夠在方向空間對物體的旋轉進行建模,進而減少由于目標旋轉對跟蹤效果造成的影響.

2.4 長時遮擋

一般的相關濾波跟蹤方法在處理長時間遮擋問題時較為敏感,因為它們大都以100～500幀短時記憶跟蹤為主,遮擋結束后容易丟失目標或發(fā)生目標位置偏移.針對該問題,2015年Ma等[24]提出長時記憶相關濾波跟蹤(Long-term correlation tracking,LCT)方法.

長時記憶跟蹤即跟蹤器在較長的時間內都能保持準確穩(wěn)定的跟蹤,最常用的策略是給普通跟蹤器搭配一個檢測器,在發(fā)現跟蹤出錯的時候調用自帶的檢測器重新檢測并矯正跟蹤器.LCT方法延續(xù)了DSST方法中聯合使用位置濾波器和尺度濾波器的思想,但與DSST不同的是,在位置濾波器中,通過考慮目標周圍臨時的上下文信息訓練回歸模型,即在提取特征后加入檢測區(qū)域內目標和背景的空間權重關系,以此來對抗嚴重形變、長時遮擋等跟蹤難題,有效地緩解了可塑性–穩(wěn)定性窘境,這樣就可以保證在學習新知識的同時,還能保持對舊知識的記憶;而在尺度相關濾波器中,該方法使用大小相同但尺度不同的圖像塊,提取HOG特征構造尺度特征金字塔,與目標回歸模型做相關,響應最大的圖像塊的尺度即為最優(yōu)尺度.

為防止目標丟失導致的跟蹤失敗,該方法通過比較響應最大值與指定閾值,決定是否使用K近鄰在線分類器進行再檢測并矯正跟蹤器.LCT方法可有效處理遮擋和目標移出視野的情況,在保證精度的同時,速度可達到27幀/s.

3 針對跟蹤策略提出的相關濾波跟蹤算法

3.1 邊緣效應

由于標準的DCF方法在利用循環(huán)矩陣生成多樣化樣本時,會不可避免地引發(fā)邊緣效應進而導致過擬合,所以2015年Danelljan等[25]對DCF方法進行了改進,提出了考慮空間信息的SRDCF(Spatially regularized correlation filters)方法,在目標函數中將普通正則項改為空間懲罰正則項,期望抑制離中心較遠的特征對跟蹤的影響.通過此種方式依然采用HOG特征用于目標跟蹤,很好地解決了邊緣效應問題,并成為當年效果最好的跟蹤方法之一,但速度較慢,4幀/s左右.

目標函數相對于式(7)僅第2項發(fā)生了改變,即加入了空間懲罰正則項.

其中,懲罰權重ω由空間位置決定,并滿足高斯分布,是決定相關濾波系數的一個重要參數.

圖2是加入懲罰正則項前后相關濾波系數對比示意圖.從圖2可以看出,越接近邊界的位置,懲罰越大,越接近中心的位置,懲罰越小,以此來更加突顯目標,同時減小邊界對跟蹤的影響.

最小化目標函數(15)的求解過程仍是在傅里葉域中進行,由于加入了空間正則項,破壞了DCF中的矩陣塊對角結構,故該方法迭代使用Gauss-Seidel方法進行在線學習優(yōu)化,進而得到新的相關濾波系數.

圖2 加入懲罰正則項前后相關濾波系數對比示意圖Fig.2 Schematic diagram of correlation filtering coefficients before and after adding penalty regular

3.2 深度特征的采用

2015年以前的相關濾波方法使用的特征主要集中于HOG梯度直方圖、顏色直方圖及邊界等手工特征.提取手工特征的方法是人為規(guī)定的,僅適用于指定情況,模型適應性較差.而提取深度特征仿照的是人腦對信息的多層逐步遞增的處理模式,可以通過學習大量數據得到更有效、泛化能力更強的信息表達,采用深度特征訓練的模型適應性更強,已成功應用于行為識別、圖像分割等問題的求解中,并獲得了很好的效果.

DeepSRDCF(Convolutional features for spatially regularized correlation filter)[26]方法分別在標準DCF和SRDCF框架下證明了深度特征的有效性,詳細論證了多種人工特征及各層深度特征對跟蹤效果的影響.大多數深度學習方法更偏重于使用預訓練深度神經網絡中全連接層提取的特征,然而,各卷積層提取的特征包含更多的結構和語義信息,判別能力更強,訓練出的模型更適用于圖像分類問題,其中較淺層次的卷積層提取的特征包含更多的視覺信息,因而更適用于跟蹤問題.

該方法使用ImageNet數據集預訓練的CNN深度神經網絡來提取特征,以待檢測區(qū)域RGB圖像作為輸入,逐層輸出卷積特征,通過實驗對比,在相關濾波跟蹤框架中單獨使用各層深度特征得到的結果.可以看出,使用CNN深度特征尤其是底層特征(第一層特征)解決跟蹤問題的效果更好,遠遠超過應用手工特征的相關濾波方法.DeepSRDCF方法首次將深度特征引入視頻跟蹤領域,雖然深度特征參數較多,導致在提高跟蹤精度的同時速度有所下降,但仍具有里程碑式的意義.

雖然深度特征使得視頻跟蹤方法的效果得到很大提升,但大多數方法采用的都是預訓練好的深度特征.2017年Wang等[27]提出DCFNet(Discriminant correlation filters network)方法,認為預訓練網絡訓練出來的深度特征或手工特征是獨立于整個相關濾波跟蹤過程的,會對所訓練模型的適應性造成影響,故該方法自己構造出一種端到端的輕型網絡框架,通過將相關濾波看成一層網絡加入到孿生網絡中,訓練出最適合相關濾波跟蹤的特征,在優(yōu)化整個網絡的過程中,謹慎地反向傳播誤差并輸出目標位置的概率熱圖,進而實現在學習卷積特征的同時跟蹤目標.

DCFNet網絡在DCF框架下構造級聯特征提取過程,最小化目標函數為

其中,g為通過DCF得到的響應,為期望響應,該響應圖在真實目標位置響應最大.然后對目標函數進行一系列的求導過程,來實現誤差的反向傳播,進而訓練整個網絡,詳細推導過程見文獻[27].

DCFNet將相關濾波器融入到訓練網絡中的想法新穎獨特,通過端到端的方法,針對性地學習出適合相關濾波跟蹤的特征,所學出特征的性能能夠與廣泛使用的HOG特征相媲美,在維持跟蹤精度的同時,大幅度提高跟蹤速度,跟蹤速度可達到89幀/s.

3.3 訓練樣本的選擇

追蹤過程中通常會遇到樣本損壞的問題,例如錯誤的跟蹤預測、擾動、局部或全遮擋都會導致樣本不同程度的受損,受損樣本進入訓練集,必然會使模型泛化能力和判別能力下降.SRDCFdecon(Spatially regularized correlation filters with decontaminated training set)[28]方法針對這一問題在SRDCF框架的基礎上,對訓練樣本集進行了改進,通過評估樣本的質量來動態(tài)管理訓練集,可有效增強模板的泛化能力.該方法第一次提出聯合優(yōu)化外觀模型參數和樣本權重,最小化損失函數,其中目標函數如下:

其中,αk為每個樣本的權重,L為針對訓練樣本的損失函數,θ是外觀模型參數,x為訓練樣本,y為預期標簽,第2項控制變化速度與第3項一起都屬于正則項.值得一提的是,在該目標函數中,權重為一個連續(xù)的數值,因為在目標發(fā)生輕微遮擋或微小變化時,訓練樣本沒有完全受損,仍含有有用信息,這時讓權重連續(xù)化能夠更準確地定義訓練樣本的性質.

僅憑前一幀的信息決定一個樣本的重要性往往不夠客觀.對于泛化能力較強的模板,在更新樣本時,應該考慮到包括更早幀中的信息在內的所有有用信息.該方法利用所有先前幀目標的信息,將樣本的權重規(guī)定為指定變化趨勢,即當前幀樣本權重最大,向前逐漸減小直至不.具體方法為

其中,ρk為第k幀的權重,在每一幀迭代中,都重新決定樣本的權重,進而糾正跟蹤錯誤.實驗證明,該方法可有效提高跟蹤精度,但速度較慢,為3幀/s.

3.4 特征融合的應用

在驗證了深度特征可有效提升模型適應性以后,Danelljan等[29]進一步改進了DeepSRDCF方法并提出C-COT(Continuous convolution operators for visual tracking)方法,并獲得了2016年VOT競賽的冠軍.

不同于使用單一分辨率特征的常用方法,Danelljan等發(fā)現由不同卷積層得到的特征圖分辨率大小不同,即高層分辨率較小特征和低層分辨率較高特征,因此這兩種特征可在跟蹤中發(fā)揮不同的作用.該方法嘗試使用插值運算,將離散的特征圖轉化到連續(xù)空間域中進行計算,有效結合不同層次的深度特征訓練模型,再次提高了模型的適應性.其目標函數在基礎SRDCF的目標函數式(15)的基礎上改進為

與基本公式不同的是,式(19)中的Sf為濾波模板與插值后樣本做相關計算后的得分,即使用從不同卷積層訓練得到的濾波模板進行運算,得到不同的置信圖,對所有的置信圖進行加權求和,得到最終的置信圖.最終置信圖中最大值所在的位置即為要跟蹤的目標所在的位置.

該方法對深度神經網絡的各層及各層的不同組合提取的特征進行了逐一試驗.經測試,融合第0層、第1層和最后一層提取的深度特征,應用在視頻跟蹤問題中效果最好,并且離散特征連續(xù)化的策略對跟蹤算法效果的提升也起到了重要作用.

事實上,直接在DCF跟蹤器中融合多維特征導致表示模型參數增多,例如C-COT就需連續(xù)更新800000個參數,模板泛化能力較差,極易導致過擬合,在增加計算復雜度的同時,減慢了跟蹤速度.DCF跟蹤器雖使用大量訓練樣本集,但實際上可使用的樣本數量有限,通常的做法是丟棄最老的樣本,這很容易使跟蹤結果擬合于最近的變化,導致跟蹤偏移.DCF跟蹤器逐幀更新模型,受孿生網絡(無需更新模型)啟發(fā),文獻[29]認為逐幀更新為過渡更新模型,反而會導致模板泛化能力下降,敏感于目標的突然改變,導致跟蹤速度和算法魯棒性的降低.

2017年ECO(Efficient convolution operators)[9]方法在C-COT方法的基礎上,主要提出三個策略,有效解決了上述問題:1)提出多項式卷積計算,用PCA方法訓練投影矩陣對融合特征進行降維,僅考慮能量值最大的特征,減少了參數個數;2)提出生成樣本空間模型,用混合高斯的方法合并樣本集中最相似的兩個訓練樣本,減少了訓練樣本的個數,減輕了重復計算相似樣本帶來的計算負擔;3)拋棄逐幀更新模型的策略,每隔固定幀數更新一次,節(jié)省了無效更新浪費的時間.

ECO方法通過上述策略訓練的模型泛化能力較強,在有效提高目標跟蹤速度的同時,精度也有所提高.

4 實驗結果對比

本節(jié)主要從精度和速度兩方面分析相關濾波系列跟蹤算法;首先展示文中所述方法在兩大常用數據集(OTB(Online object tracking:a benchmark)[30]和VOT(Visual object tracking)[31])上的測試結果,然后著重討論并分析該系列算法在不斷完善的過程中在性能和速度方面發(fā)生的改變.

4.1 OTB數據集上的方法結果對比

OTB數據集是評價視頻跟蹤算法的重要公測數據集之一,于2013年被首次提出,包含50個涉及背景復雜、目標旋轉、尺度變換、目標快速移動、目標變形、目標遮擋等多種跟蹤難題的視頻序列,可對目標跟蹤方法進行全面系統(tǒng)的評價.

該數據集主要有以下三種評價方式:1)一次性魯棒評估(One pass evaluation,OPE).傳統(tǒng)評估方式,即從頭到尾跑一遍視頻序列,以第1幀的真實目標位置作為初始位置.2)時間魯棒評估(Temporal robustness evaluation,TRE).從不同的視頻幀開始跟蹤,或隨機跟蹤視頻序列的一個片段.3)空間魯棒評估(Spatial robustness evaluation,SRE).以不同的目標框做初始開始跟蹤,通過對初始真實目標框采用中心轉移、角度變換、尺度大小變換等不同方式得到不同的目標框.

SRE對算法的魯棒性要求最高,為增強說服力,本文在該數據集上采用SRE的方式對上述跟蹤算法進行對比;同時,以成功率S做為評價指標,從不同角度分析實驗結果,具體做法為:計算跟蹤框和真實框的重疊率,對重疊率大于閾值的幀進行計數,由于使用指定閾值,不能公平地對比不同的跟蹤器,成功率展示的是閾值為0～1的成功幀數的比率,比率曲線下覆蓋面積的大小可用來對不同的跟蹤器進行性能排序.

本文在OTB數據集上對比分析了上述提到的ECO,CSK,KCF,CN,Staple,DSST,LCT,SRDCF,DeepSRDCF,CCOT,DCFNet,SRDCFdecon等12種跟蹤方法.雖然上述方法目前僅從有限的角度對相關濾波跟蹤算法進行了改進,為方便分析總體性能及未來改進方向,本文分別從尺度變換、目標旋轉、低分辨率、光照變化、運動模糊、復雜背景、快速移動、目標形變、移除視野等角度綜合展示了各種跟蹤方法的SRE成功率排序,對比圖如圖3所示.

4.2 VOT數據集上的方法結果對比

VOT數據集是評價目標跟蹤方法的又一重要數據集,包含60多個視頻片段,涵蓋了尺度變換、相機移動、光照變化、運動變換、遮擋等多種跟蹤問題,雖然涉及到的跟蹤問題與OTB略有重疊,但評價方式不同,該數據集通過期望平均覆蓋率(Expected average overlap,EAO)評估跟蹤算法的精確度和魯棒性,為OTB數據集提供了有效的補充評估.

上述基于相關濾波器的視頻跟蹤算法在VOT數據集上以EAO為評價標準的對比與排序如圖4所示.由于CN,LCT,DCFNet和CSK方法沒有提供跟蹤結果,而RAJSSC僅提供了VOT結果,故本文分別僅對其他9種方法的結果做了逐一比較,另外比較了目前深度學習類跟蹤方法中極具代表性的TCNN[32]方法.

4.3 關于跟蹤性能的討論與分析

從OTB數據集上的測試結果可以看出,近年來基于相關濾波的各種跟蹤方法效果被逐步改善,雖然早期的CSK方法效果不盡如人意,卻是所有相關濾波跟蹤方法的基礎.從結果對比圖可以看出,之后的算法每加入一種改進策略,跟蹤效果就提升一點:CN方法加入了對顏色特征的改進策略,不僅在復雜背景的情況下優(yōu)于CSK方法,在尺度變換、目標快速移動等情況下跟蹤效果都有一定的改善,但影響不是十分顯著,僅提高了0.1的成功率;相比而言,針對目標形變提出的Staple方法則帶來了很大程度的改進,在目標形變、復雜背景等情況下,效果甚至強于使用深度特征的跟蹤算法,相對于最初的相關濾波方法,提高了近0.3的成功率;DSST方法針對目標尺度變化提出了相應的改進策略,效果有所改善,但不是很多;旨在處理長時跟蹤的LCT方法在目標旋轉方面表現不錯,但在處理低分辨率目標時效果不佳;總體來說,Danelljan等提出的系列方法均處于排名上游,目前ECO算法不僅在相關濾波系列跟蹤方法中綜合效果最好,在所有目標跟蹤算法綜合效果也是最好,在大部分的視頻跟蹤問題中都能得到很好的效果,平均成功率可達到0.7以上,但在目標快速移動、光照變化、目標形變等視頻難題中雖然速度占優(yōu)勢,但效果不如C-COT或其他跟蹤算法,還有一定的改進空間.

圖3 各種基于相關濾波跟蹤方法成功率對比曲線圖Fig.3 Various success ratio comparison curve based on correlation filter tracking methods

圖4 各種基于相關濾波跟蹤方法的EAO等級圖Fig.4 Various EAO level maps based on correlation filtering tracking methods

VOT數據集上的測試結果再次確認了各相關濾波算法性能的排名,在整個VOT 2016競賽中,結合相關濾波器的CCOT方法的EAO值為0.331,排名第1,優(yōu)于僅結合深度學習的第2名方法TCNN[32](EAO為0.325).如圖4所示,其他相關濾波跟蹤方法排名也比較靠前.深度特征的影響力毋庸置疑,在相關濾波跟蹤方法中直接使用深度特征的DeepSRDCF方法要明顯優(yōu)于大部分跟蹤方法;除此之外,針對尺度變換的改進RAJSSC方法的效果要明顯優(yōu)于DSST方法,可知模板匹配策略的有效性;利用不同分辨率深度特征的CCOT使得跟蹤算法效果又得到了很大的提升;在此基礎上,采用優(yōu)化訓練集和模型更新次數策略的ECO方法的跟蹤性能評價指標EAO被提升至0.358,優(yōu)于2016最好方法CCOT,盡管在目標遮擋方面還存在一定的改進空間,卻是2017年度跟蹤方法中效果最好的方法.

4.4 關于跟蹤速度的討論與分析

從基于相關濾波的跟蹤算法提出至今,隨著跟蹤策略的不斷改進和完善,算法的跟蹤速度也發(fā)生了很大改變.

最初的MOSSE算法僅使用單通道的灰度特征,相對簡單,跟蹤精度不高但跟蹤速度較快,可達到669幀/s;之后的算法在MOSSE的基礎上逐漸演變得更復雜,跟蹤速度也相應降低,CSK方法和KCF方法在MOSSE方法的基礎上,引入了循環(huán)矩陣和嶺回歸策略,并使用多通道的彩色特征,使跟蹤精度得到了顯著提高,但跟蹤速度分別降至362幀/s和172幀/s;CN方法和Staple方法對跟蹤使用的手工特征分別做出了相應改進,改善跟蹤效果的同時速度分別降至152幀/s和80幀/s;SRDCF方法修改嶺回歸目標函數,有效解決了邊緣效應導致的過擬合現象,卻導致跟蹤速度大幅下降至4幀/s;隨著將深度特征引入跟蹤算法,跟蹤速度越來越慢,演化到C-COT方法時跟蹤速度已經降至0.3幀/s,研究人員也終于對跟蹤速度引起了關注,2017年Danelljan等提出的ECO算法旨在改善跟蹤效果的同時提高跟蹤速度,簡化特征并減少模型更新的次數,使采用深度特征的跟蹤算法速度提升至6幀/s,采用手工特征的跟蹤算法速度提升至60幀/s;同年提出的DCFNet方法將相關濾波最為卷積網絡的最后一層,跟蹤速度可達到89幀/s.

從相關濾波系列跟蹤方法的演變過程可以看出,這是一個先從簡到繁,又從繁到簡的過程,不變的是跟蹤精度始終在持續(xù)提高,大多數跟蹤難題都已得到很好的解決.

5 結論

相關濾波器因在傅里葉域計算速度快、效果好等優(yōu)點,已被成功應用于各種計算機視覺問題中.事實證明,將相關濾波器引入跟蹤方法可更好地應對跟蹤問題中的各種挑戰(zhàn),提高跟蹤的準確性和魯棒性,進而實現長時在線跟蹤.綜合目前基于相關濾波跟蹤方法的發(fā)展現狀,本文認為該方法未來研究方向如下:1)分析各層深度特征的作用及重要性,有效結合最優(yōu)深度特征和人工特征來彌補彼此的不足,進而提高模型對特征的表達能力;2)自適應更新相關濾波模型,增強模型對目標變化的適應能力;3)優(yōu)化相關濾波目標函數,從根本上提升算法的檢測性能.