譚建豪 張思遠(yuǎn)

(湖南大學(xué)電氣與信息工程學(xué)院 長沙 410082)(機(jī)器人視覺感知與控制技術(shù)國家工程實驗室(湖南大學(xué)) 長沙 410082)(tanjianhao@hnu.edu.cn)

Fig. 1 Flow chart of tracking algorithm圖1 跟蹤算法流程圖

視覺跟蹤技術(shù)是計算機(jī)視覺領(lǐng)域中一個重要的研究方向，在視覺制導(dǎo)、人機(jī)交互、視頻監(jiān)控等多個領(lǐng)域都有廣泛應(yīng)用.隨著MOSSE(minimum output sum of squared error)算法將相關(guān)濾波引入視覺跟蹤中，這種從時域計算轉(zhuǎn)換到頻域計算的方法大大提升了運(yùn)算速度.基于相關(guān)濾波的視覺跟蹤技術(shù)由此得到迅速發(fā)展[1]，出現(xiàn)很多經(jīng)典的跟蹤算法，如Henriques等人[2]提出的核相關(guān)濾波(kernelized correlation filter, KCF)算法，速度在CPU上達(dá)到172fps；Danelljan等人[3]提出的DSST(discriminative scale space tracking)算法，采用了33種不同尺度，大大提高了尺度估計的精度；Li等人[4]提出的SAMF(scale adaptive with multiple features)算法，引入了多特征融合和尺度自適應(yīng)策略，對遮擋具有良好的抵抗能力.

而隨著相關(guān)濾波類視覺跟蹤算法性能的不斷提升，因循環(huán)移位采樣導(dǎo)致的邊界效應(yīng)問題引起了學(xué)者的關(guān)注.邊界效應(yīng)產(chǎn)生的錯誤樣本會導(dǎo)致模型判別力下降，尤其是在目標(biāo)快速變形和快速運(yùn)動的場景下更為明顯.為解決這一問題，Galoogahi等人[5]提出了BACF(background-aware correlation filter)算法，使用真實的負(fù)樣本代替正樣本循環(huán)移位生成的負(fù)樣本，這些樣本包括了更大的搜索區(qū)域和真實的背景,取得了不錯的效果；Danelljan等人[6]提出了SRDCF(spatially regularized discriminative correla-tion filters)算法，在模型中加入了空間正則化項，讓邊界附近濾波器系數(shù)接近零，一定程度上緩解了邊界效應(yīng)問題，但該方法為了形成合適的正則化權(quán)重，必須仔細(xì)調(diào)整一組超參數(shù)，否則會導(dǎo)致較差的跟蹤性能，且算法整體速度較慢；Dai等人[7]提出了基于自適應(yīng)空間正則化的ASRCF(adaptive spatially-regularized correlation filters)算法，此算法可以學(xué)習(xí)到空間正則化權(quán)重的變化，對非目標(biāo)區(qū)域的懲罰更為準(zhǔn)確，但在遇到目標(biāo)有較大形變時，濾波器對不準(zhǔn)確目標(biāo)的學(xué)習(xí)容易導(dǎo)致跟蹤漂移；Li等人[8]提出了基于時空正則化的STRCF(spatial-temporal regularized correlation filters)算法，利用時間正則化來建立相鄰濾波器之間的關(guān)系，但空間正則化權(quán)重沒有學(xué)習(xí)能力，在遇到相似背景干擾時跟蹤容易發(fā)生漂移.

為此，本文提出了一種基于自適應(yīng)空間正則化的視覺跟蹤算法，該算法通過建立正則化權(quán)重在相鄰幀之間的關(guān)聯(lián)，降低算法模型在處理不準(zhǔn)確樣本時發(fā)生過擬合的風(fēng)險，減小邊界效應(yīng)的影響；采用一種自適應(yīng)寬高比的尺度估計策略，靈活適應(yīng)目標(biāo)寬高尺度比的變化；利用基于顏色直方圖相似度的模型更新策略，阻止模型在跟蹤不準(zhǔn)確時進(jìn)行更新，降低模型漂移風(fēng)險.

1 基于自適應(yīng)空間正則化的視覺跟蹤算法

1.1 算法整體流程

本文提出的基于自適應(yīng)空間正則化的視覺跟蹤算法流程如圖1所示.算法的主要步驟為：

1) 根據(jù)第1幀圖像中標(biāo)記的跟蹤目標(biāo)訓(xùn)練濾波器；

2) 提取輸入圖像的方向梯度直方圖(histogram of oriented gradients， HOG)特征，并利用VGG Net-16的Conv1和Conv5分別提取圖像淺層和深層特征；

3) 提取的特征與濾波器進(jìn)行相關(guān)運(yùn)算,得到多個特征響應(yīng)，經(jīng)過融合得到相關(guān)濾波響應(yīng)圖，進(jìn)而獲取目標(biāo)位置；

4) 利用自適應(yīng)寬高比的尺度估計方法得到目標(biāo)尺度；

5) 判斷估計的目標(biāo)與前一幀目標(biāo)顏色直方圖相似度是否高于閾值，若滿足，則進(jìn)行濾波器更新，否則不更新濾波器.

1.2 自適應(yīng)空間正則化模型

經(jīng)典的相關(guān)濾波模型采用循環(huán)移位的方式進(jìn)行采樣，雖然大大提高了樣本數(shù)量但也帶來了邊界位置周期性重復(fù)的問題，導(dǎo)致模型使用了一些非真實樣本進(jìn)行訓(xùn)練.同時，由于正樣本周圍不可避免地包含一些背景信息，在訓(xùn)練過程中分類器容易將這些緊鄰目標(biāo)的背景視作目標(biāo)進(jìn)行特征學(xué)習(xí)，降低了整體的跟蹤性能.為解決這個問題，本文提出一種引入自適應(yīng)空間正則化的算法模型.在經(jīng)典的相關(guān)濾波模型中引入自適應(yīng)空間正則化項，通過建立正則化權(quán)重在相鄰幀之間的關(guān)聯(lián)，自適應(yīng)調(diào)整模型的正則約束.目標(biāo)函數(shù)定義如式(1)：

(1)

其中，X=(x1,x2,…,xK)是用于訓(xùn)練的樣本數(shù)據(jù)，H=(h1,h2,…,hK)表示濾波器.y是預(yù)期的高斯響應(yīng)，P是二元對角矩陣，用于使相關(guān)算子能直接應(yīng)用于真實前景和背景樣本.*表示卷積運(yùn)算，⊙表示哈達(dá)瑪積.λ1和λ2是空間正則化參數(shù)，wt是第t幀(當(dāng)前幀)需要優(yōu)化的自適應(yīng)權(quán)重，wt -1是第t-1幀(前一幀)的自適應(yīng)權(quán)重.初始時，將w0設(shè)為負(fù)高斯形的分布，之后根據(jù)目標(biāo)的變化學(xué)習(xí)更準(zhǔn)確的權(quán)重.根據(jù)帕塞瓦爾定理，將目標(biāo)函數(shù)轉(zhuǎn)換到頻域中，并轉(zhuǎn)換為如式(2)的等式約束優(yōu)化形式，以方便進(jìn)一步地求解.

(2)

(3)

(4)

其中，S=(s1,s2,…,sK).對式(4)采用方向交替乘子法(alternating direction method of multipliers, ADMM)來求解，即迭代求解以下子問題：

1) 求H的最優(yōu)解H*.

(5)

(6)

其中，W=diag(wt)，p=(P11,P22,…,PTT)T是矩陣P中對角元素組成的列向量.

(7)

(8)

(9)

3) 求wt的最優(yōu)解wt*.

(10)

其中，nk=diag(hk).

4) 更新拉格朗日乘子.

(11)

通過反復(fù)執(zhí)行上述4個步驟來進(jìn)行優(yōu)化，待到收斂后，可獲得一組最優(yōu)的濾波器和空間正則化權(quán)重.

1.3 自適應(yīng)寬高比的尺度估計

尺度金字塔方法是視覺跟蹤中常用的尺度估計策略，其基本原理是將原有的目標(biāo)框尺度進(jìn)行不同比例地放大和縮小，并計算對應(yīng)的響應(yīng)，選擇響應(yīng)值最大的作為跟蹤目標(biāo)框，從而達(dá)到尺度自適應(yīng)追蹤.在實際跟蹤任務(wù)中，目標(biāo)的寬高比可能發(fā)生大的變化，這時尺度金字塔方法的缺點(diǎn)就凸顯出來:無法適應(yīng)目標(biāo)寬高尺度比的改變，導(dǎo)致跟蹤變得不再精準(zhǔn)，經(jīng)過多幀以后出現(xiàn)模型漂移，極易導(dǎo)致目標(biāo)完全跟丟.

針對這一問題，本文提出一種自適應(yīng)寬高比的尺度估計策略：保持前一幀預(yù)測目標(biāo)的高不變，以前一幀的寬乘以n個不同的縮放因子作為候選寬，組合得到n個候選尺度；根據(jù)這些候選尺度來提取圖像塊，并獲得每個圖像塊對應(yīng)的HOG特征描述；與濾波器進(jìn)行相關(guān)運(yùn)算后，對輸出響應(yīng)進(jìn)行排序，取前q名的寬尺寸作為新的候選寬尺度；以前一幀的高乘以m個不同的縮放因子作為候選高，組合得到q×m個新的候選尺度;根據(jù)這些新的候選尺度提取圖像塊，并提取每個圖像塊對應(yīng)的HOG特征描述；再次與濾波器進(jìn)行相關(guān)運(yùn)算后，取響應(yīng)最大的圖像塊作為當(dāng)前幀的預(yù)測目標(biāo)圖像，其對應(yīng)的尺度即為當(dāng)前幀的預(yù)測尺度，如圖2所示.使用該策略能靈活適應(yīng)目標(biāo)寬高比的變化，在發(fā)生形變、旋轉(zhuǎn)等情況時仍保持良好的跟蹤精度.

Fig. 2 Schematic diagram of scale estimation圖2 尺度估計示意圖

1.4 基于顏色直方圖相似度的更新

相關(guān)濾波類視覺跟蹤算法中的更新策略一般有2種：一種是對每一幀都進(jìn)行模型更新，這樣能保證模型很好地適應(yīng)目標(biāo)的形變，但存在模型漂移的問題[9-12]；另一種是每間隔一段時間更新一次，這樣的好處是能一定程度上減少計算量和抑制模型漂移[13]，但若目標(biāo)在短時間內(nèi)發(fā)生大的形變，這種更新策略會使模型難以準(zhǔn)確跟蹤目標(biāo).

本文采用一種基于顏色直方圖相似度的更新策略，其主要思想是:利用顏色直方圖相似度的大小來判斷是否更新模型，僅當(dāng)預(yù)測的目標(biāo)和前一幀目標(biāo)的顏色直方圖相似度高于設(shè)定閾值時，才進(jìn)行模型更新.當(dāng)前，巴氏距離在相似性度量方面的研究已經(jīng)十分成熟，尤其在直方圖相似度計算時，巴氏距離獲得的效果最好，因此本文中通過計算2幀圖像顏色直方圖概率分布之間的巴氏距離來判斷2幀圖像的相似性.巴氏距離越小，則顏色直方圖相似度越高.計算顏色直方圖相似度時，對彩色圖像分為紅(red,R)、綠(green,G)、藍(lán)(blue,B)3個顏色通道分別計算相似度，每個通道都以8等分進(jìn)行像素劃分，最后取3個通道的平均值作為最終的相似度.對灰度圖像則只進(jìn)行灰度值的直方圖相似度計算，同樣劃分為8等分.采用這種基于顏色直方圖相似度的更新策略能阻止模型在跟蹤不準(zhǔn)確時進(jìn)行更新，防止模型漂移，并在一定程度上提高算法運(yùn)行速度.

Fig. 3 Success plots of OPE圖3 OPE成功率比較

2 實驗結(jié)果分析

2.1 實驗環(huán)境與參數(shù)設(shè)置

實驗采用英特爾酷睿i5-8300H處理器，內(nèi)存為16 GB，操作系統(tǒng)環(huán)境為64位Windows10系統(tǒng).基于MATLAB R2016a軟件平臺及工具箱MatConvNet實現(xiàn)程序編寫.

淺層網(wǎng)絡(luò)提取的特征有較高的分辨率，有利于對目標(biāo)進(jìn)行精準(zhǔn)地定位，而深層網(wǎng)絡(luò)提取的特征則包含更多的語義信息，魯棒性更強(qiáng).故實驗中利用VGG Net-16 Conv1提取的淺層特征，VGG Net-16 Conv5提取的深層特征和HOG特征進(jìn)行對象表示.由正則化的基本原理可知正則化參數(shù)太小則無法消除模型的過擬合，太大容易產(chǎn)生欠擬合，經(jīng)過多次實驗調(diào)整，本文將正則化參數(shù)分別設(shè)置為λ1=0.1和λ2=0.001.模型的學(xué)習(xí)率通過迭代實驗的方式進(jìn)行調(diào)整，最終設(shè)置為0.015.交替方向乘子法優(yōu)化過程使用3步迭代.設(shè)置尺度相關(guān)因子時，考慮到尺度跟蹤因子的值和計算量呈正相關(guān)，為保證算法速度，尺度跟蹤因子不宜取過大的值.本文尺度跟蹤因子設(shè)置為n=m=5，設(shè)置q=3.通過多次調(diào)整實驗，將縮放增量設(shè)置為0.08.

本文分別在UAV123[14]，OTB2013[15]，OTB 2015[16]這3個公開數(shù)據(jù)集上對跟蹤算法進(jìn)行測試和對比.其中，UAV123是由低空無人機(jī)捕獲視頻組成的數(shù)據(jù)集，共包含123個視頻序列；OTB2013數(shù)據(jù)集由51個視頻序列組成，其中包含一定量的灰度序列；OTB2015數(shù)據(jù)集由100個視頻序列組成，其中包含多種視覺跟蹤過程中可能出現(xiàn)的復(fù)雜情況，能較為全面地評估算法的整體性能.

2.2 結(jié)果與分析

在2.1節(jié)所述的實驗設(shè)置下，本文提出的跟蹤算法跟蹤速度平均為17.15 fps.實驗中，使用一次通過評估(one-pass evaluation, OPE)的方式，對本文提出的算法(our)進(jìn)行性能評估，并與DSST[3]，SAMF[4]，BACF[5]，SRDCF[6]，ECO-HC(efficient convolution operators with hand-crafted feature)[17]，Staple(sum of template and pixel-wise learners)[18]，Staple_CA(Staple with context-aware)[19]這7種目前跟蹤效果領(lǐng)先的相關(guān)濾波類算法進(jìn)行對比，生成成功率曲線圖和精確度曲線圖.在此基礎(chǔ)上，對算法進(jìn)行成功率和精確度排序，其中成功率排序的依據(jù)是成功率曲線下面積(area under curve, AUC)，精確度排序的分?jǐn)?shù)閾值設(shè)置為20像素.評估結(jié)果分別如圖3和圖4所示，本文所提出的跟蹤算法在UAV123，OTB2013，OTB2015數(shù)據(jù)集上的成功率得分分別為：0.484，0.658，0.652，精確度得分分別為：0.656，0.863，0.855，排名均為第1.較排名第2的ECO-HC算法在成功率上平均提升了3.12個百分點(diǎn)，精確度上平均提升了1.36個百分點(diǎn).圖3和圖4顯示各算法在UAV123數(shù)據(jù)集上的成功率和精確度明顯低于OTB2013，OTB2015，這是由于UAV123數(shù)據(jù)集中的視頻序列都是無人機(jī)在空中拍攝的，目標(biāo)較小，角度更多，跟蹤難度相對更大.盡管如此，本文提出的算法在該數(shù)據(jù)集上的表現(xiàn)依舊優(yōu)于其他7種算法，進(jìn)一步驗證了本算法的有效性和可靠性.

Fig. 4 Precision plots of OPE圖4 OPE精確度曲線圖

為更全面地分析所提出的算法的性能，本文還在OTB2015數(shù)據(jù)集上測試了上述8種算法在快速運(yùn)動、運(yùn)動模糊、目標(biāo)形變、光照變化、平面內(nèi)旋轉(zhuǎn)、目標(biāo)遮擋、平面外旋轉(zhuǎn)、出視野、尺度變化、背景雜亂和低分辨率這11種復(fù)雜場景下的跟蹤成功率，結(jié)果如圖5所示.

Fig. 5 Success plots in 11 complex scenes圖5 11種復(fù)雜場景下的成功率曲線圖

由圖5可知，本文所提出的算法在快速運(yùn)動、運(yùn)動模糊、形變、光照變化、平面內(nèi)旋轉(zhuǎn)、遮擋、平面外旋轉(zhuǎn)、出視野和尺度變化這9種復(fù)雜場景下的跟蹤成功率均高于其他算法.在背景雜亂和低分辨率2種場景下，本文提出算法跟蹤成功率排名第2.為更直觀地分析本文算法在各場景下的性能，計算本文算法在各個場景下相對其他算法中排名最佳的一種的性能提升百分點(diǎn)，具體數(shù)據(jù)見表1.由表1可知，本文算法在運(yùn)動模糊和旋轉(zhuǎn)場景下的成功率提升相對更大，分別提升9.72個百分點(diǎn)、9.03個百分點(diǎn)(平面內(nèi)旋轉(zhuǎn))和7.98個百分點(diǎn)(平面外旋轉(zhuǎn))，說明本文提出的跟蹤算法對運(yùn)動模糊和旋轉(zhuǎn)帶來的干擾有更強(qiáng)的抵抗力，能有效減少跟蹤過程中的模型漂移，提高復(fù)雜場景下跟蹤的準(zhǔn)確性和穩(wěn)定性.對于尺度變化場景，本文算法成功率提高了6.59個百分點(diǎn)，說明自適應(yīng)寬高比的尺度估計策略能更好地跟蹤目標(biāo)的尺度變化.

Table 1 Improvement of Algorithm Success Rate inVarious Scenes

圖6為綜合排名領(lǐng)先的4種算法(本文，ECO-HC，Staple_CA，SRDCF)對部分復(fù)雜場景序列跟蹤結(jié)果，可以看到在這4種復(fù)雜場景下，本文算法都有良好的表現(xiàn).在對Biker序列跟蹤到第100幀時，只有本文算法和ECO-HC算法能在目標(biāo)快速抖動并轉(zhuǎn)向后依舊保持準(zhǔn)確跟蹤，其余2種算法模型已經(jīng)漂移到其他位置，無法再進(jìn)行正常跟蹤；對Diving序列進(jìn)行跟蹤時，其他采用固定的寬高比估計的算法都在形變過程中逐漸丟失了目標(biāo)，只有本文算法一直保持著跟蹤；對Girl2序列跟蹤到第790幀時，女孩被遮擋后再次出現(xiàn)，只有本文算法和ECO-HC算法能重新定位到目標(biāo)，但本文算法定位得更精準(zhǔn)；對Liquor序列跟蹤到第890幀時，一直表現(xiàn)良好的ECO-HC算法已經(jīng)完全漂移到干擾物體上了，而此時本文算法的定位準(zhǔn)確度也略低于SRDCF算法.由此可見本文提出的算法對大部分復(fù)雜場景具有較好的適應(yīng)性，但在出現(xiàn)與目標(biāo)相似的干擾時跟蹤準(zhǔn)確性會略有下降.

Fig. 6 Tracking results of some complex scene sequences圖6 部分復(fù)雜場景序列跟蹤結(jié)果

3 結(jié) 論

針對相關(guān)濾波類視覺跟蹤算法中存在的邊界效應(yīng)問題，本文提出一種基于自適應(yīng)空間正則化的視覺跟蹤算法，在經(jīng)典濾波模型中引入了自適應(yīng)空間正則化項，建立正則權(quán)重在相鄰幀之間的關(guān)聯(lián)，從而自適應(yīng)調(diào)整當(dāng)前幀的模型正則化權(quán)重，有效緩解了邊界效應(yīng)的影響；使用自適應(yīng)寬高比的尺度估計策略，提高了復(fù)雜場景下尺度估計的準(zhǔn)確性；采用基于顏色直方圖相似度判別的模型更新策略，抑制模型漂移并加快跟蹤速度.多個數(shù)據(jù)集上的測試結(jié)果表明，本文提出的算法的整體跟蹤精確度和成功率均優(yōu)于對比的其他算法，驗證了算法的有效性.11種復(fù)雜場景下的針對性實驗表明，該算法能夠較好地實現(xiàn)在快速運(yùn)動等多種復(fù)雜情況下的目標(biāo)跟蹤，具有較強(qiáng)的適應(yīng)性.但該算法在背景雜亂和低分辨率場景下的目標(biāo)跟蹤不夠穩(wěn)定，未來將對此展開進(jìn)一步研究.