尚椏朝，孟令軍

（中北大學(xué)電子測試技術(shù)國家重點(diǎn)實(shí)驗(yàn)室，太原 030051）

0 概述

目標(biāo)跟蹤作為計(jì)算機(jī)視覺的重要組成部分，被廣泛應(yīng)用于交通安全［1］、自動駕駛［2］和行為識別［3］等領(lǐng)域。然而在實(shí)際應(yīng)用場景中，由于目標(biāo)常出現(xiàn)形變、遮擋和快速移動等情況，造成跟蹤效果急劇下降，因此提高復(fù)雜情況下的目標(biāo)跟蹤精度和成功率具有重要意義［4］。

相關(guān)濾波器算法因具有跟蹤精度高和速度快的特性成為目標(biāo)跟蹤的研究熱點(diǎn)之一［5-6］。文獻(xiàn)［7］提出一種使用方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征的核相關(guān)濾波器（Kernelized Correlation Filter，KCF）跟蹤算法，引入循環(huán)矩陣和核函數(shù)使該算法在保持高幀率的情況下跟蹤精度得到極大提升。文獻(xiàn)［8］提出一種SAMF 算法將多種特征進(jìn)行融合，在定位目標(biāo)的同時求解最佳目標(biāo)尺寸。文獻(xiàn)［9］提出判別尺度空間跟蹤（Discriminative Scale Space Tracker，DSST）算法，通過引入一維相關(guān)濾波器完成目標(biāo)尺度估計(jì)。上述算法求解濾波器時會忽略目標(biāo)的歷史信息，對此，文獻(xiàn)［10］提出多模板尺度自適應(yīng)核相關(guān)濾波器（Kernelized Correlation Filter based on Multiple-Template Scale Adaptation，KCF_MTSA）跟蹤算法，同時更新歷史模板信息與當(dāng)前模板信息來求解濾波器，從而實(shí)現(xiàn)濾波器的時間一致性。文獻(xiàn)［11］提出Staple 算法，將方向梯度直方圖特征與顏色直方圖特征進(jìn)行融合，有效提升算法性能。文獻(xiàn)［12］提出背景感知相關(guān)濾波器（Background-Aware Correlation Filter，BACF）算法，利用掩膜矩陣獲取正負(fù)樣本建立目標(biāo)模板，在實(shí)現(xiàn)高精度的同時確保高速率。隨著深度學(xué)習(xí)的興起，文獻(xiàn)［13-14］利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行跟蹤目標(biāo)的特征提取，特征辨識度更高，算法性能得到較大提升，但是其計(jì)算開銷較大，在實(shí)際應(yīng)用中難以滿足實(shí)時跟蹤的要求。

針對KCF_MTSA 算法提取特征單一與尺度策略較簡單的問題，本文提出一種改進(jìn)的多模板尺度自適應(yīng)核相關(guān)濾波器跟蹤算法。通過方向梯度直方圖和顏色名（Color Name，CN）表征目標(biāo)特征，在決策層對兩種特征的響應(yīng)進(jìn)行自適應(yīng)融合以實(shí)現(xiàn)目標(biāo)定位，同時引入一維相關(guān)濾波器進(jìn)行尺度估計(jì)，并計(jì)算多尺度樣本信息中尺度濾波器的響應(yīng)，從而得到當(dāng)前目標(biāo)的最佳估計(jì)尺寸。

1 KCF_MTSA 算法

1.1 分類器訓(xùn)練

在KCF 算法中，利用非線性映射函數(shù)φ(x)使映射后的樣本在高維空間線性可分，在新空間使用嶺回歸［15］方法對回歸函數(shù)f(x)=wTx訓(xùn)練如下：

其中，Pi為循環(huán)移位算子，x為基礎(chǔ)樣本，Pi x為基礎(chǔ)樣本x循環(huán)右移i個單位，yi為對應(yīng)樣本的期望輸出。

上述目標(biāo)函數(shù)可改寫為：

其中，Φ為包含樣本x所有循環(huán)移位樣本的映射。在KCF_MTSA 算法中，將訓(xùn)練濾波器中樣本擴(kuò)展到2 個，假設(shè)在第n幀濾波器訓(xùn)練中目標(biāo)模板為xn，其循環(huán)矩陣為Xn，則KCF_MTSA 算法的目標(biāo)函數(shù)為：

其中，Φ1和Φ2為上一幀目標(biāo)模板x1和當(dāng)前幀目標(biāo)模板x2的循環(huán)移位樣本的映射矩陣。Φi為循環(huán)矩陣，通過引入一個輔助變量分別對兩個目標(biāo)模板進(jìn)行濾波器求解，并加入一個約束使兩個目標(biāo)模板所求濾波器相等，表達(dá)式如下：

上述問題可通過將硬約束換成軟約束求解，引入正則項(xiàng)如下：

式（5）中額外的正則項(xiàng)可確保兩個濾波器的一致性。在每次迭代過程中，參數(shù)μ不斷增大，且每次迭代通過交替定點(diǎn)來優(yōu)化問題：首先初始化濾波器w2，再利用其優(yōu)化另一個濾波器w1，然后利用濾波器w1求解濾波器w2，如此進(jìn)行多次循環(huán)直到滿足迭代要求。使用單模板的核相關(guān)濾波器進(jìn)行濾波器初始化，在第j次迭代過程中，求解對偶問題如下：

由于式（6）和式（7）形式相同，因此求解其中任意一個即可。將式（6）改寫為多特征核函數(shù)如下：

1.2 目標(biāo)位置檢測

KCF_MTSA 目標(biāo)位置檢測和尺度估計(jì)同時進(jìn)行，以上一幀檢測到的目標(biāo)中心點(diǎn)為中心，在當(dāng)前幀圖像中建立尺度池，采樣n個尺度，計(jì)算每個尺度圖像的響應(yīng)，第i個尺度圖像響應(yīng)的計(jì)算公式如下：

其中，zi為第i個尺度的樣本，x為上一次跟蹤完成后更新的模板為的離散傅里葉變換為多模板核相關(guān)濾波器參數(shù)。通過計(jì)算最大響應(yīng)值的位置可得到目標(biāo)的中心和尺寸。

1.3 模板更新

完成目標(biāo)位置的定位與尺度估計(jì)后，更新目標(biāo)模板和濾波器參數(shù)如下：

其中，η為學(xué)習(xí)率分別為第t幀目標(biāo)模板和第t-1 幀目標(biāo)模板，Xt為未更新的第t幀目標(biāo)模板，為第t幀濾波器參數(shù)。

2 改進(jìn)的KCF_MTSA 算法

2.1 互補(bǔ)特征自適應(yīng)雙核融合

本文使用方向梯度直方圖和顏色名雙核融合的方式進(jìn)行目標(biāo)定位。HOG 特征通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖構(gòu)成特征，對光照和目標(biāo)的幾何變換不敏感；CN 特征具有光照不變性，對目標(biāo)大小和形變不敏感，但是在光照劇烈變化的情況下無法準(zhǔn)確表征目標(biāo)［16-17］。在復(fù)雜場景下，采用自適應(yīng)特征融合的方式通過HOG 和CN 特征來表征目標(biāo)，可實(shí)現(xiàn)目標(biāo)跟蹤。

提取上述特征，并分別計(jì)算兩種特征的濾波器響應(yīng)如下：

其中，xhog和xcn分別為當(dāng)前幀圖像目標(biāo)區(qū)域內(nèi)的HOG 特征和CN 特征，zhog和zcn分別為上一幀圖像目標(biāo)模板更新后的HOG 特征和CN 特征分別為上一幀圖像求解的HOG 特征多模板核相關(guān)濾波器參數(shù)的離散傅里葉變換和CN 特征多模板核相關(guān)濾波器參數(shù)的離散傅里葉變換。

在特征融合方面，使用兩個多模板核相關(guān)濾波器，將每種特征獲得的響應(yīng)以權(quán)重形式進(jìn)行融合如下：

在式（19）中，whog由HOG 特征獲取響應(yīng)圖的峰值旁瓣比（Peak to Side Lobe Ratio，PSR）和CN 特征獲取響應(yīng)圖的PSR 共同決定，計(jì)算公式如下：

PSR 可作為跟蹤結(jié)果的評價指標(biāo)，該值越大，跟蹤結(jié)果越可靠［18］。

式（20）中P的計(jì)算公式如下：其中：q為響應(yīng)圖的峰值，峰值周圍區(qū)域?yàn)榕园陞^(qū)域；u和σ分別為旁瓣區(qū)域的平均值和標(biāo)準(zhǔn)差。通過計(jì)算獲得融合后的響應(yīng)圖，其峰值位置即為目標(biāo)位置。

2.2 一維相關(guān)濾波器尺度估計(jì)

由于KCF_MTSA 算法的尺度估計(jì)方法與SAMF 算法類似，兩者對尺度的估計(jì)均不理想，因此本文算法引入一維相關(guān)濾波器進(jìn)行尺度估計(jì)［19］。假設(shè)當(dāng)前圖像為In，目標(biāo)尺寸為P×R，對圖像In提取訓(xùn)練樣本，其中心為目標(biāo)位置，樣本的尺寸表達(dá)式如下：

采用嶺回歸的方式訓(xùn)練樣本并計(jì)算尺度濾波器，目標(biāo)函數(shù)為：

其中，?為相關(guān)算子，g為一維高斯函數(shù)，hi和fi分別為第i個尺度的濾波器和樣本，β=0.01 為正則化參數(shù)。

根據(jù)Parseval 定理，將目標(biāo)函數(shù)轉(zhuǎn)換到頻域進(jìn)行求導(dǎo)，令導(dǎo)數(shù)為0，計(jì)算得到：

其中，大寫字母變量代表響應(yīng)小寫字母變量的離散傅里葉變換，為G的共軛形式。

其中：θ為學(xué)習(xí)率，本文中θ=0.025分別表示當(dāng)前幀的分子與分母分別表示上一幀的分子與分母。

對于第t幀樣本Z，建立尺度池（i=1，2，…，n）并進(jìn)行相應(yīng)尺度濾波器的計(jì)算，相關(guān)公式如下：

其中，Γ-1為離散傅里葉的逆變換。通過計(jì)算尺度濾波器的響應(yīng)可得到當(dāng)前目標(biāo)的最佳估計(jì)尺寸。

2.3 FMMTSA_DSST 算法

本文對KCF_MTSA 算法進(jìn)行改進(jìn)后提出FMMTSA_DSST 算法，在該算法中目標(biāo)定位和尺度估計(jì)各自獨(dú)立進(jìn)行。在目標(biāo)定位過程中，使用兩個核相關(guān)濾波器實(shí)現(xiàn)目標(biāo)定位；在尺度估計(jì)過程中，先建立尺度池，再使用相關(guān)濾波器求解以完成目標(biāo)尺度估計(jì)，并將最佳尺度參數(shù)傳遞到兩個核相關(guān)濾波器的訓(xùn)練和尺度相關(guān)濾波器的訓(xùn)練中，具體步驟如下：

1）快速檢測：

（1）輸入第t（t>1）幀圖像，根據(jù)上一幀圖像目標(biāo)中位置Dt-1和尺寸參數(shù)St-1截取候選樣本的HOG 特征zhog和CN 特征zcn。

（2）根據(jù)式（17）～式（19）求得目標(biāo)定位用響應(yīng)，再對R進(jìn)行離散傅里葉逆變換獲取目標(biāo)的新位置Dt。

（3）以Dt為中心位置、St-1為基礎(chǔ)目標(biāo)尺寸，根據(jù)式（22）構(gòu)建尺度池（i=1，2，…，n）。由式（26）計(jì)算得到尺度濾波器的響應(yīng)，其最大值為當(dāng)前目標(biāo)最佳尺度估計(jì)St。

2）訓(xùn)練分類器：

（1）以當(dāng)前目標(biāo)中心位置Dt和最佳尺度St為參數(shù)，截取HOG 特征目標(biāo)模板xhog和CN 特征目標(biāo)模板xcn，根據(jù)式（14）迭代計(jì)算得到ahog和acn。

（3）以當(dāng)前目標(biāo)中心位置Dt和最佳尺度St為參數(shù)，根據(jù)式（22）構(gòu)建尺度池（i=1，2，…，n），通過式（25）計(jì)算完成尺度濾波器的更新。

（4）如果為最后一幀，則訓(xùn)練結(jié)束；否則依次執(zhí)行快速檢測與訓(xùn)練分類器中的全部步驟。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)方法

為驗(yàn)證本文所提FMMTSA_DSST 算法（以下稱為本文算法）的有效性，在OTB100［20］數(shù)據(jù)集中選取25 組視頻序列進(jìn)行實(shí)驗(yàn)，其中包括尺度變化、光照變化、運(yùn)動模糊、平面旋轉(zhuǎn)和遮擋等屬性。將本文算法與ECO_HC、STAPLE_CA［21］、SAMF_AT［22］、KCF、KCF_MTSA和SAMF 算法進(jìn)行對比。實(shí)驗(yàn)采用Ubuntu18.04 系統(tǒng)和MATLAB2016a 軟件平臺，計(jì)算機(jī)配置Intel?XeonTMCPU E5-2697 v2 @ 2.70 GHz 處理器和RTX2070 顯卡。

3.2 結(jié)果分析

中心誤差（Center Location Error，CLE）是算法跟蹤到的目標(biāo)位置與人工標(biāo)注目標(biāo)位置的歐氏距離，若CLE 小于某個閾值（本文中CLE 閾值設(shè)置為20），則跟蹤成功；否則跟蹤失敗。距離精度（Distance Precision，DP）為CLE 小于某個閾值的視頻幀數(shù)占總視頻幀數(shù)的比例。重疊率（Overlap Rate，OR）為算法跟蹤到的目標(biāo)邊界框與人工標(biāo)注邊界框重合部分占整個目標(biāo)邊界框的比例，若OR 小于某個閾值（本文中OR 閾值設(shè)置為0.5），則跟蹤成功；否則跟蹤失敗。重疊分?jǐn)?shù)（Overlap Score，OS）為算法跟蹤過程中OR 小于某個閾值的視頻幀數(shù)占總視頻幀數(shù)的比例，以此作為準(zhǔn)確率的評價指標(biāo)。為對上述算法進(jìn)行定量分析，使用DP 和OS 作為算法跟蹤性能的評價指標(biāo)。

圖1～圖4 分別為7 種算法的綜合評價結(jié)果以及在目標(biāo)旋轉(zhuǎn)、尺度變化和運(yùn)動模糊情況下的評價結(jié)果（圖1（a）～圖4（a）中的中括號內(nèi)數(shù)字為算法在重疊率閾值為0.5 時的準(zhǔn)確率，圖1（b）～圖4（b）中的中括號內(nèi)數(shù)字為算法在中心誤差閾值為20 時的距離精度）。可以看出：本文算法綜合評價的準(zhǔn)確率和距離精度均排在第二位，較改進(jìn)前KCF_MTSA 算法的準(zhǔn)確率和距離精度分別提升28.5% 和15.8%；ECO_HC 算法由于引入卷積神經(jīng)網(wǎng)絡(luò)，因此其綜合評價結(jié)果較其他算法更好；本文算法在目標(biāo)旋轉(zhuǎn)和尺度變化情況下的準(zhǔn)確率和距離精度均排在前兩位，較改進(jìn)前KCF_MTSA 算法有明顯提升，且在目標(biāo)出現(xiàn)旋轉(zhuǎn)時其跟蹤性能最佳。

圖1 7 種算法的綜合評價結(jié)果Fig.1 Comprehensive evaluation results of seven algorithms

圖2 7 種算法在目標(biāo)旋轉(zhuǎn)時的評價結(jié)果Fig.2 Evaluation results of seven algorithms when the target rotates

圖3 7 種算法在尺度變化時的評價結(jié)果Fig.3 Evaluation results of seven algorithms when the scale changes

圖4 7 種算法在目標(biāo)運(yùn)動模糊時的評價結(jié)果Fig.4 Evaluation results of seven algorithms when the target is blurred by motion

將上述算法在不同屬性數(shù)據(jù)集中處理速度的平均值作為算法的處理速度進(jìn)行對比，結(jié)果如表1 所示?？梢钥闯觯罕疚乃惴ㄓ捎谝隒N 特征并應(yīng)用尺度估計(jì)策略，因此處理速度較KCF_MTSA 算法更慢，但仍快于SAMF_AT 算法和STAPLE_CA 算法，結(jié)合圖1～圖4分析結(jié)果可知，本文算法跟蹤效果更好；ECO_HC 算法處理速度較快，可滿足算法的實(shí)時性要求，其跟蹤性能也最好。

表1 7 種算法的處理速度對比Table 1 Comparison of processing speed of seven algorithms（frame·s-1）

為更直觀地驗(yàn)證本文算法的跟蹤效果，將7 種算法在BlurBody、Human7、KiteSurf、Panda、CarScale、Human6、BlurOwl 和Shaking 8 個視頻序列中的跟蹤結(jié)果進(jìn)行對比，結(jié)果如圖5 所示。可以看出：上述算法在BlurBody、Human7 和BlurOwl 視頻序列中均存在由鏡頭晃動造成運(yùn)動模糊的問題；隨著運(yùn)動模糊程度的加劇，僅用HOG 特征的KCF 算法和KCF_MTSA 算法最先出現(xiàn)定位誤差增大現(xiàn)象，其他算法均實(shí)現(xiàn)目標(biāo)的準(zhǔn)確跟蹤；當(dāng)KiteSurf 視頻序列第42 幀目標(biāo)出現(xiàn)旋轉(zhuǎn)和快速移動時，僅本文算法和STAPLE_CA 算法可跟蹤到目標(biāo)，SAMF 算法在64 幀重新跟蹤到目標(biāo)，ECO_HC、SAMF_AT、KCF 和KCF_MTSA 算法均出現(xiàn)跟蹤丟失現(xiàn)象；在Panda 視頻序列中，目標(biāo)熊貓?jiān)诘?00 幀第1 次轉(zhuǎn)身導(dǎo)致KCF算法出現(xiàn)目標(biāo)定位框偏移，目標(biāo)熊貓?jiān)诘?90 幀再次轉(zhuǎn)身，KCF 和KCF_MTSA 算法完全丟失目標(biāo)，目標(biāo)熊貓?jiān)诘?33 幀第3 次轉(zhuǎn)身后，僅本文算法和ECO_HC 算法可繼續(xù)進(jìn)行目標(biāo)跟蹤；當(dāng)CarScale 視頻序列第225 幀目標(biāo)尺度迅速變化時，雖然SAMF算法也有尺度估計(jì)策略，但是僅STAPLE_CA、ECO_HC 算法和本文算法能實(shí)現(xiàn)較好的跟蹤效果；Human6 視頻序列在第245 幀將鏡頭拉近使得目標(biāo)尺寸變大，此時本文算法可很好地對邊界框定位，而SAMF 算法和SAMF_AT 算法由于所用尺度樣本較少，尺度估計(jì)效果較差，SAMF、SAMF_AT 和KCF 算法在第497 幀丟失跟蹤目標(biāo)；Shaking 視頻序列在第25 幀出現(xiàn)背景雜波，此時僅本文算法和ECO_HC 算法完成目標(biāo)跟蹤，且在第61 幀出現(xiàn)光照變化時，上述兩種算法跟蹤效果未下降，在第71 幀和第150 幀目標(biāo)旋轉(zhuǎn)后，本文算法仍能完成目標(biāo)跟蹤任務(wù)。

圖5 7 種算法在8 個視頻序列中的跟蹤效果Fig.5 Tracking effect of seven algorithms in eight video sequences

4 結(jié)束語

本文針對KCF_MTSA 算法在目標(biāo)移動模糊、旋轉(zhuǎn)和尺度變化時跟蹤精度下降的問題，在KCF_MTSA算法基礎(chǔ)上，提出一種結(jié)合多特征和尺度估計(jì)的改進(jìn)目標(biāo)跟蹤算法。使用互補(bǔ)特征HOG+CN 進(jìn)行目標(biāo)表征，根據(jù)響應(yīng)圖的峰值旁瓣比將兩種特征的響應(yīng)進(jìn)行自適應(yīng)融合，同時引入一維相關(guān)濾波器進(jìn)行尺度估計(jì)。實(shí)驗(yàn)結(jié)果表明，與改進(jìn)前KCF_MTSA 算法相比，該算法的跟蹤距離精度和準(zhǔn)確率明顯提升，在目標(biāo)尺度變化較大時，能很好地完成目標(biāo)尺度估計(jì)，有效避免尺度估計(jì)不準(zhǔn)確導(dǎo)致背景信息引入時目標(biāo)偏移的問題。后續(xù)將利用神經(jīng)網(wǎng)絡(luò)提取特征實(shí)現(xiàn)目標(biāo)跟蹤，進(jìn)一步提升跟蹤距離精度。