姜文濤，任金瑞

1.遼寧工程技術大學 軟件學院，遼寧 葫蘆島 125105

2.遼寧工程技術大學 研究生院，遼寧 葫蘆島 125105

目標跟蹤作為計算機視覺領域的研究熱點之一，其憑借人工智能、圖像處理、模式識別等諸多前沿理論，在自動駕駛、虛擬現實等應用方向具有廣闊而光明的發(fā)展前景[1-3]。但在跟蹤期間，由于旋轉、形變、運動模糊等內部因素和背景雜亂、遮擋、光照變化等外部因素的影響，目標會產生畸變，如何在多因素干擾的復雜環(huán)境中實現高效、精準且魯棒的目標跟蹤仍面臨著巨大挑戰(zhàn)。

根據建模思路的不同，已有的目標跟蹤方法主要劃分為生成式方法和鑒別式方法兩類[4]。生成式方法提取目標特征建模，在后續(xù)幀中以搜索特征相似性誤差最小為基準，實現目標定位。多數跟蹤場景都是非線性、非高斯的，而粒子濾波算法具有代表性，其通過逼近目標狀態(tài)的概率密度函數，實現對下一階段內目標位置的預測[5]。但該算法計算量大、實時性差，而且在長時跟蹤中，由于粒子退化使其難以保證結果有效性。

近年來，憑借較高的跟蹤精度和良好的實時性能，鑒別式相關濾波（discriminative correlation filter，DCF）算法在主流目標跟蹤算法中備受青睞[6]。Henriques 等[7]對選用單通道灰度特征的相關濾波算法[8]進行革新，提出核相關濾波（kernelized correlation filters，KCF）算法，采用能夠更好地刻畫目標的紋理、邊緣信息的多通道方向梯度直方圖（histogram of oriented gradient，HOG）特征描述目標，提高算法跟蹤精度。考慮到跟蹤時目標或攝像機運動而引起的尺度變化問題，多特征尺度適應性跟蹤器（scale adaptive with multiple features tracker，SAMF）算法[9]和判別性尺度空間跟蹤器（discriminative scale space tracker，DSST）算法[10]被提出，這兩種算法均采用尺度窮舉法來估計目標尺度，緩解尺度變化引起的跟蹤漂移情況。

當通過循環(huán)移位獲取訓練樣本時，圖像滿足周期性擴展假設會產生邊界效應。上述大多數算法僅通過對圖像施加余弦窗，以減弱邊界效應的影響。但加余弦窗后圖像背景信息被屏蔽，降低了模型的判別力。Danelljan 等[11]在相關濾波框架中引入空間正則項，提出空間正則化判別相關濾波（spatially regularized discriminative correlation filters，SRDCF）算法，通過空間正則化權值約束濾波器系數，權值從目標中心區(qū)域到邊緣區(qū)域平滑增加，緩解邊界效應。但該權值未與目標變化相關聯，當目標處于頻繁、長時遮擋或較大程度形變等跟蹤場景中時，將大幅度降低濾波器的魯棒性。Dai等[12]提出自適應空間正則化相關濾波（adaptive spatially regularized correlation filters，ASRCF）算法，根據幀間目標變化調節(jié)空間正則化權值。但該算法忽略濾波器時序上的變化，在復雜跟蹤場景下易使濾波器退化。Li 等[13]在SRDCF 的基礎上引入時間正則項，提出時間正則化相關濾波（spatial-temporal regularized correlation filters，STRCF）算法，保證模型在時間上的連續(xù)性，有效地解決了濾波器退化的問題，然而該算法并未考慮目標畸變時的自適應性，當畸變程度較為明顯時，跟蹤誤差較大。

不同的跟蹤算法有其獨有優(yōu)勢，近期有學者在多種算法集成上進行了合理的嘗試，以達到更好的跟蹤效果[14-15]。蒲磊等[16]在深度學習框架下對不同VGG 網絡（visual geometry group network，VGGNet）的深、淺層特征進行提取，將相關濾波器和深度特征融合在一起以完成目標定位和模型訓練，改善跟蹤性能，但實時性不強。Feng等[17]在相關濾波框架中加入卡爾曼濾波器，將每幀相關濾波器的輸出狀態(tài)提供給卡爾曼濾波器作為其輸入狀態(tài)，矯正相關濾波器的目標定位誤差，克服目標快速運動導致的目標丟失問題。但該算法無論相關濾波器定位結果是否可靠都啟用卡爾曼濾波器進行修正，提高計算復雜度。

上述算法研究表明，引入空間、時間正則項可以有效地克服目標跟蹤過程中邊界效應和濾波器退化帶來的影響，但仍有改進空間。此外，濾波器采用固定學習率更新模型，易導致誤差累積跟蹤失敗，且對現實復雜場景中目標畸變的應對能力不足。針對上述問題，本文在STRCF 基礎上融合相關濾波器和粒子濾波算法，提出畸變感知相關濾波目標跟蹤算法。本文工作可歸納如下：

（1）利用粒子濾波在起始幀內構建強化目標信息的空間參考權值，并在后續(xù)跟蹤過程中獲得與目標相關的粒子強化空間正則項，增強模型的判別力。

（2）在STRCF 基礎上加入粒子強化空間正則項來構建本文算法的目標函數，并采用交替方向乘子法（alternating direction method of multipliers，ADMM）以較少的迭代次數實現對目標函數的優(yōu)化求解，降低計算復雜度，提高濾波器效率。

（3）提出一種基于異常決策函數的目標畸變感知策略，采用粒子濾波對目標進行選擇性的重檢測，自適應地更新樣本模型和相關濾波器，減少背景信息對模型的污染，增強跟蹤穩(wěn)健性。

（4）本文算法在OTB50、OTB100 和DTB70 公開數據集上進行性能測試，取得較優(yōu)跟蹤效果，可以滿足實時性的要求。

1 時間正則化相關濾波算法

為了緩解濾波器退化，避免跟蹤漂移，Li等受在線被動攻擊（online passive-aggressive，PA）算法[18]的啟發(fā)，在SRDCF的基礎上引入時間正則項，約束濾波器在時序上的變化。STRCF整合空間和時間正則項后，僅使用當前幀的樣本和上一幀學習到的濾波器訓練當前幀的濾波器，可近似于具有多個訓練樣本的SRDCF。

STRCF目標函數如下：

STRCF是近年來跟蹤精度及準確率皆較優(yōu)的相關濾波算法，但在復雜跟蹤場景下，其跟蹤性能會明顯下降。這是由于傳統(tǒng)的相關濾波算法忽略當前幀定位結果的可靠性，以固定學習率更新濾波器模型，當定位存在誤差，則逐幀累積背景中的噪聲信息，導致目標丟失，且難以再次追回，這時需要人工重新捕捉目標，從而極大地影響了算法的整體成功率，很難將其應用到實際工程中。

2 畸變感知相關濾波目標跟蹤算法

2.1 空間適應和時序平滑的濾波器模型

在缺乏目標先驗信息時，引入空間正則項可以有效地保留更多的目標真實信息，提高模型易識別性。但STRCF的空間正則化權值始終作為一個固定參數獨立于目標函數，并未隨著濾波器同步更新，當目標產生畸變時，可能導致所求濾波器并非當前最佳。

在實際應用場景中，目標的無序運動與系統(tǒng)模型并不滿足線性關系，無法直接獲取目標真實值。此外，系統(tǒng)在跟蹤時會受到隨機噪聲的干擾，如成像設備本身具有的測量噪聲、系統(tǒng)隨時間變化而產生的過程噪聲等。而無論系統(tǒng)線性與否，噪聲是否服從高斯分布，粒子濾波均可以較好地估計目標當前狀態(tài)[19]。為此，本文采取粒子濾波算法在每幀內構建空間參考權值，獲得與目標相關的自適應空間正則項，當目標產生畸變時，仍可以使濾波器專注于學習目標的可信賴部分。

通過粒子濾波在最近一次目標可靠位置周圍采樣生成一組粒子，利用最新時刻觀測值更新粒子權值，并對權值歸一化，得到該組每個粒子的權值位置信息W(x,y)，即W(x,y)∈[0,1]。在目標范圍區(qū)域內，與目標越相似的粒子權值越大，周圍非目標區(qū)域W(x,y)接近為0。由此，建立粒子強化參考權值wr表達式為：

式中，W為STRCF 中固定的空間正則化權值；σ為固定參數。令λ1、λ2為空間正則項系數，得到粒子強化空間正則項，即：

在得到粒子強化參考權值wr后，通過SAdapt獲取與目標存在聯系的空間正則化權值w。該權值可以根據每幀內目標畸變情況對背景信息加以懲罰約束。當粒子權值越小時，說明該像素點為背景雜亂信息，對該像素點的約束越大。反之，當粒子權值越大時，對該像素點的懲罰約束越小，增強濾波器空間懲罰系數的可靠性，使濾波器加強學習目標真實信息。

在式（1）中融合式（4），本文算法構建的目標函數為：

2.2 濾波器模型的優(yōu)化求解

式（5）是一個最小二乘正則化的凸函數問題，引入松弛變量g，將其轉變?yōu)楹屑s束條件的目標函數最優(yōu)化問題，即：

利用增廣拉格朗日乘子法，令s和γ分別為拉格朗日乘子和步進參數，構造增廣拉格朗日函數為：

由于式（8）無閉式解，增廣拉格朗日函數可以通過ADMM 優(yōu)化算法迭代求解，更快收斂到最優(yōu)目標函數值。通過交替求解f、g、w、h子問題來實現本文算法目標函數的求解：

（1）子問題f。為簡化計算步驟，根據帕塞瓦爾定理，將其轉化至傅里葉域，即：

觀察式（10）可知，理想的高斯型目標響應輸出的第j個元素只依賴于整體通道中相關濾波器和特征樣本的第j個元素。為此，將式（10）向量化處理并令其導數為0，進一步化簡求解為：

式中，Vj(?)為所有通道中第j個元素的向量化；I為單位矩陣。式（11）中含有矩陣的逆運算且()?Vj()的秩為1，根據Sherman-Morrison 公式可將其簡化為：

（2）子問題g。子問題g內并不包含時域中的卷積運算，可直接求導并令導數為0，得其閉式解為：

式中，W為空間正則化權重對角化后的矩陣。

（3）步進參數γ更新：

式中，γmax為γ的最大取值，α1為固定參數。

2.3 空間正則化權值的優(yōu)化求解

求得子問題g后，可求解式（9）中的第3 個子問題w。對自適應空間正則化權重w求解滿足ADMM 優(yōu)化算法的前置條件，可以將其劃分為3 個子問題，通過迭代兩個變量求閉式解。引入輔助變量w=q，令m和φ分別為拉格朗日乘子和步進參數，構造增廣拉格朗日函數為：

將式（15）分為如下3個子問題，求解得到最終的自適應空間正則化權重：

（1）子問題W。假設q、g已知，W解為：

（2）子問題q。假設w和m已知，可求出：

（3）步進參數φ更新：

式中，φmax為φ的最大取值，α2為固定參數。

2.4 目標畸變感知策略

傳統(tǒng)的相關濾波算法在跟蹤時，對每幀圖像都更新樣本模型，并沒有判別跟蹤結果的可靠性。以STRCF 為例，圖1 分別展示了目標在無畸變、輕微畸變和劇烈畸變狀態(tài)下的響應圖。正常情況下，目標的響應分布曲線類似于高斯型的單峰分布。當目標產生畸變時，理想響應映射偏離單峰分布，圖1（b）中的視頻序列Girl2 在115 幀左右，目標由于短時遮擋造成劇烈畸變，在120 幀左右目標再次出現時，響應圖出現偽峰，這時STRCF 判定左上方響應峰值點為跟蹤目標中心，判斷失誤。與未畸變目標的響應峰值相比，目標產生畸變時的響應峰值較小，且該峰值和平均值十分接近，算法利用式（2）進行目標定位時很難分清前景和背景，從而造成跟蹤漂移，甚至丟失目標，此時直接進行更新會污染學習到的樣本模型，累積誤差將導致相關濾波器跟蹤失敗。為此，本文提出一種基于異常決策函數的目標畸變感知策略，該策略將影響算法跟蹤結果的多種干擾因素合并處理，通過衡量目標受干擾因素影響的畸變程度，判別當前跟蹤結果是否可靠，對目標進行選擇性的重檢測，以防在跟蹤結果置信度低的情況下錯誤更新濾波器模型，導致跟蹤失敗。

圖1 不同畸變程度下的目標響應圖Fig.1 Response maps with different levels of distortion

2.4.1 異常決策函數

響應圖的峰值波動從某種意義上反映出當前跟蹤結果的置信水平。Wang等[20]提出平均峰值相關能量（average peak correlation energy，APCE），通過響應圖峰值分布情況判別濾波器跟蹤狀態(tài)，即：

其中，Fmax、Fmin、Fx,y分別表示響應最高、響應最低和(x,y)位置上的響應值。當目標變化緩慢，跟蹤正常時，其APCE值和Fmax值以一定比例大于歷史均值；在目標被遮擋、丟失等情況下，其APCE值會驟減，視為無效跟蹤。

APCE反映響應圖的震蕩程度，但無法判斷檢測目標置信度低時目標的畸變程度。此外，由于APCE的確切閾值不能確定，容易將某些跟蹤結果可靠的場景誤判為無效，反而降低跟蹤精度。

相關濾波器在目標正常狀態(tài)下訓練得到的響應圖峰值起伏平緩，通過衡量響應圖峰值在時序上的變化程度，可有效評估目標當前狀態(tài)。據此，本文提出響應圖峰值時序約束（response map peak temporal constrain，RPTC），計算當前幀的響應圖峰值與歷史響應圖峰值的變化程度，即：

以OTB100 數據集中Girl2 視頻序列為例，繪制APCE 和RPTC 隨幀變化情況，如圖2 所示。在Girl2序列中，目標受到兩段較為明顯的完全遮擋，由圖可看出，當目標劇烈畸變時，APCE 值驟降，RPTC 值驟升。

圖2 Girl2序列的APCE和RPTC逐幀變化Fig.2 Frame-by-frame variation curves of APCE and RPTC for Girl2 sequence

表1 為APCE、RPTC 和Ot的意義及其取值范圍。由此表可看出，APCE 和RPTC 取值范圍相差較大，二者采用指數組合方式相較于線性組合方式更能擴大不同目標畸變程度的評分差幅。

表1 APCE、RPTC和Ot 的取值分析Table 1 Value analysis of APCE、RPTC and Ot

因此，本文在式（20）的基礎上以指數形式加入式（21），構建異常決策函數Ot，即：

為便于比較，以OTB100中Jogging1視頻序列為例，繪制跟蹤過程中目標響應圖峰值、APCE 值及Ot值的隨幀變化情況，如圖3 和圖4 所示。從圖3 可以看出，APCE值對目標畸變的敏感性較低，用APCE值判斷當前跟蹤結果置信度無法滿足對跟蹤穩(wěn)健性的精確描述。由圖4可以看出：當目標被遮擋而產生劇烈畸變時，目標響應圖峰值驟降，而Ot數值明顯增大；當目標處于平穩(wěn)狀態(tài)時，Ot數值穩(wěn)定，可以較好地描述當前目標的畸變程度。

圖3 Jogging1序列的最大響應值和APCE值逐幀變化Fig.3 Maximum response value and APCE of Jogging1 sequence change frame-by-frame

圖4 Jogging1序列的最大響應值和Ot 值逐幀變化Fig.4 Maximum response value and Ot of Jogging1 sequence change frame-by-frame

本文算法設置兩個重要閾值，分別為劇烈畸變判斷閾值?和快速運動判斷閾值ρ。由于異常決策評分在[2,20]區(qū)間中波動程度劇烈，通過逐次實驗對比發(fā)現，當?=10、ρ=3.5 時，可以較好地區(qū)分不同目標畸變狀態(tài)。對跟蹤過程中判別目標畸變程度進行可視化處理，如圖5所示。當Ot大于?時，異常決策評分判定跟蹤目標受多因素干擾影響顯著，目標產生劇烈畸變，跟蹤結果置信度低，進行目標重檢測；反之，當Ot小于ρ時，跟蹤目標不受干擾因素影響或受較小影響，未發(fā)生畸變或產生輕微畸變。

圖5 跟蹤過程中各因素導致目標畸變的判別示意圖Fig.5 Various factors lead to distorting diagram of target during tracking process

2.4.2 目標重檢測

2.4.1 小節(jié)中所介紹方法可有效評估當前目標畸變程度，當目標畸變劇烈時，跟蹤定位可靠性較低，濾波器需要在整幅圖像上對目標進行重新搜索、匹配。由此，當目標定位精度不高時，本文結合粒子濾波動態(tài)擬合下一幀中目標狀態(tài)，這樣不僅避免了粒子濾波長時跟蹤時產生的粒子退化問題，還將全局搜索轉換為局部搜索，縮減搜索空間，加快跟蹤速度。重檢測過程如下：

（1）初始化。用包含噪聲的目標觀測方程zt對目標狀態(tài)方程xt遞推估測，這一過程可表示為：

（2）更新權值。分別提取粒子模板、目標模板的概率分布特征和qk，將Bhattacharyya距離dn作為兩者之間的相似度度量，即：

基于式（24），引入概率密度分布函數，更新粒子權值為：

并對權值進行歸一化處理：

（3）估測當前目標。預測估計目標狀態(tài)為：

將當前目標的估計位置迭代到本文算法中。

為驗證本文算法加入重檢測機制后跟蹤結果是否有效，以包含旋轉、遮擋、光照變化、背景雜亂場景的Soccer 序列為例，繪制本文算法與基準算法STRCF的目標中心位置誤差曲線圖，如圖6所示。本文算法的中心位置誤差整體小于STRCF。

圖6 Soccer序列上目標中心位置誤差曲線Fig.6 Target center position error curves on Soccer sequence

2.5 模型更新

在目標跟蹤過程中，應依據當前跟蹤結果置信度設計一個恰當的模型更新策略，以適應目標外觀變化。因此，本文借鑒有效卷積跟蹤（efficient convolution operators for tracking，ECO）算法的稀疏更新策略[21]，同時結合異常決策函數，在跟蹤結果置信度較高且畸變程度劇烈時，放松相關濾波器在時序上的限制，提高學習速率；當跟蹤結果置信度低于某一閾值時，則不更新濾波器模型參數(fmodel,Emodel)。更新方式如下：

相比以固定學習率更新濾波器模型參數，本文通過感知跟蹤期間目標外觀變化情況，對學習率進行自適應調整，以得到更理想的目標模型，降低干擾信息對跟蹤結果的影響，從而增強濾波器的判別能力。

2.6 算法步驟

本文算法流程圖如圖7所示，算法步驟如下：

圖7 畸變感知相關濾波算法流程圖Fig.7 Flow chart of distortion-aware correlation filter object tracking

（1）初始化：輸入圖像序列總幀數，讀取首幀圖像中目標的位置和尺寸信息。

（2）模型訓練：在學習本文算法模型過程中，讀取第t幀圖像序列信息，提取目標特征，根據式（3）求出自適應空間正則化權重，訓練濾波器模型參數。

（3）目標定位：根據式（2）將當前幀搜索區(qū)域提取的目標特征與上一幀訓練得到的濾波器進行相關運算，生成響應圖，響應圖峰值位置為目標中心。

（4）畸變感知：根據每一幀采用式（22）得到的異常決策評分Ot，判斷目標畸變程度。若大于閾值，判定目標產生劇烈畸變，跟蹤結果不可信，根據歷史目標狀態(tài)進行粒子濾波重檢測，將估測目標位置迭代至本文模型中。

（5）模型更新：基于上一步判定的目標畸變程度，使用式（28）對濾波器模型參數自適應更新。

（6）輸出跟蹤結果：轉至（2），訓練下一幀圖像的濾波器模型參數，直至當前幀數大于圖像序列總幀數則跟蹤結束。

3 實驗結果及性能評估

3.1 實驗平臺及參數設置

實驗所用操作系統(tǒng)為Windows 10，編程軟件為GNU Octave，處理器為AMD Ryzen 7 4800H with Radeon Graphics 2.90 GHz，16 GB內存。

在實驗中，畸變感知相關濾波目標跟蹤算法相關參數設置參考STRCF、ASRCF、SRDCF算法，如表2所示，選取3組不同的參數對比跟蹤性能，取最優(yōu)參數組合，最終目標函數中正則項系數λ1=1.000、λ2=0.980、μ=16 ；自適應空間正則項中σ=1 ；ADMM 求解迭代次數為2。學習參數αinit=0.015、b=1.5。粒子濾波粒子數設置為500。

表2 不同正則項參數在OTB100數據集中實驗結果Table 2 Experimental results of different regularization term parameters in OTB100 dataset

3.2 數據集和評估指標

為了驗證本文算法有效性，采用OTB50[22]、OTB100[23]和DTB70[24]數據集對算法進行性能評估。OTB50 和OTB100 數據集根據目標外觀變化情況把視頻序列劃分為11 種不同屬性的場景分類，即尺度變化（scale variation，SV）、快速運動（fast motion，FM）、遮擋（occlusion，OCC）、低分辨率（low resolution，LR）、超出視野（out-of-view，OV）、運動模糊（motion blur，MB）、平面內旋轉（in-plane rotation，IPR）、平面外旋轉（out-of-plane rotation，OPR）、光照變化（illumination variation，IV）、背景雜亂（background clutters，BC）和非剛性形變（Deformation，DEF）。DTB70數據集由70個高空無人機視角拍攝的圖像序列組成，其中包含多種縱橫比的雜亂場景。

實驗中選擇一次性通過評估標準（one-pass evaluation，OPE）的成功率曲線線下面積（area under the ROC curve，AUC）和距離精度（distance precision，DP）、運算速度三個指標來評估算法跟蹤效果[20]。

AUC計算公式為：

式中，AT表示真實目標框覆蓋區(qū)域；AP表示預測目標框覆蓋區(qū)域。成功率是指預測目標框與真實目標框兩者區(qū)域的重疊率大于0.5 的幀數占總幀數的百分比。

DP計算公式為：

式中，OT表示真實目標框中心位置；OP表示預測目標框中心位置。距離精度是指真實目標框與預測目標框兩者中心位置的平均歐式距離小于20 pixel 的幀數占總幀數的百分比。

3.3 實驗及結果分析

3.3.1 與相關濾波類跟蹤算法的定量比較

本文從特征表示、尺度估計、特征融合、邊界效應等方面，選擇9個具有代表性的相關濾波跟蹤算法進行對比實驗，分別為DSST、SRDCF、Staple[25]、BACF（background-aware correlation filters）[26]、STRCF、異常抑制相關濾波算法（aberrance repressed correlation filters，ARCF）[27]、AutoTrack[28]、環(huán)境突變不敏感相關濾波算法（environmental mutation-insensitive correlation filters，EMCF）[29]、自適應通道選擇相關濾波算法（adaptive channel selection with discriminative correlation filters，ACS-DCF）[30]。

DSST 采用33 個尺度訓練尺度濾波器應對尺度變化；SRDCF 引入空間正則項緩解邊界效應；Staple融合HOG 特征和全局顏色直方圖訓練濾波器模板；BACF利用掩碼矩陣擴大采樣區(qū)域；STRCF引入空間與時間正則化項；ARCF通過限制響應圖變化來抑制異常；AutoTrack利用局部、全局響應變量自適應學習時間正則權重；EMCF引入正則化項學習相鄰幀之間的環(huán)境殘差適應環(huán)境變化；ACS-DCF 自適應選擇特征通道學習濾波器模型。

通過在OTB50、OTB100 和DTB70 數據集上分別對各算法進行實驗評估，得到相應的距離精度曲線與成功率曲線，如圖8、圖9所示。

圖8 10種算法在OTB50、OTB100數據集上的OPE結果Fig.8 OPE results of 10 algorithms on OTB50 and OTB100 datasets

從圖8可以看出，本文算法跟蹤成功率和距離精度皆在OTB50 和OTB100 數據集上取得最優(yōu)效果。在OTB50 數據集上進行定量分析，本文算法的DP、AUC 分數分別達到89.1%、86.5%，相比基準算法STRCF 分別提高了0.023、0.025；在OTB100 數據集上進行定量分析，本文算法的DP、AUC 分數分別達到87.1%、81.3%，相比基準算法STRCF 分別提高了0.021、0.015。EMCF、AutoTrack、ARCF 為針對無人機跟蹤場景提出的相關濾波目標跟蹤算法。從圖9可以看出，本文算法在無人機領域DTB70 數據集上取得的DP分數為次優(yōu)。實驗證明，本文算法跟蹤成功率和距離精度在OTB50、OTB100 和DTB70 數據集上皆優(yōu)于基準算法STRCF。

本文在OTB50 和OTB100 數據集中分析了各個算法在11 種屬性場景下的跟蹤性能，結果如表3、表4、圖10、圖11所示。

表3 OTB50數據集中各屬性視頻序列的AUC得分Table 3 AUC scores of each attribute video sequence in OTB50 dataset

表4 OTB50數據集中各屬性視頻序列的DP得分Table 4 DP scores of each attribute video sequence in OTB50 dataset

圖10 OTB100數據集中各屬性視頻序列的AUC得分Fig.10 AUC scores of each attribute video sequence in OTB100 dataset

圖11 OTB100數據集中各屬性視頻序列的DP得分Fig.11 DP scores of each attribute video sequence in OTB100 dataset

表3、表4 分別定量展示了本文算法與目前9 種具有代表性的相關濾波算法在OTB50數據集中各屬性跟蹤場景視頻序列的AUC、DP 得分。由表3、表4可以看出，在OTB50數據集上，與其他9種代表性相關濾波算法相比，本文算法的跟蹤成功率、精確率排名最優(yōu)或次優(yōu)，明顯優(yōu)于其他相關濾波跟蹤算法，這說明本文算法在現實復雜場景下跟蹤具有一定魯棒性。

圖10、圖11 分別展示10 個算法在OTB100 數據集中各屬性跟蹤場景視頻序列的成功率、精確率曲線圖，以及對應的AUC、DP值。從圖10、圖11可以看出，在OTB100 數據集上，本文算法的跟蹤成功率及跟蹤精確率在各屬性跟蹤場景中均為最優(yōu)或次優(yōu)。

由于本文算法具有目標畸變感知策略，能根據當前目標定位情況受多干擾因素的影響程度選擇目標重檢測，在遮擋、超出視野等屬性場景中可保證跟蹤結果的準確性。同時根據跟蹤結果可信度及目標畸變程度調整濾波器模型參數學習率，在尺度變化、形變、旋轉、復雜背景等屬性場景下可保證濾波器模型較少地被污染，達到長時跟蹤的效果。

10 個算法在OTB100 數據集上的平均運算速度是以視頻序列總幀數除以在此視頻序列上運行的總時間來計算的，對比如表5 所示。由此表可以看出，本文算法運行速度比基準算法STRCF 略慢，這是由于該算法中加入判斷跟蹤結果不可信的粒子濾波重檢測環(huán)節(jié)，但將粒子看作像素會加快粒子濾波運算速度，從而達到實時跟蹤的需求。

表5 各算法平均運算速度Table 5 Average tracking speed of each algorithm

總體而言，與其他算法相比，本文算法能夠在不同屬性場景下保持實時穩(wěn)健的跟蹤，并且具有良好的跟蹤性能。

3.3.2 與深度學習類跟蹤算法的定量比較

為進一步驗證本文算法的魯棒性及有效性，從深度特征、連續(xù)卷積、孿生網絡等方面，選取5個具有代表性的深度學習跟蹤算法進行對比實驗，分別為DeepSRDCF[31]、DeepSTRCF[13]、ECO、CNN-SVM[32]、TADT[33]。

通過在OTB100 數據集上對各算法進行實驗評估，得到相應的距離精度曲線與成功率曲線，如圖12所示。利用深度特征會提高跟蹤精度，但同時也會導致算法計算復雜度急劇增加，算法實時性較差。本文算法未采用深度特征，僅采用手工特征作對比實驗，即僅采用灰度、HOG 和顏色（color name，CN）特征。由圖12 可以看出，本文算法的跟蹤性能優(yōu)于部分深度學習類跟蹤算法。

圖12 與深度學習類跟蹤算法的定量比較Fig.12 Quantitative comparison with deep learning tracking algorithms

3.3.3 定性分析

為驗證本文算法在目標畸變情況下的跟蹤效果，在OTB100 數據集中，選取7 個具有挑戰(zhàn)性的視頻序列進行對比，它們包含的屬性如表6所示。圖13展示了7 個視頻序列上10 種算法的跟蹤結果，如圖所示，本文算法對目標進行了較為精準的定位，其結果明顯優(yōu)于基準算法STRCF。接下來將從不同的視頻序列場景屬性上來分析本文算法的精確性和魯棒性。

表6 視頻序列名稱及其包含的場景屬性Table 6 Name of video sequence and its contained scene attributes

（1）圖13（a）為Soccer 視頻序列截圖，視頻中有一支球隊高舉獎杯慶祝。在25 幀前，目標還未受快速運動、運動模糊、遮擋、背景雜亂等屬性干擾，10種算法皆能精確定位目標位置；一般情況下，快速運動通常伴隨著運動模糊。從26幀開始，目標快速跳動，圖像模糊，此時STRCF 和DSST 跟蹤框開始抖動，跟蹤框內錯誤融入背景信息，隨后跟蹤框漂移；從90幀開始，目標受到背景雜亂、旋轉等影響，除了本文算法、EMCF、BACF、ARCF 和SRDCF 外，其余算法目標跟蹤框均有較大偏差。本文算法通過引入自適應空間正則項來抑制背景信息干擾，增強了復雜背景情況下模型辨別力，仍可準確跟蹤；在此之后，由于目標持續(xù)受到相似物部分或完全遮擋，在128 幀時，只有本文算法、Staple、SRDCF和ACS-DCF能準確定位目標位置，而本文算法估計的目標中心與真實目標中心距離最近；在204 幀后，目標旋轉發(fā)生尺度變化，但本文算法仍能較準確地估計目標尺度大小，并且穩(wěn)健地跟蹤目標；從380幀開始目標受到長時完全遮擋，所有算法跟蹤失敗。

（2）圖13（b）為Girl2 視頻序列截圖，視頻中有一位正在玩滑板車的小女孩。在1 500幀視頻序列中，目標兩次被完全遮擋，其中最大難點是從106 幀至117 幀的長時完全遮擋。在106 幀前，10 種算法均可克服目標旋轉和非剛性形變的影響，精確定位目標位置；在117 幀長時完全遮擋結束后，除本文算法和ACS-DCF 精確定位外，其余8 個算法跟蹤框均漂移到混淆遮擋物上。本文算法判定目標畸變劇烈，利用粒子濾波根據狀態(tài)和觀測噪聲協(xié)方差矩陣預測估計目標位置，并將估計的目標位置迭代至本文模型中，成功跟蹤遮擋情況下發(fā)生劇烈畸變的目標；233幀后混淆遮擋物移出視野，除STRCF外，其余7種算法跟蹤框漂移至序列結束；在312 幀時，目標移動至STRCF 跟蹤框附近，STRCF 在丟失目標195 幀后重新跟回；在1 386 幀至1 393 幀，目標再次被遮擋，遮擋結束后本文算法、STRCF和ACS-DCF皆能跟蹤上目標，但本文算法定位的目標中心與真實目標中心更為接近。

（3）圖13（c）為Jogging1視頻序列截圖，視頻中有兩位女生慢跑。從67幀開始，目標被電線桿遮擋，在未發(fā)生遮擋前，10 種算法都能很好地跟蹤到目標。在79 幀遮擋結束后，僅有本文算法、BACF、SRDCF和ACS-DCF 跟準目標，但本文算法在尺度估計上更為精準，其余算法跟蹤框漂移至整個序列結束。

（4）圖13（d）為Bird1視頻序列截圖，視頻中有一群鳥穿過云團飛行。該視頻序列中目標較小，目標成像區(qū)域小導致特征提取較粗糙，在跟蹤時各算法跟蹤框存在不同程度的漂移。在69 幀時，由于目標在運動過程中一直發(fā)生非剛性形變，除本文算法外，其余算法跟蹤框皆產生不同程度的偏移，其中SRDCF跟蹤框漂移至背景上；120幀至186幀目標飛入云團超出視野，在目標飛出云團后又由于相似物干擾，僅有本文算法、STRCF、AutoTrack 和Staple 重新跟回目標；在240 幀之后，目標快速運動發(fā)生明顯形變，STRCF、AutoTrack 和Staple 丟失跟蹤目標，本文算法仍可穩(wěn)健跟蹤。由于固定的更新學習率不能很好地適應快速運動的物體，跟蹤框內融入背景信息導致跟蹤失敗，而本文自適應更新學習率可以在目標快速運動時得到更加優(yōu)化的濾波器模型，從而改善跟蹤的魯棒性。

（5）圖13（e）為Lemming 視頻序列截圖，視頻中有一個人為操縱不斷運動的玩具。在310 幀前，10種算法均能精確定位目標位置；從313幀開始目標逐漸被遮擋，到347幀時只能利用未被遮擋的部分目標區(qū)域進行跟蹤，在375 幀目標脫離遮擋時，僅有本文算法、EMCF、BACF和ACS-DCF仍可繼續(xù)跟蹤目標；在880 幀時，目標移動至停留的跟蹤框附近，除ARCF、Staple外其余算法重新跟回，但SRDCF、DSST和AutoTrack無法適應目標的尺度變化，跟蹤框內目標信息不全；在1 047 幀時，SRDCF 跟蹤框漂移至背景，其余算法的跟蹤情況與第880幀時一致。

（6）圖13（f）為Skating2-1視頻序列截圖，視頻中有一對選手在表演雙人滑。在24 幀時，目標快速旋轉導致目標尺度發(fā)生變化，所有算法跟蹤框都發(fā)生微小偏移，但本文算法估計的目標中心與真實目標中心距離最近；從80幀起，目標被混淆遮擋物暫時完全遮擋，遮擋結束后Staple、ARCF、AutoTrack 和DSST 跟蹤框漂移至混淆遮擋物上；與其他算法相比，在后續(xù)幀中快速運動、旋轉等屬性的干擾下，本文算法仍能對目標進行魯棒、精確的跟蹤。

（7）圖13（g）為Panda視頻序列截圖，視頻中有一只熊貓在園區(qū)內散步。該視頻序列分辨率較低，使得濾波器學習到的特征不足，跟蹤過程中各算法跟蹤框均存在不同程度的偏移。在123幀前，所有算法均能克服目標尺度變化，準確跟蹤目標；從124 幀開始到815幀，目標先后經歷3次平面外旋轉、1次平面內旋轉，每次旋轉都會改變目標外觀。在此期間，DSST、SRDCF、AutoTrack、Staple、ARCF 和BACF 依次出現跟蹤漂移；在980 幀時，只有本文算法、STRCF、EMCF和ACS-DCF能準確跟蹤目標，但本文算法跟蹤到的目標區(qū)域最大。

通過對上述實驗結果的分析，可以看出本文算法相比主流跟蹤算法具有一定優(yōu)越性。本文算法在多因素干擾的復雜環(huán)境中表現出較高的適應性和實用性，能實現精準且魯棒的目標跟蹤。

3.3.4 消融實驗

為驗證本文算法所提出各模塊的合理性與有效性，實驗設計對比采用粒子強化空間正則項（見式（5））、APCE 評分策略（見式（20））、APCE 引入RPTC的評分策略（見式（22））、重檢測（見式（27））的跟蹤效果。表7 展示了多個模塊組合的實驗結果，其中“×”代表未采用，“√”代表已采用。由表7可知，算法1為基準算法STRCF，算法2為目標函數中加入粒子強化正則項的跟蹤算法，與算法1 相比，DP 與AUC分數分別提高0.009 和0.007，但實時性降低；算法3、算法4是僅采用APCE評分策略重檢測與APCE結合RPTC評分策略重檢測的跟蹤算法，其中本文采用的APCE結合RPTC的異常決策函數能更精確地評估目標畸變狀態(tài)，相較算法3，該算法在DP 和AUC 上具有明顯提升；算法5 以算法4 為基礎，在目標函數中加入粒子強化空間正則項，與算法4相比，DP分數提升了0.041，AUC 分數提升了0.002，由于構建目標函數和重檢測模塊都采用粒子濾波算法，算法5的實時性相較于其他模塊結合算法最低。從上述實驗數據可知，本文算法各個改進模塊都能提升跟蹤性能，說明本文算法改進方向合理，切實有效。

表7 在OTB100數據集上的消融實驗結果Table 7 Results of ablation experiment on OTB100 dataset

4 結束語

針對目標畸變情況下現有相關濾波算法易跟蹤失敗的問題，基于STRCF算法，提出畸變感知相關濾波目標跟蹤算法。構建融合粒子采樣信息的粒子強化空間正則項，使濾波器在學習時專注于目標可信賴部分，在訓練模型時抑制干擾信息的影響；采用ADMM優(yōu)化算法以較少的迭代次數求解和更新濾波器目標函數，加快算法運行速率；在APCE 基礎上提出能精確描述目標畸變程度的異常決策函數，當判斷目標畸變程度劇烈時，啟用粒子濾波重新檢測目標位置，并且自適應更新濾波器模型。通過在OTB50、OTB100和DTB70數據集上進行對比實驗，實驗結果優(yōu)于基準算法和當前流行算法，充分驗證了本文算法在多因素干擾復雜環(huán)境下應對目標畸變情況更具準確性及魯棒性。然而，本文算法無法有效跟蹤超出視野的目標，因此下一步研究工作將嘗試結合根據需求設計的手工外觀特征及無監(jiān)督學習得到的深度特征訓練濾波器模型，增強跟蹤性能。