程世龍，謝林柏，彭 力

物聯網技術應用教育部工程研究中心（江南大學 物聯網工程學院），江蘇 無錫214122

視覺目標跟蹤在人機交互、視頻監(jiān)控、自動駕駛等領域有著廣泛的應用需求。由于目標物體在實際環(huán)境中會受到光照、形變、遮擋和背景干擾等不利因素的影響，因此準確定位目標物體仍然是跟蹤研究領域的難點。

近年來，基于深度網絡的目標跟蹤方法在跟蹤領域得到了很大的發(fā)展。深度目標跟蹤方法主要分為兩類：相關濾波類（correlation filter，CF）和孿生網絡類（siamese network，SN）。相關濾波類算法將深度網絡提取到的目標特征和相關濾波器結合在一起，利用傅里葉域中循環(huán)相關的特征訓練回歸器，使跟蹤精度和速度得到了提升。Ma 等認為卷積網絡不同層特征有不同的空間信息和語義信息，提取網絡不同層特征（hierarchical convolutional features，HCF）訓練各自的相關濾波器，在跟蹤時按各響應圖權重相加得到最終的目標位置。Zhu 等提出光流追蹤（flow track，FT）思想，通過光流技術建立前后幀目標之間的時序關系，利用注意力機制將前后幀特征融合到一起。劉芳等提出一種自適應特征模板更新算法（adaptive template updating，ATU），通過特征融合和模型更新等方法，確保模型對目標跟蹤的準確性。

孿生網絡類算法主要由兩條結構相似的深度網絡分支組成，分別是目標模板分支和搜索區(qū)域分支。Bertinetto 等最先建立基于孿生網絡端到端的全卷積網絡（fully-convolutional siamese networks，SiamFC）目標跟蹤方法，離線訓練相似性學習深度卷積網絡。Li 等在孿生網絡后面接入區(qū)域提取網絡（region proposal networks，RPN），提出區(qū)域提取孿生網絡（siamese region proposal networks，SiamRPN）。該網絡包括分類和邊框回歸兩部分。仇祝令等為提高網絡對相似目標的判別能力，提出在線更新網絡參數策略（online feature discrimination with siamese network，OFDSiamNet），使網絡能夠學習到實時的目標特征，增強跟蹤算法的魯棒性。

以上基于深度網絡的跟蹤算法取得了良好的跟蹤效果，但是仍然存在一些問題需要解決：（1）不同場景下待跟蹤目標具有任意性，在構建跟蹤模型時會使用冗余的特征通道盡量使網絡模型具有通用性；（2）待跟蹤目標周圍存在干擾物體，而干擾物體會影響目標的識別和定位；（3）在以孿生網絡為框架的算法中，大部分用均權通道響應分數圖確定目標的位置，沒有考慮各組互相關操作對物體的貢獻情況。

綜上所述，本文提出梯度導向的通道選擇目標跟蹤算法（gradient-guided object tracking algorithm，GGOT）。針對特征通道冗余問題，本文在孿生網絡框架基礎上，將梯度導向模塊嵌入到預訓練網絡后面，根據反向傳播時特征通道的梯度信息剔除多余的特征通道。本文利用開關-懲罰損失函數削弱干擾物體對目標的影響，提高算法抗干擾能力。最后通過逐通道互相關操作進一步提高跟蹤精度。

1 相關理論

1.1 梯度和注意力模型關系

Pu 等研究了梯度和注意力模型的關系，表明梯度信息可以用來表示對物體的關注程度，并將其應用到跟蹤網絡中，關系表示為：

其中，f()是網絡輸出分數圖；為網絡的輸入；表示輸入的某個樣本；A表示中對應像素的重要性圖，即網絡輸出分數圖對輸入樣本的注意力圖。Selvaraju 等在研究CNN（convolutional neural networks）網絡模型視覺解釋性問題時，用梯度加權類激活映射函數Grad-CAM 代替Zhou 等提出的類激活映射（class activation maps，CAM），通過對歸一化后的梯度值進行全局平均池化（global average pooling，GAP）可以獲得某類目標對應的特征通道權值系數，權值系數高的特征通道對當前類的貢獻大。

1.2 卷積回歸網絡

目標跟蹤中常用回歸方法對目標的邊框位置和尺寸進行回歸，如SiamRPN 等?；揪矸e回歸問題可以通過優(yōu)化嶺回歸函數解決，表示為：

其中，*表示回歸網絡中的卷積操作；表示回歸網絡的權值矩陣；是網絡正則化參數，該參數可以防止網絡在訓練過程中發(fā)生過擬合現象；表示卷積網絡的輸入樣本；表示樣本標簽。

2 本文算法

本文提出的跟蹤算法主要由特征提取網絡、梯度導向模塊（gradient-guided module，G-GM）和通道互相關模塊（multi-channel cross correlation，M-C）三部分組成，如圖1 所示。

圖1 目標跟蹤算法框架圖Fig.1 Framework of object tracking algorithm

2.1 梯度導向模塊

預訓練網絡中的參數是在多種類別數據集中訓練獲得的，相對于當前要跟蹤的目標存在許多冗余的特征通道參數。為了減少冗余特征通道對當前跟蹤目標的不利影響，需要采用一系列方法剔除冗余特征通道。

借鑒已有的梯度和注意力模型關系以及卷積回歸網絡理論，本文在預訓練網絡后面連接了卷積回歸網絡，通過嶺回歸函數計算目標特征通道的梯度信息，經由梯度重要性權值選擇特征通道。

在本文跟蹤任務中，由于視頻幀中的語義信息除了目標外都是背景區(qū)域，且在訓練時輸入的視頻幀都是以目標為中心的正方形感興趣域（region of interest，ROI）。因此嶺回歸函數中的樣本標簽可以構造成高斯軟標簽(,)，其中心與目標中心對齊如式（3）所示：

其中，(,)表示相對于目標的偏移位置；是高斯核的寬度值。由式（2）和式（3），可以通過優(yōu)化如下嶺回歸函數解決本文算法中網絡回歸問題：

其中，表示卷積網絡的第個輸入通道的特征；表示輸入的總通道數。

由1.1 節(jié)可知在注意力模型中，對特征通道的梯度圖A進行全局平均池化操作可以獲得每個通道的梯度平均值。本文對式（1）加以拓展，將梯度和特征通道的關系引入目標跟蹤中對預訓練網絡提取的特征通道進行選擇。通過嶺回歸函數回歸到高斯軟標簽后的梯度和特征通道關系表示為：

對式（5）中所得梯度平均值進行min-max 標準化，可以得出輸入的每個特征通道重要性權值：

其中，δ是每個特征通道的重要性權值，min(·) 和max(·)函數分別用于求取特征通道梯度的最小值和最大值。

在對視頻中目標進行跟蹤之前，將提取到的初始目標特征作為回歸網絡的輸入，然后通過回歸損失計算特征通道的反向梯度，對特征通道權值δ排序，從而選擇排名靠前的表達能力強的特征通道參與后續(xù)的互相關操作。

圖2 中顯示了本文算法在兩組典型跟蹤場景下運用梯度導向模塊對選擇出的特征通道進行特征融合的情況。在選擇的第一組場景中，目標背景相對簡單，周圍沒有相似性干擾物體，融合后的特征通道熱力圖焦點集中在目標物體上。在第二組場景中，目標周圍背景雜亂，包含許多相似性物體。由于存在干擾物體，融合后的特征熱力圖中有些焦點落在周圍物體上，但是主要的焦點仍然集中在目標上。

圖2 特征熱力圖Fig.2 Heat maps of features

2.2 開關-懲罰損失函數

2.1 節(jié)分析了在目標背景雜亂，包含干擾物體時應用傳統嶺回歸損失函數選擇出的特征通道融合后焦點不能完全集中在目標物體上，選擇的特征通道將不能準確描述當前需要跟蹤的目標。

為了抑制干擾物體，基于原始的嶺回歸損失函數，本文提出開關-懲罰損失函數（switch-penalty，S-P）：

其中，⊙為哈達瑪積（Hadamard product）；(,)為懲罰函數；(,)在回歸過程中對結果預測圖中異常值進行抑制，使回歸網絡參數調節(jié)重點位于跟蹤目標上，懲罰函數具體表示如下：

由于結果預測圖中異常值主要由干擾物體引入，(,)為負指數冪形式，懲罰力度從中心到邊緣依次增大，逐步降低背景干擾所占總損失的比例。

其中，為調節(jié)因子，用于調節(jié)對干擾物體的懲罰力度；(,)是開關函數，用于控制施加懲罰的時機，具體形式表示為：

其中，是設定的誤差閾值，(,)是預測響應和高斯標簽的誤差函數：

綜上所述，S-P 損失函數表示為：

在上述S-P 函數中，只有當誤差值(,)大于設定的閾值時，才會按照負指數冪形式對干擾物體施加懲罰。背景簡單時的懲罰力度小，從而使得懲罰函數不會過于敏感，具有良好的適應能力。如圖2所示，應用S-P 函數代替嶺回歸損失函數后，提取到的特征通道具有很強的表達能力，第二組包含復雜背景的場景中特征熱力圖焦點集中在當前要跟蹤的物體上，很好地避免了背景的干擾。

2.3 逐通道互相關操作

互相關操作是孿生網絡類跟蹤算法的重要組成部分。類似于網絡中的卷積操作，該層將模板分支最后一層特征看作卷積核，將搜索分支特征看作待卷積特征，通過互相關操作獲取目標分數響應圖，從而得到目標在待搜索部分最可能的位置。如圖3（1）所示，常規(guī)的基于孿生網絡結構的跟蹤算法只是單純地獲得分數響應圖，沒有考慮每個特征通道和目標物體的相關性。由2.1 節(jié)分析可知，不同的目標物體會激活特定的特征通道。被激活的通道有效提取了目標的特征，而那些被抑制的通道會給目標物體的定位帶來干擾。此外，每個特征通道對不同物體的貢獻程度也不一樣。為了有效利用各個特征通道，本文提出逐通道互相關算法，簡稱為M-C：

2.4 跟蹤過程

如圖1 所示，本文采用離線訓練的CNN 網絡提取目標特征。給定視頻序列第一幀中目標的初始狀態(tài)，包括中心坐標和目標尺寸，然后裁剪出模板圖像作為預訓練網絡的輸入。梯度導向模塊接收提取到的目標特征，利用回歸網絡和損失函數計算每次迭代過后特征通道的梯度信息。選擇正梯度信息對應的特征通道作為當前目標的特征表示，并對特征通道進行重要性排序，獲得的重要性分數作為逐通道互相關部分各通道互相關的權重系數。

圖3 逐通道互相關比較圖Fig.3 Comparison of multi-channel cross correlation

圖4 搜索分支特征通道選擇Fig.4 Selection of feature channels in search branch

3 實驗結果與分析

3.1 實驗細節(jié)與參數

本文使用Python 語言和Pytorch 框架在Ubuntu 18.04 操作系統上實現了本文提出的目標跟蹤算法。實驗硬件配置為主頻3.6 GHz Intel Core?i7-7700 的CPU，8 GB 顯存的GTX1080GPU，32 GB 運行內存，平均跟蹤速度為43 frame/s。ImageNet 中的ILSVRC 2015訓練集包含3 862個視頻片段，總共超過100萬幀標注圖片，驗證集包含555 個視頻片段，總共超過10 萬幀標注圖片。本文中使用的離線訓練網絡為在ILSVRC2015 大規(guī)模數據集上訓練的VGG16 卷積網絡，在跟蹤數據集上沒有進行優(yōu)化網絡參數（finetune）操作。淺層特征包含較多的空間信息，而深層特征包含較多的語義信息。特征的空間信息可以提高目標定位的準確性，語義信息具有較強的抗干擾能力。因此，本文使用VGG16 網絡中Conv4_1和Conv4_3 層特征作為基本的深度特征。在特征通道選取時凍結預訓練網絡參數，跟蹤時針對當前目標，利用損失函數和回歸網絡對特征通道進行選擇，后續(xù)幀沿用初始幀選擇出的特征通道。初始學習率設置為10，隨著迭代的進行最終下降為10。高斯軟標簽中設定為3，正則化參數設置經驗值為10。在跟蹤階段，本文所用參數和SiamFC類似，輸入的模板圖像尺寸為127×127，搜索圖像尺寸為255×255。本文在3 個尺度上搜索目標1.05，以應對目標的尺寸變化。

在S-P 函數中，懲罰函數(,)在一個坐標維度隨懲罰調節(jié)因子的變化情況如圖5 所示，可以看出在相對距離不變時，隨著增大，對應的干擾比重減小，降低了干擾物體在結果預測圖中的權重，對干擾物體的懲罰力度增大。在實驗中，為了不至于過分降低背景干擾所占損失比例，設置為0.8。

圖5 懲罰函數隨α 的變化情況Fig.5 Curve of penalty function with α

值在實驗過程中逐步確定。固定懲罰調節(jié)因子=0.8，在實驗中誤差閾值從0 變化到1.0，在值為0.1 時跟蹤表現最好，因此開關閾值值設置為0.1。

3.2 對比實驗分析

OTB 數據集主要的評測指標是平均像素誤差（average pixel error）和平均重疊率（average overlap rate）。平均像素誤差以跟蹤到的目標中心位置與真實位置的像素距離作為誤差，差值越大，表明跟蹤誤差越大。平均重疊率表明預測目標區(qū)域與真實目標區(qū)域之間的重疊百分比，重疊率越高表示跟蹤結果越接近真實情況。像素誤差和重疊率可視化為精度圖（precision plots）和成功率圖（success plots），曲線下的面積（area under curve，AUC）表示對算法的性能評價情況。本文比較了10 種主流跟蹤算法，包含空間正則相關濾波器（spatially regularized discriminative correlation filters，SRDCF）、基于卷積特征的相關濾波（DeepSRDCF）、實時跟蹤的互補學習器（Staple）、區(qū)別性的尺度空間跟蹤（fast discriminative scale space tracking，fDSST）以及基于相關濾波的端到端表示學習（CFNet）5 種相關濾波算法和SiamFC、SiamRPN、干擾感知孿生網絡跟蹤算法（DaSiamRPN）、更深更寬實時跟蹤孿生網絡（SiamDWfc）以及梯度導引跟蹤網絡（GradNet）5 種孿生網絡類算法。

如表1 和圖6 所示，本文算法在OTB50上獲得了最好的跟蹤性能。在OTB100上，本文算法超過了所對比的5 種相關濾波算法。和孿生網絡算法進行對比，在跟蹤精度方面僅次于DaSiamRPN 算法，在成功率方面仍然獲得了最好的表現。并且相對于最初的SiamFC 算法，在跟蹤成功率方面，本文由0.519（OTB50）和0.629（OTB100）提高到0.619（OTB50）和0.659（OTB100）。

圖6 算法在OTB50 和OTB100 數據集上的評測結果Fig.6 Evaluation results of algorithms on OTB50 and OTB100 datasets

表1 OTB 數據集上各算法的AUC 值Table 1 AUC of algorithms on OTB dataset

VOT Benchmark是一個評測視覺目標跟蹤算法性能的測試平臺，其主要評測指標包括精度（A）、魯棒性值（R）和預期平均重疊值（EAO）。精度表示跟蹤算法預測的邊界框和標定的邊界框之間的重疊率，魯棒性值表示算法在視頻序列中的失敗情況，預期平均重疊值是跟蹤算法的綜合性能指標。精度和預期平均重疊值越大表示算法的跟蹤準確度越好。魯棒性值越小表示跟蹤失敗的次數越少，泛化性能越好。本文在VOT2018 測試平臺上比較了一些算法，包括實時跟蹤聯合卷積網絡算法（unified convolutional tracking，UCT）、模型更新跟蹤算法（UNet-SiamFC）、SiamRPN、有效卷積算子跟蹤算法（ECO_HC）、實時跟蹤雙層孿生網絡算法（SASiam）和遞推最小二乘估計目標跟蹤算法（SimpleRTMDNet）。VOT2018數據集上各跟蹤算法性能比較如表2 所示。

表2 VOT2018 數據集上各跟蹤算法性能比較Table 2 Performance comparison of tracking algorithms on VOT2018 dataset

由表2 可以看出，在VOT2018 數據集上本文算法獲得了較好的性能，在所對比跟蹤算法中跟蹤精度和期望平均重疊率最高。在魯棒性方面比SASiam 算法略差，這是因為SA-Siam 算法構造了語義和外觀雙孿生網絡，并且加入了注意力機制，使得跟蹤魯棒性較好。但是本文算法根據不同目標選取對應的特征通道，剔除冗余特征，并且加入了逐通道互相關操作，從而使得精度值和期望平均重疊值優(yōu)于SA-Siam。總體來講，本文算法在VOT2018 數據集上的評測結果達到了主流算法的要求。

3.3 跟蹤效果分析

為了直觀地展示本文算法跟蹤情況，選擇6 種主流算法和本文算法進行比較，在OTB100 部分視頻序列上的可視化跟蹤結果如圖7 所示。選擇的視頻序列包含遮擋、旋轉、尺度變化等復雜場景屬性，具體挑戰(zhàn)情況如表3 所示。

表3 OTB100 上部分視頻序列屬性Table 3 Some video properties on OTB100

圖7 不同算法在OTB100 部分視頻序列上可視化跟蹤結果Fig.7 Visualization tracking results on partial video sequences of OTB100 by different algorithms

Matrix 和Soccer 視頻序列存在運動模糊、快速運動、背景混亂等屬性挑戰(zhàn)?？梢钥闯鲈贛atrix 第48幀～第96 幀，Staple、DeepSRDCF、SiamFC、SiamRPN和GradNet 算法窗口出現嚴重漂移；在Soccer 第266幀～第304 幀，Staple、SiamFC、SiamRPN 算法未跟蹤到目標，而本文算法依舊能夠準確地跟蹤到目標，說明本文算法具有良好的適應運動模糊和快速運動的能力。

Bird1 視頻序列存在遮擋、形變、超出視野等屬性挑戰(zhàn)。可以看出，目標被云彩遮擋后，在第297 幀～第375 幀，Staple、DeepSRDCF、DaSiamRPN、SiamFC、SiamRPN 和GradNet 均發(fā)生漂移。而本文算法在遮擋后仍然能夠準確地定位到目標，說明本文算法具有較好的抗遮擋能力。

Box 和MotorRolling 視頻序列存在旋轉、尺度變化、運動模糊等屬性挑戰(zhàn)。在Box 中，本文算法能夠準確地跟蹤到目標。在MotorRolling 第47 幀～第129幀，摩托車落地后本文算法能夠正確定位目標，相較于其他算法，本文算法完整地標識出了目標的外觀輪廓。

圖8 中定量地顯示了本文算法在OTB100 數據集中應對常見挑戰(zhàn)的綜合表現情況。從圖8 中可以看出，在光照變化、遮擋、快速運動和運動模糊指標中，本文算法表現最好。在物體形變和復雜背景中本文算法也排在前列。

圖8 OTB100 上6 種不同屬性視頻序列跟蹤成功率Fig.8 Success rate of video sequences with 6 different attributes on OTB100

綜上所述，本文算法能夠較好地應對遮擋、形變、快速運動和背景混亂等復雜場景的挑戰(zhàn)。

3.4 算法有效性分析

為了說明本文算法的有效性，分別對算法中各組件在OTB100 數據集上的性能表現做了對比實驗。

由表4 和圖9 可以看出，在未應用S-P 和M-C 之前跟蹤精度和成功率較低，在應用S-P 函數后將精度和成功率分別提升到0.860 和0.648，在綜合應用S-P和M-C 后，精度和成功率提高到0.865 和0.659。各模塊對比實驗說明S-P 損失函數可以使選擇的特征通道具有很強的表達能力，很好地避免了背景的干擾，并且逐通道互相關操作的加入又進一步地提高了跟蹤的精準度。通過3.2 節(jié)在不同數據集上不同算法之間的對比和算法內部組件之間的對比可以充分說明本文算法在跟蹤精度和泛化性方面表現良好，各模塊的有效性得到了驗證。

圖9 OTB100 上各模塊表現情況Fig.9 Performance of each module on OTB100

表4 OTB100 數據集上算法各模塊跟蹤精度和跟蹤成功率對比Table 4 Tracking accuracy and success rate of each module on OTB100 dataset

Siamese 類跟蹤算法中的互相關操作如下：

其中，為相似度圖，(·)是共享的卷積網絡，和分別是目標模板和搜索區(qū)域。

本文算法和GradNet 算法都引入了梯度信息指導目標跟蹤。不過本文算法和GradNet 算法側重點和優(yōu)勢各不相同。

GradNet 旨在通過更新模板（第一幀目標物體）以適應目標在每一幀的外觀，以獲得更高的模板相似度。GradNet 訓練時計算損失函數對模板特征通道的梯度，并將該梯度連同剛開始提取的模板特征求和后送入共享的卷積網絡中再一次求取梯度更新網絡的權值，相當于求取二階梯度，由此得到更新后的模板。

許多Siamese 類跟蹤網絡使用冗余的特征通道盡量使網絡模型具有通用性，并且目標周圍的干擾物體會進一步影響目標的識別和定位。與GradNet不同，本文致力于解決特征通道冗余和存在干擾物體問題。本文通過計算損失函數對特征通道的反向梯度信息，基于Selvaraju 等提出的方法對特征通道進行排序以剔除冗余通道。此外，本文提出S-P 損失函數對干擾物體加以抑制，進一步提高跟蹤的精度。

4 結束語

本文在孿生網絡框架下，提出了梯度導向的目標跟蹤算法，通過梯度導向模塊實現了針對不同跟蹤目標選擇特定特征通道的目的。同時針對目標周圍相似干擾物體，利用S-P 損失函數對干擾施加懲罰，排除了背景干擾。在獲取分數響應圖時應用逐通道互相關操作，使目標物體最終定位更加準確。在公開數據集上測試結果表明，本文提出的跟蹤算法能夠較好地應對環(huán)境中的光照變化、物體形變、遮擋等不利因素。和當前主流算法比較結果顯示本文算法在跟蹤精度、成功率和魯棒性方面表現良好，達到了主流算法的性能要求。通過比較算法內部各模塊對總體的貢獻情況，驗證了所提出的S-P 損失函數和M-C 模塊的有效性。本文跟蹤算法基于目標初始幀，后續(xù)工作重點是在跟蹤網路中加入時序模塊，提取視頻序列之間的時序信息，建立初始幀和后續(xù)幀之間的關系，進一步提高視頻跟蹤的精度。