張長弓，楊海濤，馮博迪，王晉宇，李高源

(航天工程大學 航天信息學院,北京 101400)

0 引 言

單目標跟蹤是計算機視覺領域的研究方向之一，其基本任務是獲取視頻中單個目標在每一幀中的位置信息，為對目標的運動行為及規(guī)律的分析和理解提供基礎，以便完成更進一步的研究。隨著計算機硬件性能的不斷提高，越來越多的領域開始出現(xiàn)基于單目標跟蹤的具體應用，如交通監(jiān)控[1]、行人檢測[2]。但由于復雜多變的現(xiàn)實環(huán)境，目標跟蹤依舊面臨著許多挑戰(zhàn)。

近幾年，基于深度學習的目標跟蹤方法取得了不錯的研究成果，尤其是基于孿生網絡的一系列跟蹤器。Bertinetto等[3]首次提出將孿生網絡應用于跟蹤問題中，開創(chuàng)性地將跟蹤問題轉化為了相似性學習問題，取得了又好又快的效果。而SiamRPN[4]等一系列跟蹤器則將目標檢測領域的區(qū)域推薦網絡(Region Proposal Network,RPN)引入到孿生網絡中，將跟蹤問題轉換為基于孿生網絡的RPN檢測框架，提供了跟蹤器發(fā)展的新思路。

孿生跟蹤器使用模板匹配的方法，在海量視頻數(shù)據(jù)中進行端到端離線訓練，因此無法在線更新模板，在面對目標發(fā)生特征變化的情況時，跟蹤器容易出現(xiàn)漂移、丟失等。此外，模板匹配方法僅通過目標的外觀進行推斷，導致豐富的背景上下文信息被忽略，而背景信息對于區(qū)分目標周圍的相似物體極為重要?；谶@些考慮，本文通過結合注意力機制和特征金字塔網絡，開發(fā)了一種利用豐富的上下文信息來增強目標表征能力的孿生跟蹤器，它可以增強目標表示，提高RPN的分類和回歸的準確度，降低復雜背景和相似物體的影響，從而提高跟蹤器的魯棒性和準確性。

1 基于增強RPN的孿生網絡跟蹤算法

本文所提出的SiamERPN(Siamese Enhanced-RPN)算法在SiamRPN++[5]基礎上，使用金字塔式特征融合方法自頂向下融合骨干網絡，使用通道注意力和空間注意力對RPN進行增強，利用豐富的上下文信息提高對目標的辨別能力，降低復雜背景和相似物體的干擾。圖1為本文算法構建的網絡模型框架圖，主要由特征提取網絡、特征融合模塊和增強RPN三部分組成。

圖1 SiamERPN網絡結構圖

1.1 孿生網絡跟蹤器

Bertinetto在文獻[3]中通過將孿生網絡應用在目標跟蹤，把實現(xiàn)跟蹤轉變?yōu)榱私鉀Q相似性學習問題。孿生跟蹤器包含初始幀目標模板圖像z和當前幀搜索圖像x兩個輸入，分別經過共享參數(shù)φ的卷積神經網絡(Convolutional Neural Network，CNN)映射到相同的特征空間中，然后應用相似性度量函數(shù)g(φ(x)、φ(z))來衡量兩者間的的相似性，在響應值最大的位置估計目標狀態(tài)。SiamRPN把RPN[6]與孿生網絡結合，將φ(z)和φ(x)使用上行通道(up-channel)互相關計算后送入RPN生成密集響應圖，以實現(xiàn)基于RPN的目標跟蹤。

SiamRPN++則在SiamRPN的基礎上通過改變采樣方式消除了嚴格平移不變性被破壞所帶來的影響，使孿生網絡可以利用現(xiàn)代化網絡如ResNet[7]，從而提高了孿生跟蹤器特征提取網絡的性能。聚合多層特征并建立多個RPN以更準確地預測目標狀態(tài)。另外，將上行通道互相關替換為深度(depthwise)互相關，減少了大量的參數(shù)，提升了跟蹤器速度。本文的方法延續(xù)了 SiamRPN++的思想，使用較深的ResNet-50作為骨干網絡，采用深度互相關和多層特征融合策略。但相比于SiamRPN++的多RPN線性融合，本文提出了一種金字塔式特征層融合方法對骨干網絡進行增強，提高對目標的表征能力，另外，本文還引入增強RPN模塊以強化RPN對前背景分類和邊界框回歸的準確性。

1.2 增強RPN

RPN使用滑動窗口技術在特征圖的每個位置都生成k個矩形錨框(anchor)，通過對可能包含物體的錨框進行回歸，最終得到精確的目標邊界框。RPN包含兩個分支：分類和回歸，我們將目標模板和搜索圖像的特征進行深度互卷積以送入這兩個分支進行訓練。其中，分類分支的任務是判別每個錨框屬于目標還是背景，即二分類任務，因此進行深度互相關后得到2k個特征，分類分支針對這些特征進行前背景判別。回歸分支的任務是對生成的錨框進行回歸計算，得到較為準確的邊界框。由于以[x,y,w,h]來表示一個錨框的范圍，因此k個錨框最終得到4k個特征，回歸分支將這些特征轉變?yōu)楦泳_的邊界框。

如圖2所示，增強RPN模塊以骨干網絡計算的卷積特征作為輸入，通過應用注意力機制輸出增強后的分類和回歸結果，其包含RPN和注意力模塊兩個部分。

圖2 增強RPN結構圖

RPN的分類分支關注特征圖中的語義部分，文獻[6]闡述了特征圖中不同的通道對特定目標具有不同的響應這一特點，即對不同目標,有些特征通道可能更為重要,而有些通道則可能完全無關，這種無關于目標語義的特征通道常常會影響模型的相似性計算過程,進而影響跟蹤結果，因此使用通道注意力，通過建模特征通道間的依賴關系以及提取各通道的權重來增強特定通道對語義的響應，降低無關通道的影響。另一方面，回歸分支關注特征圖中目標的空間位置，自然地，考慮使用空間注意力對特征圖進行增強，突出目標的空間位置，以獲得更好的回歸結果。

如圖3所示，使用X∈C×Hx×Wx和Z∈C×Hz×Wz表示目標模板和搜索圖像的特征，以分類為例，搜索圖像的特征圖C×Hx×Wx送入RPN后使用CBAM(Convolutional Block Attention Module)[8]進行注意力增強。首先經過通道注意力模塊。CBAM使用平均池化和最大池化來聚合的上下文信息生成和兩個特征，然后將這兩個特征送入共享權重的多層感知機(Multi-Layer Perceptron，MLP)，MLP包含一個隱藏層。為了減少開銷，在隱藏層中引入了壓縮率r，使隱藏層神經元個數(shù)變?yōu)镃/r。經過MLP得到通道權重Mc，最后與原特征相乘，輸出通道增強后的特征即

(a)通道注意力網絡結構圖

(b)空間注意力網絡結構圖圖3 注意力結構圖

(1)

式中：Mc表示通道權重，σ表示sigmoid激活函數(shù)，AvgPool和MaxPool分別表示平均池化和最大池化，MLP代表多層感知機，W0∈C/r×C和W1∈C×C/r是MLP的隱藏層權重和輸出層權重。

(2)

式中：Ms表示空間位置權重，f7×7代表7×7卷積層。

1.3 特征提取網絡

采用較深的網絡ResNet-50作為骨干網絡，以獲得更好的特征提取能力。由于單層特征對目標跟蹤來說較為乏力，無法同時提供不同分辨率、多尺度、豐富語義和較細的外觀特征，而且對于ResNet來說，特征層之間的跨度較大，低層關注外觀特征等低級信息，可以幫助建模目標外觀，高層關注語義這一高級信息，在面對物體形變遮擋等問題時具有良好的表現(xiàn)，因此考慮使用多個特征層進行融合以解決前述弊端，提高骨干網絡的表達能力。

SiamRPN++嘗試使用ResNet的多個特征層來提高表達能力，但其僅對conv3_x,conv4_x,conv5_x三個特征層進行線性加權求和，沒有較好地利用淺層外觀特征和深層語義。因此受文獻[9]的啟發(fā)，采用了金字塔式融合特征層的方法，即深層語義指導淺層特征，以實現(xiàn)多層特征更有效的融合，同時邊融合邊檢測，在特征融合的基礎上對RPN進行線性加權，以得到更精確的結果，如圖4所示。

圖4 金字塔式特征融合結構圖

采用邊融合邊檢測目標的思路，首先將最深的特征層F5使用雙線性插值法上采樣到特征層F4的分辨率，與F4進行線性相加得到F45，送入RPN1，最后將F45上采樣到F3的分辨率并與之相加，送入RPN2，從而實現(xiàn)語義指導的特征層融合，提高骨干網絡的特征提取能力。另一方面，對于送入RPN的256維特征圖，每層特征圖上的每個位置都會產生5個尺度的錨框，在分類分支中每個錨框會得到維度為2的得分圖進行前背景分類，即特征圖的每個位置都會產生共2 560個參數(shù)。因此每增加RPN的數(shù)量都會引入大量參數(shù)，增加網絡的時間復雜度，降低跟蹤器的速度。同時，采用conv5_x特征的RPN跟蹤效果較差[5]。綜合以上考慮，為了使跟蹤器在速度與跟蹤效果上更加平衡，相比于基線算法，我們精簡了conv5_x對應的RPN。

最后，將RPN1和RPN2進行加權求和，權重初始值為1，作為可學習參數(shù)在端到端的訓練中自適應地確定，以得到更加精細的跟蹤結果：

(3)

2 實驗與分析

2.1 訓練集和驗證集

在本文提出的算法結構中，骨干網絡使用ImageNet[10]的圖像分類預訓練數(shù)據(jù)進行初始化，整個網絡在COCO[11]、ImageNet VID、Youtube-BoundingBoxes[12]數(shù)據(jù)集中進行端到端訓練。根據(jù)孿生網絡的核心思想即相似性學習，將訓練集原圖像通過平移、裁切等方法進行擴充為多個包含目標的不同圖像，使網絡學習衡量對象相似性的方法。

采用OTB100[13]數(shù)據(jù)集進行算法結果的測試驗證和對比。OTB100是目標跟蹤最常用的評價數(shù)據(jù)集之一，包含有100個視頻序列，通過精度和成功率的曲線下面積得分(Area under Curve， AUC)來評價跟蹤器的準確性和魯棒性，其中精度表示算法估計坐標與真實坐標在給定歐氏距離閾值下的幀數(shù)所占百分比，成功率則代表算法估計邊界框和真實邊界框在一定閾值下的重疊區(qū)域比例。

2.2 實現(xiàn)細節(jié)

采用AMD 5700x、nVidia RTX3090作為實驗平臺，基于Windows 10 x64、python 3.6和pytorch 1.8進行開發(fā)。

跟蹤器的骨干網絡使用減少步長的ResNet-50，RPN使用[0.33,0.5,1,2,3]這5種不同尺度的錨框，采用0.9動量的隨機梯度下降法作為優(yōu)化算法。遵循SiamFC，跟蹤器的模板分支輸入采用127×127大小的圖像，搜索分支則使用255×255的圖像。整個網絡采用端到端的方式訓練了20輪，前10輪凍結骨干網絡，后10輪將參與特征融合的骨干網絡3、4、5層卷積層加入訓練中。

2.3 實驗結果

2.3.1 定量分析

為了全面對比驗證本文所提算法的有效性，選取了目標跟蹤領域較為優(yōu)秀和經典的算法KCF[14]、SRDCF[15]、BACF[16]、DeepSRDCF[17]、SiamFC、CFNet[18]、SiamRPN、ATOM[19]，SiamRPN++共9種算法一并進行跟蹤效果的測試，其中SiamRPN++為本文算法的基線。首先在OTB100數(shù)據(jù)集中進行測試，實驗結果如圖5所示，除本文算法外的實驗數(shù)據(jù)來自文獻[20]的公開成果。

(a)算法成功率圖

(b)算法精度圖圖5 10種算法在OTB100數(shù)據(jù)集上的運行結果對比

為了更直觀地進行算法對比，將結果整理為表1，粗體為排名第1，斜體為排名第2，下同?？梢钥闯?，本文算法具有0.668的成功率AUC和0.876的精度AUC，不僅比對比基線算法成功率提升了9.1%，精度提升了5.1%，而且相比于排名第二的ATOM算法也有1.5%的成功率和1.9%的精度提升，與其他算法相比提升更大，表現(xiàn)出了良好的跟蹤精度和魯棒性。

表1 10種算法在OTB100數(shù)據(jù)集上的運行結果表

OTB數(shù)據(jù)集不僅可以評價算法的總體性能，其包含的不同屬性視頻序列可以測試算法在面對不同挑戰(zhàn)時的表現(xiàn)，以進行更細粒度的評價。OTB主要包含有遮擋(occlusion，OC)、光照變化(illumination variation，IV)、運動模糊(motion blur，MB)、視野外(out of view，OV)、尺度變化(scale variation，SV)、背景干擾(background clutter，BC)、快速移動(fast motion，F(xiàn)M)、形變(deformation，DEF)、平面內旋轉(in-plane rotation，IPR)、低分辨率(low resolution，LR)、平面外旋轉(out-of-plane rotation，OPR)等11種挑戰(zhàn)，表2和表3給出了前述算法在這些挑戰(zhàn)中的成功率和精度。可以看出， SiamERPN在11種挑戰(zhàn)中除了DEF稍弱于基線算法，BC和OC稍弱于其他算法外，成功率和精度均取得了較為優(yōu)秀的表現(xiàn)，這得益于注意力機制對RPN的增強，以及特征融合對骨干網絡特征提取能力的提升。

表2 10種算法在OTB100數(shù)據(jù)集11種挑戰(zhàn)中的成功率表

表3 10種算法在OTB100數(shù)據(jù)集11種挑戰(zhàn)中的精度表

2.3.2 定性分析

為了更加直觀地對比展示SiamERPN與其他算法的差異，選擇OTB100中的6個視頻序列Box、Football1、Matrix、MotorRolling和Trellis，將包含SiamERPN在內的5個跟蹤結果可視化，進行定性分析。這6個視頻序列囊括了前述11種目標跟蹤挑戰(zhàn)，可以比較全面地分析跟蹤器效果，測試結果如圖6所示，其中黑色代表本文提出的SiamERPN算法，紅色為本文的基線算法SiamRPN++，綠色為經典算法SiamFC，白色ATOM和藍色CFNet則是較為優(yōu)秀的孿生網絡改進算法。

在Box序列中，在面對物體發(fā)生旋轉、遮擋和相似物體干擾時，SiamFC總是跟蹤相似物體，ATOM和SiamRPN++不同程度的發(fā)生誤判，而SiamERPN和CFNet跟蹤魯棒性較強，其中SiamERPN在物體旋轉時具有較高的跟蹤精度，可以將物體側面也納入標注范圍。在Football1序列中，目標快速運動和旋轉，產生運動模糊的同時多個球員作為密集干擾項阻礙跟蹤器判斷，SiamERPN可以穩(wěn)定且精準進行跟蹤，四個對比算法則發(fā)生丟失和精度過低的問題。在Matrix、MotorRolling和Trellis三個序列中，目標發(fā)生快速反復的明暗變化，同時Matrix中有較強的遮擋干擾，可以看到，除SiamERPN和基線算法表現(xiàn)良好外，其他三個算法均出現(xiàn)不同程度的錯誤。而在Bird1序列中，面對長時間的阻擋，幾種算法均出現(xiàn)了不同程度的漂移，阻擋消失后，除ATOM外的算法均錯誤地跟蹤到相似目標。綜上，SiamERPN在表現(xiàn)出良好性能的同時仍有一定的局限性。

2.3.3 速度分析

目標跟蹤作為一種實時性算法，對運行速度具有一定的要求(15 frame/s)[21]。為驗證本文算法具有一定的高效性，將SiamERPN與經典孿生網絡算法進行速度的橫向對比。表4展示了4種算法在OTB數(shù)據(jù)集中的測試結果，其中SiamERPN(w/o attention)表示只包含有特征融合模塊的本文算法，用以驗證該模塊對算法速度的影響。

可以看出，SiamERPN的速度均弱于對比算法，這是注意力模塊和RPN的大量參數(shù)導致的，但SiamERPN與基準算法的速度差距較小，且符合實時性的要求，同時性能表現(xiàn)具有較大優(yōu)勢，綜上來看，SiamERPN可以很好地實現(xiàn)速度與性能的平衡。另一方面，SiamERPN(w/o attention)的結果顯示，即使經過上采樣等操作，在剪枝RPN后仍可以實現(xiàn)與基準算法相近的速度，說明精簡RPN數(shù)量對平衡速度和性能是有幫助的。

3 結 論

本文提出了一種基于注意力增強的RPN和金字塔式特征融合的目標跟蹤算法SiamERPN，對現(xiàn)有SiamRPN++算法進行了改進。首先利用注意力機制對RPN進行改進，通過通道注意力和空間注意力突出目標的語義特征和空間位置，使RPN可以獲得更好的前背景分類和邊界框回歸結果；然后針對SiamRPN++的特征融合機制提出了一種改進方法，通過金字塔式自頂向下融合實現(xiàn)具有豐富語義的細粒度檢測。實驗結果表明，本文所提算法的性能相比基線算法具有一定的提高，同時RPN數(shù)量的降低減少了網絡復雜度，實現(xiàn)了跟蹤器在速度與跟蹤效果上的平衡。