石少華，伊力哈木·亞爾買買提

(新疆大學(xué)電氣工程學(xué)院，新疆烏魯木齊 830047)

0 前言

視頻目標(biāo)跟蹤的任務(wù)是在視頻序列中自動定位指定目標(biāo)，當(dāng)前該技術(shù)已經(jīng)被廣泛應(yīng)用于機器人導(dǎo)航、智能汽車、醫(yī)學(xué)診斷和運動分析等多個領(lǐng)域。隨著其廣泛應(yīng)用，越來越多的研究者也逐漸投身于該方面的研究。

目標(biāo)跟蹤算法主要分為兩類：生成式模型和判別式模型。早期的生成式模型主要有光流法、粒子濾波算法、Mean Shift算法等。判別式模型主要有TLD、支持向量機等。2015年以后，隨著深度學(xué)習(xí)的廣泛應(yīng)用，人們開始嘗試將深度學(xué)習(xí)用于目標(biāo)跟蹤領(lǐng)域，DLT、SiamFC和SiamRPN等一系列目標(biāo)跟蹤算法的相繼提出，使得深度學(xué)習(xí)逐漸成為目標(biāo)跟蹤領(lǐng)域的又一研究熱點。

當(dāng)前目標(biāo)跟蹤算法面臨的主要挑戰(zhàn)有：目標(biāo)遮擋、形變、快速運動和相似物干擾等。在SiamFC中，一種新的全連接孿生神經(jīng)網(wǎng)絡(luò)被提出，它使用第一幀給出的模板圖像訓(xùn)練出一個普適的相似性學(xué)習(xí)模型，隨后用訓(xùn)練好的孿生網(wǎng)絡(luò)從一個大的搜索圖片中選擇模板圖像，該網(wǎng)絡(luò)實現(xiàn)了端到端的訓(xùn)練方式，并且在實時性和準確性上都取得了比較理想的效果。在SiamFC中，由于模板圖像僅從視頻首幀獲得，因此其跟蹤效果主要依賴于首幀模板圖像特征的有效性。然而，SiamFC使用的主干網(wǎng)絡(luò)是相對較淺的AlexNet，這就導(dǎo)致首幀模板圖像的有效信息往往未能被充分利用。為解決這一問題，大多數(shù)Siamese跟蹤算法是通過引入更復(fù)雜、更深層的卷積神經(jīng)網(wǎng)絡(luò)提取更高維度的目標(biāo)特征，該類方法雖然有效，但也使得模型復(fù)雜度顯著提升，嚴重影響了跟蹤的實時性。另外，在跟蹤任務(wù)中，大多數(shù)Siamese跟蹤算法只用到了網(wǎng)絡(luò)輸出的最深層卷積特征，對于網(wǎng)絡(luò)輸出的淺層特征并未利用到，這在一定程度上造成了輸出特征信息的丟失，降低了模型的性能。

針對以上問題，本文作者基于SiamFC算法提出一種基于殘差連接與深度可分離卷積的Siamese目標(biāo)跟蹤算法。將原有主干網(wǎng)絡(luò)中的5×5卷積塊替換為2個3×3的卷積塊，使得在保持感受野大小不變的情況下提高算法對特征的學(xué)習(xí)能力，并減少其計算量，加快模型推理速度。使用深度可分離卷積代替主干網(wǎng)絡(luò)中的普通卷積，進一步減少算法計算量，為將算法嵌入到移動端或算力不足的設(shè)備中打下一定基礎(chǔ)。在深度可分離卷積過程中采用逐層裁剪消除填充操作帶來的影響。借鑒ResNet網(wǎng)絡(luò)中的殘差結(jié)構(gòu)，在深度可分離卷積塊中引入殘差連接，以此將網(wǎng)絡(luò)中不同層級提取的特征進行有效融合，達到提高特征信息利用率的目的。

1 相關(guān)原理

1.1 SiamFC跟蹤算法

在目標(biāo)跟蹤中使用孿生網(wǎng)絡(luò)架構(gòu)，其目的是將跟蹤任務(wù)轉(zhuǎn)變?yōu)橄嗨贫绕ヅ鋯栴} 。其公式如(1)所示：

(,)=()*()+·1

(1)

式中：為經(jīng)過預(yù)處理的模板圖像，大小為127像素×127像素；為經(jīng)過處理的待搜索圖像，大小為255像素×255像素；*代表互相關(guān)操作；(,)為最終得到的相似性響應(yīng)得分圖；為在每個位置取值為的偏置信號，∈。其跟蹤過程為：模板圖像和搜索圖像經(jīng)過相同的特征提取網(wǎng)絡(luò)后，分別得到6像素×6像素的模板圖像和22像素×22像素的搜索圖像的特征圖，利用作為卷積核在上進行滑動卷積，最終得到一個17像素×17像素的響應(yīng)得分圖，圖中響應(yīng)值最大的點為目標(biāo)相對位置，隨后對得分最高點進行多尺度變化，從而得到原圖中目標(biāo)的所在位置。

1.2 深度可分離卷積

MobileNetV1為當(dāng)前比較流行的輕量級網(wǎng)絡(luò)，它是Google提出的一種網(wǎng)絡(luò)模型，其主要創(chuàng)新點是用深度可分離卷積代替普通卷積，因此它在計算量和模型大小上都遠小于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)。其中，深度可分離卷積操作主要分為兩步，首先是深度卷積，將輸入數(shù)據(jù)的每個通道進行單獨卷積;然后是點卷積，對深度卷積后的輸出進行1×1的標(biāo)準卷積，從而得到所需維數(shù)的特征圖，較大地減少了模型的計算量和復(fù)雜度，使它可以被應(yīng)用到一些算力相對不足的設(shè)備中。標(biāo)準卷積和深度可分離卷積的網(wǎng)絡(luò)結(jié)構(gòu)分別如圖1、圖2所示。

圖1 標(biāo)準卷積

圖2 深度可分離卷積

圖1、圖2中：為輸入圖像的大??；為卷積核大??；和分別為輸入和輸出的維數(shù)。

進行一次標(biāo)準卷積操作的計算量如公式(2)所示：

·····

(2)

進行一次深度可分離卷積操作的計算量如公式(3)所示:

····+···

(3)

所以一次標(biāo)準卷積操作與一次深度可分離卷積操作的計算量比例如公式(4)所示：

(4)

文中使用的深度可分離卷積網(wǎng)絡(luò)中為3，因此理論上一次深度可分離卷積的運算量大概是普通卷積的1/9倍，所以在一些算力相對較弱的設(shè)備中，文中算法更適合。

2 文中算法

文中算法在SiamFC基礎(chǔ)上將原網(wǎng)絡(luò)中的5×5普通卷積替換為2個3×3普通卷積，并使用深度可分離卷積代替原網(wǎng)絡(luò)中的普通卷積，這樣不僅大大減少了網(wǎng)絡(luò)計算量，還增加了網(wǎng)絡(luò)中的非線性操作，進而提高模型對特征的學(xué)習(xí)能力。另外，為充分利用提取到的特征信息，在所提算法中通過殘差塊融合網(wǎng)絡(luò)提取到的不同層特征。文中算法的整體網(wǎng)絡(luò)框架如圖3所示，其中為模板圖像，為搜索圖像。

圖3 文中算法框圖

2.1 改進后的卷積塊

在算法整體網(wǎng)絡(luò)框架圖中，Conv2、Conv3是兩個3×3的卷積塊，其作用是代替AlexNet原網(wǎng)絡(luò)中的5×5卷積塊，另外在所提網(wǎng)絡(luò)模型中用h-swish激活函數(shù)替代ReLU激活函數(shù)。具體結(jié)構(gòu)對比如圖4所示?？梢钥闯觯涸诒ＷC輸出特征尺寸大小不變的情況下，圖(b)中的非線性操作比圖(a)多，這在一定程度上增強了模型對于特征的學(xué)習(xí)能力，從而使得決策函數(shù)更加具有判別性。

圖4 卷積結(jié)構(gòu)改進前后對比

另外，在輸入大小為×且輸入輸出通道數(shù)相同的情況下，圖4(a)中的計算量如公式(5)所示：

5×5××××=25××××

(5)

圖4(b)的計算量如公式(6)所示：

3×3×2××××=18××××

(6)

從式(5)(6)可知改進后模塊的計算量與改進前模塊相比大概節(jié)約了39%。

在激活函數(shù)的選擇上，文中選擇h-swish激活函數(shù)，它在準確率上與swish激活函數(shù)基本一致，是swish激活函數(shù)的近似版本。另外，與swish激活函數(shù)相比它有如下幾個好處：(1)它沒有使用Sigmoid函數(shù)，計算量得到了極大的減少；(2)ReLU6適用于大多數(shù)軟硬件平臺的部署；(3)在內(nèi)存訪問上，由于它使用的是逐點操作，大大降低了延遲，提高了系統(tǒng)的實時性。與ReLU激活函數(shù)相比，h-swish具有無上界有下界、平滑、非單調(diào)的特性，在模型效果上也要優(yōu)于ReLU。其數(shù)學(xué)表達如公式(7)所示：

(7)

2.2 Residual Block特征融合結(jié)構(gòu)

在卷積神經(jīng)網(wǎng)絡(luò)的前向傳播過程中，不同卷積層對所要表征目標(biāo)的信息側(cè)重點往往是不同的。深層網(wǎng)絡(luò)有利于提取目標(biāo)語義特征，語義特征中具有豐富的語義信息，利于目標(biāo)和背景的判別，因此常采用網(wǎng)絡(luò)提取的最后一層的特征來表征目標(biāo)。然而，語義特征的分辨率低，不能很好地捕捉到空間位置等細節(jié)信息，但這些細節(jié)信息卻是目標(biāo)準確定位的關(guān)鍵。淺層特征更有利于保留目標(biāo)的位置、輪廓、尺度、邊緣等結(jié)構(gòu)特征，對于目標(biāo)的定位更為有利。

在大多數(shù)Siamese跟蹤算法中,只是用到了卷積網(wǎng)絡(luò)終層輸出的深層卷積特征，并沒有利用到淺層特征，這在一定程度上造成了特征信息的丟失。文中利用深度可分離卷積和殘差連接組成Residual Block結(jié)構(gòu)，用以融合卷積神經(jīng)網(wǎng)絡(luò)不同層的輸出特征，減少特征信息的丟失。另外，SiamFC使用AlexNet網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，它是沒有填充的全卷積網(wǎng)絡(luò)，使用深度可分離卷積替換原網(wǎng)絡(luò)中的普通卷積，這雖然增加了網(wǎng)絡(luò)深度，但也不可避免地引入了填充操作。對于一個含有填充操作的網(wǎng)絡(luò)來說，目標(biāo)圖像的特征可能是從原始圖像加上額外零填充區(qū)域中提取的。對于搜索圖像的特征，有些特征可能只從圖像本身提取，而有些特征則是圖像本身加上額外零填充的區(qū)域。本文作者在主干網(wǎng)中的Residual Block結(jié)構(gòu)后添加剪裁操作，用以消除填充對跟蹤結(jié)果產(chǎn)生的負面影響。Residual Block結(jié)構(gòu)如圖5所示。

圖5中主干分支為深度可分離卷積操作，其主要操作分為以下兩步，首先對輸入特征矩陣進行深度卷積處理，即對輸入特征矩陣的每一個通道單獨使用一個卷積核進行處理；然后是點卷積，對深度卷積后的輸出進行1×1的標(biāo)準卷積，目的是得到所需維數(shù)的特征圖。

圖5中捷徑分支的設(shè)計是為了融合網(wǎng)絡(luò)提取的不同層特征，其具體作用：將捷徑分支與主分支的輸出特征矩陣進行相加融合。值得注意的是，在特征融合時捷徑分支與主分支的輸出特征矩陣必須具有相同的shape。其次，由于深度可分離卷積并不改變輸入特征矩陣的大小，因此只需在捷徑分支中通過一個1×1的標(biāo)準卷積來調(diào)整其輸出特征矩陣的深度，使它與主分支中的輸出特征矩陣深度相等即可。

圖5 Residual Block結(jié)構(gòu)示意

3 實驗結(jié)果分析

3.1 實驗平臺及參數(shù)設(shè)置

文中算法實驗環(huán)境是在Windows系統(tǒng)下進行的，采用Python編程語言和PyTorch 1.4.0 框架。實驗所用CPU為Intel(R) Xeon(R) W-2223 3.60GHZ，GPU處理器為NVIDIA RTX2080Ti，顯存11 GB。

訓(xùn)練集選用GOT-10K，它包含了超過10 000條視頻，分為560多個類別，且主角都是現(xiàn)實世界里移動的物體，手動標(biāo)注的目標(biāo)框超過150萬。訓(xùn)練過程中，采用隨機梯度下降法，訓(xùn)練時的學(xué)習(xí)率從指數(shù)0.01衰減到1×10，mini-batches設(shè)置為8，訓(xùn)練50個epoch，互相關(guān)操作中的偏置為0，動量因子(momentum)為0.9。

文中算法的損失函數(shù)定義為公式(8)，∈{-1，+1}，代表該點的真值標(biāo)簽；表示score map中每個點的實際得分。

(,)=ln[1+exp(-)]

(8)

不同的候選位置有著不同的得分，所有的候選位置構(gòu)成總得分響應(yīng)圖，代表得分響應(yīng)圖的所有位置。訓(xùn)練時采用所有候選位置的平均邏輯損失表示損失函數(shù)，如公式(9)所示：

(9)

3.2 基于OTB數(shù)據(jù)集的實驗

文中選擇目標(biāo)跟蹤中常見的公開數(shù)據(jù)集OTB50和OTB2015作為驗證集，分別包含50、100個完全注釋的視頻序列。文中的評價標(biāo)準為一次通過評估(One-Pass Evaluation，OPE)，評價指標(biāo)為精確度(Prec)和成功率(AUC)。精確度為算法預(yù)測出的跟蹤框中心與數(shù)據(jù)集標(biāo)注中心的歐氏距離小于一定閾值的成功幀數(shù)占總幀數(shù)的百分比。成功率用預(yù)測跟蹤框與標(biāo)注跟蹤框的重合率得分OS(Overlap Score)進行評估，其表達式如公式(10)所示：

(10)

式中：為預(yù)測跟蹤框；為標(biāo)注跟蹤框；其中|·|為交并集區(qū)域像素數(shù)。當(dāng)OS大于設(shè)定的某一閾值時，表示該幀跟蹤成功，總成功幀數(shù)和總幀數(shù)比率即為成功率，此實驗成功率取值范圍為0～1。

3.2.1 總體性能分析

該實驗將文中算法與當(dāng)前7種常見跟蹤算法進行比較，分別是SiamFC、CFNet、Staple、SRDCF、MUSTer、fDSST、STRUCK。

它們在OTB50數(shù)據(jù)集上的表現(xiàn)如表1所示?？芍何闹兴惴ǖ木_度為0.823、成功率為0.609，SiamFC的精確度為0.728、成功率為0.541。與SiamFC相比，文中算法在精確度上提升了13.0%，在成功率上提升了12.6%，在速度提升了21.2%。

表1 各跟蹤算法在OTB50上的表現(xiàn)對比

在OTB2015數(shù)據(jù)集上的表現(xiàn)如表2所示?？梢钥闯觯涸贠TB2015數(shù)據(jù)集上，文中算法無論是在精確度還是在成功率上與其他7個跟蹤算法相比均處于最佳水平，并且在GPU上的運行速度高達105 幀/s。與原算法SiamFC相比，精確度提升了5.4%、成功率提升了3.1%、速度提升了22.1%。與跟蹤器SRDCF相比，精確度提升了3.3%、成功率提升了1.3%。

表2 各跟蹤算法在OTB2015上的表現(xiàn)對比

文中算法之所以在各數(shù)據(jù)集中處于領(lǐng)先地位，主要有以下幾點因素：

與深度學(xué)習(xí)類算法(SiamFC、CFNet)相比，文中算法使用了更深的網(wǎng)絡(luò)層數(shù)，目標(biāo)模板經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)后，得到了對目標(biāo)表征能力更強的深層語義特征，而傳統(tǒng)的深度學(xué)習(xí)類算法只使用了卷積網(wǎng)絡(luò)輸出的深層語義特征。文中算法通過加入殘差連接將網(wǎng)絡(luò)提取的不同層特征進行自適應(yīng)融合，通過一系列操作，網(wǎng)絡(luò)提取到的深淺層特征得到了充分利用，從而增強了跟蹤算法在尺度變化、遮擋和光照變化等挑戰(zhàn)中的魯棒性。

與傳統(tǒng)的相關(guān)濾波算法(Staple、SRDCF、MUSTer、fDSST、STRUCK)相比，相關(guān)濾波算法采用在線訓(xùn)練和實時更新，使得其跟蹤速度大打折扣，很難滿足跟蹤實時性的要求。文中算法采用離線訓(xùn)練的方式，并且在模型的大多數(shù)卷積層的使用中選擇了計算量相對較小的深度可分離卷積，因此，在跟蹤速度上文中算法與相關(guān)濾波算法相比有較大提升,約是Staple和fDSST的1倍多。另外，文中使用的深度特征是通過大量訓(xùn)練樣本學(xué)習(xí)出來的特征，比相關(guān)濾波手工設(shè)計的特征更具有鑒別性，所以在跟蹤精度和成功率上，文中算法也優(yōu)于SRDCF。

3.2.2 基于OTB2015數(shù)據(jù)集的不同屬性的實驗分析

為進一步對比文中算法和其他算法在不同挑戰(zhàn)下的表現(xiàn)，分別繪出了OTB2015數(shù)據(jù)集中11個不同屬性下的精確度和成功率的對比圖，如圖6、7所示。

圖6 OTB2015不同屬性下的跟蹤精度對比結(jié)果

圖7 OTB2015不同屬性下的跟蹤成功率對比結(jié)果

從圖6、7可以看出：文中算法的跟蹤精度在10個不同屬性下都位列第1，在復(fù)雜背景下文中算法的精確度為0.76，排名第2，第1為MUSTer，它的精確度為0.77，兩者差距很小，但在跟蹤速度方面MUSTer約為4幀/s，文中算法遠高于它。在跟蹤成功率方面，文中算法在9個不同屬性的挑戰(zhàn)上都保持最佳性能，只有在復(fù)雜背景和光照變化的挑戰(zhàn)中位于第2和第3。

另外，為更直觀地展示出文中算法和其他算法的跟蹤效果，從OTB2015的100個視頻序列中選擇6組具有代表性的視頻序列進行可視化展示，分別是Basketball、Bolt2、Car4、David3、Girl2、MotorRolling，其可視化結(jié)果如圖8所示。文中僅畫出了AUC排名前5名的算法跟蹤框，實驗中，在同一幀圖像上利用不同類型的跟蹤框來展示文中算法與其他主流算法的跟蹤效果。在所選的這些視頻幀中包含了光照變化、旋轉(zhuǎn)、目標(biāo)遮擋、背景復(fù)雜和尺度變化等絕大多數(shù)目標(biāo)跟蹤所面臨的挑戰(zhàn)。

圖8 6組視頻序列可視化跟蹤結(jié)果對比實驗

在Basketball視頻序列中，其主要難點包括遮擋、背景復(fù)雜及光照變化。從第24幀可以看出在發(fā)生輕微遮擋時，各算法均能進行有效跟蹤，但從跟蹤效果上看，文中算法和Staple比較出色；第419和694幀分別是運動員經(jīng)過幾次交叉移位、遮擋后各跟蹤算法的跟蹤效果，從跟蹤框來看，文中所提算法均為最佳，其中在第694幀時，SRDCF和Staple均已丟失跟蹤目標(biāo)。

在Bolt2視頻序列中，其跟蹤難點主要是形變、背景復(fù)雜。在短跑比賽中，由于運動員一般都會在起跑后進行不斷加速，其肢體動作往往會發(fā)生很大變化，這在一定程度上增加了跟蹤難度。從可視化圖中可以看出，在運動員剛起跑后，SiamFC就丟失了目標(biāo)，并且在整個跟蹤過程中均跟蹤失敗；在第183和205幀中，目標(biāo)與其他背景物發(fā)生重疊后，SRDCF也出現(xiàn)了跟蹤丟失的情況；與其他算法相比，文中算法更優(yōu)秀。

在Car4視頻序列中，跟蹤難點主要有尺度變化和光照變化。3幅圖中目標(biāo)物體分別處于不同光照變化的場景中，并且在尺度上也發(fā)生了一定變化。從整體跟蹤效果來看，所有算法均跟蹤到了目標(biāo)物體，但從標(biāo)出的跟蹤框可以看出，在跟蹤精度上，文中所提算法更準確。

在David3視頻序列中，跟蹤難點主要是遮擋、形變和平面外旋轉(zhuǎn)。通過可視化結(jié)果可以看出，當(dāng)視頻中目標(biāo)與背景發(fā)生重疊時，除SRDCF外，其余算法均都較為準確地跟蹤到了目標(biāo)，但在跟蹤精度上，文中算法更優(yōu)秀。

在Girl2視頻序列中，其跟蹤難點主要是遮擋、平面外旋轉(zhuǎn)和尺度變化。在第59幀中，小女孩雖然與背景物發(fā)生了嚴重重疊，但各算法都準確跟蹤到了小女孩；在178幀中，小女孩在首次經(jīng)過路人的完全遮擋和重現(xiàn)后，只有文中算法重新找回小女孩且成功跟蹤；在1487幀中，小女孩在經(jīng)過不同場景變化后，身體背對攝像頭，并且受到了輕微遮擋，這時只有文中算法和SRDCF成功跟蹤到了目標(biāo)。

在MotorRolling視頻序列中，其跟蹤難點主要是快速運動、平面內(nèi)旋轉(zhuǎn)和運動模糊。在跟蹤開始階段，賽車手與摩托發(fā)生旋轉(zhuǎn)，這時所有算法都能較好地跟蹤到目標(biāo)物，然而在第63和161幀中，隨著目標(biāo)大小尺度和跟蹤場景的變化，只有文中算法依舊表現(xiàn)良好。

綜上所述，文中算法在11種不同屬性的挑戰(zhàn)中，除了在背景復(fù)雜和光照變化場景中表現(xiàn)稍差于排名第一的跟蹤算法，在其余9個挑戰(zhàn)上都保持了領(lǐng)先地位，由此可以看出文中算法適用于不同場景的跟蹤任務(wù)。

4 結(jié)束語

為了保證目標(biāo)跟蹤算法在復(fù)雜場景下的高速率和高精度，提出基于殘差連接與深度可分離卷積的孿生網(wǎng)絡(luò)跟蹤算法。以SiamFC算法為基礎(chǔ)，利用深度可分離卷積和殘差連接對其原網(wǎng)絡(luò)進行改進，使得模型可以提取更深層的語義特征，并且殘差連接的加入使得模型可以將不同層卷積網(wǎng)絡(luò)提取到的特征進行融合，從而達到充分利用所提取特征信息的目的。對網(wǎng)絡(luò)模型中卷積塊大小的調(diào)整和使用參數(shù)量更少的深度可分離卷積代替普通卷積，使得網(wǎng)絡(luò)的總體參數(shù)量相比于原網(wǎng)絡(luò)較少，因此所提算法在算力較小的設(shè)備上更具競爭力。