施 立，許建龍

（浙江理工大學(xué) 信息學(xué)院，浙江 杭州 310018）

0 引言

在計(jì)算機(jī)視覺領(lǐng)域，實(shí)時(shí)目標(biāo)跟蹤是一個(gè)極具挑戰(zhàn)性的難題。區(qū)別于目標(biāo)檢測(cè)問題，目標(biāo)跟蹤給出一組圖像序列初始幀任意目標(biāo)的邊界框，需要在后續(xù)幀中標(biāo)出目標(biāo)位置。高性能跟蹤算法在視頻監(jiān)控、自動(dòng)駕駛、人機(jī)交互等多個(gè)領(lǐng)域都有重要作用，然而真實(shí)場(chǎng)景中往往存在尺度變化、遮擋、背景雜亂等復(fù)雜條件干擾，設(shè)計(jì)一個(gè)能應(yīng)用于工業(yè)領(lǐng)域的強(qiáng)魯棒性實(shí)時(shí)跟蹤算法具有很大難度［1，2］。

目前有兩種目標(biāo)跟蹤算法框架受到普遍認(rèn)可?；谙嚓P(guān)濾波（Correlation Filter，CF）的跟蹤算法在2010 年由Bolme 等［3］提出，其通過計(jì)算最小平方誤差濾波（Minimum Output Sum of Squared Error filter，MOSSE），根據(jù)輸入圖像訓(xùn)練相關(guān)濾波器，在后續(xù)幀中通過計(jì)算圖像與濾波器的響應(yīng)確定跟蹤目標(biāo)所在位置?？紤]到MOSSE 沒有充分利用樣本結(jié)構(gòu)信息，同時(shí)缺乏高效密集采樣策略，Henriques等［4］提出循環(huán)位移密集采樣策略，同時(shí)使用核函數(shù)將問題映射到高維空間，并使用核戲法簡(jiǎn)化計(jì)算。為增強(qiáng)特征表達(dá)能力，Henriques 等［5］利用多通道HOG 進(jìn)行特征表達(dá)，并利用對(duì)角化技術(shù)進(jìn)一步優(yōu)化計(jì)算過程；Danelljan 等［6］引入多通道顏色特征（Color Name，CN）并使用PCA 降維提取有效特征，提升了算法對(duì)形變目標(biāo)的魯棒性。

近年來，得益于深度學(xué)習(xí)領(lǐng)域的快速發(fā)展，深度特征憑借其優(yōu)秀的表達(dá)能力逐漸取代手工特征，但深度特征在提升模型準(zhǔn)確度的同時(shí)也增加了計(jì)算量，為基于深度學(xué)習(xí)的目標(biāo)跟蹤算法達(dá)到實(shí)時(shí)標(biāo)準(zhǔn)增加了難度。一種新穎的孿生網(wǎng)絡(luò)使用共享權(quán)值的兩個(gè)神經(jīng)網(wǎng)絡(luò)分別學(xué)習(xí)目標(biāo)特征與搜索圖特征，然后將跟蹤視作相似性匹配問題，基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤算法憑借其優(yōu)異的跟蹤性能吸引了大量業(yè)內(nèi)學(xué)者關(guān)注。Tao 等［7］提出利用孿生網(wǎng)絡(luò)模型離線學(xué)習(xí)匹配函數(shù)，然后對(duì)初始幀目標(biāo)與后續(xù)幀候選樣本進(jìn)行相似度計(jì)算；Bertinetto 等［8］將互相關(guān)引入全卷積孿生網(wǎng)絡(luò)，該算法不需要選取與模板同樣大小的候選塊，而是直接通過較大尺寸的搜索圖特征與較小尺寸的模板特征進(jìn)行互相關(guān)產(chǎn)生響應(yīng)圖以求得目標(biāo)位置。最近，文獻(xiàn)［9-13］利用孿生網(wǎng)絡(luò)提取目標(biāo)特征，然后利用目標(biāo)檢測(cè)領(lǐng)域的區(qū)域生成網(wǎng)絡(luò)（Region Proposal Network，RPN）［14］確定最終目標(biāo)邊界框。文獻(xiàn)［15］研究了深層與淺層特征的特性，以及它們對(duì)跟蹤準(zhǔn)確性和魯棒性的影響，并指出深層特征能有效描述具有外觀和雜亂不變性的高級(jí)語義信息，增強(qiáng)算法魯棒性，而淺層特征能有效描述用于目標(biāo)精準(zhǔn)定位的低級(jí)外觀信息。全卷積孿生網(wǎng)絡(luò)目標(biāo)跟蹤算法SiamFC 未考慮深層與淺層特征各自的特點(diǎn)，僅使用網(wǎng)絡(luò)最終輸出對(duì)目標(biāo)進(jìn)行表達(dá)，難以發(fā)揮深度網(wǎng)絡(luò)的全部?jī)r(jià)值。其簡(jiǎn)單地將目標(biāo)跟蹤視作相似性學(xué)習(xí)問題，忽視了不同跟蹤場(chǎng)景下目標(biāo)的變化，難以平衡特征表達(dá)的魯棒性與判別性。

為解決上述問題，本文提出一種基于孿生網(wǎng)絡(luò)的雙分支目標(biāo)跟蹤算法，兩個(gè)分支分別利用深度網(wǎng)絡(luò)深層、淺層的特征優(yōu)勢(shì)，對(duì)目標(biāo)語義信息和外觀信息進(jìn)行描述。此外，語義分支還通過引入注意力模塊加強(qiáng)對(duì)目標(biāo)區(qū)域的編碼，降低背景區(qū)域干擾，最終融合獨(dú)立訓(xùn)練外觀分支與語義分支的響應(yīng)結(jié)果以提升跟蹤算法性能。

1 算法建立

本文提出一種基于孿生網(wǎng)絡(luò)的雙分支目標(biāo)跟蹤框架，網(wǎng)絡(luò)包含提取淺層低級(jí)信息的外觀分支與提取深層高級(jí)信息的語義分支。兩個(gè)分支均使用VGG-16［16］作為主干網(wǎng)絡(luò)，其中語義分支通過引入殘差注意力模塊增強(qiáng)目標(biāo)表達(dá)，同時(shí)減少背景雜亂影響，最終通過加權(quán)融合兩個(gè)分支生成的響應(yīng)圖實(shí)現(xiàn)魯棒的目標(biāo)跟蹤。

1.1 雙分支網(wǎng)絡(luò)結(jié)構(gòu)

雙分支網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。網(wǎng)絡(luò)輸入分別為從初始幀裁剪的目標(biāo)圖像z和從當(dāng)前待跟蹤幀裁剪的搜索區(qū)域圖像X，其中目標(biāo)圖像z的尺寸為Wz×Hz×C，搜索區(qū)域圖像X的尺寸為Wx×Hx×C。

Fig.1 Two-branch network structure圖1 雙分支網(wǎng)絡(luò)結(jié)構(gòu)

1.1.1 外觀分支

將圖像對(duì)(z,X)輸入外觀分支，外觀分支對(duì)圖像提取特征得到特征圖(φɑ(z),φɑ(X))，其中φɑ(·)表示外觀分支的特征映射，然后通過相似度計(jì)算得到外觀分支響應(yīng)圖為：

式中，g(·)為相似性度量。

然后使用logistic 損失表示訓(xùn)練樣本的分類誤差：

式中，v為候選位置響應(yīng)值，y表示真實(shí)標(biāo)簽，取值為{+1,-1}。基于網(wǎng)絡(luò)全卷積特性，僅對(duì)模板和搜索圖求響應(yīng)就能得到每個(gè)候選位置的響應(yīng)值，然后對(duì)所有候選位置損失求平均得到響應(yīng)圖損失為：

每個(gè)候選位置的真實(shí)標(biāo)簽y[u]取值為{+1,-1}，u∈D表示響應(yīng)圖上每個(gè)點(diǎn)的位置，其中u與響應(yīng)圖中心的距離小于一定閾值時(shí)，標(biāo)記該樣本為正樣本；如果距離大于該閾值，則標(biāo)記為負(fù)樣本。通過隨機(jī)梯度下降（SGD）求解外觀分支的網(wǎng)絡(luò)參數(shù)θα為：

1.1.2 語義分支

將(z,X)輸入語義分支，語義分支對(duì)圖像提取特征得到特征圖(φs(z),φs(X))，其中φs(·)表示語義分支特征提取模塊的特征映射?？紤]到使用高級(jí)特征信息的語義分支對(duì)外觀變化有強(qiáng)魯棒性，但面對(duì)背景雜亂的復(fù)雜場(chǎng)景時(shí)效果較差，因此在語義分支中添加殘差注意力模塊以增強(qiáng)該分支的判別能力［17］。傳統(tǒng)殘差結(jié)構(gòu)直接與掩膜進(jìn)行點(diǎn)乘，會(huì)導(dǎo)致特征值損失。為此，本文以恒等映射方式構(gòu)建軟掩膜部分，避免了注意力模塊中目標(biāo)特征值的損失。得到的殘差注意力模塊輸出為：

式中，M(z)為掩膜部分輸出，大小在0～1 之間。當(dāng)掩膜部分輸出M(z)接近于0 時(shí)，H(z)近似等于特征提取模塊輸出特征φs(z)。通過添加上述殘差注意力模塊，使得初始特征的良好結(jié)構(gòu)得以保持，同時(shí)有效增強(qiáng)了語義分支對(duì)目標(biāo)的注意力。得到語義分支注意力感知特征后，通過相似度計(jì)算得到語義分支響應(yīng)圖為：

通化最小化損失計(jì)算得到最終語義分支的網(wǎng)絡(luò)參數(shù)為：

式中，θs表示語義分支待訓(xùn)練的網(wǎng)絡(luò)參數(shù)。

在跟蹤階段，通過對(duì)外觀分支和語義分支各自輸出的響應(yīng)加權(quán)融合得到最終響應(yīng)圖：

式中，參數(shù)λ為平衡外觀分支與語義分支的加權(quán)參數(shù)，λ越接近1 表示跟蹤過程中目標(biāo)外觀越趨于穩(wěn)定，λ越接近0 表示跟蹤過程中目標(biāo)外觀越趨于發(fā)生較大變化。通過求得最終響應(yīng)圖h(z,X)中最大值對(duì)應(yīng)的坐標(biāo)，即可確定跟蹤目標(biāo)在搜索圖像中的位置。

1.2 殘差注意力結(jié)構(gòu)

殘差注意力結(jié)構(gòu)的輸入為主干網(wǎng)絡(luò)從跟蹤目標(biāo)中提取的深層特征。在殘差注意力結(jié)構(gòu)中，掩膜分支首先通過前饋網(wǎng)絡(luò)結(jié)構(gòu)掃描并整合圖片全局信息，快速增大感受野；然后通過自頂而下的網(wǎng)絡(luò)結(jié)構(gòu)將全局信息與原始特征圖結(jié)合；最后通過softmax 層將輸出歸一化到（0，1），通過掩膜分支對(duì)主分支的加權(quán)，得到注意力感知的目標(biāo)特征。由于注意力感知模塊僅應(yīng)用于初始幀，實(shí)驗(yàn)過程中對(duì)后續(xù)幀目標(biāo)跟蹤的速度不受計(jì)算復(fù)雜度的影響。

2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)平臺(tái)的處理器為Inter Core i7-8750H，主頻為2.20GHz，內(nèi)存為8GB。實(shí)驗(yàn)時(shí)使用CUDA 進(jìn)行GPU 加速，GPU 型號(hào)為NVIDIA GeForce GTX 1060。程序?qū)崿F(xiàn)語言為Python，使用PyTorch 作為深度學(xué)習(xí)框架。

為驗(yàn)證算法有效性，選擇在流行跟蹤數(shù)據(jù)集OTB2015上進(jìn)行實(shí)驗(yàn)。OTB2015 包含100 個(gè)目標(biāo)跟蹤圖像序列，每個(gè)圖像序列被標(biāo)記了不同屬性，對(duì)應(yīng)目標(biāo)跟蹤領(lǐng)域的不同難點(diǎn)，包括光照變化（Illumination Variation，IV）、尺度變化（Scale Variation，SV）、遮擋（Occlusion，OCC）、變形（Deformation，DEF）、運(yùn)動(dòng)模糊（Motion Blur，MB）、快速移動(dòng)（Fast Motion，F(xiàn)M）、平面內(nèi)旋轉(zhuǎn)（In-Plane Rotation，IPR）、平面外旋轉(zhuǎn)（Out-of-Plane Rotation，OPR）、離開視野（Out-of-View，OV）、背景雜亂（Background Clutters，BC）和低分辨率（Low Resolution，LR）。通過在不同屬性圖像序列上進(jìn)行算法驗(yàn)證，可評(píng)估跟蹤算法在不同復(fù)雜場(chǎng)景時(shí)的跟蹤效果。

將本文算法模型與近年熱門的6 種跟蹤算法進(jìn)行比較，包 括SAMF［18］、DSST［19］、KCF［5］、Staple［20］、SiamFC［8］、BACF［21］。以下從定性、定量?jī)蓚€(gè)方面進(jìn)行對(duì)比分析。

2.1 定性分析

圖2（彩圖掃OSID 碼可見）給出了本文算法與6 種對(duì)比算法在OTB2015 數(shù)據(jù)集上的部分跟蹤結(jié)果。表1 列出了本文測(cè)試圖像序列中包含的影響因素。

Fig.2 Comparison of partial tracking results between algorithm of this article and other six algorithms圖2 本文算法與6 種對(duì)比算法部分跟蹤結(jié)果比較

Table 1 Influencing factors included in the test image sequence表1 測(cè)試圖像序列包含的影響因素

圖像序列Basketball 展示的是籃球比賽。跟蹤目標(biāo)為一名球員，攝像機(jī)拍攝的籃球比賽視頻中球員間經(jīng)常出現(xiàn)互相遮擋或粘連的情況，這也是跟蹤難點(diǎn)。從第606 幀開始，跟蹤目標(biāo)周圍相似擾亂增多，在631～665 幀之間，目標(biāo)與相似擾亂之間發(fā)生了嚴(yán)重重疊，DSST、Staple 和SiamFC算法出現(xiàn)了誤跟現(xiàn)象，而本文算法仍能準(zhǔn)確框定目標(biāo)，表明其判別性增強(qiáng)，在面對(duì)雜亂背景時(shí)仍能確保準(zhǔn)確跟蹤。

圖像序列Human9 展示的是攝像頭下步行的行人。行人從鏡頭前向遠(yuǎn)離鏡頭的方向運(yùn)動(dòng)，并多次經(jīng)過樹陰，跟蹤難點(diǎn)主要在于目標(biāo)尺度與光照變化。由于目標(biāo)在攝像場(chǎng)景中的相對(duì)位置沒有發(fā)生很大改變，大部分算法計(jì)算出的邊界框都能框住目標(biāo)。但相較于其他算法，本文算法計(jì)算出的邊界框與人工標(biāo)注真實(shí)邊界框之間的交并比更大，跟蹤結(jié)果更為精確，表明本文跟蹤算法對(duì)目標(biāo)尺度變換具有更好的處理能力。

圖像序列Ironman 展示的是運(yùn)動(dòng)攝像頭下機(jī)甲頭部的運(yùn)動(dòng)。由于圖像分辨率較低，且場(chǎng)景多次發(fā)生強(qiáng)烈的光照變化，加之跟蹤目標(biāo)多次發(fā)生平面內(nèi)外旋轉(zhuǎn)，對(duì)跟蹤算法的魯棒性提出了較高要求。從圖2 中可以看到，在目標(biāo)發(fā)生多次旋轉(zhuǎn)變換后，大部分跟蹤器都丟失了跟蹤目標(biāo)，而本文算法不僅成功跟蹤了目標(biāo)，還保證了較高準(zhǔn)確性。本文算法中的語義分支對(duì)魯棒性有很大提升，在跟蹤目標(biāo)外觀發(fā)生變化時(shí)仍能實(shí)現(xiàn)較好跟蹤效果。

圖像序列MotorRolling 展示的是山地車比賽項(xiàng)目。在圖像序列中，隨著目標(biāo)運(yùn)動(dòng)，背景亮度不斷發(fā)生變化，加之目標(biāo)一直處于高速運(yùn)動(dòng)狀態(tài)，導(dǎo)致圖片序列出現(xiàn)嚴(yán)重模糊，加大了跟蹤難度。在該條件下，傳統(tǒng)濾波類算法無法生成有效濾波器，而本文算法通過殘差注意力模塊提取的目標(biāo)感知特征成功對(duì)目標(biāo)外觀進(jìn)行了表達(dá)，最終得到的跟蹤結(jié)果明顯優(yōu)于其他算法。

2.2 定量分析

使用一次性通過評(píng)估（OPE）方法在OTB2015 數(shù)據(jù)集上對(duì)本文算法與其余6 種對(duì)比算法的性能進(jìn)行了整體評(píng)估，根據(jù)實(shí)驗(yàn)數(shù)據(jù)繪制的成功率曲線和精度曲線如圖3 所示。從圖中可以看出，本文算法的性能明顯優(yōu)于其他算法，與基準(zhǔn)算法SiamFC 相比，成功率提升了8.2%，精度提升了10.2%。為進(jìn)一步分析本文算法的優(yōu)缺點(diǎn)，表2、表3 列出了基于不同屬性圖像序列下各種算法的跟蹤精度與成功率。結(jié)果表明，本文算法在除背景雜亂屬性以外的復(fù)雜跟蹤場(chǎng)景中跟蹤成功率與準(zhǔn)確率均為最佳，具有較好的目標(biāo)跟蹤性能。

Fig.3 Success rate and accuracy curve on OTB2015 dataset圖3 OTB2015 數(shù)據(jù)集上的成功率與精度曲線

Table 2 Comparison of tracking success rate of algorithms under different attributes表2 不同屬性下算法跟蹤成功率對(duì)比

Table 3 Comparison of tracking accuracy of algorithms under different attributes表3 不同屬性下算法跟蹤精度對(duì)比

3 結(jié)語

本文針對(duì)復(fù)雜場(chǎng)景下跟蹤魯棒性差的問題，提出一種融合注意力機(jī)制的雙分支孿生網(wǎng)絡(luò)結(jié)構(gòu)，通過利用不同層次特征充分發(fā)揮深度特征的能力，同時(shí)在語義分支中嵌入殘差注意力結(jié)構(gòu)進(jìn)一步提升算法的特征表達(dá)能力。然后，在流行跟蹤數(shù)據(jù)集OTB2015 上對(duì)算法跟蹤性能進(jìn)行評(píng)估，結(jié)果表明，本文算法能有效提高跟蹤成功率與準(zhǔn)確率，跟蹤性能優(yōu)秀。但本文算法在背景干擾的復(fù)雜場(chǎng)景下跟蹤性能還有待提高，如何將背景信息納入考慮范圍，以減少跟蹤過程中相似目標(biāo)的干擾，將是下一步的研究重點(diǎn)。