趙春梅，陳忠碧，張建林

基于卷積網(wǎng)絡(luò)的目標(biāo)跟蹤應(yīng)用研究

趙春梅1,2，陳忠碧1*，張建林1

1中國(guó)科學(xué)院光電技術(shù)研究所，四川 成都 610209；2中國(guó)科學(xué)院大學(xué)，北京 100049

本文針對(duì)目標(biāo)跟蹤應(yīng)用，提出了基于Siamese-FC跟蹤網(wǎng)絡(luò)的改進(jìn)卷積網(wǎng)絡(luò)Siamese-MF，意在更進(jìn)一步提升跟蹤速度和準(zhǔn)確性，滿足目標(biāo)跟蹤的工程應(yīng)用需求。對(duì)于跟蹤網(wǎng)絡(luò)，考慮速度和精度的權(quán)衡，減少計(jì)算量，增加卷積特征的感受野是改進(jìn)跟蹤網(wǎng)絡(luò)的速度和精度的方向。在卷積網(wǎng)絡(luò)結(jié)構(gòu)上面進(jìn)行改進(jìn)結(jié)構(gòu)創(chuàng)新，改進(jìn)主要集中為兩點(diǎn)：1) 引入特征融合，豐富特征；2) 引入空洞卷積，減少計(jì)算量的同時(shí)增強(qiáng)感受野。Siamese-MF算法實(shí)現(xiàn)了對(duì)于復(fù)雜場(chǎng)景目標(biāo)的實(shí)時(shí)準(zhǔn)確跟蹤，在公開數(shù)據(jù)集OTB上測(cè)試速度達(dá)到平均76 f/s，跟蹤成功率的均值達(dá)到0.44，而跟蹤穩(wěn)定性的均值達(dá)到0.61，實(shí)時(shí)性、準(zhǔn)確性和穩(wěn)定性均提升，滿足目標(biāo)實(shí)時(shí)跟蹤應(yīng)用。

Siamese-MF；特征融合；全卷積；空洞卷積；實(shí)時(shí)跟蹤

1 引 言

目標(biāo)跟蹤作為計(jì)算機(jī)視覺的重要方向之一[1]，應(yīng)用領(lǐng)域廣泛，包括空域目標(biāo)跟蹤、刑偵罪犯監(jiān)控、交通車輛監(jiān)控、小區(qū)安防監(jiān)控等[2-4]。目標(biāo)跟蹤在工業(yè)應(yīng)用上面臨著場(chǎng)景復(fù)雜、目標(biāo)形態(tài)多變、長(zhǎng)時(shí)跟蹤等一系列挑戰(zhàn)，如何提取更魯棒的特征，減少計(jì)算量是實(shí)時(shí)穩(wěn)定跟蹤目標(biāo)的思考方向。傳統(tǒng)的目標(biāo)跟蹤采用人為設(shè)定如顏色特征、灰度特征等；用核方法結(jié)合直方圖特征[5]具有較好的準(zhǔn)確性但是計(jì)算量大；用L-K光流算法[6]只在背景靜止以及物體運(yùn)動(dòng)速度慢的情況下才能較好地發(fā)揮目標(biāo)跟蹤作用；使用均值法結(jié)合金字塔特征[7]是基于顏色對(duì)目標(biāo)進(jìn)行識(shí)別，跟蹤速度較快，但是當(dāng)背景存在和目標(biāo)相似顏色的時(shí)候影響跟蹤結(jié)果，使用場(chǎng)景受限；而核相關(guān)濾波(kernel correlation filter，KCF)[8]采用相關(guān)特征，實(shí)時(shí)性好，但是在目標(biāo)發(fā)生尺度變化以及遮擋等情況時(shí)會(huì)跟丟目標(biāo)。

手工特征的缺點(diǎn)在于提取特征有限，無法適應(yīng)普遍場(chǎng)景，泛化能力較差[9-10]，由此引入深度學(xué)習(xí)來解決特征提取遇到的問題。2012年卷積網(wǎng)絡(luò)AlexNet[11]首次被提出，后期基于卷積網(wǎng)絡(luò)的結(jié)構(gòu)相繼產(chǎn)生，如VGGNet[12]、Google Incepetion Net[13]、ResNet[14]、DenseNet[15]等。卷積網(wǎng)絡(luò)往更深層發(fā)展，解決了反向傳播過程中的梯度消失或梯度彌散相關(guān)問題，提取到的語(yǔ)義信息更豐富、更魯棒，應(yīng)用在ImageNet[16]圖像分類[17-19]、語(yǔ)義分割[20]、目標(biāo)檢測(cè)與識(shí)別[21]等方面取得顯著成效，但是在目標(biāo)跟蹤上，卻因?yàn)閷?shí)時(shí)性和數(shù)據(jù)集較小等受到限制。鑒于此，本文提出基于卷積神經(jīng)網(wǎng)絡(luò)的擴(kuò)展目標(biāo)跟蹤算法Siamese-MF，通過對(duì)卷積層提取的特征進(jìn)行融合以及引入空洞卷積的措施，達(dá)到增強(qiáng)特征表征并且減少計(jì)算量的作用，使算法在實(shí)時(shí)性和準(zhǔn)確性上都有提升；在跟蹤策略上進(jìn)行限制，針對(duì)尺度變換、遮擋和模糊等狀態(tài)具有良好的魯棒性，有著較好的應(yīng)用價(jià)值。

2 研究現(xiàn)狀

使用深度學(xué)習(xí)的目標(biāo)跟蹤網(wǎng)絡(luò)研究越來越多，總體可分為基于候選目標(biāo)分類的目標(biāo)跟蹤和基于結(jié)構(gòu)化回歸的目標(biāo)跟蹤[22]，基于分類的目標(biāo)跟蹤算法類似于檢測(cè)，即在搜索區(qū)域選取候選框，對(duì)候選框進(jìn)行分類，計(jì)算量大，導(dǎo)致速度無法滿足實(shí)時(shí)性要求，而基于結(jié)構(gòu)化回歸的算法則是通過概率來判斷位置和尺度。

基于分類的目標(biāo)跟蹤算法(如DLT[23])屬于無監(jiān)督學(xué)習(xí)算法，是深度學(xué)習(xí)在目標(biāo)跟蹤的早期應(yīng)用，但是算法采用自編碼器完成重構(gòu)工作，對(duì)分類任務(wù)沒有很大的貢獻(xiàn)，是深度學(xué)習(xí)在目標(biāo)跟蹤任務(wù)上的探索，是基于深度學(xué)習(xí)的目標(biāo)跟蹤算法的啟程。MDNet (multi-domain convolutional neural networks)[24]采用卷積網(wǎng)絡(luò)提取特征，全連接網(wǎng)絡(luò)輸出背景和目標(biāo)的分類得分，跟蹤精度較高，但在GPU上運(yùn)行速度也只能達(dá)到1 f/s左右。而MDNet的研究團(tuán)隊(duì)再次提出TCNN(CNNs in a tree structure)[25]，算法的核心在于使用了樹狀CNN結(jié)構(gòu)，模型較為復(fù)雜，精度得到提升，但速度還有待提高。

基于結(jié)構(gòu)化回歸的目標(biāo)跟蹤算法主要有2015年提出的FCNT(fully convolutional networks)[26]，文章中利用大量數(shù)據(jù)集來預(yù)訓(xùn)練卷積網(wǎng)絡(luò)，用于提取一般特征，然后用第一幀目標(biāo)信息訓(xùn)練全卷積網(wǎng)絡(luò)，用于回歸目標(biāo)位置。同年提出的HCFT(hierarchical convolutional features for visual tracking)[27]結(jié)合了深度學(xué)習(xí)算法的特征提取能力和傳統(tǒng)跟蹤算法的跟蹤速度。2016年David提出的GOTURN(generic object tracking using regression networks)[28]算法，采用了一種離線訓(xùn)練的方式，能夠?qū)崿F(xiàn)100 f/s的實(shí)時(shí)跟蹤，但只適用于短時(shí)跟蹤。而在2016年提出的孿生網(wǎng)絡(luò)Siamese-FC (fully-convolutional siamese networks)[29]，算法采用相似性來實(shí)現(xiàn)目標(biāo)跟蹤，在精度上面表現(xiàn)良好，速度達(dá)到58 f/s，但有待提升卷積層特征提取能力。

本文針對(duì)擴(kuò)展目標(biāo)，提出了基于Siamese-FC的改進(jìn)網(wǎng)絡(luò)的Siamese-MF。Siamese-MF的卷積層為AlexNet[11]的前五層卷積層，用于提取目標(biāo)特征，同時(shí)通過空洞卷積融合第一層、第三層以及第五層卷積層的特征作為提取到的特征。卷積層的淺層特征提取邊緣和位置信息，高層特征提取語(yǔ)義特征。Siamese-MF結(jié)合低中高層的特征融合得到更魯棒的特征，同時(shí)引入空洞卷積減少計(jì)算量，增加感受野。Siamese-MF采用離線訓(xùn)練，在線跟蹤，通過特征融合提高跟蹤準(zhǔn)確性，空洞卷積提高速度，多尺度克服跟蹤過程中的尺度變化，同時(shí)采用模板積累來適應(yīng)長(zhǎng)時(shí)跟蹤。

3 Siamese-MF跟蹤網(wǎng)絡(luò)

Siamese-FC跟蹤網(wǎng)絡(luò)在實(shí)時(shí)性上表現(xiàn)較好，精度有待提高。提高精度需要提升特征魯棒性，獲取更豐富的語(yǔ)義特征，同時(shí)需要考慮獲取特征的計(jì)算量。Siamese-MF則是基于Siamese-FC改進(jìn)的擴(kuò)展目標(biāo)跟蹤網(wǎng)絡(luò)，在提升精度的同時(shí)保證了實(shí)時(shí)性。

3.1 基礎(chǔ)網(wǎng)絡(luò)Siamese-FC

Siamese-FC[29]的跟蹤結(jié)構(gòu)很簡(jiǎn)單，由Conv1~Conv5五個(gè)卷積層提取目標(biāo)和搜索區(qū)域的特征，然后通過目標(biāo)特征和搜索區(qū)域特征進(jìn)行全卷積得到得分圖，得分最高點(diǎn)則為搜索區(qū)域中目標(biāo)所在位置。

3.2 改進(jìn)網(wǎng)絡(luò)Siamese-MF

本文提出的Siamese-MF網(wǎng)絡(luò)的前饋網(wǎng)絡(luò)通過訓(xùn)練得到，在訓(xùn)練過程中使用AlexNet[11]的5個(gè)卷積層Conv1~Conv5，同時(shí)添加空洞卷積層[30]Skip1和Skip2分別用于Conv1和Conv3的輸出和Conv5的特征融合?？斩淳矸e的作用是在不經(jīng)過下采樣損失信息的情況下，增加特征感受野，保證卷積后的特征包含較大范圍的信息。與普通卷積相比，空洞卷積的卷積核在普通卷積核的基礎(chǔ)上補(bǔ)零，也就是稀疏化的普通卷積核，這樣計(jì)算量減少，信息增加，特征尺度減小。對(duì)于卷積層的選擇，考慮因素有計(jì)算量和特征充分性。低層卷積層表示邊緣信息和位置信息，所提取圖像當(dāng)中的線特征和邊緣特征，屬于底層信息。高層卷積層所提取圖像當(dāng)中的語(yǔ)義信息，屬于高層特征。在目標(biāo)檢測(cè)和目標(biāo)識(shí)別等操作中一般卷積層較深，能夠提取足夠的特征用于分類；而對(duì)于卷積層越深的網(wǎng)絡(luò)，計(jì)算量越大，實(shí)時(shí)性則越差。本文的目標(biāo)跟蹤課題，由于只需要提取目標(biāo)特征，不用于分類，即對(duì)于目標(biāo)的語(yǔ)義特征要求不高。本文選擇五層卷積，對(duì)Conv1、Conv3和Conv5的輸出進(jìn)行特征融合，獲取更豐富的目標(biāo)特征。

對(duì)于跟蹤過程，將目標(biāo)模板和搜索區(qū)域通過卷積層提取特征，再通過全卷積層進(jìn)行交叉相關(guān)分析，得到目標(biāo)在搜索區(qū)域的得分圖，最大值所在即為目標(biāo)所在位置。改進(jìn)總結(jié)為以下三點(diǎn)：

1) 使用特征融合獲取更全面的特征。將Conv1、Conv3和Conv5的輸出進(jìn)行特征融合，獲取更豐富的目標(biāo)特征，提高跟蹤精度。

2) 引入空洞卷積?？斩淳矸e在增加感受野的同時(shí)減少計(jì)算量，提升跟蹤速度和精度。

3) 設(shè)置模板更新規(guī)則，適應(yīng)于長(zhǎng)時(shí)跟蹤。

圖1 Siamese-MF前饋網(wǎng)絡(luò)

表1 Siamese-MF網(wǎng)絡(luò)操作以及結(jié)果

3.2.1 Siamese-MF網(wǎng)絡(luò)結(jié)構(gòu)

Siamese-MF的前饋網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，通過訓(xùn)練得到卷積層參數(shù)。網(wǎng)絡(luò)的輸入為預(yù)處理后的圖片，包括目標(biāo)模板和搜索區(qū)域，搜索區(qū)域?yàn)樯弦粠繕?biāo)所在位置的2′2倍區(qū)域，通過對(duì)原始圖片進(jìn)行候選框裁剪以及尺寸變換后得到尺寸為127′127′3的模板和255′255′3的搜索區(qū)域，經(jīng)過卷積層進(jìn)行特征提取，最后經(jīng)過全卷積得到目標(biāo)和搜索區(qū)域的相關(guān)性圖。

Siamese-MF網(wǎng)絡(luò)的前饋網(wǎng)絡(luò)每一層的操作參數(shù)以及操作結(jié)果如表1所示，包括目標(biāo)和搜索區(qū)域的輸入、卷積尺度、步長(zhǎng)以及輸出。卷積層提取目標(biāo)以及搜索區(qū)域的特征。在連接層Skip1和Skip2中加入空洞卷積[30]，將Conv1和Conv3的輸出和Conv5的輸出匹配，增加感受野的同時(shí)減少計(jì)算量。

表1中涉及的符號(hào)較多，此處舉例說明，“Input：3@127′127”是指輸入通道數(shù)為3，輸入圖像大小為127′127；“Filter_size:96@11′11”是指卷積核數(shù)目為96，卷積核大小為11′11；“Filter_size:32@3′3+3>7′7”是指空洞卷積的參數(shù)，卷積核數(shù)目為32，卷積核大小為3′3，空洞為3，得到實(shí)際卷積核尺寸為7′7；“Output：96@59′59”是指輸出通道數(shù)為96，輸入圖像大小為59′59。

3.2.2 Siamese-MF算法

Siamese-MF網(wǎng)絡(luò)的作用流程為：將目標(biāo)和搜索區(qū)域通過相同的卷積網(wǎng)絡(luò)，得到目標(biāo)特征和搜索區(qū)域的特征，對(duì)目標(biāo)特征層和搜索區(qū)域特征層進(jìn)行全卷積，得到目標(biāo)在搜索區(qū)域的相關(guān)性圖，相關(guān)性最大的位置即為目標(biāo)在搜索區(qū)域中的位置。根據(jù)視頻中擴(kuò)展目標(biāo)的運(yùn)動(dòng)方位設(shè)定搜索區(qū)域?yàn)槟繕?biāo)框的2′2倍大小。同時(shí)深層的卷積網(wǎng)絡(luò)導(dǎo)致位置信息丟失，這是在跟蹤領(lǐng)域不愿意看到的，所以本文在卷積層中使用了特征融合，結(jié)合了淺層的位置信息和深層的語(yǔ)義信息。

本文的訓(xùn)練是在ILSVRC2015數(shù)據(jù)集上進(jìn)行，前饋網(wǎng)絡(luò)中的卷積層采用AlexNet的Conv1~Conv5層。在跟蹤視頻序列中目標(biāo)一般不會(huì)太大，故目標(biāo)輸入尺寸設(shè)定為127′127，而二倍于目標(biāo)模板的搜索區(qū)域的輸入尺寸設(shè)定為255′255。通過卷積層后分別得到6′6和22′22的特征，進(jìn)行全卷積之后得到17′17的相關(guān)圖。

為了節(jié)省參數(shù)的調(diào)試時(shí)間，本文網(wǎng)絡(luò)的訓(xùn)練參數(shù)初始值采用Siamese-FC的訓(xùn)練參數(shù)，經(jīng)過參數(shù)調(diào)試，最終確定使用隨機(jī)梯度下降法(SGD)進(jìn)行訓(xùn)練，Momentum為0.9，Weight Decay為0.0005，Learning Rate為0.0001。

在訓(xùn)練過程中，主要是獲取卷積層的參數(shù)。參數(shù)的獲取是通過得分圖與標(biāo)簽得分的誤差進(jìn)行反向傳播，從而修改卷積層的權(quán)值。記為正負(fù)樣本的真實(shí)標(biāo)簽，將正樣本標(biāo)簽取值為1，負(fù)樣本標(biāo)簽取值為0。同時(shí)設(shè)置一個(gè)距離參數(shù)，距離為以搜索區(qū)域的目標(biāo)中心位置為圓心的一個(gè)半徑，搜索區(qū)域中大于該值設(shè)標(biāo)簽為0，小于該值設(shè)為1：

以為訓(xùn)練中得分圖的置信結(jié)果，那么(,)表示單張圖片的邏輯損失函數(shù)：

對(duì)每一組訓(xùn)練圖片的損失(loss)，給出如下式：

通過SGD最小化誤差進(jìn)行優(yōu)化從而得到網(wǎng)絡(luò)參數(shù)為

訓(xùn)練集來自于ILSVRC2015數(shù)據(jù)集，訓(xùn)練次數(shù)為50次。對(duì)于每一個(gè)訓(xùn)練視頻選取16張圖片進(jìn)行訓(xùn)練，每一張圖片都有對(duì)應(yīng)的標(biāo)簽，用于求訓(xùn)練誤差和損失。

算法1給出了Siamese-MF算法前饋網(wǎng)絡(luò)訓(xùn)練過程，采用偽代碼的方式給出網(wǎng)絡(luò)結(jié)構(gòu)、用于訓(xùn)練的數(shù)據(jù)、損失計(jì)算參數(shù)、卷積層需要更新的權(quán)值以及更新速率、循環(huán)次數(shù)、網(wǎng)絡(luò)的輸出結(jié)果等。

算法1 Siamese-MF訓(xùn)練過程算法流程

3.3 跟蹤

3.3.1 多尺度跟蹤策略

對(duì)于已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)，固定網(wǎng)絡(luò)參數(shù)不變，作為前饋網(wǎng)絡(luò)用于擴(kuò)展目標(biāo)跟蹤。跟蹤過程中，對(duì)于輸入的視頻序列，截取上一幀的目標(biāo)當(dāng)作模板，并且以上一幀目標(biāo)位置中心為標(biāo)準(zhǔn)，在當(dāng)前幀以該中心位置為中心，截取目標(biāo)尺寸三個(gè)尺度的2′2倍區(qū)域作為搜索區(qū)域。跟蹤時(shí)將多個(gè)搜索區(qū)域特征與模板特征進(jìn)行全卷積，得到三個(gè)相關(guān)圖。選取最大相關(guān)值的尺度max為當(dāng)前目標(biāo)尺度，以最大相關(guān)值尺度的最大相關(guān)值所在位置max為當(dāng)前幀目標(biāo)位置。

3.3.2 長(zhǎng)時(shí)跟蹤策略

圖2給出了跟蹤過程的算法流程，包括Siamese-MF的圖片預(yù)處理、特征提取、交叉相關(guān)、坐標(biāo)回歸，輸出目標(biāo)響應(yīng)最大的位置。

4 實(shí) 驗(yàn)

硬件實(shí)驗(yàn)環(huán)境：Intel Core i7-6700 CPU@3.40 GHz′8，GeForce GTX 1080 GPU。

軟件實(shí)驗(yàn)環(huán)境：Linux Ubuntu 16.04，python 3.5，Pytorch3.0。

本文提出的Siamese-MF算法需要驗(yàn)證兩個(gè)方面。第一，在Siamese-FC上面性能的提升，為此將對(duì)公開數(shù)據(jù)集OTB2015進(jìn)行測(cè)試，作為對(duì)比實(shí)驗(yàn)操作；第二應(yīng)用價(jià)值，將對(duì)ILSVRC2015數(shù)據(jù)集中的飛機(jī)測(cè)試集進(jìn)行測(cè)試，驗(yàn)證算法在飛機(jī)目標(biāo)跟蹤上面的性能表現(xiàn)。其中，測(cè)試視頻序列中包含不同擴(kuò)展目標(biāo)的尺度變換、旋轉(zhuǎn)、運(yùn)動(dòng)方向改變等干擾因素，以及隱形、遮擋、光照變化等多個(gè)復(fù)雜情況，有利于驗(yàn)證Siamese-MF算法的實(shí)用價(jià)值。

4.1 評(píng)價(jià)參數(shù)

為了顯示Siamese-MF算法的良好性能，將測(cè)試集同時(shí)經(jīng)過Siamese-MF和Siamese-FC算法進(jìn)行測(cè)試。本文使用與Siamese-FC評(píng)價(jià)指標(biāo)相同的三個(gè)指標(biāo)[31]：

1)跟蹤成功率(Overlap)

2)跟蹤速度

3) 跟蹤中心誤差

其中：(R,R)表示跟蹤的中心坐標(biāo)，(G,G)表示標(biāo)識(shí)的中心坐標(biāo)。精度(Accuracy)表示測(cè)試集中CLE小于某一閾值的比例。

4.2 實(shí)驗(yàn)結(jié)果

本文將給出在公開數(shù)據(jù)集OTB2015綜合測(cè)試結(jié)果和在ILSVRC2015數(shù)據(jù)集中飛機(jī)測(cè)試集的測(cè)試結(jié)果細(xì)節(jié)。

4.2.1 OTB2015

對(duì)于跟蹤算法，現(xiàn)在學(xué)術(shù)界一般采用公開的數(shù)據(jù)集進(jìn)行測(cè)試，便于在同一評(píng)價(jià)條件下對(duì)比不同算法的性能優(yōu)劣程度。在公開數(shù)據(jù)集OTB2015上對(duì)Siamese-MF算法進(jìn)行測(cè)試，對(duì)比改進(jìn)算法和原始算法在評(píng)價(jià)指標(biāo)上的性能提升，結(jié)果如表2。

表2中跟蹤成功率(Overlap)改進(jìn)后提高0.17，跟蹤穩(wěn)定性(Accuracy)改進(jìn)后提高0.09，跟蹤速度提升了18 f/s。由此可得出，在卷積層上面的改進(jìn)提升了跟蹤算法的速度、精度以及穩(wěn)定性。算法的改進(jìn)效果明顯。圖3為Siamese-MF算法在部分?jǐn)?shù)據(jù)集上的跟蹤情況，分別為視頻中的第1幀、第50幀、第100幀和第200幀。

4.2.2 ILSVRC2015飛機(jī)測(cè)試集

在飛機(jī)測(cè)試集上面進(jìn)行測(cè)試，是為了驗(yàn)證在實(shí)際應(yīng)用中算法的性能表現(xiàn)，以及觀察面臨各種跟蹤挑戰(zhàn)時(shí)的跟蹤效果。

表2 Siamese-MF與Siamese-FC 在OTB2015對(duì)比測(cè)試結(jié)果

這里采用4.1中定義的跟蹤成功率(Overlap)、跟蹤速度、跟蹤穩(wěn)定性即精度(Accuracy)作為定量評(píng)價(jià)標(biāo)準(zhǔn)，測(cè)試集為ILSVRC2015檢測(cè)數(shù)據(jù)集的飛機(jī)測(cè)試集，具有各種飛行環(huán)境的19個(gè)視頻，如圖4為測(cè)試視頻的定量評(píng)價(jià)指標(biāo)折線圖分析，橫坐標(biāo)表示視頻序列，縱坐標(biāo)表示評(píng)價(jià)指標(biāo)。從圖中分析可知，對(duì)于同一個(gè)跟蹤視頻Siamese-MF比Siamese-FC的跟蹤效果更好，在準(zhǔn)確性，實(shí)時(shí)性以及穩(wěn)定性上面都有一定程度的提升。

通過柱狀圖分析可以直觀對(duì)比Siamese-MF算法和Siamese-FC算法在指定評(píng)價(jià)參數(shù)上跟蹤效果，表3為ILSVRC2015檢測(cè)數(shù)據(jù)集的飛機(jī)測(cè)試視頻序列在兩種算法上的評(píng)價(jià)參數(shù)值。從表中可以看出，在跟蹤精度上，Siamese-MF的平均跟蹤準(zhǔn)確率比Siamese-FC高6個(gè)百分點(diǎn)；在跟蹤穩(wěn)定性上，Siamese-MF比Siamese-FC高10個(gè)百分點(diǎn)；而在跟蹤速度上，Siamese-MF達(dá)到40 f/s，基本滿足實(shí)時(shí)跟蹤。

5 總 結(jié)

圖3 Siamese-MF在OTB2015部分的跟蹤結(jié)果

圖4 定性評(píng)價(jià)指標(biāo)分析。(a) 跟蹤成功率；(b) 跟蹤穩(wěn)定性；(c) 跟蹤速度

表3 Siamese-MF與Siamese-FC的定量分析結(jié)果

本文提出的算法Siamese-MF是在Siamese-FC的卷積層以及跟蹤策略上作出的改進(jìn)，并且在公開數(shù)據(jù)集OTB2015以及ILSVRC2015檢測(cè)數(shù)據(jù)集的飛機(jī)測(cè)試集上面進(jìn)行測(cè)試。在多個(gè)環(huán)境下的測(cè)試集上的實(shí)驗(yàn)證明，該方法在擴(kuò)展目標(biāo)跟蹤應(yīng)用中具有較好的魯棒性，基本滿足實(shí)時(shí)性要求，并且有較高的準(zhǔn)確性；同時(shí)在對(duì)飛機(jī)目標(biāo)的跟蹤應(yīng)用上表現(xiàn)更好。本算法在卷積層中加入了特征融合和空洞卷積，在獲取更豐富特征的同時(shí)減少計(jì)算量，獲取更魯棒的特征，適應(yīng)變化的環(huán)境。對(duì)跟蹤策略進(jìn)行改進(jìn)，加入模板在時(shí)間序列的累積，從而長(zhǎng)時(shí)跟蹤表現(xiàn)較好。在測(cè)試過程中對(duì)于尺度變化、遮擋、隱形、干擾等有良好的表現(xiàn)，速度基本滿足實(shí)時(shí)要求，以飛機(jī)目標(biāo)測(cè)試網(wǎng)絡(luò)，可用于跟蹤應(yīng)用。本文所提出的方法還有進(jìn)一步的優(yōu)化和提升空間，如考慮利用頻域的特征來進(jìn)行相關(guān)性分析，那么計(jì)算量將大大減少，在保證精度的情況下進(jìn)一步提升跟蹤速度。

[1] Yilmaz A, Javed O, Shah M. Object tracking: a survey[J]., 2006, 38(4): 13.

[2] Sivanantham S, Paul N N, Iyer R S. Object tracking algorithm implementation for security applications[J]., 2016, 16(1): 1–13.

[3] Kwak S, Cho M, Laptev I,. Unsupervised object discovery and tracking in video collections[C]//, 2015: 3173–3181.

[4] Luo H B, Xu L Y, Hui B,. Status and prospect of target tracking based on deep learning[J]., 2017, 46(5): 502002.

羅海波, 許凌云, 惠斌, 等. 基于深度學(xué)習(xí)的目標(biāo)跟蹤方法研究現(xiàn)狀與展望[J]. 紅外與激光工程, 2017, 46(5): 502002.

[5] Comaniciu D, Ramesh V, Meer P. Kernel-based object tracking[J]., 2003, 25(5): 564–575.

[6] Lucas B D, Kanade T. An iterative image registration technique with an application to stereo vision[C]//, 1981: 674–679.

[7] Jia X, Lu H C, Yang M H. Visual tracking via adaptive structural local sparse appearance model[C]//, 2012: 1822–1829.

[8] Henriques J F, Caseiro R, Martins P,. High-speed tracking with kernelized correlation filters[J]., 2015, 37(3): 583–596.

[9] Fan X S, Xu Z Y, Zhang J L. Dim small target tracking based on improved particle filter[J]., 2018, 45(8): 170569.

樊香所, 徐智勇, 張建林. 改進(jìn)粒子濾波的弱小目標(biāo)跟蹤[J]. 光電工程, 2018, 45(8): 170569.

[10] Xi Y D, Yu Y, Ding Y Y,. An optoelectronic system for fast search of low slow small target in the air[J]., 2018, 45(4): 170654.

奚玉鼎, 于涌, 丁媛媛, 等. 一種快速搜索空中低慢小目標(biāo)的光電系統(tǒng)[J]. 光電工程, 2018, 45(4): 170654.

[11] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//, 2012: 1097–1105.

[12] Karen S Y, Andrew Z M. Very Deep Convolutional Networks for Large-scale Image Recognition[Z]. arXiv: 1409.1556[cs:CV], 2015.

[13] Szegedy C, Vanhoucke V, Ioffe S,. Rethinking the inception architecture for computer vision[C]//(), 2016.

[14] He K M, Zhang X Y, Ren S Q,. Deep residual learning for image recognition[C]//(), 2016.

[15] Huang G, Liu Z, van der Maaten L,. Densely connected convolutional networks[C]//(), 2017.

[16] Russakovsky O, Deng J, Su H,. ImageNet large scale visual recognition challenge[J]., 2015, 115(3): 211–252.

[17] Chatfield K, Simonyan K, Vedaldi A,. Return of the devil in the details: delving deep into convolutional nets[Z]. arXiv: 1405.3531[cs:CV], 2014.

[18] Shelhamer E, Long G, Darrell T. Fully convolutional networks for semantic segmentation[J]., 2017, 39(4): 640–651.

[19] Girshick R, Donahue J, Darrell T,. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//, 2014: 580–587.

[20] Li H. An overview of target tracking algorithm based on deep learning[J]., 2017(17): 49.

李賀. 基于深度學(xué)習(xí)的目標(biāo)跟蹤算法研究綜述[J]. 黑龍江科技信息, 2017(17): 49.

[21] Wang N Y, Yeung D Y. Learning a Deep Compact Image Representation for Visual Tracking[C]//. Curran Associates Inc. 2013: 809–817.

[22] Nam H, Baek M, Han B. Modeling and Propagating CNNs in a Tree Structure for Visual Tracking[Z]. arXiv: 1608.07242v1[cs:CV], 2016.

[23] Wang L J, Ouyang W L, Wang X G,. Visual tracking with fully convolutional networks[C]//(), 2015: 3119–3127.

[24] Ma C, Huang J B, Yang X K,. Hierarchical convolutional features for visual tracking[C]//(), 2015.

[25] Heid D, Thrun S, Savarese S. Learning to track at 100 FPS with deep regression networks[C]//Proceedings of the 14 European Conference on Computer Vision, 2016: 749–765.

[26] Bertinetto L, Valmadre J, Henriques J F,. Fully-convolutional Siamese networks for object tracking[C]//, 2016: 850–865.

[27] Yu F, Koltun V. Multi-scale context aggregation by dilated convolutions[Z]. arXiv: 1511.07122[cs:CV], 2016.

[28] Wang H Y, Yang Y T, Zhang Z,. Deep-learning-aided multi-pedestrian tracking algorithm[J]., 2017, 22(3): 349–357.

王慧燕, 楊宇濤, 張政, 等. 深度學(xué)習(xí)輔助的多行人跟蹤算法[J]. 中國(guó)圖象圖形學(xué)報(bào), 2017, 22(3): 349–357.

[29] Wang X D. The influence of visual angle on the playability of games [J]., 2014(7): 12

王曉冬. 視覺角度對(duì)游戲可玩性的影響[J]. 河南科技, 2014(7): 12.

[30] Horikoshi K, Misawa K, Lang R. 20-fps motion capture of phase-controlled wave-packets for adaptive quantum control[C]//, 2006: 175–177.

[31] Zhao C M, Chen Z B, ZhangJ L. Application of aircraft target tracking based on deep learning[J]., 2019, 46(9): 180261.趙春梅, 陳忠碧, 張建林. 基于深度學(xué)習(xí)的飛機(jī)目標(biāo)跟蹤應(yīng)用研究[J]. 光電工程, 2019, 46(9): 180261.

Research on target tracking based on convolutional networks

Zhao Chunmei1,2, Chen Zhongbi1*, Zhang Jianlin1

1Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;2University of Chinese Academy of Sciences, Beijing 100049, China

Feedforward network of Siamese-MF

Overview:Deep learning has achieved good results in image classification, semantic segmentation, target detection and target recognition. However, it is still restricted by small sample training sets on object tracking. Object tracking is one of the most important researches in the field of computer vision, and has a wide range of applications. The challenge of object tracking lies in the complex states such as the target rotation, multi target, blur target, complex background, size change, target occlusion, fast moving and so on. Aiming at target tracking, this paper proposes an improved convolution network Siamese-MF (multi-feature Siamese networks) based on Siamese-FC (fully-convolutional Siamese networks). For tracking networks, considering the balance between speed and accuracy, reducing computational complexity and increasing the receptive field of convolution feature are the directions to improve the speed and accuracy of tracking networks. The improvement of the classical convolution network structure is mainly focused on two points: 1) introducing feature fusion to enrich features; 2) introducing dilated convolution to reduce computational complexity and enhance the receptive field. The improved convolution layer acts as feature extraction layer, and calculates the correlation between the target and the search area through the full convolution layer, so as to get the location of the tracking target according to the correlation graph. Siamese-MF algorithm achieves real-time and accurate tracking of targets in complex scenes. The average speed test on OTB2015 reaches 76 f/s, the mean value of overlap reaches 0.44, and the mean value of precision reaches 0.61, which meets the requirement in real-time tracking application of targets. For target tracking in this paper, the Siamese-MF networks are trained by using 5 convolutional layers of Conv1~Conv5 of AlexNet and 2 connected layers Skip1~Skip2 to extract the feature of target. In the tracking process, the trained networks are used as feed-forward networks, and the maximum score of outputs is regarded as the target location, while template updating is done in time series. Also the result of tracking is adaptive to scale transformation.

Citation: Zhao C M, Chen Z B, Zhang J LResearch on target tracking based on convolutional networks[J]., 2020, 47(1): 180668

Supported by Major Special Fund (G158207)

* E-mail: ioeyoyo@126.com

Research on target tracking based on convolutional networks

Zhao Chunmei1,2, Chen Zhongbi1*, Zhang Jianlin1

1Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;2University of Chinese Academy of Sciences, Beijing 100049, China

In this paper, aiming at the application of target tracking, an improved convolutional network Siamese-MF (multi-feature Siamese networks) based on Siamese-FC (fully-convolutional Siamese networks) is proposed to further improve the tracking speed and accuracy to meet the requirements of target tracking in engineering applications. For tracking networks, considering the trade-off between speed and accuracy, reducing computational complexity and increasing the receptive field of convolution feature are the directions to improve the speed and accuracy of tracking networks. There are two main points to improve the structure of convolution network: 1) introducing feature fusion to enrich features; 2) introducing dilated convolution to reduce the amount of computation and enhance the field of perception. Siamese-MF algorithm achieves real-time and accurate tracking of targets in complex scenes. The average speed of testing on OTB of public data sets reaches 76 f/s, the average value of overlap reaches 0.44, and the average value of accuracy reaches 0.61. The real-time, accuracy and stability are improved to meet the requirement in real-time target tracking application.

Siamese-MF; feature fusion; full convolution; dilated convolution; real-time tracking

TP391.41

A

趙春梅，陳忠碧，張建林. 基于卷積網(wǎng)絡(luò)的目標(biāo)跟蹤應(yīng)用研究[J]. 光電工程，2020，47(1): 180668

10.12086/oee.2020.180668

: Zhao C M, Chen Z B, Zhang J L. Research on target tracking based on convolutional networks[J]., 2020,47(1): 180668

2018-12-19；

2019-03-22基金項(xiàng)目：重大專項(xiàng)基金(G158207)

趙春梅(1993-)，女，碩士，主要從事深度學(xué)習(xí)、機(jī)器學(xué)習(xí)和目標(biāo)跟蹤的研究。E-mail：841143386@qq.com

陳忠碧(1975-)，女，博士，副研究員，主要從事運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤的研究。E-mail：ioeyoyo@126.com