羅 朔，侯 進(jìn)，譚光鴻，韓雁鵬

（西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院，成都 611756）

0 概述

目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究課題之一，廣泛應(yīng)用于人機(jī)交互、智能視頻監(jiān)控和醫(yī)學(xué)診斷等場(chǎng)景［1］。目標(biāo)跟蹤定義為根據(jù)給定視頻中第一幀的目標(biāo)位置來(lái)預(yù)估隨后幀中的目標(biāo)位置。在一般情況下，目標(biāo)跟蹤技術(shù)主要在連續(xù)的視頻序列中建立所要跟蹤物體的位置關(guān)系，然后得到物體完整的運(yùn)動(dòng)軌跡，從而為分析視頻內(nèi)容提供數(shù)據(jù)依據(jù)并對(duì)目標(biāo)行為進(jìn)行分析。

傳統(tǒng)的目標(biāo)跟蹤算法在面對(duì)目標(biāo)快速移動(dòng)、目標(biāo)模糊、物體形變和光照變化等復(fù)雜場(chǎng)景時(shí)，難以準(zhǔn)確跟蹤到目標(biāo)［2-4］，存在較大的局限性。隨著大數(shù)據(jù)時(shí)代的到來(lái)，深度學(xué)習(xí)技術(shù)憑借其強(qiáng)大的特征提取能力，在圖像識(shí)別和目標(biāo)分割等計(jì)算機(jī)視覺(jué)領(lǐng)域引起廣泛關(guān)注，同時(shí)也推動(dòng)了目標(biāo)跟蹤技術(shù)的發(fā)展。2013年，WANG等人提出的DLT［5］將深度學(xué)習(xí)與單目標(biāo)跟蹤任務(wù)相結(jié)合，雖然效果比某些傳統(tǒng)算法差，但是其為深度學(xué)習(xí)應(yīng)用于目標(biāo)跟蹤提供了新思路。2016年，BERTINETTO等人提出了一種新的全卷積孿生網(wǎng)絡(luò)跟蹤算法SiamFC［6］，其用孿生網(wǎng)絡(luò)進(jìn)行相似度比較，將跟蹤問(wèn)題轉(zhuǎn)換為相似度學(xué)習(xí)問(wèn)題，在ILSVRC15的目標(biāo)跟蹤視頻數(shù)據(jù)集上進(jìn)行端到端的訓(xùn)練，達(dá)到了實(shí)時(shí)跟蹤的效果。2017年，SONG等人提出CREST算法［7］，其建立一種端到端的跟蹤模型，將特征提取和響應(yīng)生成融合在深度學(xué)習(xí)框架中，僅采用單層卷積的端到端結(jié)構(gòu)就達(dá)到了利用深度特征的傳統(tǒng)協(xié)同濾波器的效果。2018年，WANG等人提出RASNet算法［8］，其在SiamFC的基礎(chǔ)上加入一般注意力、殘差注意力、通道注意力3種機(jī)制，將SiamFC網(wǎng)絡(luò)結(jié)構(gòu)改為端到端的網(wǎng)絡(luò)，有效緩解了過(guò)擬合問(wèn)題，提升了網(wǎng)絡(luò)的判別能力和適應(yīng)能力。

近年來(lái)，越來(lái)越多的研究人員利用深度學(xué)習(xí)強(qiáng)大的特征提取能力來(lái)提高跟蹤精度，其中性能較優(yōu)的深度學(xué)習(xí)目標(biāo)跟蹤算法包括MDNet、SiamRPN和SiamMask［9-11］等。但是，基于深度學(xué)習(xí)的跟蹤算法模型大，參數(shù)量多，很難部署于其他嵌入式設(shè)備上。SiamFC算法雖然能夠?qū)崿F(xiàn)實(shí)時(shí)跟蹤，但是其模型依然很大，且訓(xùn)練時(shí)沒(méi)有充分利用樣本之間的關(guān)系。

本文提出一種低參數(shù)的孿生卷積網(wǎng)絡(luò)實(shí)時(shí)目標(biāo)跟蹤算法，設(shè)計(jì)基于非對(duì)稱卷積模塊的孿生網(wǎng)絡(luò)框架，使用非對(duì)稱卷積模塊來(lái)降低模型的參數(shù)量，同時(shí)利用三元組損失函數(shù)進(jìn)行訓(xùn)練，提取出表達(dá)性較強(qiáng)的深度特征完成目標(biāo)跟蹤，從而提高算法的目標(biāo)跟蹤精度。

1 SiamFC跟蹤算法

全卷積孿生網(wǎng)絡(luò)SiamFC的核心思想是將跟蹤一個(gè)任意目標(biāo)當(dāng)作一種相似度學(xué)習(xí)，通過(guò)比較上一幀圖像和下一幀圖像來(lái)返回一個(gè)相似度值，該相似度值越高，說(shuō)明2個(gè)圖像越相似。SiamFC采用邏輯損失函數(shù)進(jìn)行訓(xùn)練，其表達(dá)式為：

其中，y、ν、x分別為標(biāo)簽集、相似性評(píng)分集、實(shí)例輸入集，νi是單個(gè)樣本中跟蹤器跟蹤框的真實(shí)得分，yi∈{1，-1}是單個(gè)樣本的參考標(biāo)簽分?jǐn)?shù)，wi為實(shí)例xi的權(quán)重，在SiamFC中，根據(jù)正負(fù)實(shí)例的數(shù)量將平衡權(quán)重應(yīng)用于損失函數(shù)中。平衡權(quán)重的定義如下：

其中，M為正實(shí)例輸入集xp的數(shù)量，N為負(fù)實(shí)例輸入集xn的數(shù)量，M=|xp|，N=|xn|。在SiamFC中，M=13，N=212。

雖然SiamFC利用深度網(wǎng)絡(luò)來(lái)提取特征，但其只利用了樣本之間的兩兩關(guān)系，忽略了正樣本和負(fù)樣本之間的潛在關(guān)系，同時(shí)，SiamFC模型也存在一定冗余。因此，設(shè)計(jì)一種參數(shù)量低且特征提取效率高的網(wǎng)絡(luò)模型十分有必要。

2 孿生卷積網(wǎng)絡(luò)實(shí)時(shí)目標(biāo)跟蹤算法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

SiamFC所用的網(wǎng)絡(luò)結(jié)構(gòu)為AlexNet，雖然其層數(shù)較少，但是模型參數(shù)量依然很大。參數(shù)量小的卷積神經(jīng)網(wǎng)絡(luò)模型可以進(jìn)行更高效的訓(xùn)練，能更方便地部署在嵌入式設(shè)備上。為了壓縮模型大小，文獻(xiàn)［12］提出將d×d的卷積分解為1×d和d×1卷積的方法，以減少參數(shù)量。文獻(xiàn)［13］提出的ENet也采用上述方法來(lái)設(shè)計(jì)高效的語(yǔ)義分割網(wǎng)絡(luò)，該網(wǎng)絡(luò)雖然精度有所下降，但是其降低了33%的參數(shù)量。本文提出一種基于非對(duì)稱卷積模塊的網(wǎng)絡(luò)結(jié)構(gòu)，如圖1所示。

圖1 基于非對(duì)稱卷積模塊的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure based on asymmetric convolution module

圖1所示網(wǎng)絡(luò)結(jié)構(gòu)通過(guò)訓(xùn)練孿生網(wǎng)絡(luò)來(lái)學(xué)習(xí)一個(gè)函數(shù)f(z，x)，將模板圖像z與相同大小的搜索圖像x進(jìn)行比較，如果2個(gè)圖像描述相同的對(duì)象，則返回高分；否則，返回低分。基于非對(duì)稱模塊的卷積神經(jīng)網(wǎng)絡(luò)中有一個(gè)特征提取器φ，其對(duì)2個(gè)輸入圖像進(jìn)行相同的特征提取，再通過(guò)一個(gè)卷積嵌入函數(shù)比較上述特征，卷積嵌入函數(shù)可以定義為：

其中，g是一個(gè)距離度量或相似度度量。本文采用的神經(jīng)網(wǎng)絡(luò)為全卷積神經(jīng)網(wǎng)絡(luò)，將卷積神經(jīng)網(wǎng)絡(luò)最后的全連接層換成卷積層。全卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于目標(biāo)跟蹤的優(yōu)勢(shì)在于待搜索圖像不需要與模板圖像具有相同的尺寸，可以為網(wǎng)絡(luò)提供更大的搜索圖像作為輸入，然后在密集網(wǎng)格中計(jì)算所有平移窗口的相似度。全卷積神經(jīng)網(wǎng)絡(luò)定義為：

其中，b為偏置項(xiàng)。式（4）的輸出是一個(gè)標(biāo)量值的分?jǐn)?shù)映射，大小為搜索區(qū)域和模板圖像經(jīng)過(guò)一系列卷積后的尺度，得分最高的位置對(duì)應(yīng)搜索區(qū)域中需要跟蹤的目標(biāo)位置。

一維卷積核通常被用于逼近正方形卷積核的特征提取效果，以此進(jìn)行模型壓縮和加速。如果幾個(gè)大小互為轉(zhuǎn)置的一維卷積核在相同的輸入上以相同的步幅進(jìn)行卷積，產(chǎn)生相同分辨率的特征輸出，可以將這些特征與3×3卷積核提取后的特征在通道上進(jìn)行融合，從而得到一個(gè)等效的特征輸出，并且不會(huì)增加額外的計(jì)算負(fù)擔(dān)。非對(duì)稱卷積模塊包括壓縮層和非對(duì)稱層2個(gè)卷積層，其中，壓縮層只包含1×1的卷積核，非對(duì)稱層則包含1×3、3×1和3×3 3種卷積核。與AlexNet相比，非對(duì)稱卷積模塊使用大量1×1的卷積核來(lái)替換3×3的卷積核，可以將參數(shù)降低為原先的1/9。在壓縮層中使用1×1的卷積核降低輸入到3×3卷積核中的通道數(shù)，也可以降低模型的參數(shù)量。在非對(duì)稱層中應(yīng)用1×3、3×1和3×3的卷積核進(jìn)行特征再融合，非對(duì)稱卷積模塊結(jié)構(gòu)如圖2所示，整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表1所示，其中，S1為壓縮層中1×1的卷積核個(gè)數(shù)，即輸入到壓縮層中的通道數(shù)。

圖2 非對(duì)稱卷積模塊結(jié)構(gòu)Fig.2 Structure of asymmetric convolution module

表1 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Table 1 Network structure parameters

整個(gè)網(wǎng)絡(luò)的輸入通道數(shù)為3，所有卷積層都有ReLU非線性激活函數(shù)，都加入了批處理規(guī)范化層來(lái)進(jìn)行數(shù)據(jù)的歸一化處理，使得在進(jìn)行ReLU之前不會(huì)因?yàn)閿?shù)據(jù)過(guò)大而導(dǎo)致網(wǎng)絡(luò)性能不穩(wěn)定。

2.2 三元組損失

三元組損失廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)領(lǐng)域中的人臉識(shí)別、圖像檢索和行人再識(shí)別［14-16］等任務(wù)。本文提出一種新的三元組損失，將其加入到孿生網(wǎng)絡(luò)結(jié)構(gòu)中，以充分挖掘輸入之間的內(nèi)在聯(lián)系。如同分割實(shí)例集x，將相似度的評(píng)分集ν也分割為正評(píng)分集νp和負(fù)評(píng)分集νn，然后直接在這些得分對(duì)上定義三元組損失。為了測(cè)量每個(gè)得分對(duì)，本文應(yīng)用匹配概率，即使用softmax函數(shù)將正實(shí)例分配給示例的概率。匹配概率的定義如下：

本文目標(biāo)是使所有得分對(duì)之間的聯(lián)合概率最大，即所有概率的乘積最大。通過(guò)使用負(fù)對(duì)數(shù)可以得出損失公式如下：

將式（5）代入式（6）可得：

將式（2）代入式（1）可以得出邏輯損失函數(shù)如下：

進(jìn)一步可得：

從式（8）、式（9）可以看出，2種損失函數(shù)的區(qū)別在于求和項(xiàng)不同，可設(shè)：

梯度在深度學(xué)習(xí)的訓(xùn)練中起重要作用，因?yàn)樯婕胺聪騻鞑ルA段，所以可以通過(guò)梯度來(lái)分析2個(gè)損失函數(shù)的特點(diǎn)。對(duì)于邏輯損失函數(shù)項(xiàng)，梯度為：

由式（12）、式（13）可以看出，邏輯損失的梯度?Tl/?νp和?Tl/?νn分別只依賴νp和νn，這意味著邏輯損失函數(shù)不能充分利用νp和νn的信息，而三元組損失的梯度?Tt/?νp、?Tt/?νn與νp、νn都有聯(lián)系，與邏輯損失相比，三元組損失可以同時(shí)利用νp和νn的信息，從而實(shí)現(xiàn)更強(qiáng)大的表示。同時(shí)，因?yàn)楸疚牡娜M損失是在原始分?jǐn)?shù)的基礎(chǔ)上定義的，使用正分?jǐn)?shù)和負(fù)分?jǐn)?shù)的組合，所以可以使用相同的輸入來(lái)滿足網(wǎng)絡(luò)，在訓(xùn)練過(guò)程中不需要額外的計(jì)算也可進(jìn)行深度網(wǎng)絡(luò)的特征提取。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 訓(xùn)練數(shù)據(jù)集

GOT-10K數(shù)據(jù)集［17］是中科院在2018年發(fā)布的一個(gè)目標(biāo)追蹤數(shù)據(jù)集，其包含了超過(guò)10 000條視頻，分成560多個(gè)類別，87種運(yùn)動(dòng)模式，人工標(biāo)注邊界框超過(guò)150萬(wàn)個(gè)。數(shù)據(jù)集又分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。GOT-10K數(shù)據(jù)集與其他數(shù)據(jù)集的區(qū)別在于其子集之間不存在交集，可以使得訓(xùn)練出的模型有更強(qiáng)的泛化能力。

3.2 結(jié)果分析

對(duì)整個(gè)數(shù)據(jù)集訓(xùn)練50輪，每個(gè)階段包括9 335對(duì)樣本，訓(xùn)練的batchsize大小為8，學(xué)習(xí)率在10-2～10-5之間進(jìn)行衰減。計(jì)算機(jī)CPU為Intel I7-6800K處理器，主頻為3.4 GHz，內(nèi)存為32 GB，顯卡為NVIDIA GeForce GTX1080Ti，實(shí)驗(yàn)環(huán)境為ubuntu16.04，Pytorch框架。為了充分驗(yàn)證本文算法的性能，選擇在當(dāng)前比較流行的跟蹤基準(zhǔn)GOT-10K、OTB100［18］和VOT2016［19］上進(jìn)行測(cè)試。

3.2.1 GOT-10K基準(zhǔn)

在GOT-10K測(cè)試集上驗(yàn)證算法性能，GOT-10K包含180段視頻，一共有84個(gè)目標(biāo)類別和32個(gè)動(dòng)作類別。采用平均重疊率（AO）、成功率（SR）和FPS 3個(gè)評(píng)價(jià)指標(biāo)。AO為所有幀跟蹤結(jié)果與事實(shí)之間重疊率的平均值，SR為重疊率超過(guò)一定閾值的成功跟蹤幀所占的百分比，本文選擇0.50和0.75這2個(gè)閾值，F(xiàn)PS為每秒傳輸幀數(shù)。GOT-10K基準(zhǔn)下的實(shí)驗(yàn)結(jié)果如表2所示。

表2 GOT-10K基準(zhǔn)下的評(píng)估結(jié)果Table 2 Evaluation results under GOT-10K benchmark

在表2中，本文算法同時(shí)使用非卷積模塊和改進(jìn)的三元組損失函數(shù)。從表2可以看出，在僅使用非對(duì)稱卷積模塊時(shí)，模型大小只有3.8×106，算法精度略低于SiamFC算法，但是速度提升了9FPS。在僅使用三元組損失函數(shù)時(shí)，算法精度有所提升，模型大小保持不變。當(dāng)同時(shí)使用非對(duì)稱卷積模塊和三元組損失函數(shù)時(shí)，模型精度和速度均優(yōu)于SiamFC算法，其中，AO提升了1.8個(gè)百分點(diǎn)，SR（0.50）與SR（0.75）分別提升了1.1和0.9個(gè)百分點(diǎn)，速度也提升了9FPS，模型大小為3.8×106，只有SiamFC算法的40%。本文算法在精度、速度都提升的情況下降低了模型大小，為跟蹤算法部署于嵌入式設(shè)備提供了可能。

3.2.2 OTB基準(zhǔn)

OTB也是視覺(jué)跟蹤領(lǐng)域廣泛使用的基準(zhǔn)庫(kù)［20］，其包括OTB50和OTB100 2個(gè)數(shù)據(jù)集，本文選擇OTB100數(shù)據(jù)集，該數(shù)據(jù)集包含100個(gè)人工標(biāo)注的視頻幀，每個(gè)序列包括11個(gè)不同的屬性，如尺度變換、運(yùn)動(dòng)模糊、光照變化和遮擋等。本文采用準(zhǔn)確率和成功率2個(gè)評(píng)價(jià)指標(biāo)，準(zhǔn)確率表示中心點(diǎn)距離小于給定閾值的視頻幀所占的百分比，成功率表示重合率得分超過(guò)某個(gè)閾值的幀所占的百分比。各算法準(zhǔn)確率和成功率對(duì)比結(jié)果如圖3所示。圖3（a）中的橫坐標(biāo)為中心點(diǎn)位置誤差的閾值，其為一個(gè)像素值，當(dāng)中心點(diǎn)位置誤差的閾值越大時(shí)，算法的準(zhǔn)確率越高。圖3（b）中的橫坐標(biāo)為重疊率閾值，重疊率閾值越高，算法的成功率越低。從圖3可以看出，在僅使用三元組損失函數(shù)時(shí)，模型的準(zhǔn)確率和成功率分別達(dá)到79.8%和59.5%，本文算法同時(shí)使用非卷積模塊和三元組損失函數(shù)，準(zhǔn)確率和成功率也達(dá)到78.9%和59.2%，相比SiamFC算法都有一定提升。

圖3 OTB100基準(zhǔn)下算法性能對(duì)比結(jié)果Fig.3 Comparison results of algorithms performance under OTB100 benchmark

3.2.3 VOT2016基準(zhǔn)

VOT是一個(gè)針對(duì)單目標(biāo)跟蹤的測(cè)試平臺(tái)，本文選擇在VOT2016數(shù)據(jù)集上進(jìn)行測(cè)試，評(píng)價(jià)標(biāo)準(zhǔn)為預(yù)期平均重疊率（Expect Average Overlap rate，EAO）、準(zhǔn)確率（Accuracy）、EFO（Equivalent Filter Operations）和魯棒性（Robustness）。其中，EFO為等效濾波，為了減小不同網(wǎng)絡(luò)的編程語(yǔ)言和硬件配置對(duì)跟蹤速度的影響，本文首先在600像素×600像素的圖像上進(jìn)行30×30的濾波運(yùn)算，然后將跟蹤算法處理每幀圖像的時(shí)間除以濾波運(yùn)算的時(shí)間，得到一個(gè)歸一化的參數(shù)，即EFO，其可以比較客觀地評(píng)價(jià)跟蹤器的性能。魯棒性數(shù)值為跟蹤過(guò)程中的失敗總次數(shù)。一個(gè)性能較優(yōu)的跟蹤器應(yīng)該有較高的EAO、準(zhǔn)確率和EFO，但魯棒性分?jǐn)?shù)應(yīng)該較低。

在VOT2016中，將本文算法與SiamFC［6］、KCF［21］、SAMF［22］和DAT［23］4個(gè)主流跟蹤算法進(jìn)行對(duì)比，結(jié)果如表3所示。從表3可以看出，在VOT2016基準(zhǔn)下，本文算法的EAO高出SiamFC算法0.8個(gè)百分點(diǎn)，準(zhǔn)確率也提高了1.27個(gè)百分點(diǎn)，并且與其他3個(gè)主流算法KCF、SAMF、DAT相比，本文算法都有很大的性能提升。雖然在速度評(píng)價(jià)指標(biāo)EFO上本文算法低于KCF算法和DAT算法，但也高于SiamFC算法和SAMF算法，達(dá)到實(shí)時(shí)跟蹤的效果。在EAO指標(biāo)上，本文算法取得最高值24.38%，高于KCF的19.35%和DAT的21.67%。在魯棒性方面，本文算法取得最小的魯棒性值0.447，跟蹤失敗次數(shù)與其他算法相比最少。綜上，本文算法EAO和準(zhǔn)確率最高，魯棒性能最好，在5種算法中具有較好的性能表現(xiàn)。

表3 VOT2016基準(zhǔn)下的評(píng)估結(jié)果Table 3 Evaluation results under VOT2016 benchmark

圖4所示為5種跟蹤算法的實(shí)驗(yàn)效果對(duì)比，左上角標(biāo)號(hào)為測(cè)試視頻序列中的圖片幀數(shù)編號(hào)。從圖4可以看出，在整個(gè)視頻序列中本文算法一直保持平滑的跟蹤效果，KCF算法和DAT算法的跟蹤效果越來(lái)越差，SAMF算法最后完全丟失了跟蹤目標(biāo)。

圖4 5種算法的跟蹤效果比較Fig.4 Comparison of tracking effects of five algorithms

4 結(jié)束語(yǔ)

本文提出一種孿生卷積網(wǎng)絡(luò)實(shí)時(shí)目標(biāo)跟蹤算法。構(gòu)建基于非對(duì)稱卷積模塊的網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)非對(duì)稱模塊減少模型的參數(shù)量，使用三元組損失函數(shù)進(jìn)行模型訓(xùn)練以提高算法精度。實(shí)驗(yàn)結(jié)果表明，該算法能夠大幅降低模型大小并實(shí)現(xiàn)實(shí)時(shí)跟蹤，且跟蹤精度優(yōu)于KCF、DAT、SAMF和SiamFC 4種算法。后續(xù)將引入再檢測(cè)機(jī)制，結(jié)合目標(biāo)檢測(cè)與目標(biāo)跟蹤進(jìn)一步提升算法的跟蹤性能。