盧盼成 丁 勇 黃鑫城

(南京航空航天大學(xué)自動(dòng)化學(xué)院 江蘇 南京 211106)

0 引 言

目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域的核心問題，在智能交通[1]、醫(yī)學(xué)輔助診斷[2]、軍事制導(dǎo)、航空視覺導(dǎo)航等各方面都發(fā)揮著重要的作用。近年來(lái)隨著人工智能技術(shù)的飛速發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法在目標(biāo)跟蹤領(lǐng)域展現(xiàn)出巨大潛力。

近20年來(lái)，涌現(xiàn)出了大量的目標(biāo)跟蹤算法，根據(jù)其工作原理主要分為生成式模型和判別式模型兩類。早期的目標(biāo)跟蹤算法研究主要集中在生成式模型上，如光流法[3]、粒子濾波[4]、Mean-shift算法、Cam-shift算法等。此類方法首先建立目標(biāo)模型或者提取目標(biāo)特征，然后對(duì)后續(xù)幀進(jìn)行相似特征搜索實(shí)現(xiàn)對(duì)目標(biāo)的定位。但此類方法也存在明顯的缺點(diǎn)，如圖像的背景信息沒有得到全面的利用且目標(biāo)本身的外觀變化有隨機(jī)性和多樣性的特點(diǎn)。判別式模型則是同時(shí)考慮目標(biāo)模型和背景信息，通過(guò)比較兩者的差異，將目標(biāo)模型提取出來(lái)，從而得到當(dāng)前幀的目標(biāo)位置。由于判別式模型將背景信息引入跟蹤模型，可以很好地實(shí)現(xiàn)背景區(qū)分，因此具有很大的優(yōu)勢(shì)。2000年以來(lái)，人們逐漸嘗試采用經(jīng)典的機(jī)器學(xué)習(xí)方法訓(xùn)練分類器，例如MIL(Matrox Imaging Library)、TLD(Tracking Learning Detection)、支持向量機(jī)(Support Vector Machine,SVM)[5]等。盡管這些分類器種類繁多并具有一定的學(xué)習(xí)能力，但分類效果存在不確定性。2010年，文獻(xiàn)[6]首次將通信領(lǐng)域的相關(guān)濾波(Correlation Filtering)方法引入到目標(biāo)跟蹤中，提高了目標(biāo)跟蹤的速度和精度，但對(duì)于多尺度的目標(biāo)跟蹤效果并不理想。2015年以后，隨著卷積神經(jīng)網(wǎng)絡(luò)在圖像領(lǐng)域的廣泛應(yīng)用，人們開始將深度學(xué)習(xí)的方法應(yīng)用于目標(biāo)跟蹤[7]。由于該方法缺乏正樣本訓(xùn)練數(shù)據(jù)，同時(shí)，隨著神經(jīng)網(wǎng)絡(luò)規(guī)模的增加跟蹤實(shí)時(shí)性很低。因此深度學(xué)習(xí)的方法難以訓(xùn)練出性能優(yōu)良的分類器，不能滿足快速運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)跟蹤。

針對(duì)深度學(xué)習(xí)方法在目標(biāo)跟蹤中的問題，孿生全卷積網(wǎng)絡(luò)的目標(biāo)跟蹤方法由于其端到端的訓(xùn)練能力和跟蹤的實(shí)時(shí)性備受關(guān)注[8-11]。雖然孿生全卷積網(wǎng)絡(luò)通過(guò)相似性學(xué)習(xí)的方法解決了深度學(xué)習(xí)在目標(biāo)跟蹤領(lǐng)域的實(shí)時(shí)性問題，但它的一個(gè)關(guān)鍵限制是缺少有效的模型更新策略，無(wú)法將來(lái)自背景區(qū)域或先前跟蹤幀的信息融合到模型預(yù)測(cè)中。近年來(lái)相關(guān)文獻(xiàn)的研究旨在解決這個(gè)問題。Valmadre等[9]將相關(guān)濾波器整合到深層網(wǎng)絡(luò)中，但由于濾波器判別能力有限，難以有效區(qū)分跟蹤目標(biāo)與相似目標(biāo)。Yao等[12]在訓(xùn)練階段，通過(guò)特征提取器去學(xué)習(xí)跟蹤參數(shù)，但參數(shù)本身不能應(yīng)用于多個(gè)樣本，需要特殊的線性濾波器組合來(lái)適應(yīng)模型。Park等[13]從初始幀出發(fā)，通過(guò)獨(dú)立的學(xué)習(xí)框架優(yōu)化梯度下降過(guò)程和學(xué)習(xí)的步長(zhǎng)，然而這種策略只適用于模型的初始自適應(yīng)，并不能改善迭代時(shí)的模型本身。此外，Guo等[14]通過(guò)學(xué)習(xí)變化特征來(lái)處理目標(biāo)外觀變化帶來(lái)的影響，從而抑制周圍相似目標(biāo)的干擾；Zhu等[15]在目標(biāo)跟蹤期間，從目標(biāo)模板中減去相似目標(biāo)圖像特征達(dá)到排除相似目標(biāo)干擾的目的。以上兩種方法為在線更新，定位精度高但模型學(xué)習(xí)效果較差。綜上可見，孿生全卷積網(wǎng)絡(luò)在進(jìn)行目標(biāo)跟蹤時(shí)，仍然無(wú)法有效解決跟蹤目標(biāo)易受相似目標(biāo)干擾的問題。

針對(duì)上述問題，本文提出一種基于預(yù)判式學(xué)習(xí)更新策略孿生全卷積網(wǎng)絡(luò)(Pre-judgment Learning Update Strategy Full-Convolutional Siamese Networks，Prl-SiamFC)的目標(biāo)跟蹤算法。由目標(biāo)模板和搜索區(qū)域模型建立置信度估計(jì)，將模型更新策略加入到端到端的跟蹤架構(gòu)中，解決了孿生全卷積網(wǎng)絡(luò)在目標(biāo)跟蹤時(shí)相似目標(biāo)干擾的問題。

1 總體框架

傳統(tǒng)孿生全卷積網(wǎng)絡(luò)(Full-Convolutional Siamese Networks，SiamFC)的結(jié)構(gòu)如圖1所示。在進(jìn)行目標(biāo)跟蹤時(shí)，首先構(gòu)建目標(biāo)模板和搜索區(qū)域，然后采用兩個(gè)相同的卷積神經(jīng)網(wǎng)絡(luò)，分別獲取目標(biāo)模板和搜索區(qū)域的卷積特征。最后對(duì)特征再進(jìn)行卷積操作得到預(yù)測(cè)分?jǐn)?shù)矩陣，從而定位到原始圖片的目標(biāo)跟蹤區(qū)域。

圖1 傳統(tǒng)孿生全卷積網(wǎng)絡(luò)結(jié)構(gòu)

本文所提出的預(yù)判式學(xué)習(xí)更新策略的孿生全卷積網(wǎng)絡(luò)在孿生全卷積網(wǎng)絡(luò)基礎(chǔ)上加入了置信度估計(jì)模塊和預(yù)判式學(xué)習(xí)模塊，如圖2所示。從輸入端到輸出端，總體框架包括卷積網(wǎng)絡(luò)模塊、置信度估計(jì)模塊和預(yù)判式學(xué)習(xí)模塊三個(gè)部分。卷積網(wǎng)絡(luò)模塊的網(wǎng)絡(luò)構(gòu)架采用孿生全卷積網(wǎng)絡(luò)的AlexNet；置信度估計(jì)模塊對(duì)目標(biāo)模板和搜索區(qū)域建立顏色直方圖密度估計(jì)；預(yù)判式學(xué)習(xí)模塊包括初始化模塊和優(yōu)化器模塊兩個(gè)部分。

圖2 預(yù)判式學(xué)習(xí)更新策略孿生全卷積網(wǎng)絡(luò)總體框架

圖2中，視頻序列輸入后，根據(jù)給定序列坐標(biāo)中心建立目標(biāo)模板及搜索區(qū)域；卷積網(wǎng)絡(luò)模塊用來(lái)提取目標(biāo)模板和搜索區(qū)域的卷積特征；置信度估計(jì)模塊用來(lái)對(duì)目標(biāo)模板與搜索區(qū)域進(jìn)行置信度估計(jì)，作為卷積權(quán)重濾波器f更新的參考標(biāo)準(zhǔn)；在預(yù)判式學(xué)習(xí)模塊中，將視頻序列的初始正確標(biāo)注數(shù)據(jù)(Ground Truth，GT)平均分布在數(shù)據(jù)集s上，獲得初始模型f(0)，同時(shí)根據(jù)置信度估計(jì)判別跟蹤序列中是否存在相似目標(biāo)干擾，從而決定是否更新f(i)。

2 目標(biāo)模板與搜索區(qū)域置信度估計(jì)

預(yù)判式學(xué)習(xí)更新策略孿生全卷積網(wǎng)絡(luò)的置信度估計(jì)模塊，對(duì)跟蹤算法的精度、成功率和速度具有至關(guān)重要的影響。目標(biāo)模板與搜索區(qū)域的卷積特征具有良好的魯棒性，但不能從中有效地得到相似目標(biāo)干擾的相關(guān)特征。若要實(shí)現(xiàn)對(duì)跟蹤目標(biāo)和相似目標(biāo)的有效區(qū)分，則需要在原卷積網(wǎng)絡(luò)模塊中附加用于相似目標(biāo)提取的卷積模塊，這種方法在提高跟蹤成功率的同時(shí)會(huì)降低跟蹤速度。

本文選取具有較高判別精度且計(jì)算量小的顏色直方圖密度估計(jì)[16]的方法，在保證目標(biāo)跟蹤速度的基礎(chǔ)上，建立目標(biāo)模板與搜索區(qū)域的置信度估計(jì)，作為模型更新的參考標(biāo)準(zhǔn)，可以最大限度在不降低目標(biāo)跟蹤速度的基礎(chǔ)上提高模型跟蹤的成功率。

2.1 目標(biāo)模板與搜索區(qū)域顏色直方圖描述

(1)

(2)

式中：h是核函數(shù)的帶寬；Ch是基于h的歸一化系數(shù)函數(shù)。

2.2 置信度估計(jì)

(3)

式中：y0為搜索區(qū)域初始中心坐標(biāo)。wi計(jì)算如下：

(4)

由式(3)可知，置信度值Csiam∈[0,1]。Csiam越接近1，表示目標(biāo)模板與搜索區(qū)域相似度越高；Csiam越接近0，表示搜索區(qū)域中越可能存在相似目標(biāo)，則需要進(jìn)行預(yù)判式學(xué)習(xí)模塊更新。為保證跟蹤實(shí)時(shí)性，間隔20幀進(jìn)行置信度估計(jì)及預(yù)判式學(xué)習(xí)模塊更新。

3 預(yù)判式學(xué)習(xí)模塊

在目標(biāo)跟蹤過(guò)程中，影響跟蹤的三個(gè)重要因素是特征、分類器和模型更新策略[17]。孿生全卷積網(wǎng)絡(luò)中特征采用的是卷積神經(jīng)網(wǎng)絡(luò)CNN提取到的圖像特征，分類器根據(jù)目標(biāo)模板與搜索區(qū)域的相似性進(jìn)行學(xué)習(xí)，而整個(gè)網(wǎng)絡(luò)缺乏有效的模型更新策略。本文給出預(yù)判式學(xué)習(xí)模塊D，在整個(gè)模型更新過(guò)程中，S為數(shù)據(jù)集，f是具有卷積層權(quán)重的濾波器，預(yù)判式學(xué)習(xí)模塊的作用是給出預(yù)測(cè)函數(shù)f=D(S)，用于在特征空間中區(qū)分跟蹤目標(biāo)和背景外觀。

3.1 損失函數(shù)和自重啟學(xué)習(xí)率的設(shè)計(jì)

為保證預(yù)判式學(xué)習(xí)更新策略孿生全卷積網(wǎng)絡(luò)的穩(wěn)健性，定義預(yù)判式學(xué)習(xí)的損失函數(shù)L(f)為：

(5)

在實(shí)際的樣本訓(xùn)練中，如果單純以圖片的方式進(jìn)行訓(xùn)練，傳統(tǒng)的嶺回歸問題只會(huì)讓網(wǎng)絡(luò)過(guò)分注意于優(yōu)化負(fù)樣本的影響，而忽略正樣本特征本身的判別能力。為此引入空間權(quán)重系數(shù)vc，通過(guò)權(quán)重系數(shù)使得前景和背景之間具有一定的距離，改善分類結(jié)果。定義殘差函數(shù)r(s,c)為：

r(s,c)=vc(mcs+(1-mc)max(0,s)-yc)

(6)

式中：mc為目標(biāo)分割系數(shù)，具體參數(shù)選擇通過(guò)網(wǎng)絡(luò)學(xué)習(xí)得到[18]，若目標(biāo)中心在跟蹤目標(biāo)區(qū)域，則mc=1；若目標(biāo)中心在跟蹤背景區(qū)域，則mc=0；s為目標(biāo)置信度得分；yc是以c=(x0,y0)為中心的二階高斯函數(shù)，表示每個(gè)位置的目標(biāo)期望得分。yc具體計(jì)算如下：

(7)

式中：σ為高斯函數(shù)分布方差。

在用預(yù)判式學(xué)習(xí)更新策略孿生全卷積網(wǎng)絡(luò)進(jìn)行目標(biāo)跟蹤的過(guò)程中，將固定學(xué)習(xí)率η設(shè)為自重啟式學(xué)習(xí)率ηt，對(duì)Ti次已經(jīng)完成數(shù)據(jù)集訓(xùn)練的學(xué)習(xí)率采用余弦退火，即：

(8)

上述的自重啟隨機(jī)梯度下降算法通過(guò)給定Ti和Tcur，使得學(xué)習(xí)率ηt出現(xiàn)衰減變化，當(dāng)學(xué)習(xí)率ηt下降到最小值后，再次變?yōu)槌跏贾?，模擬出現(xiàn)自重啟現(xiàn)象。這種優(yōu)化策略避免了神經(jīng)網(wǎng)絡(luò)使用固定學(xué)習(xí)率易于陷入到鞍點(diǎn)中，收斂于局部最優(yōu)，有效解決了孿生全卷積網(wǎng)絡(luò)訓(xùn)練中的損失誤差和病態(tài)函數(shù)問題。

3.2 卷積層權(quán)值濾波器的預(yù)判式更新

傳統(tǒng)的目標(biāo)跟蹤算法通常在確定跟蹤目標(biāo)后，再來(lái)衡量模型的可靠性，進(jìn)而采取相應(yīng)的更新策略。然而這種更新策略存在滯后性，并不能進(jìn)行動(dòng)態(tài)調(diào)整實(shí)現(xiàn)提前更新，以應(yīng)對(duì)復(fù)雜的目標(biāo)跟蹤。針對(duì)此問題，本文對(duì)卷積層權(quán)值濾波器f進(jìn)行了預(yù)判式更新。

在預(yù)判式學(xué)習(xí)模塊中，我們引入初始化模塊，該模塊由一個(gè)卷積層和一個(gè)精確的池化層組成，用來(lái)生成初始模型f(0)。初始模型f(0)只提供一個(gè)合理的初始估計(jì)，用來(lái)進(jìn)一步減少預(yù)判式學(xué)習(xí)模塊的優(yōu)化遞歸次數(shù)，然后由優(yōu)化器模塊進(jìn)行處理，以提供最終的識(shí)別模型。初始化模塊完成初始化后，對(duì)式(5)預(yù)判式學(xué)習(xí)損失函數(shù)L(f)求偏導(dǎo)得：

(9)

(10)

令qc=vcmc+(1-mc)·ls，對(duì)于qc僅使用點(diǎn)操作，對(duì)于正樣本，ls>0，對(duì)于負(fù)樣本，ls=0。由此得到：

(11)

最終，由式(9)和式(11)推導(dǎo)出卷積權(quán)重濾波器f的梯度下降表達(dá)式為：

(12)

在得到上述梯度下降值的基礎(chǔ)上，采用3.1節(jié)中的自重啟學(xué)習(xí)率ηt，則濾波器f的更新表達(dá)式為：

(13)

綜上，本文算法在卷積網(wǎng)絡(luò)獲取目標(biāo)模板和搜索區(qū)域的卷積特征時(shí)，每隔20幀同時(shí)對(duì)目標(biāo)模板和搜索區(qū)域進(jìn)行了置信度估計(jì)，由置信度值Csiam提前預(yù)判序列幀中是否存在相似目標(biāo)。當(dāng)置信度值Csiam小于給定閾值時(shí)，則跟蹤目標(biāo)周圍可能存在相似目標(biāo)，進(jìn)而考慮卷積層權(quán)值濾波器f的更新。這種更新策略在確定跟蹤目標(biāo)區(qū)域前進(jìn)行預(yù)判確定是否更新，實(shí)現(xiàn)了卷積層權(quán)值濾波器f的實(shí)時(shí)更新，在保證跟蹤的準(zhǔn)確性和穩(wěn)定性的同時(shí)，有效解決了相似目標(biāo)干擾的問題。

4 算法流程

本文算法流程描述如下：

步驟2由數(shù)據(jù)集的給定GT進(jìn)行模塊初始化，即f(0)←S，得到初始模型f(0)。

步驟3卷積網(wǎng)絡(luò)模塊提取目標(biāo)模板和搜索區(qū)域卷積特征。

步驟4間隔20幀計(jì)算目標(biāo)模板及搜索區(qū)域置信度值Csiam為：

步驟5判斷置信度值Csiam是否大于閾值，若大于閾值則執(zhí)行步驟9，否則執(zhí)行步驟6-步驟8，對(duì)濾波器f進(jìn)行更新。

步驟7采用步驟6中的學(xué)習(xí)率，計(jì)算卷積權(quán)重濾波器f的梯度下降值：

▽L(f(i))←(f(i),S)

步驟8卷積層權(quán)值濾波器f進(jìn)行預(yù)判式更新：

步驟9對(duì)搜索區(qū)域和經(jīng)過(guò)濾波器f過(guò)濾掉相似目標(biāo)的目標(biāo)模板進(jìn)行卷積操作。

步驟10卷積操作輸出預(yù)測(cè)分?jǐn)?shù)矩陣，矩陣經(jīng)線性插值定位到原始圖片的目標(biāo)位置，實(shí)現(xiàn)目標(biāo)跟蹤。

5 實(shí) 驗(yàn)

5.1 實(shí)驗(yàn)設(shè)計(jì)

本文實(shí)驗(yàn)所使用的測(cè)試基準(zhǔn)是OTB 2013，包含50個(gè)長(zhǎng)短時(shí)序列，視頻序列影響因素包括相似目標(biāo)干擾、平面內(nèi)旋轉(zhuǎn)、光照變化、快速運(yùn)動(dòng)等11種類型。預(yù)判式學(xué)習(xí)更新策略孿生全卷積網(wǎng)絡(luò)構(gòu)架采用AlexNet，如表1所示，其中前兩層卷積層后均接有池化層，除了最后一層，每一層均使用ReLU激活函數(shù)。

表1 預(yù)判式學(xué)習(xí)更新策略孿生全卷積網(wǎng)絡(luò)構(gòu)架

在實(shí)驗(yàn)中，預(yù)判式學(xué)習(xí)更新策略孿生全卷積網(wǎng)絡(luò)初始化參數(shù)設(shè)置如表2所示。

表2 預(yù)判式學(xué)習(xí)更新策略孿生全卷積網(wǎng)絡(luò)初始化參數(shù)

為了有效地評(píng)估本文所提算法的性能，實(shí)驗(yàn)中的對(duì)比算法均來(lái)自相應(yīng)作者的公開代碼。所有實(shí)驗(yàn)都在Inter(R)Core(TM)i5-2450M CPU@ 2.50 GHz、4 GB內(nèi)存、NVIDIA GeForce GTX 750 Ti臺(tái)式機(jī)上進(jìn)行，算法通過(guò)MATLAB 2018a、Visual Studio 2015、CUDA 9.0、CUDNN 7.0實(shí)現(xiàn)。

實(shí)驗(yàn)從預(yù)判式學(xué)習(xí)更新策略孿生全卷積網(wǎng)絡(luò)不同模塊消融對(duì)比、數(shù)據(jù)集訓(xùn)練識(shí)別精度、對(duì)比孿生全卷積網(wǎng)絡(luò)和跟蹤算法整體性能四個(gè)方面進(jìn)行驗(yàn)證。

5.2 不同模塊消融對(duì)比

本文采用一次通過(guò)測(cè)試(One-pass Evaluation，OPE)對(duì)預(yù)判式學(xué)習(xí)更新策略孿生全卷積網(wǎng)絡(luò)Prl-SiamFC的置信度估計(jì)模塊和預(yù)判式學(xué)習(xí)模塊分別進(jìn)行了測(cè)試實(shí)驗(yàn)，結(jié)果如表3所示。可以看出，與孿生全卷積網(wǎng)絡(luò)SiamFC相對(duì)比，預(yù)判式學(xué)習(xí)模塊提高了4.05%的跟蹤成功率。與無(wú)置信度估計(jì)模塊的Prl-SiamFC相比，置信度估計(jì)模塊提高了7.41%的跟蹤精度，置信度估計(jì)模塊和預(yù)判式學(xué)習(xí)對(duì)跟蹤精度和成功率均有較大提升效果；與孿生全卷積網(wǎng)絡(luò)SiamFC的跟蹤速度相比，采用置信度模塊和預(yù)判式學(xué)習(xí)模塊基本上對(duì)跟蹤速度沒有太多影響。

表3 預(yù)判式學(xué)習(xí)更新策略孿生全卷積網(wǎng)絡(luò)不同模塊消融對(duì)比

5.3 數(shù)據(jù)集訓(xùn)練識(shí)別精度

采用Minist手寫數(shù)字?jǐn)?shù)據(jù)集進(jìn)行10 000次迭代，Prl-SiamFC和SiamFC的數(shù)據(jù)集訓(xùn)練識(shí)別精度效果如圖3所示，(a)為原始識(shí)別誤差散點(diǎn)分布情況，(b)為識(shí)別誤差擬合曲線。

圖3 Prl-SiamFC與SiamFC數(shù)據(jù)集訓(xùn)練識(shí)別精度比較

可以看出，與SiamFC相比，采用自重啟式學(xué)習(xí)率的Prl-SiamFC初始收斂速度更快，收斂過(guò)程更加平穩(wěn)，數(shù)據(jù)集訓(xùn)練識(shí)別誤差精度平均減少93%且不存在較大波動(dòng)。因此，Prl-SiamFC比SiamFC學(xué)習(xí)效果更好。

5.4 相似目標(biāo)干擾下的不同網(wǎng)絡(luò)跟蹤性能比較

為了驗(yàn)證本文所提的Prl-SiamFC在存在相似目標(biāo)干擾情況下跟蹤性能的優(yōu)越性，本文將其與SiamFC和三種尺度孿生全卷積網(wǎng)絡(luò)(簡(jiǎn)稱：SiamFC_3S)對(duì)具體幀的跟蹤情況進(jìn)行比較。如圖4所示，選取4組視頻序列，視頻圖中左上角數(shù)字為當(dāng)前圖像幀數(shù)，黑框?yàn)镻rl-SiamFC，白框?yàn)镾iamFC和SiamFC_3S。

圖4 相似目標(biāo)干擾下跟蹤性能比較

可以看出，4組視頻的第10幀均能確定跟蹤目標(biāo)且跟蹤精度較高，但序列Matrix第50幀、序列Liquor第1 500幀和序列Soccer第350幀以后，SiamFC和SiamFC_3S均出現(xiàn)跟蹤丟失的情況，而Prl-SiamFC始終跟蹤目標(biāo)，具有較好的跟蹤效果。

對(duì)上述4組視頻序列，如圖5所示，采用中心位置誤差進(jìn)行對(duì)比分析，這里的中心位置誤差是指視頻跟蹤結(jié)果中心點(diǎn)與真值中心點(diǎn)之間的歐氏距離。

圖5 不同算法在相似目標(biāo)干擾下中心位置誤差比較

可以看到，Prl-SiamFC的中心位置誤差除了在視頻序列Football中最后幀數(shù)出現(xiàn)波動(dòng)外，序列Matrix、Liquor和Soccer的中心誤差始終保持在較低水平，序列Matrix和Soccer的中心位置誤差平均小于20，在跟蹤過(guò)程中有效解決了跟蹤目標(biāo)周圍存在相似目標(biāo)干擾問題。

5.5 算法跟蹤性能比較

在OTB 2013測(cè)試下，采用OPE、空間魯棒性測(cè)試(Spatial Robustness Evaluation，SRE)、時(shí)間魯棒性測(cè)試(Temporal Robustness Evaluation，TRE)三種標(biāo)準(zhǔn)，分別測(cè)試Prl-SiamFC與SiamFC的跟蹤效果，如圖6所示。各標(biāo)準(zhǔn)下的整體跟蹤效果提升等于跟蹤精度和成功率提升的平均值。在OPE、SRE、TRE三種標(biāo)準(zhǔn)測(cè)試下，Prl-SiamFC與SiamFC相比，整體跟蹤效果分別提升了7.75%、10.14%、8.98%。

圖6 Prl-SiamFC改善SiamFC跟蹤效果曲線

除了整體跟蹤精度和成功率的提升，與SiamFC、SiamFC_3S相比，Prl-SiamFC對(duì)于跟蹤目標(biāo)的變形、遮擋、尺度變化、平面內(nèi)外旋轉(zhuǎn)等問題，均有跟蹤效果的明顯提升，如表4所示。特別是對(duì)跟蹤目標(biāo)出現(xiàn)運(yùn)動(dòng)模糊和視野外的問題，Prl-SiamFC相比較于SiamFC、SiamFC_3S，跟蹤效果的平均提升效果在20%以上。

表4 Prl-SiamFC在其他方面跟蹤效果的提升 %

除了與SiamFC對(duì)比外，本文在OTB 2013上還測(cè)試了18種經(jīng)典的跟蹤算法，其中，前10名算法的跟蹤精度和成功率曲線，如圖7所示。圖中括號(hào)里數(shù)字表示中心位置誤差取值為20時(shí)對(duì)應(yīng)的跟蹤精度和覆蓋閾值取值為0.5時(shí)對(duì)應(yīng)的跟蹤成功率。

圖7 不同算法跟蹤性能比較

可以看出，本文的跟蹤算法精度和成功率明顯高于其他算法。在圖7(a)、(c)和(e)中，跟蹤精確度在中心位置誤差閾值為20像素時(shí)，在OPE、SRE、TRE下，本文跟蹤精確度高于CF2 0.90%、2.47%、3.76%；當(dāng)中心誤差閾值小于20像素時(shí)，本文算法的精確度值更明顯高于其他算法，這說(shuō)明在高精度約束下，本文算法的跟蹤效果更好。在圖7(b)、(d)和(f)中，本文算法的跟蹤成功率比深度學(xué)習(xí)跟蹤算法SRDCFdecon提高了2.21%、4.34%、3.44%；當(dāng)覆蓋閾值處于0.2～0.8位置時(shí)，本文算法的成功率明顯高于其他對(duì)比算法；當(dāng)覆蓋閾值大于0.8時(shí)，本文算法也能保證最優(yōu)性能。

綜上所述，本文所提的預(yù)判式學(xué)習(xí)更新策略孿生全卷積網(wǎng)絡(luò)滿足了目標(biāo)跟蹤的各項(xiàng)性能要求，具有訓(xùn)練識(shí)別誤差小、跟蹤精度高和成功率高的特點(diǎn)，算法整體具有良好的跟蹤性能。

6 結(jié) 語(yǔ)

本文提出預(yù)判式學(xué)習(xí)更新策略孿生全卷積網(wǎng)絡(luò)目標(biāo)跟蹤算法，將模型更新策略加入到孿生全卷積網(wǎng)絡(luò)的端到端跟蹤架構(gòu)中，由目標(biāo)模板和搜索區(qū)域模型確定置信度并判別是否進(jìn)行預(yù)判式學(xué)習(xí)模塊更新，解決了孿生全卷積網(wǎng)絡(luò)在目標(biāo)跟蹤過(guò)程中相似目標(biāo)干擾的問題。預(yù)判式學(xué)習(xí)更新策略孿生全卷積網(wǎng)絡(luò)與孿生全卷積網(wǎng)絡(luò)相比，數(shù)據(jù)集識(shí)別訓(xùn)練精度更高，采用Minist數(shù)書寫數(shù)字據(jù)集測(cè)試，數(shù)據(jù)集訓(xùn)練識(shí)別精度誤差平均減少93%。在OTB 2013 的OPE、SRE、TRE標(biāo)準(zhǔn)測(cè)試下，目標(biāo)跟蹤精度提高了10.31%、12.55%、10.42%，成功率提高了5.18%、7.73%、7.53%，整體跟蹤精度和成功率與其他經(jīng)典算法相比更優(yōu)，性能表現(xiàn)優(yōu)異。