劉 芳，黃光偉，路麗霞，王洪娟，王 鑫

北京工業(yè)大學(xué) 信息學(xué)部，北京 100124

1 引言

目標(biāo)跟蹤技術(shù)是計(jì)算機(jī)視覺研究領(lǐng)域中最重要的研究方向之一，廣泛應(yīng)用于軍事偵查、交通監(jiān)控、人群分析、動(dòng)作識(shí)別等軍事和民用領(lǐng)域。傳統(tǒng)目標(biāo)跟蹤算法分為自底向上和自頂向下的處理方法[1]。自底向上的處理方法又稱為基于判別式模型的跟蹤方法，它不依賴于先驗(yàn)知識(shí)，直接從圖像序列中獲得目標(biāo)的運(yùn)動(dòng)信息并進(jìn)行跟蹤。自頂向下的處理方法又稱為基于生成式模型的跟蹤方法，依賴于所構(gòu)建的模型或先驗(yàn)知識(shí)，在圖像序列中進(jìn)行匹配運(yùn)算或求解后驗(yàn)概率。近年出現(xiàn)了一系列具有代表性的目標(biāo)跟蹤算法，其中基于判別式模型的方法包括多示例學(xué)習(xí)法（multiple instance learning，MIL）[2]、基于在線Boosting算法的實(shí)時(shí)跟蹤（on-line ada-boosting tracker，OAB）[3]、跟蹤學(xué)習(xí)檢測(cè)算法（tracking learning detection，TLD）[4]、結(jié)構(gòu)化輸出跟蹤（struck）[5]等?；谏墒侥Ｐ偷姆椒ㄓ性隽恳曈X跟蹤算法[6]、粒子濾波跟蹤算法[7]、循環(huán)結(jié)構(gòu)的檢測(cè)跟蹤（circulant structure of tracking by detection with kernel，CSK）[3]、雙相關(guān)濾波器（dual correlation filter，DCF）跟蹤器[8]等。

上述跟蹤算法幾乎都是采用人為手工設(shè)計(jì)的特征（例如直方圖、方向梯度直方圖（histogram of oriented gradient，HOG)、尺度不變特征變換（scaleinvariant feature transform，SIFT）特征等）。大量實(shí)驗(yàn)表明手工設(shè)計(jì)的特征具有局限性，不適用于所有被跟蹤目標(biāo)。深度學(xué)習(xí)的發(fā)展為自動(dòng)學(xué)習(xí)特征提供了可能。深度學(xué)習(xí)跟蹤（deep learning tracker，DLT）[9]使用自動(dòng)編碼器[10]把深度模型運(yùn)用在單目標(biāo)跟蹤任務(wù)上的跟蹤算法，提出了“離線預(yù)訓(xùn)練＋在線微調(diào)”的思路，很大程度地解決了跟蹤中訓(xùn)練樣本不足的問(wèn)題。文獻(xiàn)[11]深度網(wǎng)絡(luò)通過(guò)大量訓(xùn)練集進(jìn)行離線訓(xùn)練得到，利用離線的方式訓(xùn)練深度網(wǎng)絡(luò)，然后使用訓(xùn)練好的模型在線跟蹤目標(biāo)；文獻(xiàn)[12]使用ImageNet數(shù)據(jù)集離線訓(xùn)練多層的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN），學(xué)習(xí)得到可以反映圖像一般性特征的卷積核，而后通過(guò)遷移學(xué)習(xí)在線特征提取，使用粒子濾波算法進(jìn)行目標(biāo)跟蹤。文獻(xiàn)[13]中利用離線訓(xùn)練好的CNN在線提取目標(biāo)的顯著性圖，其跟蹤系統(tǒng)在線維護(hù)一個(gè)外觀模型，通過(guò)相關(guān)匹配實(shí)現(xiàn)定位目標(biāo)。近年來(lái)，基于深度學(xué)習(xí)的跟蹤算法使得跟蹤算法性能大幅提升，但其在應(yīng)對(duì)目標(biāo)遮擋、尺度變化等使目標(biāo)表觀發(fā)生變化的情況下，目前的跟蹤算法性能還有待提升。

為了解決上述情形下跟蹤算法性能不足的問(wèn)題，將深度學(xué)習(xí)與模板更新結(jié)合，從而更好地應(yīng)對(duì)目標(biāo)表觀的變化，然后進(jìn)行目標(biāo)跟蹤。當(dāng)目標(biāo)發(fā)生外觀等變化，跟蹤模板需要作出相應(yīng)的改變。因此，深度學(xué)習(xí)與模板更新結(jié)合，能夠提高目標(biāo)跟蹤算法的準(zhǔn)確性，從而提高視頻目標(biāo)跟蹤性能。

模式匹配跟蹤算法大多是先提取目標(biāo)的某些特征（如SIFT、HOG）作為模板，然后在當(dāng)前幀內(nèi)尋找其特征和這個(gè)模板最相似的區(qū)域，因此模板是目標(biāo)的唯一表示[14]。在目標(biāo)運(yùn)動(dòng)過(guò)程中會(huì)不可避免地出現(xiàn)各種問(wèn)題導(dǎo)致跟蹤失敗，如被障礙物遮擋、目標(biāo)從背光處運(yùn)動(dòng)到強(qiáng)光處或者拍攝鏡頭的拉伸等，為使在這些復(fù)雜情況下準(zhǔn)確跟蹤目標(biāo)，除了需要學(xué)習(xí)到目標(biāo)良好的特征，目標(biāo)模板也需要作出相應(yīng)改變。因此,模板更新問(wèn)題是目標(biāo)跟蹤的核心問(wèn)題之一。模板更新策略[15]通常有以下三種：固定模板策略、固定幀模板更新策略、逐幀更新策略。傳統(tǒng)更新策略方法較為簡(jiǎn)單，跟蹤算法會(huì)由于遮擋或前些幀的跟蹤誤差積累，而導(dǎo)致跟蹤失敗。

文獻(xiàn)[16]提出了一種加權(quán)模板更新策略，該策略是根據(jù)當(dāng)前的跟蹤質(zhì)量產(chǎn)生一個(gè)權(quán)值，對(duì)預(yù)測(cè)模板和目標(biāo)模板加權(quán)產(chǎn)生一個(gè)新模板，該新模板作為新的目標(biāo)模板。但是該策略不能改變模板的大小，因此該策略并不能很好地應(yīng)對(duì)目標(biāo)的姿態(tài)和大小變化；文獻(xiàn)[17]提出了一種基于卡爾曼濾波殘差來(lái)更新模板的策略，當(dāng)濾波殘差小于閾值時(shí)，進(jìn)行模板更新；當(dāng)濾波殘差大于閾值時(shí)，則認(rèn)為目標(biāo)受到遮擋，不更新模板。該策略對(duì)于非機(jī)動(dòng)目標(biāo)進(jìn)行跟蹤時(shí)，效果較好，但對(duì)機(jī)動(dòng)目標(biāo)的跟蹤性能欠佳。

當(dāng)目標(biāo)發(fā)生尺度變化或受到遮擋時(shí)，已有的這些方法仍存在一些不足，往往容易丟失目標(biāo)，導(dǎo)致跟蹤失敗。這主要是因?yàn)橐延蟹椒](méi)有充分利用到目標(biāo)本身的深度特征信息，不能合理地更新模板。深度學(xué)習(xí)很好地解決了這一問(wèn)題，通過(guò)深度學(xué)習(xí)網(wǎng)絡(luò)可以提取到目標(biāo)更深層次的特征表達(dá)，充分利用目標(biāo)本身的特征信息；高效的目標(biāo)模板更新策略增加了目標(biāo)跟蹤過(guò)程中目標(biāo)估計(jì)的準(zhǔn)確性，目標(biāo)的深度特征和自適應(yīng)模板更新策略結(jié)合可以使得跟蹤算法的魯棒性和跟蹤精度更高。

綜上所述，本文提出一種基于深度特征和模板更新的自適應(yīng)粒子濾波目標(biāo)跟蹤算法，深度特征使用卷積神經(jīng)網(wǎng)絡(luò)提取目標(biāo)特征，與粒子濾波跟蹤算法結(jié)合，把目標(biāo)的仿射運(yùn)動(dòng)模型引入到粒子濾波的模板更新過(guò)程中，設(shè)計(jì)了一種自適應(yīng)的模板更新策略，進(jìn)而提出一種在復(fù)雜條件下具有較高跟蹤準(zhǔn)確率和成功率的目標(biāo)跟蹤算法。

本文結(jié)構(gòu)安排如下：首先敘述相關(guān)研究?jī)?nèi)容；其次提出基于CNN特征和模板更新的改進(jìn)的粒子濾波算法；再次給出實(shí)驗(yàn)結(jié)果及分析；最后為本文結(jié)論。

2 基于CNN的自適應(yīng)粒子濾波跟蹤算法

2.1 基于CNN的特征提取

研究表明，在卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的第3個(gè)卷積層的卷積特征保留目標(biāo)更多的空間細(xì)節(jié)，如目標(biāo)的位置信息等，因此利用第3層卷積特征可以對(duì)目標(biāo)進(jìn)行準(zhǔn)確定位[18]。隨著網(wǎng)絡(luò)越來(lái)越深，空間信息越來(lái)越稀釋，這會(huì)使圖像中目標(biāo)定位不精準(zhǔn)[19]。由于卷積運(yùn)算復(fù)雜耗時(shí)，考慮到跟蹤算法的實(shí)時(shí)性，圖像經(jīng)過(guò)3個(gè)卷積層得到的特征保留了目標(biāo)的空間位置信息，滿足跟蹤需求。因此本文設(shè)計(jì)一個(gè)包括3個(gè)卷積結(jié)構(gòu)的深度網(wǎng)絡(luò)，每個(gè)卷積結(jié)構(gòu)包含1個(gè)卷積層、修正線性單元（rectified linear units，ReLU）層和池化層，由此構(gòu)建了一個(gè)12層的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取。整體框架圖如圖1所示[20]。

Fig.1 Structure of CNN圖1 CNN網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)共12層，包括1個(gè)輸入層、3個(gè)卷積層、3個(gè)ReLU層、3個(gè)下采樣層、1個(gè)全連接層和1個(gè)輸出層，每一層的輸出都作為下一層的輸入，下面將介紹各層的功能及參數(shù)個(gè)數(shù)情況。

輸入層，向網(wǎng)絡(luò)輸入128×128的目標(biāo)圖像。

卷積層，使用卷積核對(duì)輸入圖像進(jìn)行卷積操作，得到輸入圖像的特征圖。conv1使用32個(gè)7×7的卷積核，得到32個(gè)122×122大小的特征圖。conv2使用64個(gè)5×5的卷積核，得到64個(gè)58×58大小的特征圖。conv3使用128個(gè)3×3的卷積核，得到128個(gè)27×27大小的特征圖。

ReLU層，通過(guò)ReLU激活函數(shù)給網(wǎng)絡(luò)加入非線性的因素，使得卷積神經(jīng)網(wǎng)絡(luò)更好地解決復(fù)雜的問(wèn)題，其公式為f(x)=max(0,x)。

下采樣層，通常跟隨在卷積層之后，依據(jù)一定的下采樣規(guī)則對(duì)特征圖進(jìn)行下采樣。下采樣層的功能主要有兩點(diǎn)：

（1）對(duì)特征圖進(jìn)行降維；

（2）在一定程度上保持特征的尺度不變特性。

全連接層，128個(gè)9×9的卷積核對(duì)第3個(gè)下采樣層的輸出特征圖進(jìn)行卷積操作，得到1個(gè)128維的目標(biāo)特征。

輸出層，對(duì)目標(biāo)特征進(jìn)行分類。

文獻(xiàn)[21]指出使用大規(guī)模數(shù)據(jù)集訓(xùn)練CNN網(wǎng)絡(luò)模型提取到的特征對(duì)其他任務(wù)也同樣具有普適性。因此，本文所構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)預(yù)先在VOC2012數(shù)據(jù)集[22]上離線訓(xùn)練，使之能夠提取通用目標(biāo)特征，解決跟蹤目標(biāo)特征訓(xùn)練樣本不足的問(wèn)題。在跟蹤過(guò)程中，對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行在線微調(diào)，將卷積層參數(shù)固定，僅對(duì)全連接層和輸出層參數(shù)進(jìn)行更新，提高了CNN參數(shù)調(diào)整的效率。利用所構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)的第三層卷積特征圖保留了更多的空間細(xì)節(jié)的優(yōu)勢(shì)，與粒子濾波算法結(jié)合進(jìn)行視頻目標(biāo)跟蹤，提高跟蹤目標(biāo)的精度。

網(wǎng)絡(luò)的輸入為原始圖像X。Hi表示卷積神經(jīng)網(wǎng)絡(luò)第i層的特征圖(H0=X)。

其中，W表示第i層卷積核的權(quán)值向量；運(yùn)算符號(hào)“?”表示卷積操作，卷積的輸出與第i層的偏移向量bi相加，最終通過(guò)ReLU非線性的激勵(lì)函數(shù)f(x)得到第i層的特征圖Hi。

經(jīng)過(guò)多個(gè)卷積層和下采樣層的交替?zhèn)鬟f，卷積神經(jīng)網(wǎng)絡(luò)依靠全連接網(wǎng)絡(luò)針對(duì)提取的特征進(jìn)行分類，得到基于輸入的概率分布Y（li表示第i個(gè)標(biāo)簽類別）。如式（2）所示，卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)上是使原始矩陣(H0)經(jīng)過(guò)多個(gè)層次的數(shù)據(jù)變換或降維，映射到一個(gè)新的特征表達(dá)(Y)的數(shù)學(xué)模型。

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練目標(biāo)是最小化網(wǎng)絡(luò)的損失函數(shù)L(W,b)。輸入H0經(jīng)過(guò)前向傳導(dǎo)后通過(guò)損失函數(shù)計(jì)算出與期望值之間的差異，稱為“殘差”。常見損失函數(shù)有均方誤差函數(shù)、負(fù)對(duì)數(shù)似然函數(shù)等。

訓(xùn)練過(guò)程中，卷積神經(jīng)網(wǎng)絡(luò)常用的優(yōu)化方法是梯度下降方法，殘差通過(guò)梯度下降進(jìn)行反向傳播，逐層更新卷積神經(jīng)網(wǎng)絡(luò)的各個(gè)層的可訓(xùn)練參數(shù)（W和b）。學(xué)習(xí)速率參數(shù)(η)用于控制殘差反向傳播的強(qiáng)度：

2.2 粒子濾波

為了解決非線性非高斯情況下的目標(biāo)跟蹤問(wèn)題，將粒子濾波應(yīng)用到視頻目標(biāo)跟蹤過(guò)程中，它采用蒙特卡羅方法來(lái)求解貝葉斯估計(jì)中的積分運(yùn)算?；舅枷胧窃跔顟B(tài)空間中尋找一組隨機(jī)樣本對(duì)條件后驗(yàn)概率密度進(jìn)行近似，用樣本均值代替原先需要依據(jù)后驗(yàn)概率密度函數(shù)進(jìn)行的積分運(yùn)算，從而獲得最小的方差估計(jì)。

假定非線性動(dòng)態(tài)過(guò)程如下：

粒子集初始化，由先驗(yàn)分布P(x0)中采樣粒子，設(shè)置權(quán)值為1/N，則狀態(tài)預(yù)測(cè)方程為：

重要性采樣，將重要性函數(shù)q(x0:k|y1:k)改寫成：

計(jì)算粒子重要性權(quán)值ωk，并進(jìn)行歸一化ω?k。

判斷重采樣，使權(quán)值大的粒子被復(fù)制，而權(quán)值小的粒子被舍棄，得到新的粒子集，且粒子的權(quán)值被重新設(shè)置為1/N。

計(jì)算時(shí)刻的狀態(tài)估計(jì)值：

2.3 仿射變換

仿射變換是一種二維坐標(biāo)到二維坐標(biāo)之間的線性變換，即具有將平行線變換為平行線、有限點(diǎn)映射到有限點(diǎn)的一般特性。圖像在二維空間中的旋轉(zhuǎn)、尺度變化和位移可以通過(guò)仿射變換實(shí)現(xiàn)。仿射變換具有平移、旋轉(zhuǎn)和縮放不變性。圖2表示了一幅圖像的幾種仿射變換情況，可以體現(xiàn)目標(biāo)跟蹤中目標(biāo)的某些運(yùn)動(dòng)情況。

Fig.2 Affine transformation example圖2 仿射變換實(shí)例

2.4 自適應(yīng)模板更新

2.4.1 傳統(tǒng)模板更新策略

目標(biāo)模板更新策略是目標(biāo)跟蹤過(guò)程中的關(guān)鍵環(huán)節(jié)，模板更新策略的準(zhǔn)確度直接影響跟蹤性能。固定模板策略是傳統(tǒng)目標(biāo)模板更新策略中的最簡(jiǎn)單的一種策略，該策略是以目標(biāo)區(qū)域的顏色直方圖模板作為目標(biāo)模板，通過(guò)粒子濾波對(duì)目標(biāo)狀態(tài)進(jìn)行估計(jì)位置區(qū)域，并計(jì)算該區(qū)域的顏色直方圖模板作為預(yù)測(cè)模板，如圖3所示。以Ht與Hp之間的Bhattacharyya距離[23]（巴氏系數(shù)）作為相似性，通過(guò)相似性進(jìn)而確定目標(biāo)狀態(tài)進(jìn)行跟蹤，其中巴氏系數(shù)定義如下：

當(dāng)在運(yùn)動(dòng)過(guò)程中跟蹤目標(biāo)發(fā)生如圖3所示的尺度變化時(shí)，可以看出預(yù)測(cè)模板Hp與目標(biāo)模板Ht相差很大，利用巴氏系數(shù)計(jì)算目標(biāo)模板和預(yù)測(cè)模板的相似性，巴氏系數(shù)變小，導(dǎo)致跟蹤失敗，因此固定模板策略在應(yīng)對(duì)尺度變化時(shí)顯得有些乏力，需要進(jìn)一步的研究來(lái)完善。逐幀更新策略是根據(jù)前一幀目標(biāo)的狀態(tài)，用后一幀的預(yù)測(cè)模板來(lái)更新目標(biāo)模板。這種更新策略的優(yōu)點(diǎn)是能夠?qū)崟r(shí)反映目標(biāo)狀態(tài)變化，但是逐幀更新也存在誤差逐漸累積，從而造成模板漂移，甚至可能使跟蹤算法跟蹤錯(cuò)誤的目標(biāo)模板，導(dǎo)致跟蹤失敗。

Fig.3 Several target motion diagrams圖3 幾種目標(biāo)運(yùn)動(dòng)示意圖

2.4.2 基于仿射變換的自適應(yīng)模板更新策略

在視頻目標(biāo)跟蹤過(guò)程中，若跟蹤目標(biāo)保持某種特定的狀態(tài)運(yùn)動(dòng)，則該目標(biāo)狀態(tài)具有顯著的記憶性，只需將預(yù)測(cè)模板與目標(biāo)模板進(jìn)行匹配，確定目標(biāo)狀態(tài)進(jìn)行跟蹤；若目標(biāo)的狀態(tài)不斷變化，就會(huì)使候選模板和目標(biāo)模板的相似度逐漸降低，可能導(dǎo)致目標(biāo)跟蹤失敗。為了提高目標(biāo)跟蹤的準(zhǔn)確性，本文提出一種基于仿射變換的自適應(yīng)模板更新策略。通過(guò)仿射變換構(gòu)建候選模板庫(kù)，使在目標(biāo)跟蹤過(guò)程中自適應(yīng)更新模板。

通過(guò)觀察 OTB2013[3]、TC128[24]、UAV123[25]中視頻序列中跟蹤目標(biāo)運(yùn)動(dòng)過(guò)程中的變化，可以看出，當(dāng)跟蹤目標(biāo)發(fā)生旋轉(zhuǎn)時(shí)，在相鄰幀之間跟蹤目標(biāo)的旋轉(zhuǎn)變化在1°～3°；當(dāng)目標(biāo)發(fā)生尺度變化（縮放）時(shí)，在相鄰幀之間跟蹤目標(biāo)的縮小倍數(shù)是0.95～0.85倍，放大倍數(shù)是1.05～1.15倍。因此，通過(guò)上述觀察結(jié)果，進(jìn)行相應(yīng)的仿射變換，存入候選模板庫(kù)中，可以使目標(biāo)在跟蹤過(guò)程中得到準(zhǔn)確的目標(biāo)模板更新，防止跟蹤目標(biāo)丟失，提高目標(biāo)跟蹤的準(zhǔn)確性。

仿射變換可以描述3D空間中的目標(biāo)到2D平面的成像過(guò)程，具體表現(xiàn)可以是各個(gè)方向的尺度變換、系數(shù)一致的均勻尺度變換或變換系數(shù)不一致的非均勻尺度變換及剪切變換等。仿射變換具有平移、旋轉(zhuǎn)和縮放不變性。對(duì)于一個(gè)目標(biāo)模板，分別進(jìn)行左右旋轉(zhuǎn)2°、放大1.1倍、縮小0.9倍的仿射變化，同時(shí)模擬目標(biāo)光照變化，定義候選模板庫(kù)如下：

對(duì)粒子權(quán)值排序，選擇前60%的粒子，計(jì)算它們的權(quán)值和ω，若ω≥v（閾值，一般選擇0.6～0.7），則使用跟蹤輸出位置作為候選目標(biāo)模板；否則，從候選模板庫(kù)重新確定候選目標(biāo)模板。

在粒子濾波跟蹤框架下，提出一種跟蹤狀態(tài)判定模型更新的方法。通過(guò)選擇粒子權(quán)值作為模型更新的判斷依據(jù)，通過(guò)判決反饋信息選擇合適的候選模板作為匹配目標(biāo)模板，然后通過(guò)模板更新模型進(jìn)行目標(biāo)模板更新，確定新的目標(biāo)模板。模板更新模型為：

其中，m0為初始目標(biāo)模板；m′為基于仿射變換的候選模板庫(kù)中的某候選目標(biāo)模板；α為平衡因子，取值依據(jù)目標(biāo)的跟蹤狀態(tài)。在目標(biāo)模型更新中，采取粒子權(quán)值分布前60%的預(yù)測(cè)結(jié)果來(lái)判定目標(biāo)的跟蹤狀態(tài)，進(jìn)而確定α的取值，即：

其中，T1和T2為閾值，依據(jù)先驗(yàn)知識(shí)獲得，T1=0.8和T2=0.2；ω為粒子權(quán)值分布前60%的權(quán)值和；v為粒子權(quán)值判定的參數(shù)。

在模板更新時(shí)，融入不同程度的初始目標(biāo)模板和候選目標(biāo)模板可以使目標(biāo)在跟蹤過(guò)程中得到準(zhǔn)確的目標(biāo)模板，防止跟蹤目標(biāo)漂移，提高目標(biāo)跟蹤的準(zhǔn)確性。圖4是自適應(yīng)模板更新框圖。

Fig.4 Adaptive template update framework圖4 自適應(yīng)模板更新框架圖

目標(biāo)模板更新策略的具體步驟如下：

（1）對(duì)粒子濾波算法中每個(gè)粒子位置與目標(biāo)模板的巴氏系數(shù)進(jìn)行歸一化，得到每個(gè)粒子的權(quán)值。

（2）選擇權(quán)值分布前60%的粒子，計(jì)算它們的權(quán)值和ω，使用式（14）判斷α的取值。

（3）將候選模板庫(kù)中的某一候選模板的深度特征和所有粒子的深度特征進(jìn)行比較，重新給每個(gè)粒子賦予權(quán)值，并計(jì)算其權(quán)值前60%的粒子的權(quán)值和。

（4）對(duì)候選模板庫(kù)中的所有候選模板分別進(jìn)行步驟（3）的操作，選擇其中權(quán)值和最大的候選模板作為m′。

（5）通過(guò)式（13）進(jìn)行模板更新，確定新的目標(biāo)模板。

（6）將預(yù)測(cè)目標(biāo)位置及其仿射變換放入候選模板庫(kù)中。

2.5 基于CNN的自適應(yīng)粒子濾波目標(biāo)跟蹤算法流程

本文算法整體流程如圖5所示。

（1）使用數(shù)萬(wàn)張通用目標(biāo)圖像離線預(yù)訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，訓(xùn)練好的網(wǎng)絡(luò)用于提取目標(biāo)特征。

（2）將視頻轉(zhuǎn)化圖像幀輸入系統(tǒng)。

（3）在初始幀或選定幀中手動(dòng)標(biāo)定預(yù)跟蹤目標(biāo)位置，作為初始目標(biāo)模板，引入仿射運(yùn)動(dòng)模型對(duì)目標(biāo)圖像進(jìn)行仿射變換，建立候選模板庫(kù)。將初始目標(biāo)模板和候選模板輸入卷積神經(jīng)網(wǎng)絡(luò)計(jì)算其深度特征。

Fig.5 Robust target tracking algorithm for adaptive template updating flow chart圖5 自適應(yīng)模板更新的魯棒目標(biāo)跟蹤算法流程圖

（4）在待搜索區(qū)域里以高斯分布的方式放入大量粒子，計(jì)算每個(gè)粒子所在區(qū)域的深度特征，與模板進(jìn)行比較，給每個(gè)粒子賦予權(quán)值。通過(guò)調(diào)整各粒子的權(quán)重大小和樣本位置來(lái)近似實(shí)際的概率分布，以樣本期望作為系統(tǒng)估計(jì)值。然后進(jìn)行重采樣，重新分布粒子的位置。

（5）模板更新，選擇權(quán)值分布前50%的粒子，計(jì)算它們的權(quán)值和ω，如使用式（14）判斷α的取值，將某一候選模板的深度特征和所有粒子的深度特征進(jìn)行比較，重新給每個(gè)粒子賦予權(quán)值，并計(jì)算其權(quán)值前60%的粒子的權(quán)值和，對(duì)所有候選模板分別進(jìn)行上述操作，選擇其中權(quán)值和最大的候選模板作為m′。然后通過(guò)式（13）將原始目標(biāo)模板和候選目標(biāo)模板融合得到新的目標(biāo)模板。

3 仿真實(shí)驗(yàn)

本算法在Matlab 2016a上實(shí)現(xiàn)，計(jì)算機(jī)配置為Intel Core i5-2410M 2.3 GHz，內(nèi)存為8 GB。實(shí)驗(yàn)選用目前主流的跟蹤平臺(tái)OTB2013、TC128、UAV123上的18個(gè)視頻序列進(jìn)行實(shí)驗(yàn)驗(yàn)證，這里使用了8個(gè)視頻序列 Jogging、Liquor、SUV、Tiger1、Plane_ce2、Bike1、Skyjumping_ce、Girlmov進(jìn)行實(shí)驗(yàn)結(jié)果展示。為驗(yàn)證本文算法的有效性，與當(dāng)前多種主流跟蹤算法進(jìn)行對(duì)比分析，包括尺度自適應(yīng)與多特征融合跟蹤器（scale-adaptive and multi feature integration tracker，SAMF）[26]、多專家的熵最小化（multiple experts using entropy minimization，MEEM）跟蹤[27]、強(qiáng)判別性尺度空間跟蹤器（discriminative scale space tracker，DSST）[28]、DCF、OAB、TLD、CSK等。其中，MEEM、OAB、TLD屬于判別式模型的方法，SAMF、DSST、DCF、CSK為基于相關(guān)濾波的跟蹤算法。SAMF、DSST、DCF算法是針對(duì)目標(biāo)的尺度變化問(wèn)題的改進(jìn)算法，MEEM、CSK考慮了目標(biāo)遮擋情況，SAMF、OAB、CSK考慮了目標(biāo)光照變化問(wèn)題，TLD在背景復(fù)雜情況下跟蹤效果較好。

圖6表示8種跟蹤算法對(duì)18組測(cè)試視頻的整體精度曲線和成功率曲線，可以看出對(duì)于18組測(cè)試視頻中的目標(biāo)，本文算法的跟蹤成功率最高，相比于SAMF算法提高了4%，相比于DCF算法提高了22%。

Table 1 Success rate of tracking表1 跟蹤成功率

Fig.6 Tracking precision and tracking success rate plots of 18 sequences圖6 18個(gè)測(cè)試序列的跟蹤精度曲線和跟蹤成功率曲線

圖7給出了8種跟蹤算法的部分序列跟蹤結(jié)果，左上角顯示圖像序列的當(dāng)前幀數(shù)，不同算法的跟蹤結(jié)果用不同顏色的跟蹤框顯示，紅色為本文算法。圖8顯示了8個(gè)序列的中心位置誤差曲線，可知本文算法保持了較低的中心誤差，跟蹤精度高。

圖9是算法跟蹤精度曲線圖，括號(hào)內(nèi)的數(shù)值是當(dāng)閾值d=20時(shí)對(duì)應(yīng)的跟蹤精度，平均值隨著中心誤差閾值的增大，顯然本文算法的性能提高最快，且算法精度最高。圖10是算法跟蹤成功率曲線圖，括號(hào)內(nèi)的數(shù)值代表成功率曲線下的面積，隨著所給重疊率閾值t的增大，顯然本文算法的跟蹤魯棒性最強(qiáng)，成功率衰減緩慢。

（1）目標(biāo)遮擋，Girlmov、Jogging、SUV視頻序列中，被跟蹤目標(biāo)在運(yùn)動(dòng)過(guò)程中被不同物體不同程度遮擋。Jogging的第86幀，目標(biāo)被完全遮擋，直至目標(biāo)重新出現(xiàn)，只有本文算法、MEEM、SAMF很好地跟蹤到目標(biāo)；SUV的第517幀，目標(biāo)被部分遮擋時(shí)，SAMF、OAB等都出現(xiàn)了跟蹤漂移，本文算法使用深度特征和自適應(yīng)模板更新策略應(yīng)對(duì)遮擋情況有較好的魯棒性，始終正確跟蹤目標(biāo)。

（2）目標(biāo)旋轉(zhuǎn)，Plane_ce、Skyjumping_ce2、Tiger1視頻序列中被跟蹤目標(biāo)都發(fā)生了明顯的旋轉(zhuǎn)變化。在目標(biāo)發(fā)生旋轉(zhuǎn)時(shí)，DSST、TLD、CSK都出現(xiàn)了明顯的跟蹤偏移，本文算法使用候選模板庫(kù)更新模板，使算法對(duì)目標(biāo)旋轉(zhuǎn)具有高度魯棒性。

Fig.7 Comparison of tracking results圖7 跟蹤結(jié)果對(duì)比

（3）尺度變化，Bike1、Plane_ce視頻序列中，目標(biāo)發(fā)生了相對(duì)較快的尺度變化。Plane_ce中MEEM、TLD、CSK算法先后丟失跟蹤目標(biāo)，其余算法基本能跟蹤到目標(biāo)。由圖10可知8種算法中This paper在兩個(gè)序列上的跟蹤成功率是最高的，說(shuō)明本文算法很好地適應(yīng)了目標(biāo)的尺度變化。

（4）光照變化，Skyjumping_ce2、Tiger1、Liquor視頻序列中背景出現(xiàn)劇烈的光照變化。SAMF、DCF、OAB能夠成功跟蹤目標(biāo)，但都伴隨有不同程度的跟蹤誤差，本文算法在目標(biāo)發(fā)生光照變化時(shí)，在保證目標(biāo)模板可靠性基礎(chǔ)上，采用候選模板庫(kù)匹配，保存目標(biāo)光照變化條件下的模板，保證了光照變化時(shí)的精確跟蹤，在光照回到初始狀態(tài)時(shí)，利用候選模板庫(kù)中正常光照下的目標(biāo)模板進(jìn)行匹配，實(shí)現(xiàn)穩(wěn)定的跟蹤。

（5）相似目標(biāo)，Girlmov、Jogging、Liquor視頻序列中，背景中存在一個(gè)或多個(gè)與目標(biāo)相似的運(yùn)動(dòng)物體，在目標(biāo)或背景中物體發(fā)生運(yùn)動(dòng)時(shí)，本文算法能準(zhǔn)確跟蹤目標(biāo)并且自適應(yīng)地調(diào)整跟蹤框的尺寸大小，較其他7種算法有更強(qiáng)的適應(yīng)性。

4 結(jié)束語(yǔ)

本文提出了一種基于深度特征和模板更新的自適應(yīng)粒子濾波目標(biāo)跟蹤的方法，將一幅目標(biāo)模板及其仿射變換得到的圖像放入候選模板庫(kù)中，然后通過(guò)預(yù)測(cè)結(jié)果的深度特征與目標(biāo)模板及其仿射變換的深度特征進(jìn)行對(duì)比，確定新的目標(biāo)模板，并將新的目標(biāo)模板及其仿射變換放入候選模板庫(kù)中，進(jìn)一步提高了對(duì)目標(biāo)表觀變化的適應(yīng)性。最后，在粒子濾波算法框架下完成對(duì)目標(biāo)的定位。在遮擋、光照變化、目標(biāo)旋轉(zhuǎn)、尺度變化和存在相似目標(biāo)條件下，仿真實(shí)驗(yàn)表明本文算法是有效的。

Fig.8 Tracking accuracy graphs圖8 中心位置誤差曲線

Fig.9 Tracking precision plots圖9 跟蹤精度曲線

Fig.10 Tracking success plots圖10 跟蹤成功率曲線