楊勇，張軼

（1.四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065；2.四川大學(xué)視覺(jué)合成圖形圖像技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，成都610065）

0 引言

行人目標(biāo)跟蹤在無(wú)人駕駛、智能監(jiān)控、智能交通等方面都有重要意義的研究課題，在智能監(jiān)控，可以通過(guò)對(duì)行人軌跡實(shí)時(shí)分析，得到行人相關(guān)事件；在智能交通中，可以通過(guò)行人軌跡對(duì)行人運(yùn)行方向進(jìn)行預(yù)判，有效地預(yù)防交通事故；在人流統(tǒng)計(jì)方面，可以通過(guò)對(duì)行人軌跡分析，實(shí)施人流監(jiān)控等?？傊瑢?duì)任何行人相關(guān)分析都離不開(kāi)對(duì)行人軌跡的分析，即要在保證跟蹤效果的前提下，提高系統(tǒng)跟蹤速度。本文在解決行人跟蹤速度的同時(shí)提高了系統(tǒng)行人跟蹤效果。

1 概述

1.1 行人目標(biāo)檢測(cè)概述

在傳統(tǒng)算法中，行人檢測(cè)效果主要取決于特征描述子，如何提取更優(yōu)的行人特征描述子成為眾多學(xué)者研究的重點(diǎn)。其中最為突出的當(dāng)是Dalal 等提出行人HOG 特征描述子是目前廣泛使用的行人檢測(cè)特征描述子，其對(duì)光照變化和小量的偏移并不敏感，能有效地刻畫(huà)出人體的邊緣特征[1]。然后訓(xùn)練SVM 分類器或者使用AdaBoost 算法構(gòu)建級(jí)聯(lián)分類器進(jìn)行行人檢測(cè)[2]。在此后也提出了很多基于行人檢測(cè)的特征描述子，例如Edgelet、邊緣模板、LBP 等，都取得了比較好的效果。但是在2012 年ImageNet 圖像識(shí)別比賽，CNN 網(wǎng)絡(luò)AlexNet 一舉奪得冠軍[3]，開(kāi)啟了深度學(xué)習(xí)目標(biāo)檢測(cè)的歷史新篇章，不斷刷新目標(biāo)識(shí)別的檢測(cè)率，甚至超過(guò)人類肉眼的識(shí)別水平。相比于傳統(tǒng)方法，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法能夠?qū)W習(xí)到更好的目標(biāo)特征，對(duì)目標(biāo)具有更豐富的表達(dá)能力，隨著深度學(xué)習(xí)在行人檢測(cè)方面的應(yīng)用，也極大地提高了行人檢測(cè)效果。

1.2 目標(biāo)跟蹤概述

TLD 算法為長(zhǎng)時(shí)間跟蹤算法的經(jīng)典代表，該算法在當(dāng)保證效果的前提下基本上能夠達(dá)到實(shí)時(shí)，并且是為數(shù)不多的長(zhǎng)時(shí)間跟蹤算法，提出了Tracking-By-Detect 方案，在線更新模板，使得算法能夠自適應(yīng)的跟蹤目標(biāo)[4]。陳東岳等人在Mean-shift 算法框架下提出一種基于多特征在線模板更新策略的魯棒目標(biāo)跟蹤算法，其具有較強(qiáng)的魯棒性和較高的準(zhǔn)確性[5]。相關(guān)濾波器相關(guān)算法仍是目前傳統(tǒng)跟蹤算法研究熱點(diǎn)，其中最具有代表性的為KCF 算法。KCF 使用目標(biāo)周圍區(qū)域的循環(huán)矩陣采集正負(fù)樣本，利用脊回歸訓(xùn)練目標(biāo)檢測(cè)器，并成功的利用循環(huán)矩陣在傅里葉空間可對(duì)角化的性質(zhì)將矩陣的運(yùn)算轉(zhuǎn)化為向量元素的點(diǎn)乘，大大降低了運(yùn)算量，使算法滿足實(shí)時(shí)性要求[6]。目前傳統(tǒng)跟蹤算法中效果較好且跟蹤速度能夠達(dá)到實(shí)時(shí)的算法為ECO+，其跟蹤效果能達(dá)到使用深度學(xué)習(xí)網(wǎng)絡(luò)跟蹤的效果[7]。

隨著深度學(xué)習(xí)的在目標(biāo)檢測(cè)的運(yùn)用，相繼探索深度學(xué)習(xí)在目標(biāo)跟蹤中的運(yùn)用，DLT 作為第一個(gè)將深度網(wǎng)絡(luò)運(yùn)用于單目標(biāo)跟蹤的跟蹤算法，提出了離線預(yù)訓(xùn)練＋在線微調(diào)的思路，很大程度的解決了跟蹤中訓(xùn)練樣本不足的問(wèn)題[8]。FCNT 分析了CNN 不同層的特征特點(diǎn)，得到深度網(wǎng)絡(luò)高層特征擅長(zhǎng)區(qū)分不同類別的物體，對(duì)目標(biāo)的形變和遮擋具有較好的魯棒性，但是對(duì)類內(nèi)物體的區(qū)分能力非常差[9]。低層特征更關(guān)注目標(biāo)的局部細(xì)節(jié)，可以用來(lái)區(qū)分背景中相似的干擾項(xiàng)，但是對(duì)目標(biāo)的劇烈形變不具備較好的魯棒性。2016 年Luca Bertinetto 等學(xué)者提出SiamFC 網(wǎng)絡(luò)，一個(gè)新穎的全卷積孿生網(wǎng)絡(luò)，并使用ILSVRC15 數(shù)據(jù)集進(jìn)行端到端訓(xùn)練。該算法達(dá)到了實(shí)時(shí)性要求，盡管它非常簡(jiǎn)單，但在多個(gè)benchmark 上達(dá)到最優(yōu)的性能，將深度學(xué)習(xí)在目標(biāo)跟蹤領(lǐng)域推向一個(gè)新的里程碑。此后諸多學(xué)者在此網(wǎng)絡(luò)進(jìn)行改進(jìn)，例如Siamese-RPN 將SiamFC 和RPN網(wǎng)絡(luò)相結(jié)合[10]，SiamRPN++使用了深層網(wǎng)絡(luò)，且使用了多層網(wǎng)絡(luò)特征進(jìn)行融合[11]，均達(dá)到不錯(cuò)的跟蹤效果。但是其并沒(méi)有實(shí)時(shí)更新匹配模板，由于行人不具備剛性條件，或者由于光照等原因，容易導(dǎo)致系統(tǒng)跟蹤失敗，從而導(dǎo)致算法不容易使用于實(shí)際項(xiàng)目中。

2 基于Faster R-CNN和SiamFC網(wǎng)絡(luò)融合算法的提出

2.1 行人目標(biāo)跟蹤方案分析

目前工程中使用行人單目標(biāo)跟蹤方案基本上可以分為兩種：方案一是使用行人識(shí)別算法對(duì)視頻幀進(jìn)行逐幀檢測(cè)，然后將行人目標(biāo)框連接，成為目標(biāo)軌跡，此方案能夠?qū)崿F(xiàn)目標(biāo)的長(zhǎng)時(shí)間跟蹤；方案二是使用跟蹤算法，在第一幀手動(dòng)框出行人目標(biāo)，或者是使用識(shí)別算法檢測(cè)出行人目標(biāo)，利用跟蹤算法對(duì)行人進(jìn)行跟蹤，此方案能夠?qū)崿F(xiàn)短時(shí)間跟蹤目標(biāo)。

在方案一中檢測(cè)網(wǎng)絡(luò)的效果和檢測(cè)時(shí)間成反比，檢測(cè)算法越復(fù)雜，系統(tǒng)能夠更好地提取圖像特征，則系統(tǒng)檢測(cè)效果更好，但由于網(wǎng)絡(luò)比較深，系統(tǒng)參數(shù)較多，導(dǎo)致系統(tǒng)檢測(cè)時(shí)間增加，無(wú)法進(jìn)行實(shí)時(shí)行人目標(biāo)跟蹤。反之，網(wǎng)絡(luò)的表達(dá)能力越弱，則其相應(yīng)的檢測(cè)精度就隨之下降，則算法容易導(dǎo)致系統(tǒng)行人跟丟。都不容易將算法運(yùn)用于實(shí)際場(chǎng)景。所以要使此方案運(yùn)用于實(shí)際場(chǎng)景，只能增加提高系統(tǒng)的運(yùn)算能力，增加系統(tǒng)配置。此方案的優(yōu)點(diǎn)在于能夠提取行人目標(biāo)的深度語(yǔ)義特征，識(shí)別能力比較強(qiáng)。但此方案缺點(diǎn)在于逐幀檢測(cè)，并未利用視頻上下文信息，所以不能提高系統(tǒng)檢測(cè)幀率，且在實(shí)時(shí)視頻目標(biāo)檢測(cè)時(shí)，使用Faster R-CNN 在使用NVIDIA 1080Ti 顯卡平臺(tái)下，該算法的速度只能達(dá)到13fps。且視頻圖片存在運(yùn)動(dòng)模糊等情況，會(huì)導(dǎo)致現(xiàn)局部跟蹤失敗的情況，降低系統(tǒng)的跟蹤效率。如圖1所示，前兩幀圖像系統(tǒng)能夠正確檢測(cè)，但是視頻中行人存在運(yùn)動(dòng)模糊，導(dǎo)致后兩幀系統(tǒng)無(wú)法檢測(cè)行人，導(dǎo)致局部跟蹤失敗。

圖1 檢測(cè)跟蹤算法檢測(cè)成功和失敗圖

方案二選擇跟蹤算法實(shí)現(xiàn)行人目標(biāo)，此方案的優(yōu)點(diǎn)在于跟蹤算法結(jié)構(gòu)簡(jiǎn)單，能夠達(dá)到實(shí)時(shí)，但是其缺點(diǎn)為在跟蹤過(guò)程中，行人目標(biāo)容易發(fā)生形變、被遮擋、或者光照變化等原因，容易導(dǎo)致目標(biāo)跟丟的情況，并且跟蹤失效后無(wú)法重新找回目標(biāo)，從而導(dǎo)致算法失效。如圖2 所示，跟蹤算法在剛開(kāi)始能夠準(zhǔn)的跟蹤目標(biāo)，但是由于行人走至樹(shù)下，表現(xiàn)為系統(tǒng)光照變化，導(dǎo)致行人目標(biāo)跟蹤失敗。且后續(xù)模板無(wú)法更新，導(dǎo)致系統(tǒng)無(wú)法找回目標(biāo)，跟蹤失敗。

圖2 跟蹤算法跟蹤失敗序列

針對(duì)現(xiàn)有行人目標(biāo)跟蹤方案一和方案二的優(yōu)缺點(diǎn)，利用檢測(cè)算法在關(guān)鍵幀初始化跟蹤網(wǎng)絡(luò)，降低跟蹤網(wǎng)絡(luò)誤差，避免由于視頻模糊、光照等使跟蹤網(wǎng)絡(luò)模板失效，導(dǎo)致跟蹤失敗，利用跟蹤網(wǎng)絡(luò)提取行人目標(biāo)淺層輪廓特征進(jìn)行跟蹤，提高系統(tǒng)跟蹤效率。

2.2 行人檢測(cè)算法網(wǎng)絡(luò)介紹

行人檢測(cè)算法使用Faster R-CNN 網(wǎng)絡(luò)為twostage 目標(biāo)檢測(cè)網(wǎng)絡(luò)，該網(wǎng)絡(luò)在R-CNN、Fast R-CNN 網(wǎng)絡(luò)上逐步改進(jìn)而提出，在R-CNN 和Fast R-CNN 網(wǎng)絡(luò)中，網(wǎng)絡(luò)的大部分時(shí)間花銷在提取預(yù)選框上[12]，F(xiàn)aster R-CNN 提出使用網(wǎng)絡(luò)直接提取預(yù)選框的方法。通過(guò)引入?yún)^(qū)域生成網(wǎng)絡(luò)（RPN）算法提取預(yù)選框，減少系統(tǒng)提取預(yù)選框的時(shí)間，RPN 從一組預(yù)先確定的錨點(diǎn)通過(guò)網(wǎng)絡(luò)的分類和回歸生成預(yù)選框。然后將預(yù)選框通過(guò)ROI Pooling 得到固定的特征圖，通過(guò)分類網(wǎng)絡(luò)將候選框進(jìn)行分類和回歸，得到最終的目標(biāo)和回歸更加精準(zhǔn)的目標(biāo)框。這不僅使檢測(cè)器更加準(zhǔn)確，并且預(yù)選框通過(guò)RPN 與檢測(cè)網(wǎng)絡(luò)的聯(lián)合訓(xùn)練，可實(shí)現(xiàn)端到端訓(xùn)練。即圖像一次性即可檢測(cè)出目標(biāo)。Faster R-CNN 的網(wǎng)絡(luò)結(jié)構(gòu)如下，由特征提取網(wǎng)絡(luò)VGG16[13]、RPN 網(wǎng)絡(luò)、ROI Pooling 網(wǎng)絡(luò)[14]和全連接層分類網(wǎng)絡(luò)構(gòu)成。

圖3 Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)圖

特征提?。罕疚囊肰GG16 作為特征提取網(wǎng)絡(luò)，輸入圖像縮放到（600×800）通過(guò)13 個(gè)conv 層，13 個(gè)relu 層，和4 個(gè)pooling 層，得到系統(tǒng)的高維特征圖為輸入圖像寬和高的1/16，即（38×50）。

RPN 網(wǎng)絡(luò)：由VGG16 得到的特征層，映射到原圖得到候選區(qū)域，本文特征尺寸為（38×50），原論文中在選區(qū)錨點(diǎn)時(shí)使用參數(shù)為ratios=[0.5,1,2]，scales=[8,16,32]。每個(gè)點(diǎn)通過(guò)映射得到9 個(gè)錨點(diǎn)。在本論文中，由于檢測(cè)特定行人目標(biāo)，出于行人形狀考慮，本文將ratios 設(shè)置為[0.5,0.8,1]，使之更加符合行人形狀。得到38×50×9=17100 個(gè)錨點(diǎn)，通過(guò)RPN 網(wǎng)絡(luò)分類和回歸得到前景目標(biāo)框。其分類損失函數(shù)為：

式（1）中Lreg表示的是L1損失函數(shù)，其預(yù)測(cè)的是相對(duì)于錨點(diǎn)的偏量：

其中xpredict, ypredict, wpredict, hpredict為網(wǎng)絡(luò)預(yù)測(cè)目標(biāo)框；xanchor，yanchor，wanchor，hanchor為錨點(diǎn)目標(biāo)框；xtrue，ytrue，wtrue，htrue為真實(shí)行人目標(biāo)框；

式（1）中Lcls為Softmax 損失函數(shù)：

其中y 為樣本標(biāo)簽，zi為RPN 網(wǎng)絡(luò)預(yù)測(cè)類別值；

ROI Pooling 網(wǎng)絡(luò)：將RPN 得到的候選框在特征層上劃分為7×7 的區(qū)域，每個(gè)區(qū)域提取最大值，得到7×7的特征。

全連接層分類：將候選框得到的前景框的前300個(gè)目標(biāo)框進(jìn)行分類和回歸，得到最終的目標(biāo)框。

本文由于將Faster R-CNN 用于視頻目標(biāo)檢測(cè)，由于行人目標(biāo)跟蹤視頻圖像存在模糊情況，檢測(cè)網(wǎng)絡(luò)的效果直接決定跟蹤的效果，本文在訓(xùn)練行人目標(biāo)檢測(cè)網(wǎng)絡(luò)時(shí)，為提高行人檢測(cè)效果，在訓(xùn)練行人檢測(cè)目標(biāo)模型時(shí)，使用在城市環(huán)境中正常行駛的車輛拍攝的Caltech 數(shù)據(jù)集，同時(shí)也加入了目標(biāo)跟蹤OTB 數(shù)據(jù)集和視頻目標(biāo)檢測(cè)數(shù)據(jù)集VID2015 中的模糊行人數(shù)據(jù)集，提高了模型的檢測(cè)能力。

2.3 跟蹤網(wǎng)絡(luò)介紹

SiamFC 網(wǎng)絡(luò)為2016 年基于孿生網(wǎng)絡(luò)上改進(jìn)的用于目標(biāo)跟蹤領(lǐng)域的網(wǎng)絡(luò)[16]，該跟蹤器在速度達(dá)到實(shí)時(shí)性要求，雖然網(wǎng)絡(luò)比較簡(jiǎn)單，但是在多個(gè)benchmark 上達(dá)到最優(yōu)的性能。SiamFC 網(wǎng)絡(luò)就是初始離線階段把深度卷積網(wǎng)絡(luò)看成一個(gè)更通用的相似性學(xué)習(xí)問(wèn)題，然后在跟蹤時(shí)對(duì)目標(biāo)進(jìn)行在線的簡(jiǎn)單估計(jì)。由于網(wǎng)絡(luò)非常簡(jiǎn)單，僅僅是學(xué)習(xí)目標(biāo)之間的相似性，所以該算法能夠達(dá)到實(shí)時(shí)，該網(wǎng)絡(luò)結(jié)構(gòu)如圖4[17]。

圖4 SiamFC網(wǎng)絡(luò)結(jié)構(gòu)

該算法提出學(xué)習(xí)一個(gè)函數(shù)f( x,z )來(lái)比較樣本圖像z 和搜索圖像x 的相似性，分別通過(guò)相同網(wǎng)絡(luò)提取模板圖像和搜索圖像的特征圖，用公式φ 表示，如果兩個(gè)圖像特征相似性非常高的圖像，則返回較高分，否則返回低分。公式如下：

其中：函數(shù)φ 是一個(gè)特征提取函數(shù)；

函數(shù)*為特征的相關(guān)性，即為兩個(gè)圖像卷積；

其損失函數(shù)為：

其中：l 為邏輯回歸損失函數(shù)；

D 為網(wǎng)絡(luò)得到的得分Map，u 為得Map 中的點(diǎn)；

將匹配圖片縮放到不同尺度，得到不同尺度下的特征匹配圖片Di；

2.4 檢測(cè)跟蹤算法融合

本文為提高系統(tǒng)跟蹤速度和質(zhì)量，提出將目標(biāo)檢測(cè)網(wǎng)絡(luò)和目標(biāo)跟蹤網(wǎng)絡(luò)自適應(yīng)融合，利用Faster R-CNN 檢測(cè)網(wǎng)絡(luò)在視頻關(guān)鍵幀時(shí)提取系統(tǒng)深度語(yǔ)義特征，對(duì)行人進(jìn)行檢測(cè)跟蹤。在非關(guān)鍵幀時(shí)利用視頻前后幀行人目標(biāo)具有高度相似性，使用SiamFC 提取目標(biāo)淺層輪廓特征，在當(dāng)前幀中找到與模板具有高度相似的目標(biāo)，對(duì)行人進(jìn)行跟蹤。由于在對(duì)行人進(jìn)行跟蹤時(shí)，行人目標(biāo)形狀或者光照等變化，導(dǎo)致跟蹤網(wǎng)絡(luò)SiamFC 模板失效，所以在關(guān)鍵幀使用Faster R-CNN 檢測(cè)結(jié)果對(duì)跟蹤網(wǎng)絡(luò)SiamFC 模板進(jìn)行更新，提高跟蹤網(wǎng)絡(luò)質(zhì)量。由于跟蹤系統(tǒng)輸出結(jié)果應(yīng)具有連續(xù)性，當(dāng)在系統(tǒng)判定為跟蹤失敗時(shí)，啟動(dòng)檢測(cè)和跟蹤算法對(duì)系統(tǒng)輸出結(jié)果進(jìn)行約束，并根據(jù)結(jié)果及時(shí)更新跟蹤系統(tǒng)模板。

系統(tǒng)正常跟蹤時(shí)在關(guān)鍵幀使用Faster R-CNN 檢測(cè)跟蹤，在跟蹤失敗時(shí)才同時(shí)啟動(dòng)檢測(cè)和跟蹤網(wǎng)絡(luò)對(duì)跟蹤系統(tǒng)進(jìn)行約束跟蹤，F(xiàn)aster R-CNN 由VGG16、PRN以及分類網(wǎng)絡(luò)構(gòu)成，SiamFC 網(wǎng)絡(luò)由5 層簡(jiǎn)單網(wǎng)絡(luò)構(gòu)成，降低了系統(tǒng)的計(jì)算量，因此融合方案可將跟蹤速度提高至方案一（逐幀使用Faster R-CNN 檢測(cè)跟蹤）的3倍左右。在關(guān)鍵幀或者系統(tǒng)判定為跟蹤失敗時(shí)都會(huì)利用Faster R-CNN 檢測(cè)的行人目標(biāo)時(shí)時(shí)更新跟蹤網(wǎng)絡(luò)模板，因此相比于方案二（跟蹤網(wǎng)絡(luò)未更新模板）提高了系統(tǒng)跟蹤質(zhì)量。

算法首先由檢測(cè)網(wǎng)絡(luò)檢測(cè)出行人目標(biāo)框，并初始化跟蹤網(wǎng)絡(luò)模板，然后使用跟蹤網(wǎng)絡(luò)對(duì)目標(biāo)進(jìn)行跟蹤。以下為視頻幀拆開(kāi)序列算法邏輯圖如圖5。

圖5 行人檢測(cè)和跟蹤算法邏輯圖

跟蹤算法的結(jié)果應(yīng)該具有結(jié)構(gòu)性即每一幀圖像內(nèi)行人最多只出現(xiàn)在一個(gè)位置，相鄰幀間行人目標(biāo)運(yùn)動(dòng)是連續(xù)的，連續(xù)幀的位置行人的軌跡可以構(gòu)成一條較平滑的軌跡。且相鄰幀間行人目標(biāo)框大小變化也具備連續(xù)性，不應(yīng)產(chǎn)生突變，即當(dāng)前幀中心點(diǎn)到上一幀中心點(diǎn)l2-norm距離以及當(dāng)前幀和上一幀的IOU（面積重疊度）應(yīng)該保持在一定范圍，超過(guò)此范圍則視為當(dāng)前跟蹤偏離了行人軌跡，需要使用檢測(cè)和跟蹤算法融合，本文通過(guò)目標(biāo)中心點(diǎn)l2-norm距離以及目標(biāo)框重疊度對(duì)系統(tǒng)檢測(cè)或者跟蹤結(jié)果進(jìn)行約束，保證系統(tǒng)目標(biāo)的連續(xù)性[18]。如果不滿足要求則啟動(dòng)檢測(cè)網(wǎng)絡(luò)，并將檢測(cè)和跟蹤結(jié)果自適應(yīng)融合。其融合算法：

行人目標(biāo)框中心點(diǎn)自適應(yīng)融合算法和公式：

其中：Dis 為前幀行人目標(biāo)框中心點(diǎn)和當(dāng)前跟蹤行人目標(biāo)框中心點(diǎn)l2-norm距離；Plast為前幀行人目矩形框中心點(diǎn)；Pdetect為檢測(cè)行人框中心點(diǎn)；Ptrack為跟蹤行人框中心點(diǎn)；DisRatiodetect為檢測(cè)行人框中心點(diǎn)權(quán)重；文中Dis=30 為實(shí)驗(yàn)值。

行人目標(biāo)框?qū)捄透咦赃m應(yīng)融合算法和公式：

其中：IOU 為前后兩幀人框重疊度；Wr為融合后行人框?qū)挾龋琖d為跟蹤行人框?qū)挾?，Wt為檢測(cè)行人框?qū)挾?；Hr為融合后行人框高度，Hd為跟蹤行人框高度，Ht為檢測(cè)行人框高度；IOURatiodetect檢測(cè)行人框?qū)?、高?quán)重；注：文中參數(shù)IOU=0.3 為實(shí)驗(yàn)值；

檢測(cè)和跟蹤算法融合流程圖如圖6 所示。

圖6 檢測(cè)和跟蹤算法融合流程圖

3 算法實(shí)驗(yàn)分析

3.1 檢測(cè)方案和檢測(cè)跟蹤融合算法方案對(duì)比分析（在跟蹤視頻幀中選取特定序列）

如圖7 所示僅使用檢測(cè)算法時(shí)，由于視頻序列存在模糊情況，使算法無(wú)法檢測(cè)到行人目標(biāo)，導(dǎo)致目標(biāo)跟蹤局部視頻序列跟蹤失敗，視頻序列中第35 幀檢測(cè)出行人，但是第36 幀，第37 幀并未檢測(cè)出行人，出現(xiàn)局部跟蹤失敗情況。如圖8 所示使用檢測(cè)與跟蹤算法融合時(shí)，當(dāng)檢測(cè)失敗，啟動(dòng)跟蹤算法，跟蹤算法利用幀間行人目標(biāo)相似度，對(duì)目標(biāo)進(jìn)行跟蹤，由于跟蹤算法只是提取系統(tǒng)淺層輪廓特征，所以使得行人目標(biāo)能夠很好地進(jìn)行跟蹤，并且在系統(tǒng)判定為跟蹤失敗時(shí)，使用檢測(cè)和跟蹤算法融合，表現(xiàn)出良好的跟蹤質(zhì)量。圖9 為視頻跟蹤結(jié)果和標(biāo)定結(jié)果的中心點(diǎn)和重疊度曲線圖，藍(lán)色為只使用檢測(cè)算法系統(tǒng)跟蹤質(zhì)量曲線，紅色為使用檢測(cè)與跟蹤算法融合系統(tǒng)跟蹤質(zhì)量曲線，圖9a 中為系統(tǒng)跟蹤結(jié)果的行人目標(biāo)框中心點(diǎn)與標(biāo)定行人真實(shí)框中點(diǎn)l2-norm距離，其中大于100 以上的均為系統(tǒng)漏檢導(dǎo)致，紅色為檢測(cè)跟蹤融合算法行人目標(biāo)框中心點(diǎn)與標(biāo)定行人真實(shí)框中心點(diǎn)l2-norm距離。由實(shí)驗(yàn)所得，只使用檢測(cè)算法進(jìn)行跟蹤時(shí)，系統(tǒng)平均l2-norm平均為26，而使用檢測(cè)和跟蹤算法融合時(shí)，系統(tǒng)平均l2-norm距離降低為11。圖9b 為系統(tǒng)跟蹤結(jié)果行人目標(biāo)框和標(biāo)定行人真實(shí)目標(biāo)框重疊度曲線，其中藍(lán)色重疊度小于0.4 的為使用檢測(cè)算法時(shí)漏檢導(dǎo)致跟蹤失效，其平均重疊度為0.86，而紅色曲線為檢測(cè)跟蹤融合算法重疊度，其平均重疊度為0.92，根據(jù)實(shí)驗(yàn)證明檢測(cè)和跟蹤算法融合跟蹤質(zhì)量更高，系統(tǒng)跟蹤更加穩(wěn)定。

圖7 檢測(cè)算法結(jié)果

圖8 跟蹤和檢測(cè)融合算法結(jié)果

圖9 檢測(cè)和跟蹤融合算法和檢測(cè)算法l2-norm距離和重疊度結(jié)果

3.2 檢測(cè)跟蹤融合算法方案和跟蹤方案對(duì)比分析（在跟蹤視頻幀中選取特定序列）

如圖10 所示，在僅僅使用跟蹤算法時(shí)，系統(tǒng)由于只使用初始幀作為模板，而由于行人不具備剛性性質(zhì)，在跟蹤過(guò)程中容易發(fā)生形變，所以出現(xiàn)跟蹤丟得情況，如圖所示行人目標(biāo)在第134 幀以后跟丟，并且在后續(xù)過(guò)程中并未找回目標(biāo)，跟蹤失敗。圖11 所示為使用檢測(cè)跟蹤算法融合，系統(tǒng)根據(jù)跟蹤算法結(jié)果自適應(yīng)更新跟蹤模板，在系統(tǒng)跟蹤失敗以后，使用檢測(cè)網(wǎng)絡(luò)檢測(cè)重新初始化跟蹤網(wǎng)絡(luò)模板。圖12 為僅使用跟蹤網(wǎng)絡(luò)和使用檢測(cè)和跟蹤網(wǎng)絡(luò)融合系統(tǒng)跟蹤l2-norm距離和重疊度結(jié)果比較圖，其中藍(lán)色為僅使用跟蹤網(wǎng)絡(luò)結(jié)果曲線，紅色為檢測(cè)和跟蹤網(wǎng)絡(luò)融合結(jié)果曲線。其中圖12a 為算法結(jié)果行人目標(biāo)框和真實(shí)行人目標(biāo)框l2-norm距離，藍(lán)色曲線為跟蹤算法結(jié)果，藍(lán)色曲線突然上升是因?yàn)閮H僅使用跟蹤網(wǎng)絡(luò)，系統(tǒng)無(wú)法更新匹配模板，由于遮擋導(dǎo)致跟蹤失敗，其平均l2-norm距離為36，而紅色曲線為檢測(cè)和跟蹤算法融合結(jié)果曲線，其平均l2-norm距離為3，圖12b 為算法結(jié)果行人目標(biāo)框和真實(shí)行人目標(biāo)框重疊度曲線圖，其中藍(lán)色重疊度突然下降，為系統(tǒng)由于遮擋導(dǎo)致跟蹤失敗，其平均重疊度為0.35，而紅色為檢測(cè)和跟蹤算法重疊度，其平均重疊度為0.65，根據(jù)實(shí)驗(yàn)證明檢測(cè)跟蹤算法融合跟蹤質(zhì)量更高，其跟蹤效果更加穩(wěn)定。

圖10 跟蹤算法結(jié)果

圖11 檢測(cè)和跟蹤算法融合結(jié)果

圖12 檢測(cè)和跟蹤算法融合和跟蹤算法l2-norm距離和重疊度

3.3 算法結(jié)果數(shù)據(jù)表

表1 為使用相關(guān)算法對(duì)行人目標(biāo)進(jìn)行跟蹤得到的重疊度、中心點(diǎn)歐氏距離以及跟蹤幀率比較（16 個(gè)視頻平均數(shù)）。

表1 算法跟蹤指標(biāo)

在表1 中，其中Faster R-CNN 算法為對(duì)視頻逐幀進(jìn)行檢測(cè)跟蹤，并將檢測(cè)結(jié)果應(yīng)用于跟蹤，該方法優(yōu)點(diǎn)為除了由于視頻模糊等原因?qū)е孪到y(tǒng)漏檢，其余大部分幀能夠獲得很好的結(jié)果，由表中數(shù)據(jù)可知其l2-norm比較小且重疊度比較高，但是該方案由于使用深度網(wǎng)絡(luò)提取圖片語(yǔ)義特征，算法較為復(fù)雜導(dǎo)致系統(tǒng)幀率比較低。其中SSD 和Faster R-CNN 算法思想相同，其幀率比較高但漏檢率很高，導(dǎo)致系統(tǒng)跟蹤效果不理想。DCFNet 跟蹤算法雖然能夠時(shí)時(shí)跟蹤模板，但是其模板都是與前幀跟蹤結(jié)果相關(guān)，因?yàn)樾腥瞬痪邆鋭傂?，所以容易?dǎo)致系統(tǒng)跟蹤失敗。SiamFC 為簡(jiǎn)單的跟蹤算法，其優(yōu)點(diǎn)是跟蹤速度快，但是系統(tǒng)并不能時(shí)時(shí)更新模板，更新導(dǎo)致系統(tǒng)不能長(zhǎng)時(shí)間的進(jìn)行跟蹤。在跟蹤一段時(shí)間以后容易跟丟，導(dǎo)致系統(tǒng)的l2-norm距離比較高，重疊度比較低。DFF（視頻目標(biāo)跟蹤）在關(guān)鍵幀使用檢測(cè)算法，在非關(guān)鍵幀使用光流進(jìn)行輔助跟蹤，由于需要計(jì)算光流圖，導(dǎo)致系統(tǒng)的跟蹤速度比較慢。實(shí)驗(yàn)證明檢測(cè)和跟蹤算法融合提高系統(tǒng)的跟蹤質(zhì)量且提高了系統(tǒng)跟蹤速度，達(dá)到實(shí)時(shí)跟蹤效果，其幀率平均為37fps。

如圖13 所示藍(lán)色曲線為真實(shí)的行人軌跡，紅色曲線為融合算法跟蹤軌跡，實(shí)驗(yàn)表明檢測(cè)和跟蹤融合算法能夠準(zhǔn)確的對(duì)行人目標(biāo)進(jìn)行跟蹤。

圖13 算法跟蹤軌跡圖示意圖

4 結(jié)語(yǔ)

本文充分利用視頻序列幀間信息關(guān)系，使用檢測(cè)網(wǎng)絡(luò)提取視頻幀語(yǔ)義特征，在關(guān)鍵幀更新系統(tǒng)跟蹤網(wǎng)絡(luò)模板，由于目標(biāo)不會(huì)突變，在相鄰目標(biāo)保持一致性，使用SiamFC 網(wǎng)絡(luò)對(duì)行人目標(biāo)進(jìn)行跟蹤，提高系統(tǒng)算法速度。本文在NVIDIA 1080TI 顯卡配置下，視頻能夠達(dá)到37fps。同時(shí)綜合跟蹤和檢測(cè)網(wǎng)絡(luò)的優(yōu)點(diǎn)，對(duì)兩個(gè)網(wǎng)絡(luò)進(jìn)行融合，提高了系統(tǒng)跟蹤質(zhì)量，但是使用的為1080TI 顯卡，后續(xù)可以通過(guò)改進(jìn)檢測(cè)網(wǎng)絡(luò)，降低檢測(cè)網(wǎng)絡(luò)的復(fù)雜度，縮短檢測(cè)時(shí)間，從而讓系統(tǒng)在更低硬件配置下能夠達(dá)到實(shí)時(shí)行人目標(biāo)跟蹤。同時(shí)本文并未實(shí)現(xiàn)端到端訓(xùn)練，后續(xù)可考慮將兩個(gè)網(wǎng)絡(luò)融合為一個(gè)網(wǎng)絡(luò)，實(shí)現(xiàn)端到端訓(xùn)練。