李方用

（中國(guó)電子科技集團(tuán)公司第五十四研究所，河北 石家莊 050081）

目標(biāo)跟蹤技術(shù)現(xiàn)有方法大多基于深度學(xué)習(xí)技術(shù)，行人目標(biāo)跟蹤技術(shù)主要包括兩類:單目標(biāo)跟蹤、多目標(biāo)跟蹤。單目標(biāo)跟蹤算法主要通過構(gòu)建復(fù)雜的外觀模型來跟蹤連續(xù)幀的單個(gè)目標(biāo)，多目標(biāo)跟蹤并不僅僅依賴外觀模型，因?yàn)樵诟叨葥頂D或目標(biāo)間存在相似外觀的多目標(biāo)跟蹤場(chǎng)景中，僅依賴外觀模型可能降低算法的效率和準(zhǔn)確率。

一、單目標(biāo)跟蹤算法

基于孿生網(wǎng)絡(luò)算法的目標(biāo)跟蹤技術(shù)是通過卷積神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)與搜索區(qū)域的特征進(jìn)行提取，并分析所提取的目標(biāo)與搜索區(qū)域的特征之間的相關(guān)性，在目標(biāo)相關(guān)性響應(yīng)圖中，響應(yīng)值最大則說明與目標(biāo)相關(guān)性最強(qiáng)，相關(guān)性最強(qiáng)的位置即為目標(biāo)所在位置。Bertinetto 等人[1]提出全卷積孿生網(wǎng)絡(luò)(Siamese fully-convolutional networks，Siam FC)算法，該算法使用全卷積層的輸出作為模板分支與搜索分支的特征。在訓(xùn)練階段對(duì)兩個(gè)分支提取的特征進(jìn)行相關(guān)性計(jì)算得到響應(yīng)圖，生成相關(guān)性強(qiáng)度分布圖，并將相關(guān)性強(qiáng)度圖與標(biāo)簽進(jìn)行對(duì)比，將得到的誤差回傳至卷積層。在跟蹤階段，卷積層的參數(shù)固定不變，在一幀目標(biāo)位置附近裁剪得到多尺度搜索區(qū)域，根據(jù)計(jì)算得到響應(yīng)圖中最大響應(yīng)值的位置即得到目標(biāo)位置。Siam FC類算法能達(dá)到80FPS的跟蹤速度，但是此算法存在的問題在于其不對(duì)模板進(jìn)行更新，因此不能有效的利用視頻中的目標(biāo)物的特征與信息追蹤特征變化的物體。針對(duì)上述問題，Bertinetto等人[2]將相關(guān)濾波算法處理成可微網(wǎng)絡(luò)層嵌入到模板分支，提出端到端的相關(guān)濾波網(wǎng)絡(luò)算法(Correlation Filters Network，CFNet)，該算法能夠與卷積神經(jīng)網(wǎng)絡(luò)一起得到訓(xùn)練，實(shí)現(xiàn)在線學(xué)習(xí)，使得模板分支能夠?qū)ψ兓繕?biāo)提取鑒別能力強(qiáng)的特征。Bertinetto 等人[3]采用相關(guān)濾波層對(duì)模板分支與搜索域分支特征進(jìn)行判別，訓(xùn)練階段利用模型輸出的響應(yīng)圖與響應(yīng)圖標(biāo)簽之間的誤差進(jìn)行反向傳遞，形成輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)(Discriminative Correlation Filters Network，DCFNet)算法。DCFNet 算法在跟蹤階段，根據(jù)相關(guān)濾波層的響應(yīng)圖確定目標(biāo)位置。相比于Siam FC 與CFNet 算法，由兩層卷積層和一層相關(guān)濾波層組成的DCFNet 算法網(wǎng)絡(luò)結(jié)構(gòu)更加簡(jiǎn)單，在線更新并進(jìn)行跟蹤速度能夠達(dá)到70 幀每秒的運(yùn)行速度 。但是DCFNet 算法由于結(jié)構(gòu)過于簡(jiǎn)單，其提取的特征難以應(yīng)對(duì)復(fù)雜背景環(huán)境，其適用性在一定程度上受到了限制。因此訓(xùn)練抗干擾能力強(qiáng)的目標(biāo)特征提取神經(jīng)網(wǎng)絡(luò)是亟待解決的問題。LeCun 等人提出LeNet[4]，模仿了視覺神經(jīng)網(wǎng)絡(luò)的工作方式，并將其命名為卷積神經(jīng)網(wǎng)絡(luò)。但由于當(dāng)時(shí)硬件條件的限制，神經(jīng)網(wǎng)絡(luò)算法并沒有得到較為廣泛的應(yīng)用。到2012 年，AlexNet 在 ImageNet 競(jìng)賽[5]中達(dá)到了80%以上的精度，自此卷積神經(jīng)網(wǎng)絡(luò)成為研究熱點(diǎn)。如今，隨著硬件條件的提高以及標(biāo)記數(shù)據(jù)處理能力的增強(qiáng)，促進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，深度學(xué)習(xí)理論在計(jì)算機(jī)視覺的眾多領(lǐng)域大放異彩。

運(yùn)動(dòng)模型主要目的是捕獲目標(biāo)的運(yùn)動(dòng)行為，學(xué)習(xí)目標(biāo)運(yùn)動(dòng)的方式。在多目標(biāo)跟蹤算法中引入運(yùn)動(dòng)模型，可以預(yù)估目標(biāo)在后續(xù)幀中可能存在的位置，減少了網(wǎng)絡(luò)對(duì)圖像的搜索空間，相比于僅使用外觀模型的跟蹤算法，基于運(yùn)動(dòng)模型與外觀模型的跟蹤算法能夠大幅度提升目標(biāo)跟蹤算法的準(zhǔn)確度。一般情況下，我們把多目標(biāo)跟蹤按照對(duì)數(shù)據(jù)的處理方式分類為在線跟蹤（online）和離線跟蹤（batch/offline）。在線和離線的主要區(qū)別在于，離線跟蹤的方式允許使用未來幀的信息，而在線跟蹤只能使用當(dāng)前和時(shí)間序列之前的幀。雖然實(shí)時(shí)跟蹤算法是以在線方式運(yùn)行，但由于計(jì)算性能瓶頸的限制，并不是所有在線跟蹤算法都在實(shí)時(shí)的環(huán)境中使用，尤其是在使用深度學(xué)習(xí)算法的時(shí)候。盡管多目標(biāo)跟蹤有各種各樣的方法，但大多數(shù)算法還是包含以下的步驟：首先是檢測(cè)階段，目標(biāo)檢測(cè)算法會(huì)分析每一個(gè)輸入幀，并識(shí)別屬于特定類別的對(duì)象，給出分類和坐標(biāo)。第二是特征提取/運(yùn)動(dòng)軌跡預(yù)測(cè)階段，這個(gè)階段采用一種或者多種特征提取算法用來提取表觀特征，運(yùn)動(dòng)或者交互特征。此外，還可以使用軌跡預(yù)測(cè)器預(yù)測(cè)該目標(biāo)的未來可能在的位置。接下來是相似度計(jì)算階段，在此階段表觀特征和運(yùn)動(dòng)特征可以被用于計(jì)算目標(biāo)之間的相似性。最后是關(guān)聯(lián)階段，此階段使用計(jì)算得到的相似性作為依據(jù)，將屬于同一目標(biāo)的檢測(cè)對(duì)象和軌跡關(guān)聯(lián)起來，并給檢測(cè)對(duì)象分配和軌跡相同的ID。

二、實(shí)驗(yàn)

實(shí)驗(yàn)步驟說明

首先在實(shí)際采集的13 個(gè)場(chǎng)景中測(cè)試行人跟蹤方法的效果。除了場(chǎng)景的變化因素之外，尺度因素、遮擋因素以及人數(shù)密集等問題都會(huì)對(duì)跟蹤效果產(chǎn)生影響，因此我們需要在不同場(chǎng)景、不同變化因素下對(duì)檢測(cè)器進(jìn)行測(cè)試。測(cè)試步驟如表1 所示：

表1 行人目標(biāo)跟蹤算法測(cè)試步驟

實(shí)驗(yàn)結(jié)果介紹說明

將不同場(chǎng)景的典型案例測(cè)試結(jié)果進(jìn)行展示，如圖3、圖4 所示：

圖3 場(chǎng)景1 的行人跟蹤效果：(a)、(b)、(c)、(d)分別表示同一視頻中的不同幀，數(shù)字表示行人的身份編號(hào)，跟蹤任務(wù)旨在判斷出各個(gè)行人的運(yùn)動(dòng)軌跡。

圖4 場(chǎng)景2 的行人跟蹤效果：(a)、(b)、(c)、(d)分別表示同一視頻中的不同幀，數(shù)字表示行人的身份編號(hào)，跟蹤任務(wù)旨在判斷出各個(gè)行人的運(yùn)動(dòng)軌跡。

結(jié)語：本文設(shè)計(jì)的基于無人機(jī)圖像的行人目標(biāo)跟蹤技術(shù)基于優(yōu)化設(shè)計(jì)的卷積網(wǎng)絡(luò)，對(duì)行人特征進(jìn)行了較好的表達(dá)，并利用了外觀相似度、軌跡吻合度對(duì)不同時(shí)刻物體的關(guān)聯(lián)性進(jìn)行評(píng)估。本文算法在無人機(jī)視角下的圖像中，克服了行人存在尺度、視角及圖像質(zhì)量的變化，獲得了較好的行人目標(biāo)跟蹤效果。