邱曉鵬

（中南大學(xué)，湖南長沙，410083）

1 相關(guān)背景

目標(biāo)跟蹤領(lǐng)域從上世紀(jì)五十年代發(fā)展至今已經(jīng)出現(xiàn)了很多不同的框架和算法，經(jīng)過國內(nèi)外研究學(xué)者的潛心研究，目標(biāo)跟蹤算法經(jīng)歷了從最開始的基于卡爾曼濾波的跟蹤算法到基于檢測或相關(guān)濾波的算法，然后到近幾年出現(xiàn)的與深度神經(jīng)網(wǎng)絡(luò)相結(jié)合的跟蹤算法的發(fā)展過程。在上世紀(jì)三十年代，隨著美國軍方設(shè)計(jì)的當(dāng)代第一款跟蹤雷達(dá)SCR-268投入使用，目標(biāo)跟蹤問題也隨之被人們提出。直到上世紀(jì)五十年到初期，Wax 首先提出了目標(biāo)跟蹤的概念，這標(biāo)志著目標(biāo)跟蹤正式進(jìn)入到科研領(lǐng)域之中。在之后的幾十年中，越來越多的優(yōu)秀算法被廣大研究學(xué)者提出。

隨著深度學(xué)習(xí)跟蹤算法的發(fā)展，將相關(guān)濾波與深度學(xué)習(xí)框架相融合，而后通過端到端的方式訓(xùn)練出目標(biāo)模型成為了一個(gè)熱點(diǎn)問題。在2018年，Park and Berg提出了元學(xué)習(xí)跟蹤算法和 Song提出的與生成式對抗網(wǎng)絡(luò)相結(jié)合的目標(biāo)跟蹤算法，二者都希望能夠通過多方面融合獲取更好的跟蹤性能，同時(shí)也是深度學(xué)習(xí)跟蹤算法工作上的最新進(jìn)展。通過與深度學(xué)習(xí)相結(jié)合，目標(biāo)跟蹤算法在最近這些年里取得了跨越式的發(fā)展，但是深度學(xué)習(xí)需要使用大量的數(shù)據(jù)來訓(xùn)練模型，在跟蹤過程中所使用的樣本往往只有連續(xù)視頻序列的第一幀，這導(dǎo)致了訓(xùn)練樣本數(shù)量的匱乏，并且在卷積神經(jīng)網(wǎng)絡(luò)中，隨著網(wǎng)絡(luò)層次的逐步加深，會逐步丟失目標(biāo)的位置信息，這對跟蹤任務(wù)反而有著負(fù)面的影響，過深的網(wǎng)絡(luò)反而會導(dǎo)致跟蹤任務(wù)的失敗，如何在深度網(wǎng)絡(luò)中充分的保留住目標(biāo)的位置信息是深度學(xué)習(xí)在目標(biāo)跟蹤上應(yīng)用的一個(gè)難點(diǎn)。

2 目標(biāo)跟蹤的難點(diǎn)

隨著目標(biāo)跟蹤技術(shù)的不斷發(fā)展，越來越多的優(yōu)秀算法被相繼提出，但是如何在復(fù)雜的場景下保證跟蹤器的精度依舊是一個(gè)不變的主題。跟蹤問題的主要難點(diǎn)在于：

（1）遮擋與消失：目標(biāo)跟蹤主要研究的問題就是確定目標(biāo)物體的運(yùn)動軌跡，目標(biāo)在運(yùn)動時(shí)極有可能被障礙物所遮擋導(dǎo)致目標(biāo)物體的消失或者是部分消失，這一問題是跟蹤領(lǐng)域最常面對的問題之一。當(dāng)目標(biāo)被遮擋時(shí)，那么背景信息也會出現(xiàn)在跟蹤框中，這就會對跟蹤器的在線更新產(chǎn)生負(fù)面的影響，導(dǎo)致跟蹤器漂移丟失目標(biāo)，同理，如果目標(biāo)消失，那么所帶來的影響會更為巨大。如何在目標(biāo)被遮擋或消失后重新調(diào)整跟蹤器是目標(biāo)跟蹤研究的一大難點(diǎn)。

（2）背景復(fù)雜多變：目標(biāo)跟蹤主要研究的內(nèi)容就是區(qū)分目標(biāo)與背景，目標(biāo)以外的內(nèi)容都被當(dāng)做背景處理，所以背景問題也是目標(biāo)跟蹤領(lǐng)域研究的重要問題之一。比如在背景與目標(biāo)極為相似的情況下，就可能導(dǎo)致跟蹤器的漂移而丟失目標(biāo)。在復(fù)雜背景下跟蹤器的建模難度也隨之提高，如何讓跟蹤器適應(yīng)復(fù)雜多變的背景內(nèi)容是目標(biāo)跟蹤領(lǐng)域研究的一大難點(diǎn)。

（3）目標(biāo)外觀多變性：在目標(biāo)跟蹤過程中，目標(biāo)的外觀很可能會因外界環(huán)境的變化而發(fā)生改變，比如光照的因素，光強(qiáng)過強(qiáng)或過弱都會影響目標(biāo)的曝光度，或是目標(biāo)顏色的變化、視角的變化和目標(biāo)形狀的變化，這些都是跟蹤過程中可能 遇到的問題，這些問題也會導(dǎo)致跟蹤器的漂移以至于丟失目標(biāo)，所以在目標(biāo)外觀發(fā)生改變的情況下，如何使跟蹤器能夠準(zhǔn)確地跟蹤到目標(biāo)是目標(biāo)跟蹤領(lǐng)域的一大難點(diǎn)。

（4）運(yùn)動模糊：在實(shí)際場景下的目標(biāo)跟蹤，很有可能會遇到攝像儀器的抖動或是傳感器出現(xiàn)故障等問題，該類問題很有可能會導(dǎo)致目標(biāo)在當(dāng)前畫面成像模糊，成像模糊會直接導(dǎo)致跟蹤器的模板與目標(biāo)匹配不穩(wěn)定，就可能導(dǎo)致跟蹤器建模的精確度降低從而導(dǎo)致跟蹤失敗。當(dāng)檢測到模糊圖像時(shí)，通常需要用到復(fù)原技術(shù)使模糊圖像盡可能的清晰，但還原后的圖像成像效果會大幅度的降低，這也會影響到跟蹤器的準(zhǔn)確識別，所以如何處理運(yùn)動模糊問題也是跟蹤過程中的一個(gè)重要環(huán)節(jié)。

（5）尺度變化：尺度變化往往發(fā)生在目標(biāo)與觀測儀器的相對位置發(fā)生改變時(shí)而產(chǎn)生，在目標(biāo)與儀器之間的距離發(fā)生改變時(shí)，目標(biāo)在圖像上的占比也會發(fā)生變化，如果跟蹤框不能自適應(yīng)的根據(jù)目標(biāo)尺度的變化而變化，那么就可能導(dǎo)致跟蹤框不能完全覆蓋目標(biāo)或是跟蹤框內(nèi)出現(xiàn)太多背景內(nèi)容，這些都會影響到跟蹤器的下一步更新，嚴(yán)重時(shí)會是跟蹤框偏移導(dǎo)致目標(biāo)丟失，所以如何實(shí)現(xiàn)跟蹤框自適應(yīng)的隨著目標(biāo)尺度變化而變化就顯得尤為重要。

（6）姿態(tài)變化：姿態(tài)變化問題多在跟蹤生物時(shí)發(fā)生，如跟蹤目標(biāo)為人或動物時(shí)，人或者動物可能會改變當(dāng)前的動作，導(dǎo)致姿態(tài)變化，如何使目標(biāo)發(fā)生姿 態(tài)變化時(shí)依舊能跟得上目標(biāo)，也是一個(gè)常見的問題，如：運(yùn)動中的人或動物。

3 對目標(biāo)跟蹤算法發(fā)展的相關(guān)思考

目標(biāo)跟蹤任務(wù)是指在一個(gè)連續(xù)的視頻序列中，在起始幀處采用人工標(biāo)注的方式標(biāo)識目標(biāo)物體的初始位置，然后在后續(xù)的幀中由算法自動對目標(biāo)物體進(jìn)行實(shí)時(shí)定位一直到跟蹤任務(wù)結(jié)束。隨著目標(biāo)跟蹤算法的逐步發(fā)展，當(dāng)前的目標(biāo)跟蹤算法幾乎都是與深度學(xué)習(xí)相結(jié)合的，其主要利用深度學(xué)習(xí)網(wǎng)絡(luò)強(qiáng)大的表征能力提取目標(biāo)特征，在跟蹤過程中使深度跟蹤器能夠更好的捕捉到目標(biāo)。對于深度學(xué)習(xí)，可以理解為是一種通過給定信息求預(yù)期解的過程，這種過程通過深度網(wǎng)絡(luò)實(shí)現(xiàn)，在目標(biāo)跟蹤領(lǐng)域中，深度網(wǎng)絡(luò)的輸入就是連續(xù)視頻的首幀圖像中目標(biāo)所在的位置坐標(biāo)，對應(yīng)輸出就是后續(xù)幀中目標(biāo)的位置坐標(biāo)，跟蹤過程就對應(yīng)了深度網(wǎng)絡(luò)的推理過程，而輸出目標(biāo)位置的精確度就代表了深度網(wǎng)絡(luò)性能的好壞。對于深度跟蹤網(wǎng)絡(luò)而言，本文第二章所述的相關(guān)難點(diǎn)依然是存在的，針對本文第二章多闡述的六個(gè)難點(diǎn)問題，本文對與深度學(xué)習(xí)相結(jié)合的跟蹤算法提出了以下三點(diǎn)思考內(nèi)容。

3.1 淺層網(wǎng)絡(luò)具有更好的適應(yīng)性

在計(jì)算機(jī)視覺很多領(lǐng)域中，如人臉識別，目標(biāo)檢測等領(lǐng)域內(nèi)深度卷積神經(jīng)網(wǎng)絡(luò)都取得了良好的效果，但在目標(biāo)跟蹤領(lǐng)域尚未取得同等突出的效果，主要是因?yàn)樵谀繕?biāo)識別，檢測這一系列任務(wù)中，有著海量的數(shù)據(jù)集可供網(wǎng)絡(luò)訓(xùn)練，并且檢測和識別都具有一定的規(guī)律性，但是目標(biāo)跟蹤領(lǐng)域存在著獨(dú)有的問題。首先，目標(biāo)跟蹤問題具有自己的獨(dú)特性，目標(biāo)檢測中要清晰的分辨出目標(biāo)的類型不同，在目標(biāo)跟蹤任務(wù)中，只有目標(biāo)和背景這兩類圖像，而這就產(chǎn)生了一個(gè)棘手的問題，比如在某一視頻序列中，跟蹤的目標(biāo)可能在另一視頻中變成背景，這就為網(wǎng)絡(luò)訓(xùn)練帶來了一定的難度。其次，對于目標(biāo)跟蹤而言，隨著使用的卷積神經(jīng)網(wǎng)絡(luò)深度加深，目標(biāo)的語義信息逐漸強(qiáng)化，然而可供定位的描述信息卻逐漸弱化，反而容易對目標(biāo)跟蹤任務(wù)產(chǎn)生負(fù)面的影響。綜上原因就造成了深度神經(jīng)網(wǎng)絡(luò)在跟蹤領(lǐng)域內(nèi)的應(yīng)用變得更有難度。所以，為了更好地發(fā)掘卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)跟蹤上的表達(dá)能力，在大型數(shù)據(jù)集上進(jìn)行跟蹤的訓(xùn)練就顯得尤為重要，但大型數(shù)據(jù)集又涉及到廣泛的目標(biāo)和背景組合，并且在不同的視頻序列中所涉及到的目標(biāo)物體又會具有不同類別的標(biāo)簽、移動方式以及外形，跟蹤算法在每一個(gè)視頻序列上所遇到的問題也會不同，比如：遮擋、形變、光照變化或者是運(yùn)動模糊等等，所以要使跟蹤算法能夠很好的適用于各種情況就顯得十分必要?；谏鲜鰞?nèi)容可知，并不是越深的網(wǎng)絡(luò)在跟蹤目標(biāo)時(shí)就具有越好的性能，反而淺層的網(wǎng)絡(luò)可以更好的保留目標(biāo)物體的位置信息，并且考慮到跟蹤算法的實(shí)時(shí)性，在跟蹤過程中顯然在保證跟蹤精度的同時(shí)算法的計(jì)算復(fù)雜度越低越好，所以淺層網(wǎng)絡(luò)在跟蹤問題中反而具有更好的適應(yīng)性。

3.2 跟蹤過程中進(jìn)一步突出目標(biāo)信息

目標(biāo)跟蹤是在給定的初始幀處目標(biāo)邊界框，而后在后續(xù)幀上精確定位目標(biāo)對象的任務(wù)。與其他的目標(biāo)識別任務(wù)（如目標(biāo)分類和檢測）相比，在目標(biāo)跟蹤過程中，實(shí)例級別是一個(gè)重要因素，也就是跟蹤任務(wù)所要跟蹤的目標(biāo)，它可以是某個(gè)特定的人員或者特定的產(chǎn)品。因此，一個(gè)效果良好的目標(biāo)跟蹤器不僅應(yīng)該能夠從背景和其他類別的目標(biāo)中準(zhǔn)確標(biāo)識出跟蹤目標(biāo)，而且還應(yīng)該能夠在屬于同一類別的類似干擾源中識別出特定目標(biāo)?；谏鲜鰞?nèi)容，本文提出在目標(biāo)跟蹤網(wǎng)絡(luò)中，可以通過突出目標(biāo)抑制背景的方式使深度網(wǎng)絡(luò)更好的提取到目標(biāo)樣本的信息，在在線跟蹤的過程中就可以進(jìn)一步的提升跟蹤器的精度。

3.3 在線跟蹤過程中去除污染樣本

一般情況下，在實(shí)際跟蹤過程中，跟蹤網(wǎng)絡(luò)還會通過利用當(dāng)前跟蹤目標(biāo)的有限樣本信息對整個(gè)模型進(jìn)行微調(diào)，這一做法可以使模型對當(dāng)前的目標(biāo)具有更強(qiáng)的辨識度，這種做法也在一定程度上提升了跟蹤算法的精度，也減少了跟蹤網(wǎng)絡(luò)對于目標(biāo)訓(xùn)練樣本的需求。但是在實(shí)際的跟蹤過程中極有可能出現(xiàn)目標(biāo)被遮擋或者發(fā)生嚴(yán)重形變的情況，在這類圖像中，目標(biāo)的信息已經(jīng)出現(xiàn)變化，如果采用這類圖像對深度跟蹤網(wǎng)絡(luò)模型進(jìn)行參數(shù)更新，反而可能會使得跟蹤器的精度降低，所以，也可以通過對跟蹤時(shí)過往圖像信息的篩選，剔除掉目標(biāo)受到干擾的樣本來進(jìn)一步提升深度跟蹤器的精度。