李文濤，李世玉，郇金曉，李 磊，張振華，康 忱，劉 娣，喬海東，牟進(jìn)超

基于深度學(xué)習(xí)的目標(biāo)跟蹤技術(shù)及其多波段應(yīng)用研究*

李文濤1，李世玉1，郇金曉1，李 磊1，張振華2，康 忱2，劉 娣2，喬海東2，牟進(jìn)超2

（1 西安電子科技大學(xué)天線微波技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室 西安 710071 2 北京遙測(cè)技術(shù)研究所 北京 100076）

目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域中最具挑戰(zhàn)性的領(lǐng)域之一。首先，回顧了目標(biāo)跟蹤技術(shù)發(fā)展現(xiàn)狀并總結(jié)出目標(biāo)跟蹤的一般流程；其次，分析了卡爾曼濾波、粒子濾波等傳統(tǒng)目標(biāo)跟蹤方法的優(yōu)缺點(diǎn)；再次，依次重點(diǎn)介紹了固定窗跟蹤等相關(guān)濾波目標(biāo)跟蹤方法，以及全網(wǎng)絡(luò)自適應(yīng)目標(biāo)跟蹤等高性能目標(biāo)跟蹤方法；最后，總結(jié)了目標(biāo)跟蹤在紅外、毫米波、太赫茲等波段的應(yīng)用，并對(duì)多波段融合目標(biāo)跟蹤進(jìn)行了展望。

目標(biāo)跟蹤；深度學(xué)習(xí)；太赫茲；紅外；毫米波

引 言

視覺(jué)目標(biāo)跟蹤是指已知目標(biāo)在初始圖像中位置和跟蹤窗大小信息的情況下，通過(guò)特定方法獲取目標(biāo)在后續(xù)幀中位置以及跟蹤窗大小信息的技術(shù)。該技術(shù)在低小慢飛行器監(jiān)控[1]、空間軌道目標(biāo)跟蹤[2]、高通量場(chǎng)所重點(diǎn)目標(biāo)監(jiān)視[3]等方面具有廣泛應(yīng)用前景。目標(biāo)跟蹤可以分別從目標(biāo)數(shù)量、時(shí)間跨度、工作波段等不同角度進(jìn)行分類(lèi)。從跟蹤目標(biāo)數(shù)量角度來(lái)看，目標(biāo)跟蹤可以分為單目標(biāo)跟蹤[4]和多目標(biāo)跟蹤[5]；從跟蹤時(shí)間跨度角度來(lái)看，目標(biāo)跟蹤可以分為短期跟蹤和長(zhǎng)期跟蹤[6]；從工作波段角度來(lái)看，目標(biāo)跟蹤可以分為可見(jiàn)光、紅外、毫米波以及太赫茲跟蹤[7]等；從目標(biāo)對(duì)應(yīng)量測(cè)和占據(jù)分辨單元個(gè)數(shù)角度來(lái)看，目標(biāo)跟蹤可以分為點(diǎn)目標(biāo)跟蹤[8]以及擴(kuò)展目標(biāo)跟蹤[9]。隨著各波段成像技術(shù)的不斷發(fā)展，目標(biāo)跟蹤算法在各波段中不斷被應(yīng)用并取得了大量的研究成果。近十年來(lái)，隨著深度學(xué)習(xí)技術(shù)的不斷進(jìn)步[10]，基于深度學(xué)習(xí)的目標(biāo)跟蹤及其多波段應(yīng)用研究成為國(guó)內(nèi)外學(xué)術(shù)界研究重點(diǎn)。

本文根據(jù)當(dāng)前目標(biāo)跟蹤技術(shù)的發(fā)展現(xiàn)狀，給出了目標(biāo)跟蹤的一般性流程，并重點(diǎn)研究了傳統(tǒng)目標(biāo)跟蹤算法，相關(guān)濾波目標(biāo)跟蹤算法和基于深度學(xué)習(xí)的高性能目標(biāo)跟蹤算法。在此基礎(chǔ)上，分別介紹目標(biāo)跟蹤技術(shù)面向不同波段的應(yīng)用研究，分析其技術(shù)難點(diǎn)以及未來(lái)發(fā)展趨勢(shì)，并為多波段融合目標(biāo)跟蹤提供研究思路以及參考方向。

1 目標(biāo)跟蹤的一般性過(guò)程

圖1（a）給出了目標(biāo)跟蹤的一般性過(guò)程，包括運(yùn)動(dòng)模型、特征提取器、觀測(cè)模型、集成處理器以及模型更新器，共五個(gè)模塊[11]。不同的目標(biāo)跟蹤技術(shù)與上述流程略有差異，但都是對(duì)上述流程的某一個(gè)或幾個(gè)模塊進(jìn)行改進(jìn)。其中運(yùn)動(dòng)模型模塊在前一幀估計(jì)的基礎(chǔ)上，生成一組候選樣本，并將此候選樣本輸入特征提取器；特征提取器模塊使用特征表示每個(gè)候選樣本，并將每個(gè)特征輸入觀測(cè)模型；觀測(cè)模型模塊基于特征模板判斷候選樣本中是否存在目標(biāo)，計(jì)算候選樣本為目標(biāo)的概率，然后選擇概率最高的候選樣本作為觀測(cè)結(jié)果，并將此結(jié)果輸入模型更新器以及集成處理器；模型更新器模塊根據(jù)觀測(cè)模型的輸出控制觀測(cè)模型的更新頻率以及更新策略；當(dāng)多個(gè)跟蹤器集成一個(gè)跟蹤系統(tǒng)時(shí)，最終結(jié)果由集成處理器使用集成策略將多個(gè)跟蹤器結(jié)果組合并輸出。圖1（b）以人臉跟蹤為例，給出了目標(biāo)跟蹤一般流程的可視化解讀。

圖1 目標(biāo)跟蹤及實(shí)例

2 傳統(tǒng)目標(biāo)跟蹤

傳統(tǒng)目標(biāo)跟蹤技術(shù)重點(diǎn)研究生成式目標(biāo)跟蹤算法。該算法的特點(diǎn)是不太關(guān)注背景信息，通過(guò)最大化聯(lián)合概率對(duì)目標(biāo)進(jìn)行建模[12]，然后找出數(shù)據(jù)如何生成。其通用思路是通過(guò)學(xué)習(xí)一個(gè)表示目標(biāo)的生成模型，然后搜索圖像區(qū)域；在生成模型的基礎(chǔ)上，找到與模型描述相似的目標(biāo)進(jìn)行匹配，最匹配的區(qū)域即當(dāng)前幀中的目標(biāo)。生成式目標(biāo)跟蹤算法典型例子是卡爾曼濾波和粒子濾波，它們是非常經(jīng)典的傳統(tǒng)目標(biāo)跟蹤算法。

2.1 卡爾曼濾波跟蹤

卡爾曼濾波[13]最早由美國(guó)馬里蘭州高級(jí)研究所的Kalman于1960年提出，其基本流程如圖2所示。其中為目標(biāo)狀態(tài)向量，為轉(zhuǎn)移矩陣即目標(biāo)運(yùn)動(dòng)模型，為系統(tǒng)輸入，為將系統(tǒng)輸入映射到狀態(tài)向量維度的控制矩陣，為均值為零、協(xié)方差矩陣為的高斯噪聲，為目標(biāo)狀態(tài)之間的協(xié)方差矩陣，為卡爾曼增益，為將狀態(tài)向量映射到測(cè)量值維度的轉(zhuǎn)換矩陣，為測(cè)量噪聲協(xié)方差矩陣，為系統(tǒng)測(cè)量值。首先，根據(jù)輸入系統(tǒng)觀測(cè)數(shù)據(jù)和上一狀態(tài)的信息，通過(guò)線性系統(tǒng)運(yùn)動(dòng)模型預(yù)測(cè)當(dāng)前時(shí)刻狀態(tài)以及協(xié)方差矩陣，然后通過(guò)協(xié)方差矩陣、轉(zhuǎn)換矩陣以及測(cè)量噪聲協(xié)方差矩陣計(jì)算卡爾曼增益，最后使用觀測(cè)模型得到的測(cè)量值以及卡爾曼增益對(duì)系統(tǒng)預(yù)測(cè)狀態(tài)以及協(xié)方差進(jìn)行修正。

卡爾曼濾波可以有效解決目標(biāo)跟蹤過(guò)程中目標(biāo)暫時(shí)消失的問(wèn)題，但不適用于非線性系統(tǒng)。針對(duì)卡爾曼濾波這一缺陷，日本京都工業(yè)大學(xué)Y. Sunabara和美國(guó)南加州大學(xué)Bucy先后于1970年、1971年提出一種適用于非線性隨機(jī)離散系統(tǒng)的卡爾曼濾波[14,15]；1999年，德國(guó)寶馬汽車(chē)公司K. Reif等人正式提出擴(kuò)展卡爾曼濾波（Extended Kalman Filter）[16]，先將非線性系統(tǒng)通過(guò)泰勒級(jí)數(shù)展開(kāi)進(jìn)行線性化處理，然后對(duì)信號(hào)使用傳統(tǒng)卡爾曼濾波框架進(jìn)行濾波。1997年，英國(guó)牛津大學(xué)S. J. Julier等人利用不敏變換（Unscented Transform）[17]，通過(guò)互相關(guān)矩陣以及加權(quán)樣本點(diǎn)來(lái)近似描述目標(biāo)當(dāng)前時(shí)刻狀態(tài)的概率密度分布，從而實(shí)現(xiàn)了無(wú)跡卡爾曼濾波（Unscented Kalman Filter）[18]，克服了擴(kuò)展卡爾曼濾波計(jì)算復(fù)雜度高和精確度低的缺陷，且在非線性系統(tǒng)中表現(xiàn)更好。2009年，加拿大麥克馬斯特大學(xué)I. Arasaratnam提出容積卡爾曼濾波（Cubature Kalman Filter）[19]，基于三階球面容積準(zhǔn)則[19]，通過(guò)容積點(diǎn)來(lái)逼近非線性系統(tǒng)的高斯噪聲狀態(tài)均值和協(xié)方差，能夠有效解決非線性系統(tǒng)狀態(tài)估計(jì)問(wèn)題?？柭鼮V波體系算法演化邏輯如圖3所示。

2.2 粒子濾波跟蹤

粒子濾波跟蹤方法是比利時(shí)天主教魯汶大學(xué)Nummiaro等人于2003年，針對(duì)卡爾曼濾波存在不適用非線性系統(tǒng)缺陷提出的[20]，其基本流程如圖4所示。首先，在初始時(shí)刻通過(guò)粒子模擬目標(biāo)狀態(tài)；其次，在預(yù)測(cè)階段根據(jù)目標(biāo)運(yùn)動(dòng)方程，得出每個(gè)粒子對(duì)應(yīng)的預(yù)測(cè)粒子；然后，在響應(yīng)階段計(jì)算預(yù)測(cè)粒子的置信度（權(quán)重），并根據(jù)權(quán)重更新目標(biāo)當(dāng)前時(shí)刻狀態(tài)；最后，在重采樣階段根據(jù)粒子權(quán)重對(duì)粒子進(jìn)行重采樣；在后續(xù)時(shí)刻重復(fù)上述預(yù)測(cè)、響應(yīng)以及重采樣階段。粒子濾波算法流程中目標(biāo)狀態(tài)的概率密度函數(shù)通過(guò)狀態(tài)空間中隨機(jī)樣本來(lái)近似，系統(tǒng)的后驗(yàn)概率密度根據(jù)系統(tǒng)狀態(tài)的先驗(yàn)概率密度進(jìn)行修正，進(jìn)而將跟蹤看作一個(gè)狀態(tài)估計(jì)問(wèn)題，評(píng)估目標(biāo)的狀態(tài)；與卡爾曼濾波算法假設(shè)噪聲服從高斯分布不同，粒子濾波無(wú)需對(duì)噪聲分布做出假設(shè)。

2009年，美國(guó)馬里蘭大學(xué)Mei Xue等人提出基于粒子濾波的L1跟蹤器[21]。之所以被稱為L(zhǎng)1跟蹤器，是因?yàn)樵撍惴▽⒏櫟刃С闪Ｗ訛V波框架中的稀疏逼近問(wèn)題，通過(guò)求解L1正則化最小二乘問(wèn)題完成，但是其計(jì)算復(fù)雜度高導(dǎo)致算法的實(shí)時(shí)性差。針對(duì)上述方法存在的不足，新加坡國(guó)立大學(xué)Bao等人于2012年提出加速近似梯度求解方法[22]，解決了L1跟蹤器計(jì)算復(fù)雜度高的問(wèn)題。2012年，伊利諾斯州高級(jí)數(shù)字科學(xué)中心Zhang等人提出一種多任務(wù)跟蹤算法[23]，該算法通過(guò)挖掘粒子之間的相互依賴性產(chǎn)生一系列封閉形式的解，可以有效加速近似梯度算法。2013年，美國(guó)豐田研究所Mei等人在目標(biāo)跟蹤領(lǐng)域中引入稀疏表示方法，利用L1跟蹤器，從目標(biāo)模板子空間中找到使重構(gòu)誤差最小的目標(biāo)作為跟蹤器輸出結(jié)果[24]。雖然這類(lèi)跟蹤器的跟蹤性能良好，但是在實(shí)時(shí)性方面存在不足。粒子濾波算法體系演化邏輯如圖5所示。

圖4 粒子濾波跟蹤算法流程圖

圖5 粒子濾波算法體系演化邏輯圖

2.3 其他跟蹤方法

除了上述卡爾曼濾波以及粒子濾波外，傳統(tǒng)目標(biāo)跟蹤方法還包括均值漂移、自適應(yīng)背景混合模型等生成式跟蹤算法。

美國(guó)西門(mén)子公司Comaniciu[25]等人于2000年在目標(biāo)跟蹤領(lǐng)域中首次提出均值漂移算法，通過(guò)圖像特征構(gòu)造概率密度函數(shù)，目標(biāo)的最終位置根據(jù)梯度方向搜索的局部最大值獲得，該算法計(jì)算量小，能夠?qū)崿F(xiàn)對(duì)目標(biāo)的實(shí)時(shí)跟蹤。2002年，英國(guó)薩里大學(xué)R. Bowden[26]等人提出了一種自適應(yīng)背景混合模型，該模型每個(gè)像素點(diǎn)使用多個(gè)高斯分布函數(shù)來(lái)表示，組成高斯混合模型的概率密度函數(shù)，在后續(xù)跟蹤過(guò)程中使用模型與當(dāng)前圖像中的像素點(diǎn)進(jìn)行匹配，進(jìn)而判斷該點(diǎn)屬于背景還是前景。2004年，加拿大多倫多大學(xué)Ross等人針對(duì)增量子空間無(wú)法自適應(yīng)目標(biāo)變化問(wèn)題，提出一種基于R列奇異值分解的增量子空間方法[27]，通過(guò)增量更新樣本集，自適應(yīng)跟蹤過(guò)程中目標(biāo)的變化。2005年，美國(guó)羅格斯大學(xué)Oncel. Tuzel等人提出了一種動(dòng)態(tài)貝葉斯模型背景建模方法[28]，該算法每個(gè)像素使用高斯分布表示，每個(gè)高斯分布均值和協(xié)方差的概率分布由遞歸貝葉斯學(xué)習(xí)獲得，通過(guò)保留背景多模態(tài)性并估計(jì)每個(gè)像素所需層數(shù)，相比于自適應(yīng)背景混合模型，提升了參數(shù)估計(jì)以及多模態(tài)場(chǎng)景表示性能。

生成式傳統(tǒng)目標(biāo)跟蹤算法攜帶了更多信息，當(dāng)數(shù)據(jù)不完整或目標(biāo)被部分遮擋時(shí)，能較好地處理這些問(wèn)題，但是由于沒(méi)有充分利用目標(biāo)背景信息，算法魯棒性較差。表1給出了傳統(tǒng)目標(biāo)跟蹤算法的特點(diǎn)及應(yīng)用場(chǎng)景。

表1 傳統(tǒng)目標(biāo)跟蹤算法特點(diǎn)及應(yīng)用場(chǎng)景

3 相關(guān)濾波目標(biāo)跟蹤

相關(guān)濾波目標(biāo)跟蹤方法以判別式目標(biāo)跟蹤算法為基礎(chǔ)，利用數(shù)據(jù)直接學(xué)習(xí)決策函數(shù)或最大化條件概率分布，不考慮樣本生成方法，而是直接研究預(yù)測(cè)模型[29]。

由于相關(guān)濾波目標(biāo)跟蹤方法在訓(xùn)練中加入了背景信息，因此，能夠有效區(qū)分圖像中的目標(biāo)和背景，算法魯棒性更優(yōu)越。相關(guān)濾波目標(biāo)跟蹤將圖像轉(zhuǎn)換到頻域進(jìn)行計(jì)算，根據(jù)濾波器只對(duì)感興趣目標(biāo)產(chǎn)生高響應(yīng)；通過(guò)目標(biāo)信號(hào)的卷積響應(yīng)大于背景信號(hào)的卷積響應(yīng)這一原理，得到目標(biāo)在下一幀中的位置。

2015年，美國(guó)明尼蘇達(dá)大學(xué)Chen等人提出相關(guān)濾波目標(biāo)跟蹤流程框架，如圖6所示[30]，包括初始化模塊、特征提取模塊、相關(guān)濾波模塊、響應(yīng)圖模塊以及模型更新模塊。首先，訓(xùn)練相關(guān)濾波器，在初始幀中從目標(biāo)給定位置裁剪圖像塊；其次，在后續(xù)每一幀中，從上一步預(yù)測(cè)位置裁剪出候選樣本，并提取特征，例如LBP特征[31]、Haar-like特征[32]以及HOG特征[33]等，使用余弦窗口平滑邊界效果；再次，通過(guò)逆快速傅里葉變換得到響應(yīng)圖，將響應(yīng)圖中最大值的位置作為濾波器輸出，即目標(biāo)的新?tīng)顟B(tài)；最后提取估計(jì)位置的特征，對(duì)相關(guān)濾波器進(jìn)行更新。

圖6 相關(guān)濾波跟蹤框架[30]

3.1 固定窗相關(guān)濾波目標(biāo)跟蹤

2010年，Bolme提出最小均方誤差輸出和算法MOSSE（Minimum Output Sum of Squared Error）[34]，該算法的濾波器通過(guò)最小化均方誤差和進(jìn)行訓(xùn)練，使用單通道灰度特征并在后續(xù)幀中更新濾波器以適應(yīng)目標(biāo)不斷變化，跟蹤速率提升至669幀/秒，算法效果如圖7所示。2012年，葡萄牙科英布拉大學(xué)J. F. Henriques等人提出基于核函數(shù)的循環(huán)檢測(cè)跟蹤器CSK（Circulant Structure of Tracking-by-detection with Kernels）算法[35]，在MOSSE算法的基礎(chǔ)上擴(kuò)展嶺回歸、基于循環(huán)移位的密集采樣方法以及核方法，跟蹤精確度相比于MOSSE有顯著的提升，同時(shí)保持了320幀/秒的跟蹤速率。2014年，葡萄牙科英布拉大學(xué)J. F. Henriques等人提出核相關(guān)濾波KCF（Kernel Correlation Filter）算法[36]，KCF在CSK的基礎(chǔ)上采用高斯核、線性核和多項(xiàng)式核三種核函數(shù)并且擴(kuò)展多通道方向梯度直方圖特征，在精度顯著提高的同時(shí)實(shí)現(xiàn)172幀/秒的跟蹤速率，滿足實(shí)時(shí)性要求。2014年，瑞典林雪平大學(xué)M. Danelljan等人提出自適應(yīng)顏色屬性算法[37]，實(shí)現(xiàn)了CSK算法顏色特征擴(kuò)展。自適應(yīng)顏色屬性算法的跟蹤速率隨特征通道數(shù)量的增加逐漸下降，但跟蹤效果越來(lái)越好，始終能保持高速跟蹤水平。

圖7 MOSSE算法效果圖

3.2 自適應(yīng)窗相關(guān)濾波目標(biāo)跟蹤

由于固定窗相關(guān)濾波目標(biāo)跟蹤方法采用固定窗口大小的跟蹤窗，因此在跟蹤尺度變化目標(biāo)等動(dòng)態(tài)目標(biāo)過(guò)程中容易出現(xiàn)跟蹤漂移甚至跟蹤失敗的情況。為了更好地滿足目標(biāo)尺度變化跟蹤需求，2014年，瑞典林雪平大學(xué)M. Danelljan等人于2014年提出尺度估計(jì)算法[38]，利用平移濾波器和尺度濾波器兩個(gè)濾波器來(lái)檢測(cè)目標(biāo)位置和尺度變化。由于上述兩個(gè)濾波器單獨(dú)求解運(yùn)算，因而實(shí)時(shí)性不好，只能達(dá)到25幀/秒。為了解決實(shí)時(shí)性問(wèn)題，2017年，該團(tuán)隊(duì)提出了一種使用PCA降維的加速判別式尺度空間跟蹤算法[39]，通過(guò)將33個(gè)圖像尺度特征減少到17個(gè)，運(yùn)行速率提高到54幀/秒，其框圖如圖8所示，圍繞目標(biāo)中心提取平移濾波器樣本（a），并通過(guò)平移濾波器估計(jì)目標(biāo)位置，然后采用一組不同尺度的尺度濾波器樣本（b），并將每個(gè)這樣的樣本映射為一個(gè)特征向量，尺度濾波器通過(guò)這些特征向量更新并計(jì)算出目標(biāo)尺度。2014年，國(guó)內(nèi)浙江大學(xué)Yang Li等人提出基于KCF的多特征尺度自適應(yīng)算法[40]，與使用PCA降維的加速判別式尺度空間跟蹤算法[39]相似。該算法使用方向梯度直方圖HOG（Histogram of Oriented Gradient）和顏色名稱CN（Color Name）特征對(duì)圖像進(jìn)行多尺度縮放，然后通過(guò)平移濾波器檢測(cè)目標(biāo)，多尺度自適應(yīng)算法將尺度估計(jì)與位置估計(jì)相結(jié)合，通過(guò)迭代優(yōu)化實(shí)現(xiàn)了全局優(yōu)化，提高了跟蹤精確度但是實(shí)時(shí)性有所下降，只能達(dá)到7幀/秒。2016年，英國(guó)牛津大學(xué)Bertinetto等人結(jié)合HOG特征對(duì)光照變化的魯棒性以及CN特征對(duì)形變不敏感的特點(diǎn)提出了實(shí)時(shí)跟蹤的互補(bǔ)算法[41]，在平移檢測(cè)中加入光流法估計(jì)響應(yīng)，提高了跟蹤精確度以及跟蹤速率，跟蹤速率超過(guò)80幀/秒。2017年，美國(guó)阿卜杜拉國(guó)王科技大學(xué)Mueller等人結(jié)合上下文感知策略，提出了一種新的相關(guān)濾波CACF（Context-Aware Correlation Filter）算法[42]，可用于傳統(tǒng)相關(guān)濾波的學(xué)習(xí)階段，也可廣泛應(yīng)用于多種不同類(lèi)型的相關(guān)濾波跟蹤算法，該感知策略能夠顯著提高跟蹤器的精確度同時(shí)對(duì)速率產(chǎn)生很小的影響。

為了解決目標(biāo)跟蹤過(guò)程中邊界效應(yīng)問(wèn)題，學(xué)者們嘗試在自適應(yīng)窗相關(guān)濾波跟蹤算法的基礎(chǔ)上，提出優(yōu)化邊界效應(yīng)的算法。2015年，瑞典林雪平大學(xué)M. Danelljan等人提出空間正則化濾波器算法[43]，該算法針對(duì)跟蹤過(guò)程中的邊界效應(yīng)問(wèn)題，引入空間正則化懲罰邊界區(qū)域，即離目標(biāo)中心越近，約束越小，離目標(biāo)中心越遠(yuǎn)，約束越大。但是基于高斯-賽德?tīng)柕蠼夥椒〞?huì)導(dǎo)致跟蹤器無(wú)法實(shí)時(shí)跟蹤，跟蹤速率僅能達(dá)到5幀/秒。2016年，土耳其Aselsan研究中心Gundogdu等人分析了余弦窗口的缺點(diǎn)，提出了一種空間窗函數(shù)相關(guān)濾波SWCF（Spatial Windowing for Correlation Filter）算法[44]，可以抑制目標(biāo)的無(wú)關(guān)區(qū)域并突出目標(biāo)相關(guān)區(qū)域。由于新窗口的復(fù)雜性，跟蹤器無(wú)法實(shí)現(xiàn)實(shí)時(shí)跟蹤，跟蹤速率同樣僅能達(dá)到5幀/秒。

圖8 判別式尺度空間跟蹤算法原理框圖

相關(guān)濾波算法通過(guò)快速傅里葉變換以及頻域點(diǎn)乘運(yùn)算，大大提高了算法的運(yùn)行速率，并且能夠自適應(yīng)改變目標(biāo)跟蹤窗口的大小，優(yōu)化目標(biāo)跟蹤過(guò)程中的邊界效應(yīng)。表2總結(jié)了相關(guān)濾波目標(biāo)跟蹤算法特點(diǎn)及應(yīng)用場(chǎng)景。由于采用LBP、Haar-like、HOG等人工制作特征，對(duì)目標(biāo)特征表達(dá)不夠充分，相關(guān)濾波目標(biāo)跟蹤算法對(duì)目標(biāo)形變、背景擾動(dòng)等干擾的魯棒性不高。

表2 相關(guān)濾波目標(biāo)跟蹤算法特點(diǎn)及應(yīng)用場(chǎng)景

4 高性能目標(biāo)跟蹤

近年來(lái)，深度學(xué)習(xí)方法快速發(fā)展，尤其在目標(biāo)識(shí)別、分割領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用十分廣泛，因此深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域各類(lèi)任務(wù)中越來(lái)越發(fā)揮著舉足輕重的作用。自2015年以來(lái)，頂級(jí)國(guó)際會(huì)議（CVPR、ICCV、ECCV）中，越來(lái)越多基于深度學(xué)習(xí)的跟蹤器實(shí)現(xiàn)了驚人的性能。高性能目標(biāo)跟蹤算法即通過(guò)深度學(xué)習(xí)進(jìn)行目標(biāo)跟蹤，根據(jù)跟蹤網(wǎng)絡(luò)主要可以分為兩大類(lèi)：一類(lèi)是完全使用神經(jīng)網(wǎng)絡(luò)作為框架的全網(wǎng)絡(luò)自適應(yīng)目標(biāo)跟蹤[45]；另一類(lèi)是深度學(xué)習(xí)與相關(guān)濾波結(jié)合的卷積濾波融合目標(biāo)跟蹤[46]。下文將分別從這兩方面開(kāi)展論述。

4.1 全網(wǎng)絡(luò)自適應(yīng)目標(biāo)跟蹤

全網(wǎng)絡(luò)自適應(yīng)目標(biāo)跟蹤算法專注目標(biāo)觀測(cè)模型，該模型由一個(gè)具有多個(gè)分支的神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到，目標(biāo)狀態(tài)由所有的分支通過(guò)集成處理器（分類(lèi)器）進(jìn)行估計(jì)，模型在線更新通過(guò)神經(jīng)網(wǎng)絡(luò)的反向傳播算法完成，全網(wǎng)絡(luò)自適應(yīng)目標(biāo)跟蹤一般性流程如圖9所示。

圖9 全網(wǎng)絡(luò)自適應(yīng)目標(biāo)跟蹤一般流程

最早使用深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行目標(biāo)跟蹤的是CNN-SVM算法[45]，2015年由韓國(guó)浦項(xiàng)工業(yè)大學(xué)Seunghoon Hong等人提出。該算法將卷積神經(jīng)網(wǎng)絡(luò)以及支持向量機(jī)分類(lèi)器進(jìn)行結(jié)合，由網(wǎng)絡(luò)的隱含層輸出表示目標(biāo)的特征描述因子，這些特征通過(guò)在線支持向量機(jī)學(xué)習(xí)一個(gè)可區(qū)分性的目標(biāo)觀測(cè)模型進(jìn)行目標(biāo)跟蹤。2016年，韓國(guó)浦項(xiàng)工業(yè)大學(xué)Hyeonseob Nam等人將深度學(xué)習(xí)目標(biāo)跟蹤算法進(jìn)行改進(jìn)，提出了一種新的目標(biāo)跟蹤算法[47]。該算法使用卷積神經(jīng)網(wǎng)絡(luò)，預(yù)先使用視頻集訓(xùn)練該網(wǎng)絡(luò)用來(lái)表示目標(biāo)，該網(wǎng)絡(luò)包括領(lǐng)域特定層的多個(gè)分支以及共享層，通用目標(biāo)表示通過(guò)迭代訓(xùn)練網(wǎng)絡(luò)中的每個(gè)領(lǐng)域獲得，然后使用預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)中的共享層與一個(gè)新的二分類(lèi)層相結(jié)合來(lái)構(gòu)造網(wǎng)絡(luò)，最后通過(guò)評(píng)估候選窗口隨機(jī)采樣周?chē)繕?biāo)狀態(tài)進(jìn)行目標(biāo)跟蹤。2017年，韓國(guó)浦項(xiàng)工業(yè)大學(xué)Bohyung Han等人提出了一種簡(jiǎn)單有效的正則化技術(shù)[48]用于卷積神經(jīng)網(wǎng)絡(luò)來(lái)表示目標(biāo)，通過(guò)隨機(jī)選擇卷積神經(jīng)網(wǎng)絡(luò)中的一個(gè)子集在線學(xué)習(xí)完成正則化，其系統(tǒng)跟蹤框網(wǎng)絡(luò)框架如圖10所示。

圖10 卷積神經(jīng)網(wǎng)絡(luò)正則化跟蹤網(wǎng)絡(luò)框架

孿生網(wǎng)絡(luò)即“連體神經(jīng)網(wǎng)絡(luò)”，最早由LeCun提出用于支票上的簽名驗(yàn)證，并于2016年由英國(guó)牛津大學(xué)Bertinetto等人應(yīng)用到目標(biāo)跟蹤領(lǐng)域，提出了全卷積孿生網(wǎng)絡(luò)SiameseFC（Fully-Convolutional Siamese Networks）算法[49]。該算法采用全卷積的孿生網(wǎng)絡(luò)，其網(wǎng)絡(luò)框架如圖11所示。首先使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)輸入的搜索圖像以及模板圖像進(jìn)行卷積運(yùn)算，然后使用一種相似度量函數(shù)將兩個(gè)矩陣合并成一個(gè)矩陣。2018年，商湯集團(tuán)有限公司B. Li等人提出了孿生區(qū)域回歸網(wǎng)絡(luò)SiamRPN（Siamese Region Proposal Network）算法[50]，SiamRPN和SiameseFC使用了相同的數(shù)據(jù)讀入方案，但是SiamRPN在網(wǎng)絡(luò)后面加入了一個(gè)區(qū)域回歸網(wǎng)絡(luò)用來(lái)回歸目標(biāo)的類(lèi)別以及跟蹤窗，從而對(duì)SiameseFC進(jìn)行改進(jìn)。雖然基于孿生網(wǎng)絡(luò)的跟蹤算法性能較強(qiáng)，但是所有孿生網(wǎng)絡(luò)算法都使用較簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)，較深的網(wǎng)絡(luò)結(jié)構(gòu)反而讓算法的性能下降。針對(duì)上述問(wèn)題，商湯集團(tuán)有限公司B. Li等人在2019年提出了SiamRPN++算法[51]，該算法針對(duì)由于網(wǎng)絡(luò)嚴(yán)格平移不變性破壞而導(dǎo)致的影響，讓目標(biāo)在中心點(diǎn)附近通過(guò)均勻分布的采樣方式進(jìn)行偏移，對(duì)位置偏見(jiàn)進(jìn)行了有效的消除，從而使得目標(biāo)跟蹤算法可以使用深層網(wǎng)絡(luò)。目標(biāo)跟蹤算法大多采用尺度搜索或預(yù)先定義錨的方式來(lái)精確估計(jì)目標(biāo)的尺度，通常需要復(fù)雜的配置。為了解決這個(gè)問(wèn)題，2020年，國(guó)內(nèi)華僑大學(xué)Zedu Chen等人利用全卷積網(wǎng)絡(luò)，提出了一種新的目標(biāo)跟蹤框架[52]，將目標(biāo)跟蹤問(wèn)題看作是一個(gè)并行的分類(lèi)和回歸問(wèn)題，在統(tǒng)一的全卷積中直接對(duì)目標(biāo)進(jìn)行分類(lèi)并回歸跟蹤窗。同年，國(guó)內(nèi)浙江工業(yè)大學(xué)Dongyan Guo等人[53]將目標(biāo)跟蹤任務(wù)分解為像素分類(lèi)和跟蹤窗回歸兩個(gè)問(wèn)題，提出了一種新的全卷積網(wǎng)絡(luò)框架。該框架由一個(gè)用于特征提取的孿生子網(wǎng)絡(luò)以及一個(gè)用于跟蹤窗預(yù)測(cè)的分類(lèi)回歸子網(wǎng)絡(luò)組成。不同于SiamRPN和SiamRPN++等方法，該算法框架是無(wú)錨的，因此它能夠避免錨的超參數(shù)調(diào)節(jié)并且減少人為的干預(yù)。

圖11 孿生網(wǎng)絡(luò)跟蹤框架

目標(biāo)跟蹤網(wǎng)絡(luò)的訓(xùn)練樣本數(shù)據(jù)一直都是影響其性能的關(guān)鍵因素之一，即使通過(guò)大規(guī)模的訓(xùn)練數(shù)據(jù)集，也無(wú)法覆蓋所有情況，正樣本仍然單一。針對(duì)這一問(wèn)題，2018年，國(guó)內(nèi)安徽大學(xué)X. Wang等人提出了一種基于對(duì)抗學(xué)習(xí)的視覺(jué)跟蹤正樣本生成方法[54]。該算法引入正樣本生成網(wǎng)絡(luò)，通過(guò)遍歷所構(gòu)造的目標(biāo)對(duì)象來(lái)抽取大量不同的訓(xùn)練數(shù)據(jù)生成多種目標(biāo)物體圖像，豐富了訓(xùn)練集，從而增強(qiáng)了跟蹤算法的魯棒性。同年，國(guó)內(nèi)騰訊人工智能實(shí)驗(yàn)室Y. Song等人利用對(duì)抗性學(xué)習(xí)，通過(guò)生成網(wǎng)絡(luò)來(lái)隨機(jī)生成掩膜，這些掩膜應(yīng)用于自適應(yīng)隨機(jī)特征輸入，以捕獲各種外觀變化，再通過(guò)對(duì)抗性學(xué)習(xí)，使網(wǎng)絡(luò)識(shí)別出在一個(gè)較長(zhǎng)時(shí)間跨度內(nèi)保持目標(biāo)對(duì)象最健壯特征的掩碼，并使用高階代價(jià)敏感損失算法處理類(lèi)別不平衡的問(wèn)題，以減少負(fù)樣本的影響，方便分類(lèi)網(wǎng)絡(luò)訓(xùn)練[55]，其對(duì)抗生成網(wǎng)絡(luò)如圖12所示。

圖12 對(duì)抗生成網(wǎng)絡(luò)框架

現(xiàn)有跟蹤網(wǎng)絡(luò)大多采用簡(jiǎn)單的多尺度搜索（對(duì)目標(biāo)可能出現(xiàn)的有限種不同尺度進(jìn)行搜索）來(lái)估計(jì)目標(biāo)跟蹤窗的寬高，該方法不能精準(zhǔn)預(yù)測(cè)目標(biāo)的狀態(tài)。針對(duì)該問(wèn)題，2019年，瑞典林雪平大學(xué)M. Danelljan等人提出了一種新的跟蹤體系結(jié)構(gòu)[56]，該結(jié)構(gòu)包括目標(biāo)估計(jì)和分類(lèi)組件，目標(biāo)估計(jì)部分預(yù)測(cè)目標(biāo)與估計(jì)跟蹤窗之間的重疊，通過(guò)整合特定目標(biāo)信息，實(shí)現(xiàn)了較好的跟蹤窗精度。該算法針對(duì)存在干擾物體的情況，引入在線訓(xùn)練分類(lèi)組件，能夠保證較高的分類(lèi)能力，算法跟蹤框圖如圖13所示。2020年，瑞士蘇黎世聯(lián)邦理工學(xué)院M. Danelljan等人在ATOM算法的基礎(chǔ)上，提出了一個(gè)概率回歸公式[57]，并將其應(yīng)用于目標(biāo)跟蹤，用于預(yù)測(cè)輸入圖像目標(biāo)狀態(tài)的條件概率密度，能夠?qū)θ蝿?wù)中不準(zhǔn)確的注釋產(chǎn)生的噪音建模，采用最小化Kullback-Leibler散度訓(xùn)練回歸網(wǎng)絡(luò)，將概率回歸公式應(yīng)用于跟蹤，大大提升了算法的性能。

圖13 文獻(xiàn)[56]提出的新跟蹤體系框架

對(duì)于目標(biāo)跟蹤，通常跟蹤目標(biāo)類(lèi)別的先驗(yàn)信息無(wú)法得知，跟蹤算法也有被攻擊的潛在風(fēng)險(xiǎn)。為了引起人們對(duì)跟蹤風(fēng)險(xiǎn)的更多關(guān)注，2020年，北京大學(xué)X. Chen等人研究了對(duì)抗性攻擊的跟蹤算法，提出了一次性對(duì)抗攻擊算法[58]。該方法只需在初始幀中的目標(biāo)補(bǔ)丁上加入微小的擾動(dòng)，就可以使跟蹤器在后續(xù)幀中丟失目標(biāo)。該攻擊方法由兩部分組成，并利用了雙重注意機(jī)制：第一部分采用有針對(duì)性的攻擊策略，優(yōu)化處理置信度損失；第二部分采用一般的擾動(dòng)策略，優(yōu)化特征損失，跟蹤框架如圖14所示。

圖14 面向?qū)剐怨舾櫨W(wǎng)絡(luò)框架

全網(wǎng)絡(luò)自適應(yīng)目標(biāo)跟蹤算法在目標(biāo)跟蹤方面呈現(xiàn)出較高的精確性及魯棒性，并隨著計(jì)算機(jī)硬件技術(shù)的發(fā)展，算法的效率也在不斷提高，因此吸引了研究人員廣泛關(guān)注。

4.2 卷積濾波融合目標(biāo)跟蹤

與全網(wǎng)絡(luò)自適應(yīng)目標(biāo)跟蹤算法相類(lèi)似，卷積濾波融合目標(biāo)跟蹤算法主要專注目標(biāo)觀測(cè)模型。兩者之間的主要區(qū)別在于：卷積濾波融合目標(biāo)跟蹤算法在卷積神經(jīng)網(wǎng)絡(luò)之后引入相關(guān)濾波器，將濾波器作為網(wǎng)絡(luò)的一層，然后再進(jìn)行目標(biāo)狀態(tài)估計(jì)與模型更新。

卷積濾波融合目標(biāo)跟蹤指的是：通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取特征并結(jié)合相關(guān)濾波在線學(xué)習(xí)能力的目標(biāo)跟蹤方法。2016年，瑞典林雪平大學(xué)M. Danelljan等人在提取目標(biāo)特征時(shí)使用深度卷積神經(jīng)網(wǎng)絡(luò)，將不同分辨率的特征圖使用立方插值方法插值到連續(xù)空間域，最終的目標(biāo)位置通過(guò)Hessian矩陣求得，提出了連續(xù)卷積跟蹤算法[46]。2017年，該作者提出有效卷積算法[59]作為連續(xù)卷積跟蹤算法的進(jìn)一步改進(jìn)，它通過(guò)分解卷積算子顯著減少了模型參數(shù)，并通過(guò)生成樣本空間模型保持樣本的多樣性并減少其數(shù)量，提高了時(shí)間和空間效率。2018年，大連理工大學(xué)Chong Sun等人提出了基于互補(bǔ)回歸的目標(biāo)跟蹤算法[60]，該算法采用核化嶺回歸模型以及具有空間規(guī)則的全卷積神經(jīng)網(wǎng)絡(luò)模型，通過(guò)距離變換池來(lái)確定每個(gè)輸出通道的有效性，最后結(jié)合核化嶺回歸模型和全卷積神經(jīng)網(wǎng)絡(luò)模型，獲得最終響應(yīng)。該算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖15所示[60]，其中（a）為測(cè)試網(wǎng)絡(luò)，（b）為訓(xùn)練網(wǎng)絡(luò)。

圖15 互補(bǔ)回歸的目標(biāo)跟蹤算法網(wǎng)絡(luò)結(jié)構(gòu)

早期孿生網(wǎng)絡(luò)濾波跟蹤算法只將初始幀與后續(xù)幀進(jìn)行匹配，并未考慮跟蹤過(guò)程中目標(biāo)的變化。針對(duì)該問(wèn)題，英國(guó)牛津大學(xué)J. Valmadre等人于2017年將相關(guān)濾波器引入孿生網(wǎng)絡(luò)跟蹤框架中，提出了基于相關(guān)濾波跟蹤器的端到端學(xué)習(xí)算法[61]，其網(wǎng)絡(luò)體系結(jié)構(gòu)如圖16所示。通過(guò)將相關(guān)濾波作為網(wǎng)絡(luò)的一個(gè)可微訓(xùn)練層，實(shí)現(xiàn)了相關(guān)濾波在線學(xué)習(xí)能力與卷積神經(jīng)網(wǎng)絡(luò)的特征提取能力相結(jié)合完成端到端的訓(xùn)練。該方法采用了非對(duì)稱的孿生網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)兩個(gè)輸入圖像采用相同的卷積特征變換，然后利用線性模板和交叉關(guān)系搜索測(cè)試圖像。2018年，中國(guó)科學(xué)院Z. Zhu等人針對(duì)卷積相關(guān)濾波器大多只考慮當(dāng)前幀的外觀特征，很難從運(yùn)動(dòng)和幀間信息中獲得有效信息這一問(wèn)題，提出了一種高跟蹤精度的流跟蹤算法[62]。該算法在孿生網(wǎng)絡(luò)框架中聯(lián)合訓(xùn)練過(guò)程以及跟蹤任務(wù)，將歷史特征圖與當(dāng)前特征圖按照設(shè)置時(shí)間間隔進(jìn)行聚合。2019年，中國(guó)科學(xué)院Ning Wang等人使用孿生網(wǎng)絡(luò)相關(guān)濾波網(wǎng)絡(luò)框架，提出了一種無(wú)監(jiān)督目標(biāo)跟蹤方法[63]，其卷積神經(jīng)網(wǎng)絡(luò)模型在無(wú)監(jiān)督學(xué)習(xí)的方式下使用未標(biāo)記的原始視頻進(jìn)行訓(xùn)練，并使用多幀驗(yàn)證方法以及成本敏感損失來(lái)促進(jìn)無(wú)監(jiān)督學(xué)習(xí)。

圖16 基于相關(guān)濾波跟蹤器端到端學(xué)習(xí)算法網(wǎng)絡(luò)結(jié)構(gòu)

在卷積濾波融合目標(biāo)跟蹤算法中，大多數(shù)算法都沒(méi)有充分挖掘多種特征之間的聯(lián)系以及這些特征的強(qiáng)度。針對(duì)該問(wèn)題，中國(guó)科學(xué)院N. Wang等人于2018年提出了一種有效的多線索分析框架跟蹤算法[64]。該算法通過(guò)組合不同類(lèi)型的特征，利用相關(guān)濾波器構(gòu)造多個(gè)獨(dú)立跟蹤目標(biāo)的專家，通過(guò)相關(guān)的評(píng)估策略，選擇合適的專家進(jìn)行各幀跟蹤。2019年，大連理工大學(xué)Y. Sun等人利用目標(biāo)感興趣區(qū)域組合方法，提出了一種目標(biāo)跟蹤相關(guān)濾波算法[65]，該算法通過(guò)學(xué)習(xí)濾波器加權(quán)約束，可以等價(jià)地實(shí)現(xiàn)感興趣區(qū)域的權(quán)重分配，從而使感興趣區(qū)域的權(quán)重分配在虛擬循環(huán)樣本上成為可能。

高性能目標(biāo)跟蹤算法將深度學(xué)習(xí)與相關(guān)濾波相互結(jié)合，繼承了兩種方法的優(yōu)點(diǎn)，能夠?qū)崿F(xiàn)良好的跟蹤性能，表3給出了高性能目標(biāo)跟蹤算法特點(diǎn)及應(yīng)用場(chǎng)景總結(jié)。

表3 高性能目標(biāo)跟蹤算法特點(diǎn)及應(yīng)用場(chǎng)景

5 面向不同波段目標(biāo)跟蹤技術(shù)應(yīng)用

目標(biāo)跟蹤技術(shù)在不同領(lǐng)域的應(yīng)用前景十分廣泛，例如在軍事領(lǐng)域，目標(biāo)跟蹤可用于戰(zhàn)時(shí)的空中遠(yuǎn)程預(yù)警、隱形飛機(jī)跟蹤和反導(dǎo)防御等系統(tǒng)。而在民用領(lǐng)域，目標(biāo)跟蹤技術(shù)在無(wú)人駕駛和安防等領(lǐng)域得到了廣泛應(yīng)用，尤其是在基于可見(jiàn)光圖像的目標(biāo)跟蹤技術(shù)方面，如行人和車(chē)輛跟蹤技術(shù)等，相對(duì)較為成熟且投入應(yīng)用。針對(duì)各波段特點(diǎn)，國(guó)內(nèi)外研究人員將目標(biāo)跟蹤算法應(yīng)用到不同波段，并結(jié)合各波段成像特點(diǎn)進(jìn)行優(yōu)化，提出了適用于本波段的目標(biāo)跟蹤算法。其中，面向紅外和毫米波等不同波段的目標(biāo)跟蹤技術(shù)成為研究熱點(diǎn)。

5.1 紅外目標(biāo)跟蹤

5.1.1 紅外點(diǎn)目標(biāo)

當(dāng)目標(biāo)距離較遠(yuǎn)時(shí)，紅外成像系統(tǒng)中目標(biāo)輻射能量大幅度減弱，目標(biāo)在紅外圖像中通常占較少的像素形成點(diǎn)目標(biāo)。點(diǎn)目標(biāo)幾乎沒(méi)有形狀以及紋理信息，只包含灰度信息，因此需要采用合適的目標(biāo)跟蹤算法對(duì)紅外點(diǎn)目標(biāo)進(jìn)行跟蹤。2009年，海軍工程大學(xué)閔祥龍等人[66]利用兩級(jí)流水管道實(shí)現(xiàn)對(duì)紅外圖像的二值分割，然后對(duì)目標(biāo)點(diǎn)利用第三級(jí)目標(biāo)檢測(cè)管道進(jìn)行搜索并實(shí)現(xiàn)準(zhǔn)確定位，從而實(shí)現(xiàn)了可靠紅外點(diǎn)目標(biāo)跟蹤。2011年，92941部隊(duì)李曉冰等人[67]通過(guò)分析測(cè)量圖像的特點(diǎn)，利用Hough變換對(duì)噪聲的不敏感性，提出了基于Hough變換的紅外點(diǎn)目標(biāo)跟蹤算法。2015年，西北工業(yè)大學(xué)李少毅等人[68]針對(duì)干擾環(huán)境下點(diǎn)目標(biāo)跟蹤問(wèn)題，將背景和前景通過(guò)自適應(yīng)壓縮背景差分法進(jìn)行分離，使用Hadamard矩陣對(duì)紅外壓縮成像系統(tǒng)進(jìn)行重建，目標(biāo)位置通過(guò)壓縮前景信息中解碼得出，最后結(jié)合卡爾曼濾波算法以及數(shù)據(jù)關(guān)聯(lián)實(shí)現(xiàn)點(diǎn)目標(biāo)跟蹤。2019年，新疆大學(xué)武文成等人[69]對(duì)紅外點(diǎn)目標(biāo)的特征進(jìn)行研究，在跟蹤過(guò)程中通過(guò)調(diào)整目標(biāo)分類(lèi)器，提出了一種具有較強(qiáng)魯棒性的在線集成學(xué)習(xí)紅外點(diǎn)目標(biāo)跟蹤算法。

5.1.2 紅外圖像目標(biāo)跟蹤

與光學(xué)圖像相比，紅外圖像雖然無(wú)法提供足夠的細(xì)節(jié)和紋理信息，但其不受光照影響，能夠在光照條件很差的環(huán)境下對(duì)目標(biāo)進(jìn)行跟蹤。2007年，華中科技大學(xué)高璐等人[70]將運(yùn)動(dòng)模型估計(jì)視為函數(shù)估計(jì)，使用支持向量機(jī)對(duì)當(dāng)前運(yùn)動(dòng)模型進(jìn)行估計(jì)，采用卡爾曼濾波算法，實(shí)現(xiàn)了對(duì)紅外圖像動(dòng)態(tài)目標(biāo)自適應(yīng)跟蹤。同年，哈爾濱工程大學(xué)王卓等人[71]針對(duì)灰度圖像特征貧乏、噪聲不易抑制等問(wèn)題，通過(guò)降低紅外圖像的分辨率，實(shí)現(xiàn)了對(duì)紅外圖像目標(biāo)的有效跟蹤。2009年，北京理工大學(xué)付夢(mèng)印等人[72]采用多模式跟蹤，針對(duì)具體的目標(biāo)，使用自適應(yīng)波門(mén)確定不同模式的跟蹤，并結(jié)合互信息測(cè)度方法，實(shí)現(xiàn)了紅外圖像相關(guān)匹配跟蹤。2010年，北京理工大學(xué)李玉玨等人[73]利用點(diǎn)特征的空間不變性以及灰度特征的易用性，解決了單一特征易受噪聲干擾以及實(shí)時(shí)性較差等方面的不足，提出了紅外目標(biāo)圖像的復(fù)合特征跟蹤算法。2017年，海軍航空工程學(xué)院王杰等人[74]根據(jù)紅外圖像的特點(diǎn)，提出了在均值漂移跟蹤框架下，將顏色特征和梯度特征相結(jié)合的基于多特征直方圖紅外圖像目標(biāo)跟蹤算法。2019年，南京理工大學(xué)劉輝等人[75]通過(guò)對(duì)后續(xù)幀圖像自適應(yīng)分割，利用決策篩選出真實(shí)目標(biāo)，更新動(dòng)態(tài)決策準(zhǔn)則，采用多特征融合以及感興趣區(qū)域預(yù)測(cè)實(shí)現(xiàn)對(duì)紅外目標(biāo)的跟蹤。

紅外目標(biāo)跟蹤具有抗干擾能力強(qiáng)、支持全天候工作等特點(diǎn)[76]，能夠在復(fù)雜環(huán)境下提供比可見(jiàn)光圖像更穩(wěn)定的跟蹤性能，但紅外圖像信噪比以及分辨率低[77]，太深的網(wǎng)絡(luò)層結(jié)構(gòu)會(huì)使深度特征最終映射成一個(gè)像素點(diǎn)。因此，如何更有效地進(jìn)行特征提取并對(duì)不同的特征采用不同融合策略實(shí)現(xiàn)目標(biāo)跟蹤，是紅外圖像目標(biāo)跟蹤亟待解決的一大問(wèn)題。

5.2 毫米波圖像目標(biāo)跟蹤

與光學(xué)、紅外圖像不同，毫米波電磁波頻段的特殊性使其成像邊緣通常攜帶較多的熱噪聲，造成圖像邊緣模糊。目前，面向毫米波圖像目標(biāo)跟蹤的研究主要聚焦于無(wú)源毫米波圖像目標(biāo)跟蹤。2012年，電子科技大學(xué)毛林軍[78]采用卡爾曼濾波法進(jìn)行目標(biāo)跟蹤，使用方向加權(quán)目標(biāo)關(guān)聯(lián)與延遲判定的軌跡管理策略，減少了關(guān)聯(lián)錯(cuò)誤的發(fā)生，并且在遮擋造成目標(biāo)暫時(shí)丟失的情況下，還能夠?qū)δ繕?biāo)實(shí)現(xiàn)跟蹤。2014年，電子科技大學(xué)張?jiān)絒79]提出了基于卡爾曼濾波估計(jì)目標(biāo)位置、尺度的目標(biāo)跟蹤算法。2015年，電子科技大學(xué)孫永賀[80]使用最近鄰數(shù)據(jù)關(guān)聯(lián)算法對(duì)觀測(cè)數(shù)據(jù)進(jìn)行關(guān)聯(lián)，然后利用卡爾曼濾波法對(duì)隱匿目標(biāo)進(jìn)行跟蹤。2016年，電子科技大學(xué)江攀[81]使用多特征壓縮跟蹤算法，通過(guò)多個(gè)決策樹(shù)弱分類(lèi)器組成隨機(jī)森林強(qiáng)分類(lèi)器，引入隨機(jī)采樣來(lái)減少模型對(duì)噪聲的敏感性，提出了基于在線隨機(jī)森林的壓縮跟蹤算法。2017年，電子科技大學(xué)毛靖琦[82]利用判別式跟蹤算法框架，提出了基于循環(huán)矩陣的快速跟蹤算法，采用HOG特征描述目標(biāo)，使用優(yōu)化后的線性分類(lèi)器快速訓(xùn)練及更新，再經(jīng)過(guò)循環(huán)測(cè)試樣本采集、樣本特征提取、樣本分類(lèi)器快速響應(yīng)計(jì)算，最后根據(jù)響應(yīng)預(yù)測(cè)結(jié)果。

5.3 太赫茲目標(biāo)跟蹤

太赫茲頻段位于微波頻段向光學(xué)頻段的過(guò)渡區(qū)域，與毫米波高頻段、紅外低頻段相重合[83]。與可見(jiàn)光頻段相比，太赫茲頻段良好的穿透特性特別適合目標(biāo)成像，這一特性為目標(biāo)跟蹤提供潛在的優(yōu)勢(shì)。而與微波頻段相比較，太赫茲波段高頻率、窄波束和大時(shí)寬特別適合目標(biāo)檢測(cè)和跟蹤。太赫茲目標(biāo)跟蹤具有高頻毫米波和低頻紅外的雙重優(yōu)點(diǎn)，其成像能夠提供比毫米波成像更高的分辨率，并保持安全、高效、高穿透的優(yōu)勢(shì)，高效太赫茲圖像目標(biāo)跟蹤技術(shù)能夠?yàn)楹教靽?guó)防事業(yè)提供更先進(jìn)的航空監(jiān)控技術(shù)，是新一代航天技術(shù)發(fā)展的重要戰(zhàn)略方向，然而目前關(guān)于太赫茲圖像跟蹤技術(shù)少有報(bào)道。

與可見(jiàn)光學(xué)圖像、紅外及毫米波圖像目標(biāo)跟蹤所不同，太赫茲目標(biāo)跟蹤存在以下幾個(gè)難點(diǎn)：背景環(huán)境噪聲復(fù)雜、目標(biāo)狀態(tài)變化以及運(yùn)動(dòng)過(guò)程中的遮擋等問(wèn)題。除此之外，在太赫茲圖像中，由于成像系統(tǒng)的限制，圖像的分辨率相比于光學(xué)圖像較低，圖像比較模糊，因此目標(biāo)在圖像中的信息較少，這就使得太赫茲圖像目標(biāo)更容易受到背景噪聲的干擾。除了上述難點(diǎn)外，設(shè)計(jì)魯棒性高且實(shí)時(shí)性好的跟蹤技術(shù)仍然是目前太赫茲目標(biāo)跟蹤的共性難題。目前，太赫茲目標(biāo)跟蹤相關(guān)研究還處在初步發(fā)展階段。2018年，電子科技大學(xué)齊竟熊等人[84]在半監(jiān)督框架下，提出了基于半監(jiān)督框架的太赫茲圖像目標(biāo)跟蹤算法，根據(jù)目標(biāo)的初始位置信息，對(duì)無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行標(biāo)定以增加學(xué)習(xí)樣本量，從空間和形態(tài)兩方面對(duì)目標(biāo)位置進(jìn)行有效預(yù)測(cè)。2021年，中國(guó)科學(xué)院Li Hongwei等人提出了太赫茲目標(biāo)跟蹤算法[85]，該算法首先對(duì)目標(biāo)的幾何中心進(jìn)行跟蹤，然后利用角閃爍與歸一化幅度方差之間存在的統(tǒng)計(jì)相關(guān)性，識(shí)別和排除不穩(wěn)定散射體，建立了雷達(dá)異常測(cè)角的非線性鑒角函數(shù)，在此基礎(chǔ)上，提出了一種結(jié)合不穩(wěn)定點(diǎn)剔除和非線性角度辨別的改進(jìn)型跟蹤方法，能夠抑制角閃爍和減小測(cè)量擾動(dòng)。

相比紅外、毫米波圖像目標(biāo)跟蹤研究成果，目前太赫茲圖像目標(biāo)跟蹤算法極少。針對(duì)太赫茲目標(biāo)跟蹤存在的難點(diǎn)，可以預(yù)計(jì)，當(dāng)目標(biāo)距離成像系統(tǒng)較遠(yuǎn)，在太赫茲成像系統(tǒng)中呈現(xiàn)點(diǎn)目標(biāo)時(shí)，目標(biāo)只有灰度信息，此時(shí)，紅外點(diǎn)目標(biāo)跟蹤算法提供了有效的跟蹤思路，其中目標(biāo)的運(yùn)動(dòng)狀態(tài)以及前后幀之間的聯(lián)系是一大關(guān)鍵，而如何結(jié)合特征提取網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)太赫茲點(diǎn)目標(biāo)的跟蹤是未來(lái)研究的重點(diǎn)。此外，當(dāng)目標(biāo)具有多個(gè)測(cè)量值時(shí)，擴(kuò)展目標(biāo)跟蹤提供了有效的跟蹤思路，如何對(duì)多個(gè)量測(cè)進(jìn)行有效的數(shù)據(jù)關(guān)聯(lián)匹配并建模是亟待解決的問(wèn)題；另一方面，面對(duì)太赫茲圖像目標(biāo)所具有的灰度信息以及紋理、形狀等信息，可以借助于光學(xué)以及毫米波目標(biāo)跟蹤算法，其中有效的特征提取器并對(duì)特征進(jìn)行相應(yīng)的融合成為一大關(guān)鍵。

5.4 多波段融合目標(biāo)跟蹤

多波段融合目標(biāo)跟蹤技術(shù)通過(guò)對(duì)不同波段跟蹤結(jié)果相融合，有效增加跟蹤的準(zhǔn)確性和魯棒性。2006年，空軍工程大學(xué)王飛等人基于傳統(tǒng)復(fù)合跟蹤框架，首先對(duì)目標(biāo)在空間上進(jìn)行配準(zhǔn)，再對(duì)目標(biāo)進(jìn)行跟蹤，然后計(jì)算每一幀跟蹤窗中心與目標(biāo)中心之間的偏移量，最終通過(guò)偏移量得出跟蹤結(jié)果[86]。2007年，西安電子科技大學(xué)張婷等人采用粒子濾波算法，根據(jù)毫米波以及紅外雷達(dá)不同數(shù)據(jù)的特征，并針對(duì)在數(shù)據(jù)融合中時(shí)間和空間不匹配問(wèn)題進(jìn)行配準(zhǔn)校正，對(duì)毫米波方位以及距離信息和紅外角度信息進(jìn)行數(shù)據(jù)融合[87]。2010年，海軍航空工程學(xué)院李相平等人在簡(jiǎn)單加權(quán)以及互協(xié)方差航跡融合的基礎(chǔ)上，針對(duì)兩種不同傳感器的情況，根據(jù)系統(tǒng)反饋，提出了一種能夠提高系統(tǒng)抗干擾能力的融合跟蹤算法[88]。2013年，電子科技大學(xué)李琢[89]提出了基于貝葉斯準(zhǔn)則的目標(biāo)重合概率分析融合算法，通過(guò)計(jì)算目標(biāo)區(qū)域重合部分的概率，將目標(biāo)進(jìn)行歸類(lèi)判決，以判決結(jié)果為依據(jù)得到融合結(jié)果，使目標(biāo)跟蹤的結(jié)果更加精確。2019年，美國(guó)亞利桑那州大學(xué)A. Sengupta等人提出了一種基于深層神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期內(nèi)存網(wǎng)絡(luò)的攝像機(jī)與毫米波雷達(dá)傳感器融合算法[90]，該算法使用決策框架，能夠在任何一個(gè)傳感器失敗時(shí)產(chǎn)生可靠的輸出，算法融合框架如圖17所示。同年，美國(guó)亞利桑那州大學(xué)R. Zhang等人提出了一種能夠?qū)⒑撩撞ɡ走_(dá)目標(biāo)信息與相機(jī)圖像目標(biāo)信息融合的新系統(tǒng)[91]，該系統(tǒng)考慮了來(lái)自不同傳感器坐標(biāo)系的誤差界限，利用擴(kuò)展卡爾曼濾波器來(lái)適應(yīng)不同的傳感器。重慶大學(xué)姜雨含等人于2019年提出了基于圖像視覺(jué)信息和毫米波雷達(dá)信息的融合算法[92]，建立圖像視覺(jué)信息和毫米波雷達(dá)信息融合算法框架，通過(guò)統(tǒng)一傳感器采樣時(shí)刻、坐標(biāo)系之間的變換以及對(duì)相機(jī)進(jìn)行標(biāo)定，實(shí)現(xiàn)圖像視覺(jué)信息和毫米波雷達(dá)信息在時(shí)空上的信息融合。2020年，重慶大學(xué)提出了基于毫米波雷達(dá)和視覺(jué)融合的夜間目標(biāo)檢測(cè)和跟蹤方法[93]，通過(guò)毫米波雷達(dá)和相機(jī)獲取和處理原始數(shù)據(jù)和圖像，獲得目標(biāo)航跡并進(jìn)行匹配。同年，重慶大學(xué)張翔等人通過(guò)內(nèi)外參數(shù)標(biāo)定實(shí)現(xiàn)毫米波雷達(dá)與像素之間的坐標(biāo)轉(zhuǎn)換，完成不同傳感器的時(shí)間配準(zhǔn)，再利用毫米波雷達(dá)測(cè)得目標(biāo)運(yùn)動(dòng)學(xué)參數(shù)，修正視覺(jué)跟蹤窗尺寸，實(shí)現(xiàn)了毫米波雷達(dá)與圖像的信息融合目標(biāo)跟蹤[94]。2021年，合肥工業(yè)大學(xué)胡延平等人提出核相關(guān)濾波結(jié)合卡爾曼濾波目標(biāo)跟蹤算法，通過(guò)利用對(duì)稱檢測(cè)算法以及雷達(dá)干擾剔除算法，對(duì)目標(biāo)運(yùn)動(dòng)過(guò)程中出現(xiàn)的遮擋、快速運(yùn)動(dòng)、方向改變等情況進(jìn)行處理，有效提高了目標(biāo)跟蹤的精度[95]。

圖17 融合長(zhǎng)短期內(nèi)存網(wǎng)絡(luò)的深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

6 結(jié)束語(yǔ)

本文首先回顧了目標(biāo)跟蹤算法的發(fā)展歷程，給出了目標(biāo)跟蹤的一般流程，并重點(diǎn)研究了傳統(tǒng)目標(biāo)跟蹤算法，相關(guān)濾波目標(biāo)跟蹤算法和高性能目標(biāo)跟蹤算法，表4給出了不同目標(biāo)跟蹤算法的特點(diǎn)及應(yīng)用場(chǎng)景。在此基礎(chǔ)上，分別對(duì)紅外、毫米波和太赫茲波段以及多波段融合目標(biāo)跟蹤技術(shù)進(jìn)行綜述，通過(guò)對(duì)不同波段圖像目標(biāo)跟蹤技術(shù)分析，并結(jié)合多波段融合目標(biāo)跟蹤技術(shù)，無(wú)疑對(duì)多波段成像系統(tǒng)穩(wěn)定魯棒目標(biāo)跟蹤具有重要的研究意義和參考價(jià)值。

表4 目標(biāo)跟蹤算法特點(diǎn)及應(yīng)用場(chǎng)景

[1] 趙春梅, 陳忠碧, 張建林. 基于深度學(xué)習(xí)的飛機(jī)目標(biāo)跟蹤應(yīng)用研究[J]. 光電工程, 2019, 46(9): 1–10.

ZHAO Chunmei, CHEN Zhongbi, ZHANG Jianlin. Application of aircraft target tracking based on deep learning[J]. Opto-Electronic Engineering, 2019, 46(9): 1–10.

[2] 張遠(yuǎn), 吳昊. 臨近空間目標(biāo)運(yùn)動(dòng)建模與跟蹤方法研究[J]. 火控雷達(dá)技術(shù), 2013, 42(4): 22–27.

ZHANG Yuan, WU Hao. Study on modeling of near-space moving targets and its tracking algorithm[J]. Fire Control Radar Technology, 2013, 42(4): 22–27.

[3] 盛衛(wèi)東. 天基光學(xué)監(jiān)視系統(tǒng)目標(biāo)跟蹤技術(shù)研究[D].長(zhǎng)沙: 國(guó)防科學(xué)技術(shù)大學(xué), 2011.

[4] 汪鴻翔, 柳培忠, 駱炎民, 等. 單目標(biāo)跟蹤算法綜述[J]. 海峽科學(xué), 2016 (7): 28–32.

WANG Hongxiang, LIU Peizhong, LUO Yanmin, et al. A survey of single object tracking[J]. Straits Science, 2016 (7): 28–32.

[5] 劉鋼, 劉明, 匡海鵬, 等. 多目標(biāo)跟蹤方法綜述[J]. 電光與控制, 2004, 11(3): 26–29, 39.

LIU Gang, LIU Ming, KUANG Haipeng, et al. Survey on multi-target tracking method[J]. Electronics Optics & Control, 2004, 11(3): 26–29, 39.

[6] 李磊. 視覺(jué)目標(biāo)長(zhǎng)期跟蹤算法研究[D]. 西安: 西安電子科技大學(xué), 2018.

[7] 丁正彤, 徐磊, 張研, 等. RGB-T目標(biāo)跟蹤綜述[J]. 南京信息工程大學(xué)學(xué)報(bào), 2019, 11(6): 690–697.

DING Zhengtong, XU Lei, ZHANG Yan, et al. A survey of RGB-T object tracking[J]. Journal of Nanjing University of Information Science & Technology, 2019, 11(6): 690–697.

[8] 王碩, 張奕群, 孫冰巖. 紅外點(diǎn)目標(biāo)跟蹤方法綜述[J]. 現(xiàn)代防御技術(shù), 2016, 44(2): 124–134.

WANG Shuo, ZHANG Yiqun, SUN Bingyan. Review of point target tracking methods based on infrared sensor[J]. Modern Defense Technology, 2016, 44(2): 124–134.

[9] 武江濤. 雷達(dá)擴(kuò)展目標(biāo)跟蹤算法研究[D]. 西安: 西安電子科技大學(xué), 2014.

[10] YAN L C, YOSHUA B, GEOFFREY H. Deep learning[J]. Nature, 2015 , 521: 436–444.

[11] Wang N, Shi J, Yeung D, et al. Understanding and diagnosing visual tracking systems[C]//2015 IEEE International Conference on Computer Vision (ICCV), 2015, 3101–3109.

[12] 朱文青, 劉艷, 卞樂(lè),等. 基于生成式模型的目標(biāo)跟蹤方法綜述[J]. 微處理機(jī), 2017, 38(1): 41–47.

ZHU Wenqing, LIU Yan, BIAN Le, et al. Survey on object tracking method base on generative model[J]. Microprocessors, 2017, 38(1): 41–47.

[13] Kalman R E. A new approach to linear filtering and prediction problems[J]. Transactions of the ASME-Journal of Basic Engineering, 1960, 82(Series D): 35–45.

[14] Sunahara Y, OhsumiA. An approximate method of stochastic terminal control for nonlinear dynamical systems[J]. Journal of the Franklin Institute, 1970, 289(3): 205–222.

[15] Bucy R S,Senne K D. Digital synthesis of non-linear filters[J]. Automatica, 1971, 7(3): 287–298.

[16] Reif K, Gunther S, Yaz E, et al. Stochastic stability of the discrete-time extended Kalman filter[J]. IEEE Transactions on Automatic Control, 1999, 44(4): 714–728.

[17] Uhlmann J K. Simultaneous map building and localization for real time applications[R]. University of Oxford, 1994.

[18] Julier S J, Uhlmann J K.New extension of the Kalman filter to nonlinear systems[C]//Signal Processing, Sensor Fusion, and Target Recognition VI: International Society for Optics and Photonics, 1997, 3068: 182–193.

[19] Arasaratnam I, Haykin S. Cubature Kalman filters[J]. IEEE Transactions on Automatic Control, 2009, 54(6): 1254–1269.

[20] Nummiaro K, Koller-Meier E, VAN Gool L. An adaptive color-based particle filter[J]. Image and Vision Computing, 2003, 21(1): 99–110.

[21] Mei X, Ling H. Robust visual tracking using L1 minimization[C]//2009 IEEE 12th International Conference on Computer Vision, 2009: 1436–1443.

[22] Bao C, Wu Y, Ling H, et al. Real time robust L1 tracker using accelerated proximal gradient approach[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition, 2012: 1830–1837.

[23] Zhang T, Ghanem B, LiuS, et al. Robust visual tracking via multi-task sparse learning[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. 2012: 2042–2049.

[24] Mei X, Ling H, WU Y, et al. Efficient minimum error bounded particle resampling L1 tracker with occlusion detection[J]. IEEE Transactions on Image Processing, 2013, 22(7): 2661–2675.

[25] Comaniciu D, Ramesh V, Meer P. Real-time tracking of non-rigid objects using mean shift[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2000, Cat. No. PR00662), 2000, 2: 142–149.

[26] KaewTraKulPong P, Bowden R. An improved adaptive background mixture model for real-time tracking with shadow detection[M]//Video-based surveillance systems. Boston: Springer, 2002: 135–144.

[27] Ross D, Lim J, Yang M H. Adaptive probabilistic visual tracking with incremental subspace update[C]//European Conference on Computer Vision. Berlin, Heidelberg: Springer, 2004: 470–482.

[28] Tuzel O, Porikli F, Meer P. A bayesian approach to background modeling[C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05)-Workshops. IEEE, 2005: 58–58.

[29] Prince S J. Computer vision: models, learning, and inference[M].: Cambridge University Press, 2012.

[30] CHEN Z, Hong Z, Tao D.An experimental survey on correlation filter-based tracking[J]. arXiv preprint arXiv: 2015, 1509.05520.

[31] Ojala T, Pietikainen M, Harwood D. Performance evaluation of texture measures with classification based on Kullback discrimination of distributions[C]//Proceedings of 12th International Conference on Pattern Recognition, IEEE, 1994, 1: 582–585.

[32] Papageorgiou C P, Oren M, Poggio T. A general framework for object detection[C]//Sixth International Conference on Computer Vision (IEEE Cat. No. 98CH36271), IEEE, 1998: 555–562.

[33] Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), IEEE, 2005, 1: 886–893.

[34] Bolme D S, Beveridge J R, Draper B A, et al. Visual object tracking using adaptive correlation filters[C]//2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, IEEE, 2010: 2544–2550.

[35] Martins P, Henriques J, Caseiro R, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]//European Conference on Computer Vision. Berlin, Heidelberg: Springer, 2012: 702–715.

[36] Henriques J F, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 37(3): 583–596.

[37] Danelljan M, Khan F S, Felsberg M, et al. Adaptive color attributes for real-time visual tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014: 1090–1097.

[38] Danelljan M, Hager G, Khan F S, et al. Accurate scale estimation for robust visual tracking[C]//British Machine Vision Conference, Nottingham, September 1-5, 2014. Bmva Press, 2014.

[39] Danelljan M, H?ger G, Khan F S, et al. Discriminative scale space tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 39(8): 1561–1575.

[40] LI Y,Zhu J. A scale adaptive kernel correlation filter tracker with feature integration[C]//European Conference on Computer Vision. Cham: Springer, 2014: 254–265.

[41] Bertinetto L, Valmadre J, Golodetz S, et al. Staple: Complementary learners for real-time tracking[C]// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA. 2016: 1401–1409.

[42] Mueller M, Smith N, Ghanem B. Context-aware correlation filter tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 1396–1404.

[43] Danelljan M, H?ger G, Shahbaz Khan F, et al.Learning spatially regularized correlation filters for visual tracking[C]//Proceedings of the IEEE International Conference on Computer Vision. 2015: 4310–4318.

[44] Gundogdu E, Alatan AA. Spatial windowing for correlation filter based visual tracking[C]//2016 IEEE International Conference on Image Processing (ICIP), IEEE, 2016: 1684–1688.

[45] Hong S, You T, Kwak S, et al. Online tracking by learning discriminative saliency map with convolutional neural network[C]//International Conference on Machine Learning. PMLR, 2015: 597–606.

[46] Danelljan M, et al. Beyond correlation filters: Learning continuous convolution operators for visual tracking[C]// European Conference on Computer Vision. Cham: Springer, 2016: 472–488.

[47] Nam H, Han B. Learning multi-domain convolutional neural networks for visual tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 4293–4302.

[48] Han B, Sim J, Adam H. Branchout: Regularization for online ensemble tracking with convolutional neural networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 3356–3365.

[49] Bertinetto L, Valmadre J, Henriques J F, et al. Fully-convolutional siamese networks for object tracking[C]// European Conference on Computer Vision. Cham: Springer, 2016: 850–865.

[50] LI B, YAN J, WU W, et al. High performance visual tracking with Siamese region proposal network [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018: 8971–8980.

[51] LI B, YAN J, WU W, et al. Siamrpn++: Evolution of siamese visual tracking with very deep networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 4282–4291.

[52] Chen Z, Zhong B, Li G, et al. Siamese box adaptive network for visual tracking[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020: 6668–6677.

[53] Guo D, Wang J, Cui Y, et al. SiamCAR: Siamese fully convolutional classification and regression for visual tracking[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020: 6269–6277.

[54] Wang X, Li C, Luo B, et al. Robust visual tracking via adversarial positive instance generation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 4864–4873.

[55] Song Y et al. Vital: Visual tracking via adversarial learning[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 8990–8999.

[56] Danelljan M, Bhat G, Shahbaz Khan F, et al. Atom: Accurate tracking by overlap maximization[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 4660–4669.

[57] Danelljan M, Gool L V, Timofte R. Probabilistic regression for visual tracking[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020: 7183–7192.

[58] CHEN X, YAN X, ZHENG F, et al. One-shot adversarial attacks on visual tracking with dual attention[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020: 10176–10185.

[59] Danelljan M, Bhat G, Shahbaz Khan F, et al. Eco: Efficient convolution operators for tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 6638–6646.

[60] Sun C, Wang D, Lu H, et al. Learning spatial-aware regressions for visual tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 8962–8970.

[61] Valmadre J, Bertinetto L,Henriques J, et al. End-to-end representation learning for correlation filter based tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 2805–2813.

[62] Zhu Z, Wu W, Zou W,et al. End-to-end flow correlation tracking with spatial-temporal attention[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 548–557.

[63] Wang N, Song Y, Ma C, et al. Unsupervised deep tracking[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 1308–1317.

[64] Wang N, Zhou W, Tian Q, et al. Multi-cue correlation filters for robust visual tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 4844–4853.

[65] Sun Y, Sun C, Wang D, et al. Roi pooled correlation filters for visual tracking[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 5783–5791.

[66] 閔祥龍, 王江安, 高翔. 三級(jí)管道流水線算法實(shí)現(xiàn)紅外點(diǎn)目標(biāo)跟蹤[J]. 光電工程, 2009, 36(2): 23–28.

MIN Xianglong, WANG Jiangan, GAO Xiang. Algorithm of the triple pipeline for actualizing IR point target tracking[J]. Opto-Electronic Engineering, 2009, 36(2): 23–28.

[67] 李曉冰, 趙滿慶, 張宏藝. 基于Hough變換的紅外序列圖像點(diǎn)目標(biāo)跟蹤方法[J]. 紅外, 2011, 32(10): 27–29,34.

LI Xiaobing, ZHAO Manqing, ZHANG Hongyi. Hough transform-based method for tracking point target in infrared sequence images[J]. Infrared, 2011, 32(10): 27–29,34.

[68] 李少毅, 梁爽, 張凱,等. 基于紅外壓縮成像的點(diǎn)目標(biāo)跟蹤方法研究[J]. 電子與信息學(xué)報(bào), 2015(7): 1739–1745.

LI Shaoyi, LIANG Shuang, ZHANG Kai, et al. Research of infrared compressive imaging based point target tracking method[J]. Journal of Electronics & Information Technology, 2015(7): 1739–1745.

[69] 武文成, 艾斯卡爾·艾木都拉. 基于在線集成學(xué)習(xí)的紅外點(diǎn)目標(biāo)跟蹤研究[J]. 山西大學(xué)學(xué)報(bào)（自然科學(xué)版）, 2019, 42(4): 755–761.

WU Wencheng, AIMUDULA Aisikaer. Infrared small target tracking algorithm based on online ensemble learning[J]. Journal of Shanxi University(Natural Science Edition), 2019, 42(4): 755–761.

[70] 高璐, 張大志, 田金文. 紅外序列圖像目標(biāo)跟蹤的自適應(yīng)Kalman濾波方法[J]. 紅外與激光工程, 2007, 36(5): 729–732, 757.

GAO Lu, ZHANG Dazhi, TIAN Jinwen. Moving object tracking based on adaptive Kalman filter[J]. Infrared and Laser Engineering, 2007, 36(5): 729–732, 757.

[71] 王卓, 焦淑紅, 鄧?yán)? 基于降低圖像分辨率的紅外目標(biāo)跟蹤方法[J]. 應(yīng)用科技, 2007, 34(3): 54–56.

WANG Zhuo, JIAO Shuhong, DENG Lei. Infrared target tracking algorithm based on reduced resolution[J]. Applied Science and Technology, 2007, 34(3): 54–56.

[72] 付夢(mèng)印, 劉羿彤. 基于互信息測(cè)度紅外目標(biāo)圖像相關(guān)匹配跟蹤算法[J]. 兵工學(xué)報(bào), 2009, 30(3): 371–374.

FU Mengyin, LIU Yitong. Infrared image object tracking based on multi-pattern algorithm[J]. Acta Armamentarii, 2009, 30(3): 371–374.

[73] 李玉玨, 王軍力, 顏景龍. 紅外目標(biāo)圖像的復(fù)合特征跟蹤算法[J]. 彈箭與制導(dǎo)學(xué)報(bào), 2010, 30(6): 17–18, 22.

LI Yujue, WANG Junli, YAN Jinglong. Infrared target image tracking algorithm based on composite features[J]. Journal of Projectiles, Rockets, Missiles and Guidance, 2010, 30(6): 17–18, 22.

[74] 王杰, 孫艷麗, 周偉. 基于多特征直方圖的紅外圖像目標(biāo)跟蹤[J]. 四川兵工學(xué)報(bào), 2017, 38(8): 103–106.

WANG Jie, SUN Yanli, ZHOU Wei. Target tracking in infrared image based on multi-feature histogram algorithm[J]. Journal of Ordnance Equipment Engineering, 2017, 38(8): 103–106.

[75] Hui L, Yong H, HE B, et al. Infrared target tracking algorithm based on multiple feature fusion and region of interest prediction[J]. Acta Photonica Sinica, 2019, 48(7): 0710004.

[76] 胡陽(yáng)光, 肖明清, 張凱, 等. 傳統(tǒng)特征和深度特征融合的紅外空中目標(biāo)跟蹤[J]. 系統(tǒng)工程與電子技術(shù), 2019, 41(12): 2675–2683.

HU Yangguang, XIAO Mingqing, ZHANG Kai, et al. Infrared aerial target tracking based on fusion of traditional feature and deep feature[J]. Systems Engineering and Electronics, 2019, 41(12): 2675–2683.

[77] 孫明杰, 周林, 顧金玲, 等. 基于多域網(wǎng)絡(luò)的紅外目標(biāo)跟蹤算法[J]. 系統(tǒng)工程與電子技術(shù), 2021, 43(5): 1176–1183.

SUN Mingjie, ZHOU Lin, GU Jinling, et al. Infrared target tracking algorithm based on multi-domain network[J]. Systems Engineering and Electronics, 2021, 43(5): 1176–1183.

[78] 毛林軍. 基于無(wú)源毫米波圖像序列的目標(biāo)檢測(cè)與跟蹤算法研究[D]. 成都: 電子科技大學(xué), 2012.

[79] 張?jiān)? 無(wú)源毫米波圖像變尺度目標(biāo)檢測(cè)跟蹤算法研究與實(shí)現(xiàn)[D]. 成都: 電子科技大學(xué), 2014.

[80] 孫永賀. 毫米波無(wú)源探測(cè)目標(biāo)多模式檢測(cè)與跟蹤算法研究[D]. 成都: 電子科技大學(xué), 2015.

[81] 江攀. 毫米波無(wú)源成像目標(biāo)跟蹤算法研究及實(shí)現(xiàn)[D]. 成都: 電子科技大學(xué), 2016.

[82] 毛靖琦. 毫米波無(wú)源成像運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究[D]. 成都: 電子科技大學(xué), 2017.

[83] Siegel P H. Terahertz technology[J]. IEEE Transactions on Microwave Theory and Techniques, 2002, 50(3): 910–928.

[84] 齊竟雄. 毫米波及太赫茲無(wú)源探測(cè)動(dòng)目標(biāo)檢測(cè)跟蹤算法研究[D]. 成都: 電子科技大學(xué), 2018.

[85] Li H, Li C, Gao H, et al. Study of moving targets tracking methods for a multi-beam tracking system in terahertz band[J]. IEEE Sensors Journal, 2020, 21(5): 6520–6529.

[86] 王飛, 萬(wàn)少松, 袁華. 紅外/毫米波雷達(dá)雙模導(dǎo)引末狀態(tài)的目標(biāo)跟蹤算法[J]. 兵工自動(dòng)化, 2006, 25(10): 5–6, 18.

WANG Fei, WAN Shaosong, YUAN Hua. Target track algorithm based on double-module guided end appearance of infrared/millimeter wave radar[J]. Ordnance Industry Automation, 2006, 25(10): 5–6, 18.

[87] 張婷. 紅外/毫米波復(fù)合制導(dǎo)數(shù)據(jù)融合技術(shù)研究[D]. 西安: 西安電子科技大學(xué), 2007.

[88] 李相平, 王光復(fù), 謝志敏. 毫米波/紅外復(fù)合制導(dǎo)目標(biāo)融合跟蹤算法[J]. 制導(dǎo)與引信, 2010, 31(1): 9–13.

LI Xiangping, WANG Guangfu, XIE Zhimin. Target fusion tracking algorithm for millimeter wave and infrared compound guidance[J]. Guidance & Fuze, 2010, 31(1): 9–13.

[89] 李琢. 無(wú)源毫米波和視頻序列圖像目標(biāo)跟蹤算法研究[D]. 成都: 電子科技大學(xué), 2013.

[90] Sengupta A, Jin F, Cao S. A DNN-LSTM based target tracking approach using mmWave radar and camera sensor fusion[C]//2019 IEEE National Aerospace and Electronics Conference (NAECON). IEEE, 2019: 688–693.

[91] Zhang R, Cao S.Extending reliability of mmWave radar tracking and detection via fusion with camera[J]. IEEE Access, 2019, 7: 137065–137079.

[92] 姜雨含. 毫米波雷達(dá)和機(jī)器視覺(jué)融合的前方車(chē)輛檢測(cè)與跟蹤算法研究[D]. 重慶: 重慶大學(xué), 2019.

[93] 重慶大學(xué). 基于毫米波雷達(dá)和視覺(jué)融合的夜間目標(biāo)檢測(cè)和跟蹤方法: CN202010699523.5[P]. 2020-11-20.

[94] 張翔. 基于毫米波雷達(dá)與機(jī)器視覺(jué)信息融合的道路車(chē)輛檢測(cè)與跟蹤算法研究[D]. 重慶: 重慶大學(xué), 2020.

[95] 胡延平, 劉菲, 魏振亞, 等. 毫米波雷達(dá)與視覺(jué)傳感器信息融合的車(chē)輛跟蹤[J]. 中國(guó)機(jī)械工程, 2021, 32(18): 2181–2188.

HU Yanping, LIU Fei, WEI Zhenya, et al. Vehicle tracking of information fusion for millimeter-wave radar and vision sensor[J]. China Mechanical Engineering, 2021, 32(18): 2181–2188.

Research on target tracking technology based on deep learning and its multi-band application

LI Wentao1, LI Shiyu1, HUAN Jinxiao1, LI Lei1, ZHANG Zhenhua2, KANG Chen2, LIU Di2, QIAO Haidong2, MOU Jinchao2

（1. State Key Laboratory of Antenna and Microwaves, Xidian University, Xi'an 710071, China; 2. Beijing Research Institute of Telemetry, Beijing, 100076, China）

Target tracking is one of the most challenging topics in computer vision field. Firstly, the development of target tracking technology is reviewed and the general process of target tracking is summarized. Secondly, the advantages and disadvantages of traditional target tracking methods based on Kalman filter and particle filter are analyzed. Thirdly, the fixed window correlation filter target tracking methods and high-performance adaptive full network target tracking methods are successively highlighted. Finally, the applications of target tracking in infrared, millimeter wave and terahertz radiation band are summarized, and multi-band fusion target tracking is forecasted.

Target tracking; Deep learning; Terahertz; Infrared; Millimeter wave

Website: ycyk.brit.com.cn Email: ycyk704@163.com

V556

A

CN11-1780(2022)06-0021-18

10.12347/j.ycyk.20220106001

李文濤, 李世玉, 郇金曉, 等.基于深度學(xué)習(xí)的目標(biāo)跟蹤技術(shù)及其多波段應(yīng)用研究[J]. 遙測(cè)遙控, 2022, 43(6): 21–38.

10.12347/j.ycyk.20220106001

: LI Wentao, LI Shiyu, HUAN Jinxiao, et al. Research on target tracking technology based on deep learning and its multi-band application[J]. Journal of Telemetry, Tracking and Command, 2022, 43(6): 21–38.

中央軍委173計(jì)劃重點(diǎn)項(xiàng)目；北京市科技新星計(jì)劃（Z201100006820130）

李文濤（wtli@mail.xidian.edu.cn）

2022-01-06

2022-03-16

李文濤 1983年生，博士，副教授，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)、目標(biāo)跟蹤和天線設(shè)計(jì)。

李世玉 1998年生，碩士研究生，主要研究方向?yàn)樾麦w制太赫茲雷達(dá)探測(cè)跟蹤。

郇金曉 1998年生，碩士研究生，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)、目標(biāo)識(shí)別、目標(biāo)跟蹤。

李 磊 1999年生，碩士研究生，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)、目標(biāo)識(shí)別、目標(biāo)跟蹤。

張振華 1977年生，博士，研究員，主要研究方向?yàn)槔走_(dá)與衛(wèi)星有效載荷技術(shù)。

康 忱 1995年生，碩士，助理工程師，主要研究方向?yàn)樘掌澇上袼惴夹g(shù)。

劉 娣 1994年生，碩士，助理工程師，主要研究方向?yàn)樘掌澨焖硼伵c源技術(shù)。

喬海東 1990年生，博士，工程師，主要研究方向?yàn)樘掌澨綔y(cè)芯片與微系統(tǒng)技術(shù)。

牟進(jìn)超 1985年生，博士，高級(jí)工程師，主要研究方向?yàn)樘掌澘茖W(xué)與技術(shù)。

(本文編輯：潘三英)