張 晉，王元余，林丹丹，杜欣悅，林 宇，蘭 戈

基于相關(guān)濾波的紅外目標(biāo)跟蹤抗遮擋處理

張 晉，王元余，林丹丹，杜欣悅，林 宇，蘭 戈

（昆明物理研究所，云南 昆明 650223）

針對傳統(tǒng)的相關(guān)濾波算法在紅外目標(biāo)跟蹤過程中，目標(biāo)被完全遮擋后跟蹤失效的問題，提出一種結(jié)合了多尺度濾波跟蹤器和基于深度學(xué)習(xí)檢測器的目標(biāo)實(shí)時跟蹤抗遮擋算法。首先使用跟蹤器跟蹤目標(biāo)，計算目標(biāo)的峰值響應(yīng)強(qiáng)度并比較峰值響應(yīng)強(qiáng)度與經(jīng)驗(yàn)閾值的大小以判斷目標(biāo)是否被遮擋或跟蹤丟失。然后當(dāng)目標(biāo)被遮擋或跟蹤丟失時，停止更新跟蹤器，由于目標(biāo)被遮擋后再次進(jìn)入畫面的位置可能會發(fā)生巨大變化，并且跟蹤器在整個圖像中搜索目標(biāo)的速度特別慢，因此在不降低跟蹤精度和速度的情況下，后續(xù)幀中采用了檢測器檢測目標(biāo)并得到多個目標(biāo)框。利用檢測器得到的目標(biāo)框，分別利用跟蹤器進(jìn)行相關(guān)濾波，針對每個目標(biāo)框得到一個峰值響應(yīng)強(qiáng)度，其中峰值響應(yīng)強(qiáng)度最大且超過經(jīng)驗(yàn)閾值的目標(biāo)框即為重新進(jìn)入畫面的目標(biāo)。通過與多尺度相關(guān)濾波算法比較，所提算法在滿足實(shí)時跟蹤的情況下，能有效地解決紅外目標(biāo)被遮擋的問題，具有更高的魯棒性和精確度。

紅外目標(biāo)跟蹤；相關(guān)濾波；多尺度濾波；深度學(xué)習(xí)；遮擋處理；實(shí)時跟蹤

0 引言

紅外目標(biāo)跟蹤是指對紅外視頻中的目標(biāo)進(jìn)行檢測和跟蹤的技術(shù)，由于紅外具有全天候監(jiān)控的特征，其廣泛應(yīng)用于國防軍事和民用方面，在國防軍事上，如地?？漳繕?biāo)監(jiān)控和預(yù)警系統(tǒng)以及精確制導(dǎo)等，在民用上，如安防監(jiān)控、人機(jī)交互和無人機(jī)對地面目標(biāo)的跟蹤等[1-4]。目標(biāo)跟蹤技術(shù)近年來受到了人們的廣泛關(guān)注，也是當(dāng)今計算機(jī)視覺領(lǐng)域最具挑戰(zhàn)性的研究領(lǐng)域之一。在實(shí)際應(yīng)用中，由于實(shí)際場景復(fù)雜，視頻中目標(biāo)的形變、光照變化、旋轉(zhuǎn)、快速運(yùn)動和遮擋等因素都會影響跟蹤的準(zhǔn)確度，提出一種實(shí)時、魯棒性強(qiáng)、跟蹤精度高的跟蹤算法仍具有較大的難度，為解決上述因素的影響，近年來目標(biāo)跟蹤領(lǐng)域也出現(xiàn)了許多算法。目標(biāo)跟蹤算法根據(jù)表觀模型可以分為兩類：生成式和判別式模型。其中生成式模型主要是在視頻圖像中尋找與給定目標(biāo)最相似的圖像窗口，而判別式模型則是通過學(xué)習(xí)分類器來對圖像進(jìn)行目標(biāo)和背景的二分類。

近年來在判別式跟蹤算法中，由于相關(guān)濾波的跟蹤算法具有高速和高效的特點(diǎn)，得到了人們的廣泛關(guān)注和迅速的發(fā)展[5]。相關(guān)濾波算法最初用于信號處理領(lǐng)域中比較兩個信號的相似度，隨后Bolme等人[6]首次基于相關(guān)濾波提出了最小誤差輸出平方和跟蹤算法（minimum output sum of squared error filter, MOSSE），利用傅里葉變換將時域上的卷積轉(zhuǎn)換為頻域上的點(diǎn)積，極大地減少了計算量，提高了目標(biāo)跟蹤速度，跟蹤速度超過了600fps，完全滿足了實(shí)際應(yīng)用中目標(biāo)跟蹤的實(shí)時性要求。由于該算法在目標(biāo)跟蹤上的優(yōu)異表現(xiàn)，此后眾多基于此算法框架的相關(guān)濾波改進(jìn)算法相繼被提出，其中最具代表性的有Henriques等人[7-8]提出的循環(huán)結(jié)構(gòu)跟蹤算法（circulant structure Kernel, CSK）以及在此基礎(chǔ)上用方向梯度直方圖（histogram of oriented gradient, HOG）特征替代CSK算法中灰度特征的核相關(guān)濾波跟蹤算法（Kernel correlation filter, KCF），極大地提高了跟蹤準(zhǔn)確度。隨后Danelljan等人[9-10]基于循環(huán)結(jié)構(gòu)先后提出了判別尺度空間跟蹤算法（discriminative scale space tracker, DSST）和快速判別尺度空間跟蹤算法（fast discriminative scale space tracker, fDSST），能在快速跟蹤目標(biāo)的同時進(jìn)行尺度更新，較好地解決了目標(biāo)跟蹤尺度變化的問題。

然而目標(biāo)遮擋作為目標(biāo)跟蹤領(lǐng)域一種常見的情況，相關(guān)濾波跟蹤算法無法有效的解決。由于相關(guān)濾波大多采用循環(huán)矩陣的方式，如果采用全圖像搜索目標(biāo)，則會極大地降低跟蹤速度，無法滿足實(shí)際應(yīng)用的實(shí)時性要求，因此相關(guān)濾波的大部分算法均采用在目標(biāo)附近的圖像窗口內(nèi)進(jìn)行計算響應(yīng)強(qiáng)度，但是在實(shí)際目標(biāo)跟蹤過程中，當(dāng)目標(biāo)被遮擋或出畫面后再次進(jìn)入畫面時，目標(biāo)很可能不會出現(xiàn)在之前的位置，這將會導(dǎo)致相關(guān)濾波跟蹤算法無法有效地重新跟蹤上目標(biāo)。

針對以上情況，本文結(jié)合快速判別尺度空間濾波跟蹤算法[10]和深度學(xué)習(xí)中的YOLO（you only look once）目標(biāo)識別算法[11]進(jìn)行改進(jìn)并提出YOLO-fDSST跟蹤算法（YfDSST），當(dāng)目標(biāo)跟蹤丟失后，先采用YOLO算法快速檢測出圖像中的目標(biāo)，隨后利用fDSST算法在各檢測出來的目標(biāo)框內(nèi)進(jìn)行峰值響應(yīng)強(qiáng)度計算，得到包含最大峰值響應(yīng)強(qiáng)度且峰值大于經(jīng)驗(yàn)閾值的目標(biāo)框即為待跟蹤的目標(biāo)，利用該目標(biāo)更新相關(guān)濾波模型并進(jìn)行后續(xù)視頻幀的跟蹤。對比實(shí)驗(yàn)結(jié)果表明，本文改進(jìn)的算法在滿足實(shí)時性的情況下，能有效解決跟蹤過程中目標(biāo)被遮擋和出畫面的情況，具有更高的魯棒性和精確度。

1 目標(biāo)跟蹤器

本文所提的跟蹤器算法由跟蹤模塊和目標(biāo)再檢測模塊構(gòu)成，其中跟蹤模塊使用快速判別尺度空間濾波算法，其引入了融合方向梯度直方圖（fusion of HOG, FHOG）特征[12]的，再檢測模塊使用基于深度學(xué)習(xí)的YOLO算法實(shí)現(xiàn)對目標(biāo)位置和大小的快速檢測。

1.1 快速判別尺度空間濾波器

fDSST采用了兩個獨(dú)立的相關(guān)濾波器，分別實(shí)現(xiàn)目標(biāo)的位置跟蹤和尺度變換，并分別定義為位置濾波器和尺度濾波器。在連續(xù)的兩幀視頻圖像中，通常位置的變化大于尺度的變化，因此該算法先采用位置濾波器確定目標(biāo)位置信息，在目標(biāo)位置的基礎(chǔ)上再使用尺度濾波器確定其尺度信息。

在位置濾波過程中，提取目標(biāo)所在圖像塊的FHOG特征，并通過式(1)構(gòu)造最優(yōu)濾波器：

式中：、、均為×的矩陣，其中和分別為圖像塊的高度和寬度大小，表示特征維數(shù)且∈{1, 2, …,}；為正則項(xiàng)系數(shù)；?代表循環(huán)相關(guān)。

由于循環(huán)相關(guān)的矩陣點(diǎn)積運(yùn)算的計算量巨大，利用傅里葉變換可以將時域內(nèi)的矩陣卷積運(yùn)算轉(zhuǎn)換為頻域上的點(diǎn)積運(yùn)算，從而極大地減少了計算量，加快了計算速度[7]。傅里葉變換后的最優(yōu)相關(guān)濾波器如式(2)所示：

式中：大寫字母代表相應(yīng)的離散傅里葉變換，上劃線表示共軛，特征維數(shù)取值范圍?{1, 2, …,}。

在實(shí)際工程應(yīng)用中，通常把相關(guān)濾波器H拆分成分子A和分母B的形式分別進(jìn)行迭代更新操作，如式(3)所示：

式中：表示學(xué)習(xí)率。

對于新的一幀視頻圖像，利用相關(guān)濾波器和高斯函數(shù)構(gòu)建相應(yīng)的圖像塊的輸出響應(yīng)得分，其中輸出響應(yīng)得分最高的地方則為當(dāng)前視頻幀的目標(biāo)位置，如式(4)所示：

在尺度濾波過程中，為了確定視頻幀中目標(biāo)的最佳尺度大小，跟蹤算法采用了一個一維的相關(guān)濾波器去估計目標(biāo)在圖像中的尺度，假設(shè)在當(dāng)前幀中目標(biāo)大小為×，尺度大小設(shè)置為，在目標(biāo)中心位置提取尺度等級為的訓(xùn)練樣本圖像塊J，并提取特征作為圖像塊的維特征描述子，其中圖像塊的大小為aP×aR，表示尺度因子，尺度等級的選取范圍為∈{[－(－1)/2], …, [(－1)/2]}。

1.2 目標(biāo)再檢測

相關(guān)濾波器進(jìn)行目標(biāo)跟蹤的原理是以視頻圖像與濾波器模板作用后的輸出響應(yīng)最大的地方作為目標(biāo)的位置，但是圖像在進(jìn)行每一次濾波的位置是上一幀中目標(biāo)的位置，如果目標(biāo)被遮擋或目標(biāo)出畫面導(dǎo)致目標(biāo)跟蹤丟失，當(dāng)目標(biāo)再次進(jìn)入畫面時，目標(biāo)可能不會出現(xiàn)在丟失前的位置，而濾波器模板的濾波位置仍然停留在丟失前的位置，此時將無法跟蹤重新進(jìn)入畫面的目標(biāo)。由于相關(guān)濾波器一般會采用循環(huán)矩陣的方式來增加訓(xùn)練樣本數(shù)量，如果使相關(guān)濾波器進(jìn)行全圖像搜索，則會導(dǎo)致計算量急劇上升使得跟蹤速度無法滿足實(shí)時性要求。為了能夠在跟蹤目標(biāo)丟失后，能夠重新找到目標(biāo)并持續(xù)對其進(jìn)行跟蹤，有必要引入再檢測機(jī)制。不同于傳統(tǒng)的目標(biāo)檢測中針對每一幀視頻都進(jìn)行目標(biāo)檢測，在本文所提的再檢測機(jī)制中，只有當(dāng)圖像塊中目標(biāo)的峰值響應(yīng)強(qiáng)度低于經(jīng)驗(yàn)閾值后，即目標(biāo)跟蹤丟失后才進(jìn)行目標(biāo)再檢測，從而不會顯著地影響跟蹤速度。

由于目標(biāo)再檢測算法的準(zhǔn)確度和速度會對目標(biāo)跟蹤準(zhǔn)確度和速度造成較大影響，因此對目標(biāo)再檢測算法提出了較高的要求。本文的再檢測機(jī)制采用的基于深度學(xué)習(xí)的YOLOv4算法[11]對目標(biāo)進(jìn)行檢測，在目標(biāo)檢測的準(zhǔn)確性和速度上均能較好的滿足要求。

YOLOv4是YOLO系列最新的網(wǎng)絡(luò)，其骨干網(wǎng)絡(luò)主要CSPDarknet53構(gòu)成，相對于其它骨干網(wǎng)絡(luò)，CSPDarknet53具有參數(shù)量少和傳輸速度快的優(yōu)勢，并且在CSPDarknet53網(wǎng)絡(luò)中采用了空間金字塔池化模塊，能有效地改善感受野尺寸，在不降低網(wǎng)絡(luò)處理速度的情況下將圖像中最重要的上下位特征提取出來。同時YOLOv4網(wǎng)絡(luò)還利用路徑聚合網(wǎng)絡(luò)（path aggregation network, PAN）對特征進(jìn)行多通道融合，PAN網(wǎng)絡(luò)的應(yīng)用可以實(shí)現(xiàn)特征的重用、提高檢測準(zhǔn)確率以及降低計算瓶頸和減少內(nèi)存開銷。

網(wǎng)絡(luò)訓(xùn)練過程中的損失函數(shù)如式(5)所示：

式中：L為目標(biāo)預(yù)測框與真實(shí)框的中心點(diǎn)和寬高誤差之和；coord為坐標(biāo)系數(shù)；confidence為目標(biāo)置信度誤差，包含了格子中有物體和無物體的兩項(xiàng)置信度誤差；obj和noobj分別為格子中有物體和無物體的置信度系數(shù)；classes為目標(biāo)分類損失；obj表示為第個格子的第個錨框的匹配情況；c表示第個預(yù)測框的置信度；p表示第個預(yù)測框包含某類目標(biāo)的概率。

在檢測過程中，該算法將圖片劃分成×個網(wǎng)格，將每個格子作為先驗(yàn)錨框位置，并在格子內(nèi)對物體置信度、類別置信度和位置偏移量進(jìn)行擬合，最終經(jīng)過非極大值抑制后得到目標(biāo)的邊界框坐標(biāo)和類別信息。

1.3 跟蹤流程

本文算法是在fDSST算法[10]的基礎(chǔ)上引入目標(biāo)再檢測機(jī)制來實(shí)現(xiàn)目標(biāo)跟蹤的抗遮擋處理，首先利用fDSST對目標(biāo)進(jìn)行跟蹤，當(dāng)目標(biāo)被遮擋或出畫面時，當(dāng)前視頻幀中目標(biāo)的峰值響應(yīng)強(qiáng)度會低于經(jīng)驗(yàn)閾值，此時停止相關(guān)濾波器模型更新并會啟用目標(biāo)再檢測機(jī)制。

本文算法針對場景中存在一個或多個目標(biāo)的情形均是適用的，如果場景中存在多個目標(biāo)，目標(biāo)再檢測機(jī)制會在目標(biāo)跟蹤丟失后，在后續(xù)視頻幀中檢測出所有目標(biāo)，從而得到所有目標(biāo)的位置和大小信息，但是待跟蹤的目標(biāo)可能僅僅是檢測出的所有目標(biāo)中的一個，因此必須從所有被檢測出來的目標(biāo)中將待跟蹤的目標(biāo)篩選出來，在實(shí)際光電系統(tǒng)應(yīng)用中，會進(jìn)一步結(jié)合伺服系統(tǒng)返回的跟蹤目標(biāo)速度大小和方向信息，排除相似干擾目標(biāo)的影響，提高目標(biāo)重捕獲的成功率。

針對檢測出來的每一個目標(biāo)，使用相關(guān)濾波器計算目標(biāo)的峰值響應(yīng)強(qiáng)度，選取峰值響應(yīng)強(qiáng)度最大且大于經(jīng)驗(yàn)閾值的目標(biāo)即為待跟蹤目標(biāo)。如果最大峰值響應(yīng)強(qiáng)度小于經(jīng)驗(yàn)閾值，則說明在檢測出來的目標(biāo)中可能不包含待跟蹤目標(biāo)，則需要依據(jù)后續(xù)視頻幀的檢測結(jié)果繼續(xù)進(jìn)行篩選。

在篩選出待跟蹤目標(biāo)后，以式(3)對相關(guān)濾波器模型進(jìn)行更新，并以經(jīng)過相關(guān)濾波器篩選后的目標(biāo)峰值響應(yīng)強(qiáng)度位置初始化跟蹤目標(biāo)位置，考慮到目標(biāo)在被遮擋或出畫面后重新進(jìn)入畫面時，目標(biāo)的尺寸大小可能會發(fā)生變化，因此需要依據(jù)檢測目標(biāo)的尺寸大小對跟蹤目標(biāo)進(jìn)行尺度更新，更新方式如式(6)所示：

式中：b為尺度更新的學(xué)習(xí)率；wb和hb分別為檢測器檢測到的目標(biāo)寬高大??；wt－1和ht－1分別為前一幀中目標(biāo)的寬高大小。在得到重新進(jìn)入畫面的目標(biāo)后繼續(xù)以fDSST算法對目標(biāo)進(jìn)行跟蹤從而實(shí)現(xiàn)目標(biāo)的抗遮擋處理。圖1為基于相關(guān)濾波的目標(biāo)跟蹤抗遮擋處理的流程圖。

2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)中目標(biāo)檢測器的訓(xùn)練數(shù)據(jù)采用紅外仿真軟件獲得超過7萬張的紅外圖像，圖像包含坦克、悍馬、直升機(jī)、艦艇、戰(zhàn)斗機(jī)、卡車和大巴車等在內(nèi)的多個目標(biāo)類別，人工標(biāo)注后將數(shù)據(jù)按9:1的比例分成訓(xùn)練集和測試集兩部分，并采用變學(xué)習(xí)率的方式在訓(xùn)練服務(wù)器上訓(xùn)練10萬步后得到目標(biāo)檢測器模型。

目標(biāo)跟蹤測試視頻采用紅外仿真軟件獲得兩段目標(biāo)被完全遮擋又重新進(jìn)入畫面的視頻并進(jìn)行人工標(biāo)注，視頻幀數(shù)超過500幀，幀頻為30Hz，寬高為640×512像素。并在移植該跟蹤算法到實(shí)際光電系統(tǒng)后，針對實(shí)際場景進(jìn)行了兩次在線測試，在線測試的視頻采集幀率為40Hz，圖像大小為640×512像素。

2.1 實(shí)驗(yàn)環(huán)境與參數(shù)

考慮到實(shí)際嵌入式系統(tǒng)應(yīng)用，測試采用C＋＋語言，所用硬件采用NvidiaJetson TX2核心板，GPU為Pascal包含256顆CUDA核心，CPU為HMP Dual Denver 2和Quad ARM A57。顯存和內(nèi)存共享大小為8GB的主存。相關(guān)濾波器學(xué)習(xí)率為0.01，尺度更新學(xué)習(xí)率為0.1，尺度因子為1.04，峰值響應(yīng)強(qiáng)度閾值為0.6。檢測器訓(xùn)練時學(xué)習(xí)率采用變學(xué)習(xí)率策略，初始學(xué)習(xí)率為0.00025，在4萬步和7萬步時學(xué)習(xí)率縮小10倍。經(jīng)過10萬步迭代后損失降低到0.5左右并保持基本穩(wěn)定。檢測器的測試結(jié)果如表1所示，測試時檢測閾值為0.5，從表1可以看出對所有的目標(biāo)類型檢測準(zhǔn)確率和召回率均超過97%，在該跟蹤算法中，檢測器的檢測閾值采用0.3，以提高目標(biāo)檢測召回率，從而提高跟蹤目標(biāo)丟失重捕獲的成功率。

表1 檢測器測試結(jié)果

2.2 性能評估方法

為評估本文所提算法在目標(biāo)跟蹤抗遮擋處理的性能，實(shí)驗(yàn)采用了距離精度（Distance Precision，DP）和成功率（success rate, SR）作為評估標(biāo)準(zhǔn)[13]。距離精度是在跟蹤過程中，跟蹤算法所跟蹤的目標(biāo)中心位置與人工標(biāo)注的目標(biāo)中心位置的歐氏距離小于某一距離閾值的視頻幀數(shù)占整個視頻中包含目標(biāo)的視頻幀數(shù)（剔除目標(biāo)遮擋的幀數(shù)）的百分比。如果在相同的距離閾值下，距離精度越大則算法的跟蹤效果越好。成功率則是指跟蹤算法所跟蹤的目標(biāo)矩形框與人工標(biāo)注的目標(biāo)矩形框的交并比（intersection over union, IoU）大于某一IoU閾值的視頻幀數(shù)占整個視頻中包含目標(biāo)的視頻幀數(shù)的百分比。如果在相同的IoU閾值下，成功率越高則算法的跟蹤效果越好。

2.3 抗遮擋處理性能比較

2.3.1 定性比較

圖2和圖3分別為在紅外中波和長波下不同算法的跟蹤結(jié)果，下面結(jié)合圖2和圖3對本文所提的算法進(jìn)行分析。

圖2 中波紅外下目標(biāo)跟蹤結(jié)果（實(shí)線：本文算法，虛線：fDSST）

圖3 長波紅外下目標(biāo)跟蹤結(jié)果（實(shí)線：本文算法，虛線：fDSST）

從圖2中可以看出，針對中波紅外波段，在目標(biāo)未被遮擋之前，兩種算法均能較好地跟蹤目標(biāo)，與實(shí)際目標(biāo)位置偏差較小。但是在目標(biāo)被部分遮擋時，fDSST算法仍然在更新濾波器模型，導(dǎo)致濾波器模型加入較多的背景信息，從而在第333幀視頻圖像之后，當(dāng)目標(biāo)重新進(jìn)入畫面并運(yùn)動時，該算法的目標(biāo)框仍然停留在之前更新學(xué)習(xí)的圖像背景位置，即圖2(c)中虛線目標(biāo)框所示，無法有效實(shí)現(xiàn)目標(biāo)的抗遮擋處理。而本文所提算法在目標(biāo)被部分遮擋時，能及時地停止更新相關(guān)濾波器模型，以及在目標(biāo)重新進(jìn)入畫面后的短時間內(nèi)，準(zhǔn)確地重捕獲目標(biāo)并具有較高的時效性，如圖2(c)中實(shí)線目標(biāo)框所示，并在后續(xù)視頻幀中穩(wěn)定準(zhǔn)確地對目標(biāo)持續(xù)跟蹤。在圖3的長波紅外波段下，同樣可以看出fDSST跟蹤算法無法有效地對紅外目標(biāo)在完全被遮擋后進(jìn)行重捕獲，而本文所提算法能有效、快速地對長波紅外目標(biāo)在被遮擋后進(jìn)行再檢測跟蹤，實(shí)現(xiàn)目標(biāo)的持續(xù)穩(wěn)定跟蹤。

通過以上分析可知本文所提算法針對紅外目標(biāo)，能在目標(biāo)被遮擋時及時停止更新相關(guān)濾波器模型，避免模型帶入背景噪聲，并在引入再檢測機(jī)制后，能快速準(zhǔn)確地對跟蹤目標(biāo)進(jìn)行再捕獲，并實(shí)現(xiàn)持續(xù)穩(wěn)定跟蹤。

2.3.2 定量比較

由于距離精度和成功率是跟蹤算法中廣泛使用的評估標(biāo)準(zhǔn)，因此本實(shí)驗(yàn)選用這兩個標(biāo)準(zhǔn)來評估算法的整體性能[13]。

圖4分別是中波和長波紅外下，不同算法的距離精度隨目標(biāo)中心位置偏差閾值變化的實(shí)驗(yàn)結(jié)果。從圖中可以看出本文算法在中波和長波紅外下的距離精度均值分別為82%和71%，相比于fDSST算法分別提高了61%和36%，在中心位置偏差閾值為10個像素時，本文算法在中波和長波紅外下的距離精度分別達(dá)到了90%和75%，明顯優(yōu)于相同閾值下fDSST算法的距離精度。

圖4 中波和長波紅外下的平均距離精度

圖5分別是中波和長波紅外下，不同算法的跟蹤成功率隨交并比閾值變化的實(shí)驗(yàn)結(jié)果。在交并比閾值為0.5的情況下，本文算法的成功率在中波和長波紅外下分別達(dá)到了89%和75%，分別比fDSST算法高出了66%和34%，并且平均成功率無論是在中波紅外還是長波紅外情況下均明顯優(yōu)于fDSST算法。

綜上實(shí)驗(yàn)結(jié)果可知，本文在針對紅外目標(biāo)跟蹤的抗遮擋處理時，基于相關(guān)濾波引入目標(biāo)再檢測機(jī)制能夠較好地提高跟蹤效果，并能很好對解決目標(biāo)被全部遮擋的問題。

圖5 中波和長波紅外下的平均成功率

在跟蹤效率上，表2為跟蹤算法運(yùn)行速度的對比結(jié)果，從對比結(jié)果中可以看出，本文提出的算法與fDSST算法在運(yùn)行速度上相差不大，均在100fps左右，具有較高的運(yùn)行效率，能夠完全滿足嵌入式系統(tǒng)中實(shí)時跟蹤的需求。

表2 跟蹤算法運(yùn)行速度對比

2.3.3 在線測試

在基于仿真視頻針對跟蹤算法進(jìn)行相關(guān)性能測試的同時，也將跟蹤算法移植到實(shí)際光電轉(zhuǎn)塔中，并基于光電轉(zhuǎn)塔，在兩個實(shí)際場景中對跟蹤算法進(jìn)行了在線測試。

在在線測試場景一中，正常被跟蹤的目標(biāo)車輛在第42幀被廣告牌遮擋后跟蹤丟失，并在第44幀重新出現(xiàn)在畫面中，從圖6中可以看出，在第44幀中目標(biāo)被光電轉(zhuǎn)塔重新捕獲跟蹤。在第42幀和第43幀的畫面中，目標(biāo)車輛跟蹤丟失后，畫面中存在其它干擾車輛，然而跟蹤器并未重捕獲其它干擾目標(biāo)車輛，而是保持目標(biāo)跟蹤丟失狀態(tài)直到真實(shí)目標(biāo)出現(xiàn)并重捕獲。

圖6 在線測試場景一跟蹤結(jié)果（從左至右、從上至下分別為第39、41、42、43、44、45幀）

在在線測試場景二中，跟蹤的部分結(jié)果如圖7所示，在第74幀及以前，雖然畫面中存在著較多其它車輛，但是目標(biāo)車輛仍被較好地持續(xù)跟蹤，在第76幀時，目標(biāo)開始被樹木遮擋，并持續(xù)遮擋至第79幀，在被遮擋期間，跟蹤器處于目標(biāo)丟失狀態(tài)，從畫面中可以看出，目標(biāo)跟蹤丟失期間，場景中存在較多的其它車輛甚至是極為相似的車輛，但是跟蹤器并未重捕獲至其它干擾車輛造成誤跟蹤情況。從圖7中可以看出在第81幀目標(biāo)車輛重新出現(xiàn)在畫面后跟蹤器迅速對目標(biāo)進(jìn)行重捕獲并進(jìn)行持續(xù)準(zhǔn)確的實(shí)時跟蹤。

綜上基于光電轉(zhuǎn)塔的在線測試結(jié)果可以看出，在實(shí)際場景存在多個目標(biāo)的情況下，當(dāng)跟蹤目標(biāo)被遮擋導(dǎo)致跟蹤丟失后，跟蹤器能較好地避免重捕獲其它相似目標(biāo)而導(dǎo)致誤跟蹤，并在真實(shí)目標(biāo)重新出現(xiàn)在畫面中時迅速對其進(jìn)行重捕獲并持續(xù)、準(zhǔn)確地進(jìn)行實(shí)時跟蹤。

圖7 在線測試場景二跟蹤結(jié)果（從左至右、從上至下分別為第69、74、76、79、81、92幀）

3 結(jié)論

針對相關(guān)濾波跟蹤器在紅外目標(biāo)被遮擋時無法有效持續(xù)跟蹤目標(biāo)的問題，本文在快速判別尺度空間濾波器跟蹤器算法的基礎(chǔ)上引入基于深度學(xué)習(xí)的目標(biāo)再檢測機(jī)制，提出了一種紅外目標(biāo)跟蹤抗遮擋處理的跟蹤算法，在通過大量的紅外圖像數(shù)據(jù)集對目標(biāo)檢測器進(jìn)行訓(xùn)練后，該算法在目標(biāo)被遮擋后又重新進(jìn)入畫面時，能夠快速準(zhǔn)確地對目標(biāo)進(jìn)行重捕獲并進(jìn)行持續(xù)跟蹤。相比與原始的fDSST算法，本文算法在中波和長波紅外下的距離精度和跟蹤成功率均有較大地提升，在具有較好的跟蹤準(zhǔn)確度的同時具有較高的跟蹤速率，能滿足嵌入式系統(tǒng)中實(shí)時跟蹤的要求，具有一定的實(shí)際應(yīng)用價值。盡管提出的方法在紅外目標(biāo)跟蹤上取得了良好的跟蹤效果，但是還需要在更加復(fù)雜實(shí)際紅外場景中進(jìn)行測試和改進(jìn)。

[1] 蔡毅. 紅外系統(tǒng)中的掃描型和凝視型FPA[J]. 紅外技術(shù), 2001, 23(1): 1-5,18.

CAI Yi. The scanning and starring FPA in infrared systems[J]., 2001, 23(1): 1-5, 18.

[2] 范晉祥, 楊建宇. 軍用紅外成像探測跟蹤技術(shù)發(fā)展趨勢與新技術(shù)研究進(jìn)展[C]//第十屆全國光電技術(shù)學(xué)術(shù)交流會論文集, 2012: 125-134.

FAN Jinxiang, YANG Jianyu. Development trend and research progress of military infrared imaging detection and tracking technology[C]//10th, 2012: 125-134.

[3] 王云萍. 美國天基紅外導(dǎo)彈預(yù)警技術(shù)分析[J]. 光電技術(shù)應(yīng)用, 2019, 34(3): 1-7.

WANG Yunping. Analysis of space-based infrared missile warning system in America[J]., 2019, 34(3): 1-7.

[4] FU Z, CHANG Z, YONG H, et al. Foreground gated network for surveillance object detection[C]//2018(BigMM), 2018: 1-7.

[5] Danelljan M, Hager G, Khan F S, et al. Learning spatially regularized correlation filters for visual tracking[C]//, 2015: 4310-4318.

[6] Bolme D S, Beveridge J R, Draper B A, et al. Visual object tracking using adaptive correlation filters[C]//,, 2010: 13-18.

[7] Henriques J F, Rui C, Martins P, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]//12th, 2012: 702-715.

[8] Henriques J F, Caseiro R, Martins P, et al. High-speed tracking with kernelized correlation filters[C]//, 2015, 37: 583-596.

[9] Danelljan M, H?ger G, Khan F S, et al. Accurate scale estimation for robust visual tracking[C]//, 2014(65): 1-11.

[10] Danelljan M, H?ger G, Khan F S, et al. Discriminative scale space tracking[C]//,2017, 39(8): 1561-1575.

[11] Bochkovskiy A, WANG C Y, LIAO H. YOLOv4: optimal speed and accuracy of object detection[J/OL]., arXiv:2004.10934. https://arxiv.org/abs/2004.10934.

[12] Felzenszwalb P F, Girshick R B, Mc Allester D, et al. Object detection with discriminatively trained part-based models[C]//, 2010, 32: 1627-1645.

[13] WU Y, LIM J, YANG M H. Object tracking benchmark[J]., 2015, 37: 1834-1848.

Anti-occlusion Process of Infrared Target Tracking Based on Correlation Filters

ZHANG Jin，WANG Yuanyu，LIN Dandan，DU Xinyue，LIN Yu，LAN Ge

(Kunming Institute of Physics, Kunming 650223, China)

Focusing on the issue that traditional correlation filters have poor performance in infrared target tracking with occlusion, an anti-occlusion and real-time target-tracking algorithm based on a multi-scale filter tracker and a deep learning detector is proposed. First, the peak response value is calculated using the tracker; if the peak value is less than the threshold, the target is occluded or tracking is lost. Second, the detector stops updating when the target is occluded or tracking is lost. The position of the target changes significantly when it comes in frame again after occlusion, and the speed of target searching with the tracker will be very slow. At this time, a detector is employed to detect the targets in the subsequent frames without loss of tracking accuracy and speed. The peak values are calculated for each target box that is detected by the detector, and the target with a maximum peak value larger than the threshold is tracked. The results of the experiment compared with the multi-scale correlation filter show that the proposed real-time tracking algorithm can not only effectively solve infrared target occlusion, but also has higher tracking robustness and accuracy.

infrared target tracking, deep learning, correlation filters, multi-scale filter, occlusion process, real-time tracking

TN219

A

1001-8891(2022)03-0277-09

2021-12-13；

2022-01-28.

張晉（1986-），男，云南保山人，碩士研究生，主要研究方向?yàn)橐曨l目標(biāo)識別與跟蹤。E-mail：zhangjin_211@163.com。

王元余（1989-），男，湖南衡陽人，高級工程師，主要從事紅外圖像處理的研究。E-mail：wxyjin232425@163.com。