吳 捷，段艷艷，馬小虎

基于KL散度與通道選擇的熱紅外目標跟蹤算法

吳 捷1，段艷艷1，馬小虎2

（1. 泰州職業(yè)技術學院 信息技術學院，江蘇 泰州 225300；2. 蘇州大學 計算機科學與技術學院，江蘇 蘇州 215006）

為了解決單一跟蹤器無法有效應對復雜背景及目標外觀的顯著變化，對于熱紅外目標跟蹤準確度不高的問題，基于全卷積孿生網(wǎng)絡提出了一種多響應圖集成的跟蹤算法用于熱紅外跟蹤。首先，使用預訓練的卷積神經(jīng)網(wǎng)絡來提取熱紅外目標的多個卷積層的特征并進行通道選擇，在此基礎上分別構建3個對應的跟蹤器，每個跟蹤器獨立執(zhí)行跟蹤并返回一個響應圖。然后，利用Kullback–Leibler（KL）散度對多個響應圖進行優(yōu)化集成，得到一個更強的響應圖。最后利用集成后的響應圖來確定目標位置。為了評估所提算法的性能，在當前最全面的熱紅外跟蹤基準LSOTB-TIR（Large-Scale Thermal Infrared Object Tracking Benchmark）上進行了實驗。實驗結果表明，所提算法能夠適應復雜多樣的紅外跟蹤場景，綜合性能超過了現(xiàn)有的紅外跟蹤算法。

熱紅外；全卷積孿生網(wǎng)絡；多響應圖；通道選擇；KL散度

0 引言

近年來，借助于深度學習等理論，視覺目標跟蹤技術取得了重大突破。但現(xiàn)有跟蹤算法大多是針對可見光場景，對于熱紅外目標跟蹤的研究文獻較少，只有LIU等人[1-4]進行了較為深入的研究。

與可見光目標跟蹤相比，熱紅外跟蹤具有不受照明變化影響的優(yōu)點，可以在完全黑暗的情況下跟蹤目標。因此，熱紅外跟蹤在災難救援、視頻監(jiān)控和夜間巡邏等領域具有廣闊的應用前景[5]。隨著熱紅外成像設備在民用領域的普及化使用，熱紅外目標跟蹤正逐步成為計算機視覺領域的一個研究熱點。

和可見光跟蹤相似，熱紅外跟蹤也面臨著不少挑戰(zhàn)。首先，熱紅外圖像缺少顏色信息，較難獲得目標對象的判別特征，從而降低了跟蹤性能[6]。比如兩個不同顏色的相似物體在熱紅外圖像中幾乎是相同的。除此之外，熱紅外跟蹤還面臨如遮擋、外觀變化和運動模糊等挑戰(zhàn)。

近年來，深度學習已成功應用到視覺跟蹤中，取得了一系列重要成果。與基于手工特征的跟蹤器相比，基于卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）的跟蹤器可以獲得更優(yōu)越的跟蹤性能。因為單個卷積層特征對跟蹤中的各種挑戰(zhàn)（例如形變和背景雜斑）魯棒性不強，現(xiàn)有基于深度學習的跟蹤算法大多是融合淺層和深層特征進行跟蹤，比如HCF（Hierarchical Convolutional Features）[7]基于KCF（Kernel Correlation Filter）框架，使用預訓練的VGG-19（Visual Geometry Group-19）網(wǎng)絡提取目標的Conv3-4（Convolution 3-4）、Conv4-4、Conv5-4層特征進行融合，而TADT（Target-Aware Deep Tracking）[8]基于全卷積孿生網(wǎng)絡（Fully-Convolutional Siamese Network，SiamFC）[9]框架使用預訓練的VGG-16網(wǎng)絡提取Conv4-1、Conv4-3層特征并進行融合等等。上述算法均屬于特征層融合，并沒有實現(xiàn)決策層融合，而且使用單一跟蹤器無法有效應對復雜背景及目標外觀變化等挑戰(zhàn)因素。

考慮到卷積神經(jīng)網(wǎng)絡的強大表征能力及其在視覺跟蹤中的成功應用，本文將在可見光圖像數(shù)據(jù)集上預訓練的CNN用于熱紅外跟蹤任務，并基于此設計了一個多響應圖集成的熱紅外目標跟蹤方法。

1 全卷積孿生網(wǎng)絡框架

全卷積孿生網(wǎng)絡是ECCV 2016（European Conference on Computer Vision 2016）會議[9]上提出的一種全新的目標跟蹤框架，其通過比較初始目標模板和當前幀中搜索區(qū)域的特征來進行跟蹤。其實現(xiàn)流程可以由下式定義：

(,)＝()*()＋(1)

式中：()為第一幀中模板圖像對應的特征圖；()為后續(xù)幀中待搜索區(qū)域的特征圖；*為卷積運算符，為偏置項。圖1給出了SiamFC網(wǎng)絡結構圖。

本文算法選擇全卷積孿生網(wǎng)絡作為目標跟蹤的基本框架，主要原因在于：①全卷積孿生網(wǎng)絡結構簡單，可以在較大的搜索圖像中定位目標模版，并且跟蹤速度快。②在跟蹤過程中目標模板不更新，可以有效應對目標遮擋等挑戰(zhàn)。

圖1 SiamFC網(wǎng)絡結構

2 本文算法

2.1 預訓練網(wǎng)絡

雖然Siamese框架是在大型視頻數(shù)據(jù)集 ILSVRC15（Large Scale Visual Recognition Challenge 2015）上預先訓練的，但是Siamese跟蹤器沒有充分利用與特定目標對象相關的語義信息。因此在本文算法中，我們借鑒了TADT的做法，從一個預先訓練好的CNN中選擇對于目標最具判別性以及對于目標尺度變化最為敏感的卷積濾波器（特征通道）來生成目標深度特征。在本文中，我們選擇使用VGG-16卷積網(wǎng)絡來提取對于熱紅外目標敏感的特征。在2.2節(jié)中將給出特征通道的選擇方法。

2.2 通道選擇

諸如VGG、ResNet（Residual Network）等卷積網(wǎng)絡中的參數(shù)是在龐大的數(shù)據(jù)集中預訓練獲得的，相對于當前要跟蹤的對象存在許多冗余的特征通道信息。冗余的特征通道會占用大量的計算資源，這也是許多基于深度學習的跟蹤算法執(zhí)行速度較慢的原因。除此之外，冗余的特征通道還會對跟蹤造成干擾，影響跟蹤精度。本文在特征提取過程中進行通道選擇，減少冗余特征通道對當前跟蹤目標的不利影響。

本文的通道選擇是基于文獻[10]提出的GCAM（Grad-Class Activation Mapping）模型來實現(xiàn)的。GCAM模型根據(jù)每個輸入像素點的梯度來表示其屬于給定類別標記的重要性，通過沿特征通道計算加權和，生成一個類活動映射。特征通道的權值是通過對該通道中所有梯度的全局平均池化（Global Average Pooling，GAP）來計算的，權值高的特征通道對當前類的貢獻大。公式如下：

式中：表示計算出的第個通道的重要性；AP是全局平均池化函數(shù)；是損失函數(shù)；z指的是第個過濾器的輸出特征。

借鑒該理論，本文算法在提取深度特征后計算每個特征通道的梯度值，從中選擇最能標記目標特征也就是重要性較高的特征通道進行后續(xù)運算。

2.3 多跟蹤器設計

雖然當前主流跟蹤算法都使用了深度特征，但使用單個跟蹤器在某些場景下仍然很難獲得優(yōu)秀的跟蹤性能?；诖?，本文提出利用多個互補的卷積層特征構建一個集成式熱紅外目標跟蹤方法。本文利用VGG-16卷積網(wǎng)絡分別提取待跟蹤目標的Conv4-1、Conv4-2、Conv4-3和Conv5-1層特征，并形成如下3種特征組合：{Conv4-2、Conv4-1}、{Conv4-3、Conv4-1}、{Conv5-1、Conv4-1}。利用上述3種特征組合分別設計跟蹤器1、跟蹤器2、跟蹤器3，在3種特征組合中均包含Conv4-1層，這是因為文獻[8]的實驗表明Conv4-1層特征最適合用來進行目標的尺度估計。每個跟蹤器的計算過程都是相似的，下面以跟蹤器1為例給出具體跟蹤過程：

1）提取待跟蹤目標的Conv4-1和Conv4-2層特征（每層共包含512個特征通道）；

2）利用2.2節(jié)中提到的方法計算所有特征通道的梯度信息，選擇對于目標活動和尺度變化較為敏感的特征通道參與后序的互相關操作。經(jīng)過通道選擇后，降低了卷積層的維度，提高了卷積層的有效性。本文按照重要性高低對所有特征通道進行排序并選擇了Conv4-2層的前300個通道和Conv4-1層的前80個通道進行融合參與后續(xù)運算。

3）通過互相關操作獲取目標響應圖。

2.4 基于KL散度的集成模型

利用2.3節(jié)的方法可以獲得多個響應圖，在本節(jié)將給出利用KL散度將多個響應圖進行集成的過程。

我們可以用P表示第個跟蹤器產(chǎn)生的目標位置響應圖，?R×表示集成后的響應圖。然后采用KL散度度量他們之間的廣義距離，該距離越小則認為他們之間的分布差異越小，也就意味著集成后的概率圖更能反映每一個概率圖P中一致的部分，即目標出現(xiàn)概率最大的區(qū)域。通過最小化該KL散度，可以達到優(yōu)化概率圖的目的，具體過程如下式：

其中：

由于在跟蹤場景中可能存在背景雜斑等干擾，因此在響應圖中會存在“多峰”現(xiàn)象，即存在多個目標位置響應。文獻[1]提供了一個行之有效的去噪策略，本文借鑒該策略將2.3節(jié)中得到的響應圖進行過濾，下式給出過濾過程：

P,z＝P⊙P(5)

式中：＝{1,2,…,－1}，＝{＋1,＋2,…,}。

在式(5)中代表跟蹤器的數(shù)量；⊙表示點乘操作。按照式(5)進行去噪處理可以使過濾后的概率圖具有更高的置信度，提高跟蹤的精確度。個響應圖進行兩兩去噪處理后可以得到((－1))/2個噪音更少、置信度更高的概率圖＝{1,2,1,3,…,2,3,…P－1,n}。因此公式(3)可以被重寫成如下形式：

根據(jù)拉格朗日乘數(shù)法，令：

對所有的p、q求偏導并令￠()和￠()等于0，最終可求得：

通過取式(8)中響應圖中的最大值可以得到目標的位置(,)：

3 實驗結果與分析

3.1 實驗環(huán)境

我們在Win10系統(tǒng)中使用Matlab2016b編程語言實現(xiàn)了所提出的目標跟蹤算法。為了驗證本文所提算法的有效性，在配備I7-10700 2.9GHz CPU和GTX-1080 GPU的PC上進行了實驗，對比算法有HCF[7]、SiamFC[9]、TADT[8]、MDNet（Multi-Domain Convolutional Neural Networks）[11]、ATOM（Accurate Tracking by Overlap Maximization）[12]、MCFTS（Multi-Layer Convolutional Features for Thermal Infrared Tracking）[1]、HSSNet（Hierarchical Spatial-Aware Siamese Network）[2]、MLSSNet（Multi-Level Similarity Network）[3]、MMNet（Multi-Task Matching Network）[4]。其中MCFTS、MLSSNet、HSSNet和MMNet是專用紅外目標跟蹤算法，其他5種算法均為近年來優(yōu)秀的可見光跟蹤算法。

3.2 評估數(shù)據(jù)集

因為目前公開的紅外視頻數(shù)據(jù)集非常少，所以很多學者使用VOT-TIR16（The Thermal Infrared Visual Object Tracking 2016）[13]和PTB-TIR（Thermal Infrared Pedestrian Tracking Benchmark）[14]作為熱紅外跟蹤評估數(shù)據(jù)集。VOT-TIR16數(shù)據(jù)集中視頻序列過少，只包含25個紅外視頻序列，部分跟蹤算法可以通過調參的方式去適應。PTB-TIR數(shù)據(jù)集中雖然包含60個紅外視頻序列，但跟蹤目標均為行人，類別較為單一，無法評估跟蹤算法對通用目標的跟蹤效果。

2020年8月發(fā)布的LSOTB-TIR[15]有效解決了上述問題。LSOTB-TIR是迄今為止規(guī)模最大，多樣性最強的熱紅外目標跟蹤數(shù)據(jù)集。包含120個跟蹤序列，涵蓋22個目標類別，超過8.2萬幀圖像。LSOTB-TIR中定義了4種場景屬性，這4種場景中的紅外視頻分別由車載、手持、無人機載和監(jiān)控設備拍攝，保證了視頻來源的多樣性。著名的可見光數(shù)據(jù)集OTB-100（Object Tracking Benchmark）定義了11種挑戰(zhàn)屬性，LSOTB-TIR則定義了紅外目標跟蹤中的12種挑戰(zhàn)屬性。在這12種挑戰(zhàn)屬性中，有8種屬性和OTB-100中的類似，分別為遮擋、出視野、背景雜斑、形變、尺度變化、低分辨率、快速運動和運動模糊，這里不再贅述。剩余的4種為熱紅外跟蹤中特有的挑戰(zhàn)屬性，具體定義在表1中列出。

因為LSOTB-TIR的全面性和多樣性，所以本文選擇使用LSOTB-TIR作為評估數(shù)據(jù)集。需要說明的是，本文并沒有選擇全部視頻序列進行測試，而是從上述4種應用場景數(shù)據(jù)集中隨機選擇了40個典型紅外短視頻序列進行測試，這是因為LSOTB-TIR沒有跟蹤失敗重啟機制，在長視頻序列中如果在某一幀丟失目標并且在后續(xù)幀無法找回將極大影響跟蹤成功率，采用短視頻序列測試更加公平。本文所提算法在40個視頻序列上的平均跟蹤速度約為11.2FPS。

表1 LSOTB-TIR定義的的4種熱紅外挑戰(zhàn)屬性

3.3 與經(jīng)典跟蹤算法的性能對比

3.3.1 定量分析

圖2為本文算法與MDNet等9種對比算法在LSOTB-TIR上生成的總精確度圖和成功率圖，本文提出的算法在這兩項重要指標上均排名第一。與參照算法TADT相比，跟蹤精確度和成功率分別提高了3.6%和4.2%，大幅超過了MMNet等紅外目標跟蹤算法，證明了本文采用的響應圖集成策略取得較好的效果。圖3給出了10種算法在變形、背景雜斑、運動模糊、相似物干擾等4種復雜場景下的精確度曲線圖，本文所提算法均體現(xiàn)了較強的魯棒性。相比優(yōu)秀的可見光跟蹤器ATOM，本文算法的跟蹤精確度率分別提高了13.2%、10.5%、13.9%和27.8%，說明本文所提算法更適合于紅外目標跟蹤。

圖2 10種算法在LSOTB-TIR的距離精度曲線圖和成功率曲線

3.3.2 定性分析

為了更直觀地評估本文所提算法的跟蹤性能，圖4給出了本文算法與另外3種在LSOTB-TIR數(shù)據(jù)集上表現(xiàn)優(yōu)異的算法（TADT、ATOM和MDNet）在car_S_003、cow_H_001、person_S_015、street_S_001等4個視頻序列的可視化跟蹤結果。這4個視頻序列非常具有代表性，包括汽車、動物、行人和環(huán)境復雜的街道，幾乎涵蓋了重要種類的地面紅外目標。定性分析過程如下：

圖3 10種算法在LSOTB-TIR上4種挑戰(zhàn)性場景下精確度曲線圖

圖4 本文算法與另外三種算法跟蹤結果比較

1）car_S_003視頻序列中跟蹤目標為行進中的汽車。ATOM跟蹤器在第9幀時即受到周圍相似物的干擾而發(fā)生漂移，第52幀中TADT和MDNet也接近丟失目標，第105幀時只有本文算法可以準確跟蹤。

2）cow_H_001跟蹤目標為右起第二只羊，從視頻截圖可以看出，ATOM和MDNet均受到相似物和周圍環(huán)境干擾丟失目標，只有本文算法和TADT可以持續(xù)準確跟蹤。

3）person_S_015視頻序列中跟蹤目標為右邊的行人，旁邊有個撐傘的行人和其同步前進，存在相似物及熱交叉等干擾。ATOM、TADT分別在第30幀、第210幀時跟蹤失敗。相比MDNet，本文算法定位更為精確。

4）street_S_001視頻序列中跟蹤目標為街道上背包的行人，該視頻序列包含熱交叉、背景雜斑、遮擋等多種挑戰(zhàn)。從視頻截圖可以看出其他幾種算法跟蹤框均漂移到相似的行人上，而本文算法因為集成了多個跟蹤器可以正確跟蹤。

3.4 消融實驗

本節(jié)通過標準數(shù)據(jù)集LSOTB-TIR上的消融實驗來驗證算法相關模塊設計的合理性。首先，為了驗證通道選擇的有效性，以跟蹤器1（Ours_1）為例，比較了不進行通道選擇（No_CS）和進行通道選擇的效果對比。如圖5(a)所示，本文算法在只選擇了300個通道的情況下跟蹤精度還提高了0.6%，證明冗余通道可以丟棄，并且丟棄冗余通道后跟蹤速度有了顯著提升，因此利用通道選擇后的跟蹤器參與后續(xù)集成更加高效。其次，為了驗證集成方法的有效性，將本文提出的集成方法（Ours）與跟蹤器1（Ours_1）、跟蹤器2（Ours_2）及跟蹤器3（Ours_3）分別單獨跟蹤的結果進行了對比。如圖5(b)所示，可以看出集成算法較其他3個單獨跟蹤方法在跟蹤精確度上分別提升了2.5%、3.6%和1.6%。消融結果證明了本文所提算法的有效性。

圖5 消融實驗

4 結論

基于簡潔高效的全卷積孿生網(wǎng)絡框架提出了一種多響應圖集成的紅外目標跟蹤算法。算法的創(chuàng)新之處在于利用預訓練的VGG-16網(wǎng)絡來提取熱紅外目標的深度特征并進行通道選擇，進而通過對不同層次的深度特征進行組合設計了3個跟蹤器。最后基于KL散度將3個跟蹤器的響應圖進行集成以獲取最優(yōu)結果。為了驗證本文算法的實際效果，在大型熱紅外數(shù)據(jù)集LSOTB-TIR上進行了測試并和近年來幾種先進的目標跟蹤算法進行了比較。實驗結果表明，本文所提算法性能良好，具有一定的實際應用價值。

[1] LIU Q, LU X H, HE Z Y, et al. Deep convolutional neural networks for thermal infrared object tracking[J]., 2017, 134: 189-198.

[2] LI X, LIU Q, FAN Nana, et al. Hierarchical spatial-aware Siamese network for thermal infrared object tracking[J].2019, 166: 71-81.

[3] LIU Q, LI X, HE Z Y, et al. Learning deep multi-level similarity for thermal infrared object tracking[J]., 2021, 23: 2124-2126.

[4] LIU Q, LI X, HE Z Y, et al. Multi-task driven feature models for thermal infrared tracking[C]//34th, 2020: 11604-11611.

[5] 張晉, 王元余, 林丹丹, 等. 基于相關濾波的紅外目標跟蹤抗遮擋處理[J]. 紅外技術, 2022, 44(3): 277-285．

ZHANG Jin, WANG Yuanyu, LIN Dandan, et al. Anti-occlusion process of infrared target tracking based on correlation filters[J]., 2022, 44(3): 277-285.

[6] 李暢, 楊德東, 宋鵬, 等. 基于全局感知孿生網(wǎng)絡的紅外目標跟蹤[J]. 光學學報, 2021, 41(6): 0615002-1-0615002-11.

LI Chang, YANG Dedong, SONG Pen, et al. Global-Aware siamese network for thermal infrared object tracking[J]., 2021, 41(6): 0615002-1-0615002-11.

[7] MA C, HUANG J B, YANG X, et al. Hierarchical convolutional features for visual racking[C]//, 2015: 3074-3082.

[8] LI X, MA C, WU B Y, et al. Target-aware deep tracking[C]//(CVPR), 2019: 1369-1378.

[9] Bertinetto L, Valmadre J, Henriques J F, et al. Fully-convolutional siamese networks for object tracking [C]//, 2016: 850-865.

[10] Selvaraju R, Cogswell M, Das A, et al. Grad-cam: visual explanations from deep networks via gradient based localization[C]//, 2017: 618-626.

[11] Nam H, Han B. Learning multi-domain convolutional neural networks for visual tracking[C]//, 2016: 4293-4302.

[12] Danelljan M, Bhat G, Khan F S, et al. Atom: Accurate tracking by overlap max-imization[C]//, 2019: 4660-4669.

[13] Felsberg M, Kristan M, others. The thermal infrared visual object tracking VOT-TIR2016 challenge results[C]//, 2016: 824-849.

[14] LIU Q, HE Z, LI X, et al. PTB-TIR: A thermal infrared pedestrian tracking bench-mark[J]., 2019, 22(3): 666-675.

[15] LIU Q, LI X, LI C L. LSOTB-TIR: A large-scale high-diversity thermal infrared object tracking benchmark[C/OL]//28, 2020, https://arxiv.org/abs/2008.00836.

Thermal Infrared Target Tracking Algorithm Based on KL Divergence and Channel Selection

WU Jie1，DUAN Yanyan1，MA Xiaohu2

(1. College of Information Technology, Taizhou Polytechnic College, Taizhou 225300, China;2. School of Computer Science and Technology, Soochow University, Suzhou 215006, China)

To solve the problem that a single tracker cannot effectively deal with the complex background and significant changes in target appearance, leading to the problem of low accuracy of thermal infrared target tracking, a tracking algorithm based on a fully-convolutional Siamese network is proposed for thermal infrared tracking. First, a pre-trained convolution neural network is used to extract the features of multiple convolution layers of thermal infrared targets and select channels. On this basis, three corresponding trackers are constructed, and each tracker performs tracking independently and returns a response map. Then, the Kullback Leibler (KL) divergence is used to optimize and integrate multiple response maps to obtain a stronger response map. Finally, the integrated response map is used to determine the target location. To evaluate the performance of the proposed algorithm, experiments were conducted using the most comprehensive thermal infrared tracking benchmark, LSOTB-TIR. The experimental results show that the proposed algorithm can adapt to complex and diverse infrared tracking scenes, and its comprehensive performance is better than that of existing infrared tracking algorithms.

thermal infrared, fully-convolutional siamese network, multi response maps, channel selection, kullback-leibler divergence

TP391.41

A

1001-8891(2023)01-0033-07

2022-07-25；

2022-08-23.

吳捷（1982-），男，副教授，主要研究方向：視覺目標跟蹤。E-mail:37323736@qq.com。

國家自然科學基金（61402310）；江蘇省自然科學基金（BK20141195）；泰州職業(yè)技術學院重點科研項目（1821819039）。