唐 鑫，彭 博，滕 飛

（西南交通大學(xué) 計算機與人工智能學(xué)院，成都 611756）

0 引言

紅外成像具有抗干擾能力強、成像清楚，精確率高等優(yōu)點，被廣泛應(yīng)用于飛機制導(dǎo)、夜視導(dǎo)航和遙感等軍事和民用領(lǐng)域。當目標距離較遠時，在生成的紅外圖像中通常呈現(xiàn)像素數(shù)小于9×9的小目標；同時由于紅外圖像的特性，紅外小目標具有信噪比低、缺乏有效的顏色、紋理、形狀等特征的問題，而且在實際應(yīng)用過程中，紅外小目標夾雜在戈壁、海洋、云層等復(fù)雜背景中，這都給紅外小目標的跟蹤帶來了較大的挑戰(zhàn)。

目前紅外小目標跟蹤算法可以分為生成式法、判別式法和基于深度學(xué)習(xí)的方法［1］。生成式法是對待跟蹤目標建立特征模型并在下一幀中尋找目標模型的最優(yōu)匹配，代表算法有卡爾曼濾波［2］、粒子濾波［3］、均值漂移［4］等。這些算法對變化場景中的運動目標處理能力較差，實際跟蹤效果不理想。判別式法是將目標區(qū)域和背景區(qū)域劃分為正負樣本，訓(xùn)練分類器將目標和背景進行區(qū)分，代表算法有相關(guān)多示例學(xué)習(xí)［5］、隨機森林［6］等。判別式法的缺點是在跟蹤輪廓模糊的小目標時容易丟失目標。

近年來，基于深度學(xué)習(xí)的小目標跟蹤方法因獨特的深度特征、穩(wěn)定的跟蹤效果、弱邊界效應(yīng)等優(yōu)點引起了人們的廣泛關(guān)注。Liu 等［7］提出區(qū)域卷積 神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）框架，利用候選區(qū)域提取深度特征完成對小目標的跟蹤。Li 等［8］提出孿生候選區(qū)域生成網(wǎng)絡(luò)（Siamese Region Proposal Network，SiamRPN），將整體的跟蹤任務(wù)分解為多個局部性檢測任務(wù)。胡陽光等［9］提出基于多域?qū)W習(xí)的神經(jīng)網(wǎng)絡(luò)框架，將長寬比和均值對比度與深度特征進行融合，在單一特征的小目標跟蹤中具有良好的精度。Gazzaley 等［10］提出一種自頂向下的調(diào)制機制（Top-Down Modulation，TDM），對多層特征圖進行選擇和融合，這些特征繼承了局部更大的感受野，極大地改善了小目標的跟蹤效果?？傊矸e網(wǎng)絡(luò)感知目標的結(jié)構(gòu)和內(nèi)部幾何分布信息是有效的，但由于紅外小目標成像面積小、特征不明顯、噪聲干擾等，現(xiàn)有的大多數(shù)方法在面對紅外小目標時難以滿足跟蹤穩(wěn)定性的要求。

一些基于低秩稀疏矩陣分解的方法［11-12］認為紅外弱小目標本身是稀疏的，相對的背景則是低秩的。針對紅外小目標跟蹤，關(guān)注目標的周圍環(huán)境信息與目標本身是同等重要的。對此，本文提出一種新的針對紅外小目標的跟蹤方法。對于紅外小目標，本文方法不僅關(guān)注目標本身，也關(guān)注小目標及其周圍場景這個整體。它可以提取當前幀有用的狀態(tài)信息并按序列傳播到下一幀，該狀態(tài)信息表示待跟蹤目標周圍的其他對象在連續(xù)幀中的運動情況。狀態(tài)信息與分類器得分一起用于預(yù)測每一幀的目標狀態(tài)與位置。本文主要工作如下。

1）提出了一種針對紅外小目標的跟蹤方法，利用傳播的狀態(tài)信息對紅外小目標進行跟蹤。提出了一種新的分類器，通過當前幀和上一幀的特征信息區(qū)分目標與背景。

2）提出了一個分數(shù)融合模塊，能有效地將分類器的分類結(jié)果和狀態(tài)信息結(jié)合起來，輸出最后的分數(shù)以確定待跟蹤目標最終的位置。

3）在DIRST（Dataset for Infrared detection and tRacking of dim-Small aircrafT）數(shù)據(jù)集［13］上進行實驗，對比了通用目標跟蹤方法和紅外小目標跟蹤方法，取得了96.2%的召回率和97.3%的精確率。

1 本文方法

由于紅外小目標缺乏紋理和形狀信息，只依賴外觀模型對單獨某一幀進行處理是不全面的，所以本文提出一種新的跟蹤方法，結(jié)合前一幀的狀態(tài)信息對紅外圖像中的小目標進行跟蹤。

1.1 整體結(jié)構(gòu)

本文方法的整體結(jié)構(gòu)如圖1 所示，由特征提取器、分類器、融合模塊、傳播模塊和IoU-Net［14］組成。跟蹤不僅僅依賴分類器的分類結(jié)果，還利用了傳播的狀態(tài)信息，通過為目標領(lǐng)域中的每個區(qū)域維護一個狀態(tài)向量實現(xiàn)傳播狀態(tài)信息；通過對該區(qū)域存在的目標、背景、干擾物信息編碼得到狀態(tài)向量。當目標對象在序列中移動時，首先通過估計連續(xù)幀之間的密集對應(yīng)關(guān)系修正狀態(tài)向量，傳播相應(yīng)的狀態(tài)向量。然后將傳播的狀態(tài)向量與目標外觀模型結(jié)合，預(yù)測目標最終位置的置信度，再利用IoU-Net 獲取目標的邊界框。最后通過卷積門控循環(huán)單元（Convolutional Gated Recurrent Unit，ConvGRU）神經(jīng)網(wǎng)絡(luò)［15］更新狀態(tài)向量，使之能夠在連續(xù)幀中傳播。

圖1 本文方法的整體結(jié)構(gòu)Fig.1 Overall structure of the proposed method

本文方法的輸入為連續(xù)序列中第0 幀～第N幀的紅外圖像和初始標簽信息。紅外圖像輸入到以ResNet（Residual Network）-50［16］為基礎(chǔ)的骨干網(wǎng)絡(luò)中提取特征信息。對于初始幀，先通過一個小型網(wǎng)絡(luò)γ將初始幀圖像中目標位置的標簽b0初始化為初始狀態(tài)向量，然后通過分類器、狀態(tài)傳播、融合模塊預(yù)測待跟蹤目標的中心點，同時更新當前幀的狀態(tài)信息，最終通過IoU-Net 輸出每一幀中待跟蹤目標的邊界框(x1，y1，x2，y2)，其中x1，y1為邊界框左上角坐標，x2，y2為邊界框右下角坐標。

1.2 分類器

雖然紅外小目標的像素較少，但它的外觀特征信息也可以作為跟蹤的一個重要線索。為了使本文方法更具有魯棒性，設(shè)計基于兩個線索完成對于紅外小目標的跟蹤，即使用當前幀中目標與背景的大致分布和隨幀數(shù)傳播的狀態(tài)信息。分類器的作用是區(qū)分目標和背景。在使用分類器C 之前，需要先通過特征提取器提取當前幀的特征信息ft，本文選擇ResNet-50 作為骨干網(wǎng)絡(luò)提取特征。分類器C 的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 分類器C的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of classifier C

圖3 融合模塊M中分數(shù)融合部分的網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of score fusion part in fusion module M

分類器C 的設(shè)計參考DiMP（Discriminative Model Prediction）追蹤器［17］，DiMP 作為一個端到端的網(wǎng)絡(luò)結(jié)構(gòu)，在圖像跟蹤方面有良好的表現(xiàn)。但由于紅外小目標的像素少，缺乏紋理顏色等信息，直接使用外觀模型區(qū)分目標與背景效果不夠明顯。為了使分類器更適應(yīng)于紅外小目標，將單個卷積層的權(quán)重重新進行參數(shù)化。由于紅外小目標的像素少，僅僅使用當前幀的特征信息不利于區(qū)分目標與背景?？紤]到小目標在兩幀圖像之間移動的相對距離較小，在實際預(yù)測時，保留上一幀的特征信息ft-1，結(jié)合當前幀與上一幀的特征信息輸入空間相關(guān)性取樣器中得到相關(guān)特征，將該相關(guān)特征輸?shù)骄矸e層中得到分類輸出，即置信度st。表示在第t幀圖像中的位置r∈Ω：={0，1，…，W-1}×{0，1，…，H-1}的得分，其中Ω表示一維向量空間。該位置為目標中心的可能性，用于區(qū)分位置r是目標還是背景。

由于初始幀圖像帶有人工標注的目標位置框，實際運用分類器是從第二幀圖像開始的，此時上一幀的特征信息來自初始幀。使用損失函數(shù)式（1）對模型參數(shù)進行優(yōu)化：

其中y=由訓(xùn)練圖像中所提取的深度特征ft和相應(yīng)的目標標簽cj的映射組成；殘差函數(shù)r(sω，c)計算分類器C的預(yù)測值sω與真實值c的誤差；λ是正則化參數(shù)。

1.3 狀態(tài)傳播

1.4 融合模塊

對于目標跟蹤問題，需要確定待跟蹤目標的中心點。參考Bhat 等［18］的工作，對目標置信分數(shù)預(yù)測模塊重新設(shè)計使之更適用于紅外小目標的跟蹤。

在獲得當前幀目標分數(shù)后，還需要更新當前幀的狀態(tài)向量供下一幀使用，利用ConvGRU 實現(xiàn)狀態(tài)更新。如圖4 所示，將分類器C 的預(yù)測分數(shù)st與?t按最大值進行連接，得到εt∈RW×H×4。前一幀的狀態(tài)向量和εt作為ConvGRU 的輸入，得到當前幀的狀態(tài)向量vt。

其中：Ns為當前連續(xù)序列的幀數(shù)總和；zt是通過標簽獲取的真實分數(shù)；α為超參數(shù)，確定L′對整個損失函數(shù)的影響。

2 實驗與結(jié)果分析

為了驗證本文方法的可行性，使用國防科技大學(xué)ATR實驗室于2019 年發(fā)布的紅外小目標數(shù)據(jù)集DIRST［13］進行對比和消融實驗。所有實驗均在單張NVIDIA GTX 2080 GPU上進行。

本章先介紹實驗所用到的DIRST 數(shù)據(jù)集以及針對紅外小目標的評價體系，再分別介紹對比實驗和消融實驗。

2.1 數(shù)據(jù)集和評價體系

DIRST 數(shù)據(jù)集由22 個數(shù)據(jù)段構(gòu)成，共包含 30 條運動軌跡和 16 177 張紅外圖片，每個數(shù)據(jù)段包含紅外圖像序列和與之對應(yīng)的標注文件，標注主要記錄小目標中心點的橫縱坐標。DIRST 數(shù)據(jù)集包含30 條運動軌跡和16 177 張紅外圖片。DIRST 所包含的復(fù)雜場景有：天空、山脈、森林、平原、丘陵和房屋建筑，其中包含多個目標交叉飛行、地面叢林干擾和地面車輛干擾。由于該數(shù)據(jù)集沒有單獨劃分訓(xùn)練集和測試集，為了使對比實驗更加公平，本文訓(xùn)練集和測試集的劃分和文獻［19］中劃分保持一致。

小目標最終的邊界框小于9×9，而交并比（Intersection over Union，IoU）和ROC（Receiver Operating Characteristic）曲線下面積（Area Under the ROC Curve，AUC）評價體系主要用于大目標，所以該評價體系并不適用于小目標。將預(yù)測得到的小目標邊界框中心點與小目標真實中心點作比較，如果預(yù)測的中心點在真實中心點的3×3 范圍內(nèi)，認為該預(yù)測是有效的。使用召回率（Recall，R）、精確率（Precision，P）和綜合評價指標（F-Measure，F(xiàn)1）（其中取參數(shù)α=1）作為指標衡量本文方法的有效性。

2.2 與其他方法的比較

為了驗證本文方法對紅外小目標的跟蹤具有較好的性能，選用的幾種對比方法包括：1）通用檢測方法YOLOv3（You Only Look Once version 3）［20］，在anchor box 的選擇上YOLOv3更適用于小目標的檢測；2）通用跟蹤方法KeepTrack［21］，KeepTrack 作為state-of-the-art 的通用跟蹤方法在眾多跟蹤基準數(shù)據(jù)集上有優(yōu)秀的表現(xiàn)；3）針對紅外小目標的檢測方法ISTDet［22］，ISTDet是一種基于CNN 的檢測方法，用來檢測紅外小目標；4）針對紅外小目標的跟蹤方法SSD-ST（Single Shot multiBox Detector for Small Target）-1+APF（Adaptive Pipeline Filter）和SSD-ST-2+APF［23］，其中APF 是用于多幀濾波階段的一個自適應(yīng)管道濾波器。實驗對比結(jié)果如表1所示。

表1 不同方法的評估結(jié)果 單位：%Tab.1 Evaluation results of different methods unit：%

從表1 可以看出，本文方法在DIRST 數(shù)據(jù)集上的R 相較于 YOLOv3、ISTDet、SSD-ST-1+APF、SSD-ST-2+APF、KeepTrack 分別提高了10.0、4.0、6.4、6.1 和3.7 個百分點；P分別提高了8.9、4.3、2.2、2.3 和3.7 個百分點；F1分別提高了9.4、4.1、4.3、4.2 和3.7 個百分點。最高達到97.3%的精確率，這表明本文所提出的針對紅外小目標的跟蹤方法比通用的檢測、跟蹤以及其他針對紅外小目標的檢測跟蹤方法具有更好的性能。

由于紅外小目標自身像素少，最后包含目標的邊界框小，所以直接將跟蹤得到的邊界框與真實標簽進行比較不夠直觀。為了更直觀地展示本文方法對紅外小目標進行跟蹤的優(yōu)秀性能，提供圖5 所示的紅外小目標中心點真實軌跡與跟蹤軌跡對比。DIRST 數(shù)據(jù)集包括22 個數(shù)據(jù)段，數(shù)據(jù)段1 對應(yīng)的是數(shù)據(jù)包中名為data1 的文件夾，數(shù)據(jù)集2 對應(yīng)的是名為data2 的文件夾，以此類推，數(shù)據(jù)段22 對應(yīng)data22，故圖5中data 后數(shù)字代表第幾個數(shù)據(jù)段。本文通過計算連續(xù)序列中所有幀的邊界框的中心點，然后將全部中心點放在畫布上形成一條中心點軌跡。圖5 中包含較復(fù)雜的軌跡，本文方法預(yù)測的結(jié)果與真實軌跡基本一致，表明即使在復(fù)雜的背景和軌跡下仍能準確地完成對紅外小目標的跟蹤。綜上所述，本文方法針對紅外小目標具有良好的跟蹤性能。

圖5 紅外小目標真實軌跡與本文方法跟蹤的軌跡對比Fig.5 Comparison between real trajectories and trajectories tracked by the proposed method for infrared small targets

2.3 消融實驗

為分析各個組件對本文方法的影響，在DIRST 數(shù)據(jù)集上進行消融實驗，結(jié)果如表2 所示。

表2 消融實驗結(jié)果 單位：%Tab.2 Ablation experiment results unit：%

在分類器輸入中加入上一幀特征信息的作用 分類器的設(shè)計是為了區(qū)分背景與目標。為了判斷上一幀特征信息在分類過程中是否起作用。本節(jié)設(shè)計了一個僅將當前幀的特征信息輸入分類器的實驗跟蹤方法。在這種方法下得到置信度st，此置信度與上一幀特征信息無關(guān)。如表2 所示，如果不將上一幀特征信息輸入分類器，跟蹤性能將下降，表明將上一幀特征信息加入到分類器中有助于獲得更好的跟蹤表現(xiàn)。

傳播模塊的作用 傳播模塊的作用是將上一幀狀態(tài)向量vt-1針對當前幀進行修正，使得修正后的狀態(tài)向量輸入融合模塊時更能準確描述當前幀的狀態(tài)信息。為了驗證傳播模塊的有效性，將未修正的狀態(tài)向量vt-1直接輸入融合模塊進行對比，結(jié)果如表2 所示。結(jié)果顯示，不使用傳播模塊進行修正的情況下F1下降了9.3 個百分點，表明利用連續(xù)幀之間的密集對應(yīng)關(guān)系將上一幀的狀態(tài)向量進行修正是有必要的。

屏蔽層的作用 屏蔽層的作用是當待跟蹤小目標被遮擋或者多個目標出現(xiàn)交叉時，避免最后的融合分數(shù)?t將遮擋物或其他目標誤認為該目標的中心點。為了驗證屏蔽層在融合模塊的作用，本節(jié)去掉屏蔽層，直接將中間分數(shù)?^t輸入Iou-Net 中得到邊界框。結(jié)果如表2 所示，通過屏蔽層能有效減少跟蹤方法的誤檢率，提高召回率，引入屏蔽層后召回率提高了3.7 個百分點。

3 結(jié)語

本文提出一種基于狀態(tài)信息的紅外小目標跟蹤方法，該方法用于連續(xù)序列中紅外小目標的跟蹤。首先利用相鄰兩幀的深度特征信息區(qū)分待跟蹤目標與背景，然后結(jié)合連續(xù)幀之間的狀態(tài)向量定位小目標，最后在整個序列中傳播這些狀態(tài)向量，完成對整個序列的跟蹤。在包含天空、山脈、森林、平原、丘陵和房屋建筑等復(fù)雜場景的DIRST 數(shù)據(jù)集上評估本文方法，并與其他5 種方法進行比較。實驗結(jié)果表明，本文方法在各種復(fù)雜場景中具有良好的魯棒性，可達到96.2%的召回率和97.3%的精確率。驗證了本文方法能夠很好地完成對連續(xù)序列中紅外小目標的跟蹤任務(wù)。本文方法在復(fù)雜的紅外圖像場景中跟蹤速率較慢，并且模型的空間占用較大，未來可以從這兩方面入手優(yōu)化模型。