李鑫隆,艾斯卡爾·艾木都拉

(新疆大學信息科學與工程學院,新疆 烏魯木齊 830046)

1 引 言

紅外圖像的典型特點是分辨率較低,對比度較差。紅外圖像中的小目標視覺強度微弱,邊界模糊,跟蹤時容易丟失。實際應(yīng)用中對跟蹤算法的精度要求很高[1-2]。相關(guān)文獻中,紅外小目標又被稱為紅外弱小目標[3]、小目標[4]、紅外點目標[5],弱點目標[6]等。為避免累贅,本文統(tǒng)一使用小目標作為指代。紅外小目標跟蹤算法主要劃分有特征匹配,圖像濾波和目標建模三大方向。特征匹配是將目標分解為局部特征的集合,根據(jù)特征點匹配實現(xiàn)跟蹤,特征方法的優(yōu)點在于特征點在發(fā)生部分遮擋或者尺度變化時仍能夠被檢測到。在視覺目標跟蹤中,SIFT[7]、FAST[8]、BRISK[9]等方法常被用于提取目標的局部特征。濾波類方法將關(guān)注目標的運動特性,將目標的狀態(tài)變化納入考慮,利用合適的濾波方法提取目標位置。典型的有時空濾波[10]、粒子濾波(Particle filtering,PF)[11-12]等。不足之處在于這些方法對變化場景中的運動對象處理能力很差,實際跟蹤效果并不理想。建模類算法通常先建立跟蹤對象的理論模型,通過計算模型相似度估計目標位置,如均值漂移法[13-14]、光流法[15-16]、模板匹配法[17-18]等。缺點在于對分布穩(wěn)定性具有要求,跟蹤輪廓模糊的小目標時容易丟失?？偠灾?以上算法并不能夠滿足實際應(yīng)用中紅外探測系統(tǒng)的要求。

基于時空上下文(Spatial-Temporal Context,STC)學習的跟蹤方法將對象的局部背景納入算法模型,具有穩(wěn)定高效跟蹤的優(yōu)點。將該方法應(yīng)用到紅外小目標跟蹤時發(fā)現(xiàn)STC算法無法準確跟蹤雜波干擾的模糊對象。紅外小目標像素面積小,和背景對比差異小,跟蹤時受邊緣雜波干擾易導致跟蹤失敗。針對小目標跟蹤中的變化場景和模糊輪廓問題,本文提出了一種基于小目標梯度分布的局部相似度(Local Similarity Measure,LSM)特征。該特征學習當前目標的梯度分布并在下一幀獲取響應(yīng)。LSM特征能夠有效增強目標響應(yīng),降低邊緣雜波干擾。然后基于局部相似和運動估計,提出了本文的跟蹤框架。

2 時空上下文跟蹤算法分析

2.1 STC跟蹤算法

STC算法的實質(zhì)是在搜索空間內(nèi)計算目標似然函數(shù)的響應(yīng),并將響應(yīng)最高點確定為跟蹤對象的中心。引用文獻[19]的部分內(nèi)容描述STC算法的算法流程。文中,目標的響應(yīng)矩陣描述為:

c(x)=p(x|o)=∑v(z)∈XcP(x|v(z),o)P(v(z)|o)

(1)

其中,XC表征目標鄰域像素集合;v(z)是目標鄰域內(nèi)任意點z的坐標和像素值;o說明跟蹤對象存在;x表示跟蹤對象某一像素;P(x|v(z),o)描述了目標像素分布與其鄰域信息的整體關(guān)聯(lián);P(v(z)|o)描述了局部區(qū)域跟蹤對象o存在時任意點z與o的關(guān)聯(lián)。在當前幀,響應(yīng)矩陣c(x)可表示為:

c(x)=b·exp(-(|(x-x*)/α|)β)

(2)

式中,α、β是公式參數(shù),和對象的尺度和形狀有關(guān);b為歸一化常數(shù)；x*代表已知目標的中心坐標。當前幀,式(1)中c(x)和P(v(z)|o)按照相應(yīng)公式計算獲得,跟蹤任務(wù)轉(zhuǎn)化為上下文模型P(x|v(z),o)的構(gòu)建問題,用htSC(x)表示,由此可得:

式中,F表示傅里葉變換。

基于第t幀的上下文模型htSC(x),就可以計算出(t+1)幀的函數(shù)響應(yīng)矩陣ct+1(x),ct+1(x)中響應(yīng)最高的坐標被認為跟蹤到的對象。關(guān)于響應(yīng)矩陣c(x)的詳細計算,推導公式參考文獻[20]。

2.2 “偏移”分析

普遍情況下,目標上下文的關(guān)聯(lián)分布依賴顏色通道或灰度特征描述。在灰度特征中,雜波干擾和跟蹤目標分布高度相似。當雜波和目標足夠接近或者目標輪廓足夠模糊時,算法建立的上下文模型無法區(qū)分雜波干擾導致偏移。紅外小目標跟蹤容錯性低,跟蹤框的微小偏移就可能丟失目標。同時目標和雜波相似性高導致建模過程中易受上下文區(qū)域的雜波影響,產(chǎn)生偏移。由式(3)可知目標的上下文模型僅與其分布算法有關(guān)。在使用時空上下文算法跟蹤紅外小目標時,模糊輪廓和背景雜波混淆使得跟蹤算法產(chǎn)生偏移。由此分析,提升跟蹤性能的關(guān)鍵在于增強目標響應(yīng)并抑制雜波干擾,提升目標與雜波的區(qū)分度,避免偏移。因此本文的解決思路是設(shè)計了一種使用梯度分布描述目標上下文信息的特征算法。該特征能夠顯著降低干擾,增強目標強度,有助于建立理想的目標模型,提升算法的抗干擾能力。

3 本文算法

3.1 局部相似度(LSM)

本文設(shè)計的LSM特征通過對當前幀的目標區(qū)域灰度梯度特性進行學習,產(chǎn)生相應(yīng)的權(quán)值矩陣,再利用權(quán)值矩陣在下一幀區(qū)域提取LSM特征。LSM特征可表示如下:

LSM(x,t+1)=λβ(X)·G(X)·W(x*,t)

(4)

LSM(x,t+1)表示第(t+1)幀點x處的特征響應(yīng);λ是歸一化參數(shù);G(X)表示第(t+1)幀中點X處大小為d*d的鄰域梯度矩陣,d為第t幀跟蹤目標的直徑均值。對于如圖1(a)所示鄰域矩陣g(X),根據(jù)公式(5)可以計算圖1(b)所示的矩陣G(X)的每一個成員G(x,y)的值:

(a)領(lǐng)域矩陣g(X) (b)梯度矩陣G(X)

(5)

X(x,y)是矩陣g(X)中對應(yīng)坐標點的灰度f(t)表示如下:

(6)

W(x*,t)表示第t幀目標x*的目標權(quán)值矩陣。該矩陣首先在第t幀圖像點x*的鄰域產(chǎn)生鄰域梯度矩陣G(x*),然后對每個方向上R個梯度值G1,G2,…,GR有如下公式計算梯度比例:

(7)

即可得到相應(yīng)的權(quán)值矩陣W(x*,t)，其中R為目標半徑;β(X)是相似度衡量因子,表示如下:

gray(t,x*)是第t幀x*處的灰度;D是點X和點x*的歐式距離;引入LSM,第t幀圖像的上下文分布概率可表示如下:

p(v(z)|o)=LSM(z,t)ωσ(z-x*)

ωσ是一個高斯權(quán)重函數(shù);x*是已知的對象坐標。圖2顯示了LSM響應(yīng)三維圖,其中(a1)和(b1)是處理之前的紅外圖像,(a2)和(b2)是對應(yīng)圖像的三維顯示,(a3)和(b3)相應(yīng)的LSM特征響應(yīng)。圖中目標位置已經(jīng)用黑色邊框標出。觀察圖2可以發(fā)現(xiàn),三維灰度圖中紅外小目標和背景的差異很小,難以直觀地區(qū)分。這是采用灰度特征作為上下文描述符的STC算法容易受邊緣雜波和模糊輪廓影響產(chǎn)生偏移的原因。相反,在LSM特征響應(yīng)圖中,目標和背景差異較大,具有很強的辨識度。引入LSM特征可有效抑制雜波干擾。

圖2 LSM響應(yīng)三維視圖

3.2 運動估計

基于時空穩(wěn)定性,在相鄰的兩幀間,小目標的位置變化不會很大。為了降低算法耗時,引入了運動估計機制。給定當前幀目標位置x*,當前幀目標相對于前一幀目標位移Δx,跟蹤框半徑R以及運動估計因子M。則跟蹤算法搜索域可表示成點(x*+Δx)為中心的方形區(qū)域,區(qū)域邊長為2F。F的計算公式,運動估計因子M1初始值以及更新公式表示如下:

F=M+k·2R

(10)

M1=0.5·max(h,w)-k·2R

(11)

Mt+1=δMt+(1-δ)|Δx|

(12)

式中,k和δ是可調(diào)參數(shù);h和w是第一幀圖像的尺寸。采用該機制,能有效縮小圖像搜索域,進而提升處理速度。

3.3 跟蹤模型

在引入上述LSM特征結(jié)合運動估計提出了本文方法,算法流程如下:

跟蹤模型:輸入:待跟蹤視頻,初始標注框輸出:圖像序列跟蹤框列表T1:初始化,讀入序列總長L,序列第一幀以及第一幀標注框坐標x*i;根據(jù)公式(5)、(6)、(7)計算當前圖像幀目標區(qū)域梯度權(quán)值W(x*,1);2)根據(jù)權(quán)值W(x*,1)和(4)式構(gòu)建當前幀LSM響應(yīng);3)根據(jù)(2)式對目標x*1的鄰域構(gòu)造目標似然c(z);4)根據(jù)式(9)獲取分布概率P(v(z)|o);5)根據(jù)式(3)計算上下文模型h1SC(z)。2:For i=2,3,…,L1)如下式更新Ht+1SC,ρ表示學習因子:HSCi(x)=(1-ρ)HSCi-1(x)+ρhSCi-1(13) 2)讀入當前幀,根據(jù)(10)(11)式劃分搜索域;3)根據(jù)權(quán)值W(x*,i-1)和4式構(gòu)建當前幀LSM響應(yīng)LSM(x,i);4)計算當前幀目標似然:ci(x)=F-1(F(HSCi(x))·F(LSM(x,i)ωσ(x-x*)))(14)5)獲取圖ci(x)響應(yīng)值最大的點坐標構(gòu)造當前圖像跟蹤框x*i;6)更新權(quán)值W(x*,i),計算目標位移(x*i-x*i-1),并根據(jù)式(12)更新運動估計因子Mi;7)根據(jù)式(2)(9)(3)計算當前幀上下文模型hiSC(z)。3:跟蹤框列表:T=(x*1,x*2,…,x*L)(15)

4 實驗與結(jié)果分析

4.1 數(shù)據(jù)集和實驗設(shè)置

對比實驗在VS2017和matlab 2017b環(huán)境下進行,計算機配置為3.6 GHz Intel Core i7 CPU,8G內(nèi)存。實驗數(shù)據(jù)集由不同背景和目標特性的4段測試視頻序列組成,視頻特性如表1所示。其中Drone序列來源于公開數(shù)據(jù)集[21]。式(4)中歸一化參數(shù)設(shè)為32,STC算法參數(shù)參照文獻[20]設(shè)為默認值,運動估計因子式(10)中,k設(shè)為3,式(12)中學習因子δ設(shè)為0.5 。

表1 視頻序列的不同特性

4.2 跟蹤算法實驗分析

將本文方法和最新發(fā)表的4種方法:高效卷積算子(Efficient Convolution Operator,ECO)跟蹤算法[22],時空正則化相關(guān)濾波(Spatial-Temporal Regularized Correlation Filters,STRCF)跟蹤算法[23],背景感知相關(guān)過濾(Background-Aware Correlation Filter,BACF)跟蹤算法[24],自動時空正則化跟蹤(Tracking with Automatic Spatio-Temporal Regularization,AutoTrack)算法[25]進行對比分析。采用CVPR 2013[26]提出的基準工具tracker_benchmark_v1.0比較跟蹤算法的性能,結(jié)果如圖3所示。五種算法在本文視頻序列的實驗結(jié)果如圖4所示。

基于tracker_benchmark_v1.0實驗平臺,使用該實驗平臺的單次評估(one-pass evaluation,OPE)指標:成功圖(Success Plot)和精確圖(Precision Plot)對比實驗性能。分析成功圖(見圖3(a))可知,本文方法具有五種實驗算法中最高的跟蹤成功率,取平均重疊率(Average Overlap Rate,AOR)閾值為0.5,此時本文方法(實線)的成功率比次優(yōu)的ECO算法高約3 %。分析精確圖(見圖3(b)),在平均距離誤差(Average Location Error,ALE)閾值小于5的階段時,本文方法(點線)具有最高精確率。

圖3 五種算法跟蹤性能分析

在圖4的每個跟蹤結(jié)果中利用目標區(qū)域的投影分別給出了五種算法跟蹤框和標注框(黑色虛線框)的對比。Simulation序列(見圖4(a))是一個仿真合成序列,目標清晰,背景變化小。在該序列中五種實驗方法都能準確跟蹤到目標。在Clouds序列中(見圖4(b)),第五幀(圖4(b)#5)時目標被云層部分遮擋,目標輪廓相對模糊。在該序列上,STRCF算法和BACF算法發(fā)生了漂移,偏離了跟蹤對象。Car序列(見圖4(c))的特點是目標較模糊,背景干擾較強。Drone序列(見圖4(d))的特點是目標格外微弱,與背景對比度較低。AutoTrack算法(見圖4(c)#20,圖4(d)#30)發(fā)生錯誤,偏移較大。在Car序列和Drone序列中,STRCF算法(BACF算法)的問題是無法實現(xiàn)對目標尺度的準確估計,跟蹤過程中跟蹤框退化為一個細小的白點(見圖4(c)#140,圖4(d)#90),和實際標注情況不符合。從圖4可以看出,ECO算法和本文方法跟蹤過程比較穩(wěn)定,能夠有效應(yīng)對運動模糊和雜波干擾情況。

圖4 五種算法跟蹤結(jié)果

表2給出了五種算法在這四個視頻序列上的跟蹤速度(加粗代表最優(yōu)性能),以每秒能夠跟蹤的幀數(shù)(Frame Per Second,FPS)表示,最后一行是四個數(shù)據(jù)集的平均速度。由表2可知,本文方法具有五種算法中最優(yōu)的處理速度,是次優(yōu)的BACF算法的兩倍,這是因為算法采用運動估計方法有效地降低了每一幀圖像的搜索區(qū)域,從而提升了算法的處理速度。

表2 五種算法跟蹤速度

5 結(jié) 論

提出一種基于相似性的小目標增強方法處理紅外小目標跟蹤過程中雜波干擾和運動模糊問題,提升了小目標跟蹤過程中算法抗干擾能力。采用運動估計方法縮小跟蹤算法的處理區(qū)域,提升了算法單幀圖像處理速度。將本文算法與多種現(xiàn)有跟蹤算法比較,實驗表明,本文方法對雜波干擾環(huán)境下的模糊紅外小目標具備很強的跟蹤能力和突出的實時處理能力。但當小目標外觀在短時間內(nèi)發(fā)生較大變化時,算法可能會丟失目標,接下來將在本文的基礎(chǔ)上,研究結(jié)合重檢測機制的小目標跟蹤問題。