鄭武興,王春平,付 強(qiáng),徐 艷

(陸軍工程石家莊校區(qū)電子與光學(xué)工程系,河北 石家莊 050003)

1 引 言

隨著紅外成像技術(shù)的不斷發(fā)展,紅外成像系統(tǒng)已廣泛應(yīng)用于軍事、民用等領(lǐng)域,如紅外精確制導(dǎo)、預(yù)警、視頻監(jiān)控、搜索跟蹤等[1]?；诩t外成像的目標(biāo)跟蹤技術(shù)是上述領(lǐng)域的一項(xiàng)關(guān)鍵技術(shù),在現(xiàn)代國(guó)防中發(fā)揮著重要作用。一個(gè)穩(wěn)定可靠的跟蹤器要能夠適應(yīng)各種環(huán)境,比如雜波干擾、外觀或光照變化、目標(biāo)旋轉(zhuǎn)、尺度變化以及受到遮擋等[2]。然而,紅外目標(biāo)有其自身的特點(diǎn),使得跟蹤工作相當(dāng)困難。例如,為了給紅外系統(tǒng)留出足夠的反應(yīng)時(shí)間,需要對(duì)遠(yuǎn)距離目標(biāo)進(jìn)行探測(cè),并盡可能快地找到目標(biāo)。當(dāng)紅外成像系統(tǒng)用于遠(yuǎn)距離目標(biāo)探測(cè)時(shí),紅外目標(biāo)成像面積小,且每個(gè)目標(biāo)能量較弱,加之受到背景噪聲的干擾,使得紅外目標(biāo)在紅外圖像中更加弱小,這對(duì)紅外目標(biāo)提取造成很大的困難[3]。此外,由于紅外傳感器易受大氣熱輻射的影響,長(zhǎng)距離觀測(cè)傳輸使得目標(biāo)信號(hào)比較弱,目標(biāo)信號(hào)被淹沒(méi)在很多復(fù)雜的背景雜波和噪聲中,尤其是在非平穩(wěn)背景。另一方面,紅外目標(biāo)信息量少,沒(méi)有足夠的特征[4],而裝備的大幅度抖動(dòng)為跟蹤增添了一定難度,這使得復(fù)雜背景下的紅外弱小目標(biāo)跟蹤更具有挑戰(zhàn)性。

基于字典學(xué)習(xí)的跟蹤方法[5]至今仍然是目標(biāo)跟蹤領(lǐng)域的一個(gè)研究熱點(diǎn),形形色色的字典構(gòu)造和更新方法使得近兩年來(lái)這方面文章很多。但是這類算法最大的問(wèn)題就是實(shí)時(shí)性,稀疏系數(shù)計(jì)算和字典更新太慢。而相關(guān)濾波在可見(jiàn)光目標(biāo)跟蹤方面獲得了很好的跟蹤結(jié)果,具有良好的實(shí)時(shí)性。文獻(xiàn)[6]算法(SRDCF)基于DCF改進(jìn),采用更大的檢測(cè)區(qū)域,同時(shí)加入空域正則化,懲罰邊界區(qū)域的濾波器系數(shù),采用高斯-塞德?tīng)柗椒ǖ鷥?yōu)化。文獻(xiàn)[7]算法(SAMF_AT)通過(guò)響應(yīng)自適應(yīng)提高性能。大部分基于檢測(cè)的跟蹤算法都以犧牲樣本的數(shù)量來(lái)保證算法的實(shí)時(shí)性,這使得跟蹤算法的魯棒性比較差。KCF算法將樣本變成循環(huán)矩陣,然后利用對(duì)角化和離散傅里葉變換的性質(zhì),大大縮減計(jì)算復(fù)雜度,從而提高訓(xùn)練速度。因此,我們可以選取足夠多的樣本進(jìn)行訓(xùn)練,在保證算法實(shí)時(shí)性的同時(shí),也保證了算法的魯棒性。文獻(xiàn)[8]算法(KCF_MTSA)以及文獻(xiàn)[9]算法(SAMF)就是基于KCF的改進(jìn),其中KCF_MTSA采用多模板尺度只適應(yīng),改進(jìn)濾波器更新策略,增加尺度變化；SAMF采用HOG+CN特征在多尺度縮放的圖像塊上進(jìn)行目標(biāo)檢測(cè),取響應(yīng)最大的那個(gè)平移位置和響應(yīng)所在尺度,它們的改進(jìn)都是以犧牲實(shí)時(shí)性為代價(jià)。相關(guān)濾波不依賴于目標(biāo)的邊緣、紋理和色彩等特性,并且對(duì)小體積目標(biāo)具有很好的適用性,計(jì)算復(fù)雜度非常低,實(shí)時(shí)性相對(duì)較高,因此可以有效移植到紅外目標(biāo)跟蹤當(dāng)中。本文就是基于KCF改進(jìn),利用灰度和顯著性特征融合,用于空中紅外目標(biāo)跟蹤,具有良好的跟蹤性能,又能保持KCF實(shí)時(shí)性優(yōu)勢(shì)。

2 多特征融合核相關(guān)濾波跟蹤

本節(jié)提取灰度與顯著性特征,并將它們進(jìn)行融合(簡(jiǎn)稱GS特征,G表示灰度特征,S表示顯著性特征),將其用于KCF跟蹤。所提算法稱為采用GS特征的核相關(guān)濾波跟蹤算法(KCF_GS),算法流程如圖1所示。白色框內(nèi)為目標(biāo)區(qū)域O,黑色框內(nèi)為目標(biāo)擴(kuò)展區(qū)域(跟蹤區(qū)域)E。

圖1 KCF_GS算法流程圖

2.1 基本原理

根據(jù)文獻(xiàn)[10]可以推導(dǎo)得出:

(1)

式中,^表示離散傅里葉變換;k為核函數(shù);λ為控制過(guò)擬合的正則化參數(shù);y為已知量,用來(lái)標(biāo)記樣本的標(biāo)簽,基樣本標(biāo)記值最大。通過(guò)式(1)訓(xùn)練得到α用于檢測(cè),取候選目標(biāo)的特征為z,維度和x相同。推導(dǎo)得出:

(2)

(3)

其中,μ為插值系數(shù),實(shí)驗(yàn)中取值0.075。

2.2 特征提取

自然圖像的統(tǒng)計(jì)特性具有變換不變性:即將圖像從原來(lái)的空間坐標(biāo)變換到頻率坐標(biāo)系中,圖像在空間中具有的統(tǒng)計(jì)特性在頻域中仍然保留,這種不變性恰好保證了采用能量譜來(lái)刻畫(huà)自然圖像空間相關(guān)性的可靠性[12]。在自然圖像的統(tǒng)計(jì)特性中尺度不變性是最經(jīng)典也是研究最廣泛的特性,這種特性也被稱為1/f法則,即自然圖像集合的平均傅里葉譜的幅值A(chǔ)(f)服從下式的分布:

E{A(f)就是圖像的平均振幅譜}∝1/f

(4)

式中，E{A(f)}表示大量log頻譜的平均值;f表示頻率,所以大量的log頻譜的平均值和頻率呈現(xiàn)出反比關(guān)系。log頻譜是對(duì)圖像進(jìn)行傅里葉變換后的振幅譜取自然對(duì)數(shù),傅里葉變換中,將信息按照高低頻的形式進(jìn)行統(tǒng)計(jì)分布,低頻信息主要保存在頻譜中,而高頻信息則主要保存在相位中。也就是說(shuō)頻譜殘差實(shí)際保留下來(lái)的是少部分的低頻信息。而經(jīng)過(guò)log處理之后,原先差異較大的低頻信息被映射到很小的一個(gè)區(qū)間。因此使得頻譜殘差接近于0,從而恢復(fù)出來(lái)的基本上是高頻信息?？罩屑t外目標(biāo)背景往往比較平滑,如果有目標(biāo)會(huì)出現(xiàn)亮點(diǎn),即為高頻信息,通過(guò)顯著性處理就使得目標(biāo)更加明顯突出。譜殘差就是log譜和其進(jìn)行均值濾波后的差,可按下面的式子計(jì)算:

R(f)=L(f)-A(f)

(5)

其中,L(f)就是圖像的log振幅譜;A(f)就是圖像的平均振幅譜,這里將L(f)進(jìn)行n×n均值濾波得到A(f),R(f)即為普殘差,則顯著性計(jì)算過(guò)程如下:

A(f)=R(F[I(x)])

(6)

P(f)=I(F[I(x)])

(7)

L(f)=log(A(f))

(8)

R(f)=L(f)-hn(f)*L(f)

(9)

(10)

其中,I(x)為使圖像中1%的數(shù)據(jù)飽和至最低和最高亮度的對(duì)比度增強(qiáng)后圖像,對(duì)其進(jìn)行傅里葉變換求出振幅譜為A(f),P(f)是其相位譜,hn是n×n均值濾波卷積核(n=3)。通過(guò)式(10)計(jì)算得出的結(jié)果即為顯著性特征S,在此進(jìn)行一個(gè)高斯模糊濾波g(x)使得效果更加明顯。

灰度特征提取首先對(duì)增強(qiáng)后的圖像I進(jìn)行歸一化,然后各像素值減去圖像平均值,即為灰度特征G,如下式:

(11)

得到的顯著性特征與灰度特征維度相同,將它們按照頁(yè)的方式拼接即為融合后的GS特征。

2.3 算法步驟

對(duì)跟蹤區(qū)域進(jìn)行特征提取之前,首先對(duì)該區(qū)域進(jìn)行對(duì)比度增強(qiáng),使得圖像中1%的數(shù)據(jù)飽和至最低和最高亮度。結(jié)合上述GS特征,所提的KCF_GS跟蹤算法基本步驟如下,第一幀目標(biāo)狀態(tài)已知。

Step4:根據(jù)縮小的倍數(shù)還原真實(shí)目標(biāo)位置和大小及原圖像大小,t=t+1轉(zhuǎn)至Step2,進(jìn)入下一幀跟蹤。

3 實(shí)驗(yàn)效果及分析

本文采用文獻(xiàn)[13]中的跟蹤性能評(píng)估方法,與其他6種算法在7個(gè)不同背景環(huán)境的紅外空中目標(biāo)視頻序列上進(jìn)行了對(duì)比實(shí)驗(yàn),各序列的特點(diǎn)如表1所示。

表1 實(shí)驗(yàn)視頻序列

本文在Windows7-64bit系統(tǒng),Core i5 2.5GHz和6GB RAM的配置下,使用MATLAB R2013a進(jìn)行實(shí)驗(yàn)仿真。

3.1 定性分析

不同序列的跟蹤結(jié)果如圖2所示,截取原圖像一部分分析跟蹤效果。

圖2 不同序列跟蹤結(jié)果

從圖2(a)、(b)可以看出所列幾種算法都能比較穩(wěn)定跟蹤背景清晰的弱小目標(biāo),從圖2(c)中可以看出所提的算法能夠比較精確鎖定旋轉(zhuǎn)目標(biāo)。而圖2(d)中雖然能夠基本鎖定大目標(biāo)中心,但較個(gè)別算法還是差點(diǎn),可能是缺乏尺度更新對(duì)跟蹤精度造成一定影響。圖2(e)中對(duì)于目標(biāo)經(jīng)過(guò)簡(jiǎn)單障礙物后,所提算法還是能夠穩(wěn)定跟蹤,而從圖2(f)可以看出目標(biāo)特別小的時(shí)候容易受障礙物的干擾,所列的幾種算法都不能很好跟蹤,目標(biāo)丟失后無(wú)法重新跟上。從圖2(g)中可以看出,炮彈擊發(fā)時(shí)刻的目標(biāo)受到光照影響,干擾過(guò)后所提算法還是能夠穩(wěn)定跟蹤。

3.2 定量分析

通常取精度曲線上閾值為20像素和成功率曲線上閾值為0.5的值為典型值(分別為Pre-20和Suc-0.5),其7種算法在7個(gè)序列的跟蹤結(jié)果精度和成功率曲線如圖3所示,圖中的圖例按照典型值大小排序,表2為相關(guān)性能的比較。

圖3 精度和成功曲線

算法精度(Precision)成功率(Success)平均跟蹤速度/(f·s-1)KCF＿GS08480639125162KCF＿M(jìn)TSA0840059257776SAMF＿AT077305492153SRDCF0732036733644SAMF0701037012834SCM068505920124KCF06040409610000

結(jié)合圖3與表2,可以看出所提的KCF_GS算法無(wú)論是在精度、成功率以及跟蹤速度上都體現(xiàn)出了足夠的優(yōu)勢(shì)。KCF_MTSA算法雖然在精度和成功率上也占據(jù)優(yōu)勢(shì),但是跟蹤速度還達(dá)不到本文算法的1/2。而KCF算法在實(shí)時(shí)性上占據(jù)了絕對(duì)優(yōu)勢(shì),可是跟蹤性能遠(yuǎn)遠(yuǎn)不足。另一方面,所提算法的曲線也比較平滑,說(shuō)明跟蹤器比較穩(wěn)定。

4 結(jié) 論

本文提出一種基于灰度和顯著性特征融合的核相關(guān)濾波算法用于空中紅外目標(biāo)跟蹤,特征提取比較簡(jiǎn)單,加上對(duì)數(shù)據(jù)采用不同等級(jí)壓縮,使得跟蹤速度大大提高,體現(xiàn)出了良好的實(shí)時(shí)性。實(shí)驗(yàn)表明該方法能夠適應(yīng)多種情況下的空中紅外目標(biāo)跟蹤,能夠穩(wěn)定跟蹤背景清晰下的弱小目標(biāo),對(duì)遮擋、光照影響、目標(biāo)旋轉(zhuǎn)也具有一定的適應(yīng)能力。但是仍存在一定不足,對(duì)于目標(biāo)位置突變情況的跟蹤效果不好,缺乏尺度自適應(yīng)在一定程度上影響精度。另一方面,對(duì)于目標(biāo)跟丟后沒(méi)有做相應(yīng)重檢處理,導(dǎo)致后續(xù)跟蹤結(jié)果不可靠。

[1] Lei L,Huang Z.Improved motion information-based infrared dim target tracking algorithms[J].Infrared Physics & Technology,2014,67:341-349.

[2] YONG Yang,WANG Shengzhe,WANG Bingxue,et al.Infrared moving target tracking based on sparse feature selection[J].Laser & Infrared,2015,45 (4):446-451.(in Chinese )

雍楊,王升哲,王兵學(xué),等.采用稀疏特征選擇的紅外運(yùn)動(dòng)目標(biāo)跟蹤方法[J].激光與紅外,2015,45(4):446-451.

[3] WANG Jun, HE Ziqing,LIU Hongyan,et al.Rapid infrared target extraction based on simplest visual saliency[J].Laser & Infrared,2016,46 (7):880-884.(in Chinese )

王軍,何子清,柳紅巖,等.基于最簡(jiǎn)視覺(jué)顯著性的紅外目標(biāo)快速提取方法[J].激光與紅外,2016,46(7):880-884.

[4] JIN Xiaohui, YANG Wei,BAI Xiaofang.A Method using infrared thermal imager to detect and track hidden[J].Infrared Technology,2014,(8):639-643.(in Chinese )

金曉會(huì),楊衛(wèi),白曉方.一種用紅外熱像儀檢測(cè)與跟蹤遮擋目標(biāo)的方法[J].紅外技術(shù),2014,(8):639-643.

[5] Wei Zhong,Huchuan Lu,Ming-Hsuan Yang.Robust object tracking via sparsity-based collaborative model[C]// Computer Vision and Pattern Recognition.IEEE,2012:1838-1845.

[6] Danelljan M, Hager G,Khan F S,et al.Learning Spatially Regularized Correlation Filters for Visual Tracking[C]// IEEE International Conference on Computer Vision.IEEE Computer Society,2015:4310-4318.

[7] Bibi A,Mueller M,Ghanem B.Target Response Adaptation for Correlation Filter Tracking[C]// European Conference on Computer Vision.Springer International Publishing,2016:419-433.

[8] Bibi,Adel Aamer,Ghanem,Bernard.Multi-template Scale-Adaptive Kernelized Correlation Filters[C]// IEEE International Conference on Computer Vision Workshop.IEEE,2015:613-620.

[9] Li Y,Zhu J.A Scale Adaptive Kernel Correlation Filter Tracker with Feature Integration[C]// European Conference on Computer Vision.Springer,Cham,2014:254-265.

[10] Henriques J F, Rui C,Martins P,et al.High-Speed Tracking with Kernelized Correlation Filters[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2014,37(3):583-596.

[11] PAN Zhenfu, ZHU Yongli.Kernelized Correlation Filters Object Tracking Method with Multi-Scale Estimation[J].Laser & Optoelectronics Progress,2016,53 (10):199-205.(in Chinese )

潘振福,朱永利.多尺度估計(jì)的核相關(guān)濾波器目標(biāo)跟蹤方法[J].激光與光電子學(xué)進(jìn)展,2016,53(10):199-205.

[12] Hou X, Zhang L.Saliency Detection:A Spectral Residual Approach[C]// Computer Vision and Pattern Recognition,2007.CVPR '07.IEEE Conference on.IEEE,2007:1-8.

[13] Wu Y, Lim J,Yang M H.Online Object Tracking:A Benchmark[C]// IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,2013:2411-2418.