劉佳真,陳勤霞,艾斯卡爾·艾木都拉

(新疆大學信息科學與工程學院,新疆 烏魯木齊 830046)

1 引 言

點狀目標在跟蹤技術在軍事領域和民事領域都占據(jù)重要的位置,隨著科技的進步與發(fā)展,能夠在復雜背景下準確跟蹤打擊目標,是各國軍事研究的重心之一[1]。點狀目標跟蹤技術難點主要在于兩點:一,目標本身太小,占據(jù)像素少,沒有紋理信息,且沒有具體的形狀。二是目標在背景雜亂的環(huán)境下快速移動[2]。國際光學工程學會(International Society of Optical Engineering,SPIE)提出小目標是指目標所占像素大小不超過80像素的目標[3-4]。點狀目標作為小目標的一種,主要問題就是信噪比低,虛警率高和實時性差[5-7]。

點狀目標的跟蹤技術主要側重于預警系統(tǒng)[8],在技術方面,很多對于點狀目標跟蹤的方法還沒有太多的涉及深度學習內容,國內主要的研究方法是基于粒子濾波,卡爾曼濾波,多尺度等方法的融合技術[9-11]。

現(xiàn)在的基于深度學習的跟蹤器大多都是在目標的周圍選取大量的訓練樣本,再利用CNN的特征進行判別[12]。這類方法需要大量的訓練樣本,而點狀目標的樣本有限。其次,此類方法大都是主要利用最后一層的卷積特征,因為最后一層卷積特征含有大量的語義信息,對于目標的外觀變化有很大的幫助,放在點狀目標的跟蹤技術上來說,點狀目標本身占據(jù)像素少,幾乎沒有形狀,所以外觀變化這一影響因素對于點狀目標的跟蹤結果影響不大。在本文的算法中,主要利用CNN的前面幾層的特征,用于目標的定位,語義信息作為確定目標的一個參考。當目標因淹沒在雜波中丟失時,利用重檢測機制更好地定位目標。該算法相當于將CNN的空間信息與語義信息結合使用,重檢測機制解決目標丟失的問題,增加了目標定位的準確性。

基于以上分析,本文的算法主要從以下幾個方面入手:(1)利用CNN的多層特征將點狀目標的空間信息和語義信息相結合；(2)在每一層CNN上利用相關濾波器得到每一層的最大響應值,然后對多層的結果進行權重融合,得到最大響應值；(3)當目標因淹沒在雜波中丟失時,利用重檢測機制重新找回目標。

2 相關工作

2.1 相關濾波

相關濾波是目前一種經(jīng)典且呈現(xiàn)效果較好的目標跟蹤濾波器,一般的相關濾波[13]都是學習鑒別分類器,相關濾波就是通過搜索最大相關響應值預估目標位置的。相關濾波的跟蹤算法最早應用于2010年提出的MOSSE方法,它是利用信號之間的相關性,提取目標特征來訓練相關濾波器,對下一幀的輸入圖像進行濾波,當兩個信號越相似,即后一幀中圖像的某個位置的目標與前一幀用于訓練的特征越相似,在該位置濾波器所計算得到的相關值越高。KCF(即核相關濾波器)是在2014年提出來的[14],這種方法利用HOG特征[15](即方向梯度直方圖)對圖像進行相關濾波處理,HOG特征其實就是利用圖像各個方向的梯度邊緣信息得到最大響應值的位置。

2.2 卷積神經(jīng)網(wǎng)絡(CNN)

深度學習作為目標跟蹤的主流算法是許多學者學習和應用的主要方法,該算法中所用的卷積神經(jīng)網(wǎng)絡屬于機器學習的一種,機器學習是通過學習數(shù)據(jù)之間的關系從而得到?jīng)Q策[16]。卷積神經(jīng)網(wǎng)絡被認為是學習圖像內容的最佳技術之一,并且在圖像識別、分割、檢測和檢索相關任務方面顯示了很好的效果,現(xiàn)在很多主流的目標跟蹤算法都是建立在深度卷積上的[17]。

點狀目標跟蹤算法中用的是VGG模型[18],VGG是由Oxford的Visual Geometry Group的組提出的網(wǎng)絡模型,主要說明了隨著網(wǎng)絡的深度增加,網(wǎng)絡的性能也受到了影響。該算法所使用的VGG-19模型,比VGG-16的網(wǎng)絡深度多3層,采用的是一堆3×3卷積核,提高了卷積神經(jīng)網(wǎng)絡的性能。

3 本文算法

本文提出的算法主要分為3部分(如圖1所示),首先利用CNN的多層特征提取信息,其次進行相關濾波得到最大響應值,最后當目標因淹沒在雜波中丟失時,利用重檢測機制重新找回目標。

圖1 算法流程圖

3.1 分層卷積可視化

卷積神經(jīng)網(wǎng)絡中全連接層所包含的空間信息很少,對于點狀目標跟蹤沒有太大的影響,所以忽略全連接層。池化層使得卷積層越深所包含的空間信息越少,為了解決池化的影響,在點狀目標跟蹤算法應用雙線性插值將圖像縮小到一個固定的大小中。圖2是通過卷積可視化的結果。

通過圖2可以看出,卷積層1含有點狀目標豐富的運動信息,卷積層2目標的運動信息減少,到卷積層3時只能看到大概的目標,本文的點狀目標跟蹤算法就是基于隨著卷積層的深度的增加,含有的空間信息逐漸減少的原理上進行的。在目標定位中,空間信息跟蹤定位目標,語義信息用于參考,在位置估計過程中用權重融合估計方法,充分利用每一層的卷積內容,即將深層提取得到的響應圖作為前一層的參考項,逐漸精化得到最大響應值以獲得較為正確的定位信息,如下:

(1)

圖2 卷積可視化

3.2 跟蹤框架

相關濾波是目前一種經(jīng)典且呈現(xiàn)效果較好的目標跟蹤濾波器,通過搜索最大相關響應值預估目標位置的,其利用信號之間的相關性,提取目標特征來訓練相關濾波器,對下一幀的輸入圖像進行濾波,當兩個信號越相似,即后一幀中圖像的某個位置的目標與前一幀用于訓練的特征越相似,在該位置濾波器所計算得到的相關值越高，跟蹤框架如圖3所示。在本文的點狀目標跟蹤算法中,每一個卷積層上均使用一個相關濾波器,通過卷積特征提取得到每一層的最大響應值,之后再通過權重融合得到最大響應值,從而得到預估目標位置,定位目標。

圖3 跟蹤框架

在本文的點狀目標跟蹤算法中,為了減小跟蹤誤差,通過最小化在相關濾波器中輸出的跟蹤結果的誤差,利用平均移動值來更新相關濾波器的分子與分母。

(2)

(3)

(4)

其中,t是幀索引;η是學習率。

3.3 重檢測

(5)

當比值K小于閾值Tr時,啟動重檢測模塊,當比值K大于等于閾值Tr時,比較兩幀最大響應值的差值ΔR,當差值ΔR小于閾值Td時,進行模型更新,當差值ΔR大于或等于閾值Td時,判斷當前幀是否為最后一幀,是則結束跟蹤過程,否則繼續(xù)讀取下一幀,具體內容如圖4所示,其中:

(6)

其中,ΔR是兩幀最大響應值的差值。

圖4 重檢測機制(以數(shù)據(jù)集1第21幀為例)

綜上給出融合相關濾波和CNN的點狀目標跟蹤算法的主要流程:

Step1:輸入初始位置(x0,y0)。

Step2:以(xt-1,yt-1)為中心得到t幀的搜索窗口,并使用公式(1)提取具有空間插值的卷積特征。

Step5:當比值K大于等于閾值Tr時,比較兩幀最大響應值的差值ΔR,當差值ΔR小于閾值Td時,進行模型更新,當差值ΔR大于或等于閾值Td時,判斷當前幀是否為最后一幀,是則結束跟蹤過程,否則繼續(xù)讀取下一幀。

4 實驗對比

為了驗證該改進算法的性能,測試實驗以Matlab 2018a為開發(fā)平臺,并使用MatConvNet工具箱,在Windows10系統(tǒng)上運行的,處理器是Intel(R)Core(TM)i7-7700 CPU @ 3.60GHz。為了更好地驗證本文的算法在點狀目標跟蹤中的實用性,選取了6組數(shù)據(jù)集包括田野背景,天空背景,海天背景等雜波不同,背景不同的圖像序列,而且在實驗驗證中,該算法與2種目前效果較好的目標跟蹤算法進行對比實驗,即目標跟蹤效果較好的Boosting[20],跟蹤較精確的MIL[21]。圖像序列信息如表1所示。

表1 數(shù)據(jù)圖像序列信息

4.1 評價指標

在對比實驗中所用到的評價指標主要是中心位置誤差(Center location error,CLE)和覆蓋率(Overlap)兩方面進行評估的,在實際實驗中,各個方法均是在相比之下較好的參數(shù)設置下進行的,具體評價如下:

(1)在實驗中,中心位置誤差(CLE)是指算法每一幀所跟蹤到的點狀目標位置的中心位置坐標與點狀目標真實中心位置坐標之間的距離,用來體現(xiàn)算法跟蹤點狀目標的精確程度[22]:

(7)

其中,(x1,y1)代表點狀目標的真實位置中心坐標;(x2,y2)代表的是算法跟蹤到的點狀目標位置的中心坐標。

(2)在實驗中,覆蓋率(Overlap)是指算法每一幀所跟蹤到的點狀目標位置及大小與實際位置及大小之間的交集與兩者的并集之間的比值[23],具體如下:

(8)

其中,A表示的是由點狀目標的真實位置標注的跟蹤框面積;B表示的是算法所跟蹤到的跟蹤框的面積。

4.2 實驗結果對比及分析

本文算法與2種算法在4種不同背景下的跟蹤結果,在以上兩種指標下的對比實驗如圖5所示。

圖5中,呈現(xiàn)的是四種不同背景下,該算法與2種算法的跟蹤結果對比圖,圖5(a)圖為跟蹤原圖，圖5(b)圖為三種算法跟蹤中心位置誤差，圖5(c)圖為三種算法跟蹤覆蓋率。從中心位置誤差對比結果可以看出,MIL在第二序列實驗中,第80幀開始丟幀,無法跟蹤。雖然Boosting在第三,四序列中均出現(xiàn)丟幀現(xiàn)象,在相同的跟蹤框下,本文算法的覆蓋率明顯高于Boosting算法和MIL算法。

圖5 三種方法對比圖

總的來看,本文算法不僅沒有丟幀,從中心位置差和覆蓋率可以證明,本文算法的準確度都優(yōu)于另外2種算法的跟蹤結果。

為了更為直觀地看出實驗的對比結果,給出了Boosting、MIL和本文算法的跟蹤直觀圖6,圖6(a)為原圖，圖6(b)、圖6(c)為隨機選取的跟蹤結果圖。圖6結果是在三種不同背景下平均截取的5幀跟蹤結果直觀圖,從圖中可以更為直觀地看出此算法的優(yōu)越性。

圖6 三種不同背景下,本算法,Boosting和MIL三種方法定位圖

在最后的實驗對比結果中,給出了在兩種不同背景下使用不同卷積層的對比實驗結果,如圖7所示，其中Conv123使用1、2、3卷積層，Conv234使用2、3、4卷積層，Conv345使用3、4、5卷積層，從結果中可以看出,使用1、2、3卷積層的效果最佳,所以本文的點狀目標跟蹤算法具有更好的定位信息和準確性。

圖7 不同卷積層選擇對比圖

5 結 論

本文的點狀目標跟蹤算法是將深度學習與相關濾波進行一個很好的結合,也是將深度學習應用于點狀目標跟蹤的實踐證明,重檢測技術解決了部分因雜波掩蓋的目標跟蹤問題。通過對不同背景下的實驗驗證可以看出,此算法均取得較好的跟蹤結果,準確性較高,適用于點狀目標的跟蹤。在接下來的工作中,我們將主要提高算法的速度,達到實時性的要求。