劉耀勝, 廖育榮, 林存寶,*, 李兆銘, 楊新巖

(1. 航天工程大學(xué) 研究生院, 北京 101416; 2. 航天工程大學(xué) 電子與光學(xué)工程系, 北京 101416)

近年來,隨著科技的發(fā)展,目標(biāo)跟蹤技術(shù)已經(jīng)成為計(jì)算機(jī)視覺的重要研究課題,在人工智能、無人駕駛、人機(jī)交互及軍事監(jiān)控等方面應(yīng)用十分廣泛[1],其主要作用是在已獲得的視頻圖像中尋找感興趣的目標(biāo),并且在下一幀中對(duì)其進(jìn)行精確地跟蹤。 目前,隨著遙感技術(shù)的日趨成熟,各國(guó)遙感衛(wèi)星的數(shù)量也越來越多,并且遙感衛(wèi)星拍攝的高分辨率視頻能夠觀測(cè)和測(cè)量地球表面上的移動(dòng)物體,提供豐富的信息進(jìn)行分析決策,如石油儲(chǔ)量、自然災(zāi)害的監(jiān)測(cè)[2],交通狀況及生態(tài)系統(tǒng)干擾的監(jiān)測(cè)[3]等。 高分辨率視頻衛(wèi)星作為一種新型的對(duì)地觀測(cè)衛(wèi)星,與傳統(tǒng)的觀測(cè)衛(wèi)星相比較,其最大的優(yōu)勢(shì)是采用“凝視”[4]的成像模式對(duì)某個(gè)區(qū)域進(jìn)行連續(xù)觀察,并且以視頻成像的方式獲得豐富的信息,實(shí)現(xiàn)對(duì)衛(wèi)星視頻中目標(biāo)持續(xù)跟蹤的能力,從而將目標(biāo)跟蹤技術(shù)應(yīng)用到遙感衛(wèi)星領(lǐng)域。

目前,各國(guó)已經(jīng)陸續(xù)發(fā)射多顆高分辨率視頻衛(wèi)星。 例如,2007 年印度尼西亞將“印度尼西亞國(guó)家航空航天研究所-柏林技術(shù)大學(xué)衛(wèi)星”送入太空,2013 年美國(guó)的Skybox 公司成功發(fā)射2 顆視頻衛(wèi)星,而中國(guó)在2014 年成功將自主研制的“天拓二號(hào)”衛(wèi)星發(fā)射升空,在2015 年中國(guó)長(zhǎng)光衛(wèi)星技術(shù)股份有限公司將研制的“吉林一號(hào)”視頻衛(wèi)星順利升空。 由于視頻衛(wèi)星拍攝的圖像幅寬較大,空中環(huán)境復(fù)雜,并且容易受到相似目標(biāo)的干擾,以及存在目標(biāo)被遮擋等問題,對(duì)衛(wèi)星視頻中的目標(biāo)進(jìn)行跟蹤存在較大的挑戰(zhàn),以往的目標(biāo)跟蹤算法幾乎都是對(duì)地面上的目標(biāo)進(jìn)行跟蹤,對(duì)衛(wèi)星視頻中的目標(biāo)進(jìn)行跟蹤將會(huì)成為一個(gè)新的熱點(diǎn)問題。

針對(duì)衛(wèi)星視頻中的目標(biāo)跟蹤,一般通過目標(biāo)檢測(cè)獲得初始幀目標(biāo)的位置信息,或在初始幀手動(dòng)獲得目標(biāo)的相關(guān)信息,再在每一幀估計(jì)所跟蹤目標(biāo)的位置。 近年來,在目標(biāo)跟蹤領(lǐng)域產(chǎn)生了多種性能優(yōu)異的算法。 Bolme 等[5]首次將相關(guān)濾波的思想應(yīng)用到目標(biāo)跟蹤領(lǐng)域,提出了一種基于最小誤差輸出平方和(minimum output sum of squared error, MOSSE)的濾波跟蹤器。 之后,Henriques等[6]基于相關(guān)濾波的思想,發(fā)展設(shè)計(jì)了循環(huán)核結(jié)構(gòu)(circulant structure kernel, CSK)的跟蹤器和核相關(guān)濾波(kernelized correlation filters, KCF)跟蹤器[7],提高了目標(biāo)跟蹤的速度和準(zhǔn)確率。 杜博等[8]通過將三幀差法和KCF 算法相結(jié)合,提出了一種新的衛(wèi)星目標(biāo)跟蹤方法。 軒詩(shī)宇等[9]將運(yùn)動(dòng)估計(jì)的方法和KCF 算法相融合,以解決衛(wèi)星視頻中目標(biāo)無法進(jìn)行快速跟蹤的問題。 而隨著深度學(xué)習(xí)的興起,尤其是卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)在視覺跟蹤中的廣泛應(yīng)用,研究人員開始探索使用CNN 提取衛(wèi)星視頻中目標(biāo)的特征,增強(qiáng)對(duì)目標(biāo)的表示能力,提高目標(biāo)跟蹤的準(zhǔn)確度。 胡兆鵬等[10]提出將簡(jiǎn)單的回歸模型與卷積層和梯度下降算法相結(jié)合,利用豐富的背景知識(shí)構(gòu)建強(qiáng)大的目標(biāo)跟蹤器。 邵佳等[11]提出一種用于衛(wèi)星視頻跟蹤的預(yù)測(cè)注意啟發(fā)式Siamese 網(wǎng)絡(luò)(PASiam), 該網(wǎng)絡(luò)提取目標(biāo)的淺層特征,采用高斯混合模型檢測(cè)目標(biāo)的運(yùn)動(dòng)狀態(tài),并且使用卡爾曼濾波預(yù)測(cè)和校正目標(biāo)的位置。 馬成洋等[12]通過對(duì)顏色特征和方向梯度直方圖(histogram of oriented gradient, HOG)特征進(jìn)行融合,彌補(bǔ)了目標(biāo)在光照變化和形變情況下的特征表示缺陷,可以在目標(biāo)輕微遮擋時(shí)對(duì)目標(biāo)進(jìn)行跟蹤。Heimbach 等[13]通過特征響應(yīng)調(diào)整卡爾曼濾波器中的協(xié)方差參數(shù),從而提高在目標(biāo)遮擋情況下跟蹤的準(zhǔn)確性。 楊劍鋒等[14]通過引入塊均值漂移算法跟蹤部分遮擋的目標(biāo),提高算法抵抗目標(biāo)遮擋的能力。

然而,以上方法通常提取目標(biāo)有限的特征進(jìn)行表述,當(dāng)目標(biāo)發(fā)生光照變化或進(jìn)入復(fù)雜環(huán)境中時(shí),跟蹤模型通常會(huì)產(chǎn)生較大的誤差,從而影響跟蹤器的魯棒性。 而基于深度學(xué)習(xí)的算法雖然對(duì)目標(biāo)跟蹤的效果較好,但在利用CNN 等網(wǎng)絡(luò)提取目標(biāo)特征時(shí),一般需要較大的計(jì)算量,對(duì)跟蹤算法整體的實(shí)時(shí)性上受到了不利的影響。 上述目標(biāo)跟蹤算法在傳統(tǒng)的圖像上具有不錯(cuò)的跟蹤精度和魯棒性,但是在應(yīng)用于衛(wèi)星視頻中的目標(biāo)跟蹤時(shí)仍存在較大問題,尤其是當(dāng)目標(biāo)出現(xiàn)遮擋、復(fù)雜背景及發(fā)生光照變化等情況時(shí),將會(huì)發(fā)生目標(biāo)跟蹤丟失的問題,最終導(dǎo)致跟蹤失敗。

為確保目標(biāo)跟蹤具有較高的穩(wěn)健性和準(zhǔn)確性,同時(shí)也考慮到目標(biāo)跟蹤的精度和速度,本文采用KCF 算法作為基礎(chǔ)目標(biāo)跟蹤框架,同時(shí)考慮到單一的目標(biāo)特征無法較為準(zhǔn)確地對(duì)目標(biāo)進(jìn)行描述,設(shè)計(jì)了一種特征自適應(yīng)融合和模型自適應(yīng)更新的方法。 根據(jù)響應(yīng)區(qū)域的最大值和平均峰值相關(guān)能量獲得權(quán)重,進(jìn)行自適應(yīng)特征融合,提高對(duì)單一目標(biāo)特征的描述能力;采用自適應(yīng)更新的方法對(duì)相關(guān)濾波模型進(jìn)行更新,使相關(guān)濾波模型能夠克服目標(biāo)因光照變化等影響而產(chǎn)生的微小變化;借助卡爾曼濾波的方法預(yù)測(cè)遮擋目標(biāo)在下一幀的位置,從而解決由于目標(biāo)被遮擋而造成的目標(biāo)跟蹤失敗的問題。

1 本文算法

1.1 KCF 算法

KCF 算法[7]屬于判別式目標(biāo)跟蹤算法,將目標(biāo)及周圍的矩形區(qū)域作為訓(xùn)練樣本,通過循環(huán)矩陣構(gòu)造大量的正負(fù)樣本,以此增強(qiáng)分類器的訓(xùn)練效果。 同時(shí)利用循環(huán)矩陣對(duì)角化的性質(zhì),將訓(xùn)練樣本進(jìn)行對(duì)角化,以此減少計(jì)算量,使用嶺回歸函數(shù)對(duì)樣本進(jìn)行分類,并對(duì)其進(jìn)行約束優(yōu)化獲得最終的分類器。 具體步驟如下:

假設(shè)目標(biāo)的訓(xùn)練樣本為xi,用yi表示目標(biāo)的高斯函數(shù)響應(yīng),采用嶺回歸函數(shù)并引入高斯核函數(shù)對(duì)大量樣本進(jìn)行訓(xùn)練,尋找一個(gè)合適的w,使得函數(shù)f(xi) =wTxi和高斯函數(shù)響應(yīng)yi之間的平方誤差和最小,即

式中:λ為正則化參數(shù),目的是防止過度擬合。

將式(1)轉(zhuǎn)換成矩陣形式并求導(dǎo),可得分類器權(quán)重系數(shù)w的最優(yōu)解,即

假設(shè)目標(biāo)樣本x為n×1 的基本向量,可以表示為x=[x1,x2,…,xn],將其通過循環(huán)矩陣進(jìn)行移位,從而獲得大量的訓(xùn)練樣本。 循環(huán)矩陣如下所示:

式中:第1 行為目標(biāo)樣本,其他行都由第1 行循環(huán)移位而來,因此可得到樣本循環(huán)具有周期性。 利用循環(huán)矩陣對(duì)角化的性質(zhì),將訓(xùn)練樣本X進(jìn)行離散傅里葉變換可得

式中:“⊙”表示矩陣與矩陣之間點(diǎn)積。

由于樣本在低維空間通常難以進(jìn)行線性分類,需要將樣本轉(zhuǎn)化到高維空間,本文結(jié)合核函數(shù)k(x,z′)= 〈φT(x),φ(z′)〉, 目標(biāo)樣本的線性函數(shù)可以表示為

因此可得

式中:k(xi,zi)為核函數(shù);αi為濾波系數(shù)。

本文選擇高斯核函數(shù),該函數(shù)可以表示為

式中:z′表示待檢測(cè)的圖像塊;F(-1)表示離散傅里葉逆變換;σ1為高斯核函數(shù)的帶寬。

因此,式(4)可以轉(zhuǎn)換為

式中:^y表示高斯函數(shù)y的傅里葉變換;^α表示濾波器模型。

在下一幀圖像中,獲取與前一幀目標(biāo)大小相同的矩形區(qū)域z,可得下一幀目標(biāo)的響應(yīng)區(qū)域?yàn)?/p>

本文目標(biāo)跟蹤算法主要是對(duì)KCF 算法的改進(jìn),具體表現(xiàn)在特征提取、自適應(yīng)特征融合、自適應(yīng)模型更新及解決目標(biāo)遮擋的問題。

1.2 提取的目標(biāo)梯度紋理特征

在目標(biāo)跟蹤算法中,提取的目標(biāo)特征是否有效直接決定跟蹤效果的好壞。 為提高目標(biāo)跟蹤的效果,本文提出一種自適應(yīng)融合目標(biāo)特征表示方法,通過提取目標(biāo)的HOG 特征[15]、灰度特征及基于高斯曲率和平均曲率的特征[16],并分析比較各種特征對(duì)目標(biāo)的描述能力,從而選擇合適的方法對(duì)目標(biāo)進(jìn)行特征融合。 因HOG 特征和灰度特征已在相關(guān)文獻(xiàn)中有所闡述,本文不再贅述。 重點(diǎn)對(duì)基于高斯曲率和平均曲率的特征[16]提取方法進(jìn)行介紹。

在進(jìn)行目標(biāo)特征描述時(shí),由于梯度可有效描述圖像像素的方向信息,被廣泛用于描述目標(biāo)的特征,如HOG 特征、Sobel 特征等。 然而,由于梯度信息一般僅能夠反映目標(biāo)邊緣變化劇烈的程度,而對(duì)圖像中曲率等非線性特征的描述存在一定難度,本文提出采用高斯函數(shù)來計(jì)算目標(biāo)的高斯曲率特征和平均曲率特征,從而獲得包括梯度紋理特征在內(nèi)的更為充分的特征描述。

通過高斯函數(shù)對(duì)圖像進(jìn)行卷積運(yùn)算通常可以獲得更加突出的紋理和強(qiáng)度信息,因此高斯導(dǎo)數(shù)濾波器通常被用來作為提取紋理特征的基本模型。 高斯函數(shù)可以表示為

式中:x、y分別為圖像像素的橫、縱坐標(biāo);σ2為高斯函數(shù)的帶寬。

本文使用高斯函數(shù)的一階和二階偏導(dǎo)數(shù)與圖像I進(jìn)行卷積,從而獲得圖像的部分特征信息。公式如下:

式中:Gx、Gy、Gxx、Gyy、Gxy分別為高斯函數(shù)對(duì)x的一階偏導(dǎo)數(shù)、對(duì)y的一階偏導(dǎo)數(shù)、對(duì)x的二階偏導(dǎo)數(shù)、對(duì)y的二階偏導(dǎo)數(shù)、對(duì)xy的二階偏導(dǎo)數(shù);“*”表示對(duì)圖像進(jìn)行卷積操作。

將圖像所有像素由二維空間轉(zhuǎn)到三維空間,通常可以得到一個(gè)三維曲面。 為體現(xiàn)圖像的局部性質(zhì),可以通過計(jì)算圖像三維曲面的平均曲率,從而獲得圖像的局部特征。 但是,當(dāng)圖像中的邊緣發(fā)生距離變化時(shí),通過平均曲率提取目標(biāo)的局部特征就會(huì)存在較大誤差,此時(shí)可以使用具有旋轉(zhuǎn)不變性的高斯曲率特征獲得圖像中邊緣變化劇烈的信息,從而提取目標(biāo)更加詳細(xì)的紋理特征。 圖像的高斯曲率公式可以表示為

平均曲率公式為

因此,圖像的梯度紋理特征E可以由式(14)計(jì)算:

式中:ρ為權(quán)重,設(shè)置為0.5。

通過對(duì)圖像的梯度紋理特征分析,可以檢測(cè)到圖像中相鄰像素的顯著特征。

1.3 自適應(yīng)特征融合

為了提高目標(biāo)跟蹤的準(zhǔn)確率,將目標(biāo)的梯度紋理特征和灰度特征進(jìn)行并聯(lián)融合得到特征MIX,再將HOG 特征和MIX 特征分別訓(xùn)練KCF濾波器,從而獲得最終的目標(biāo)響應(yīng)圖,即

最終響應(yīng)圖f(z)可由2 個(gè)特征的響應(yīng)圖進(jìn)行加權(quán)得到,即

式中:ηHOG、ηMIX為融合權(quán)重。

本文將基于響應(yīng)圖的最大值和平均峰值相關(guān)能量(APCE)計(jì)算融合權(quán)重。 其中,APCE 定義為

式中:fmax和fmin分別為響應(yīng)圖中的最大值和最小值;f(i,j)為響應(yīng)圖中的值;M和N分別為響應(yīng)圖的寬和高。

取響應(yīng)圖的最大值fmax和APCE 值,則結(jié)果fMA由式(18)可得

將其進(jìn)行歸一化,即通過將之前所有幀的fMA之和求均值,可得到最終的權(quán)重計(jì)算公式為

最終,HOG 特征和MIX 特征的權(quán)重ζHOG和ζMIX可以定義為

通過自適應(yīng)特征融合構(gòu)建穩(wěn)健性的目標(biāo)外觀,并且特征互補(bǔ)可以提高目標(biāo)跟蹤的準(zhǔn)確度。

1.4 自適應(yīng)模型更新

在目標(biāo)跟蹤的過程中,由于目標(biāo)和背景隨時(shí)都會(huì)發(fā)生變化,濾波器的模型和目標(biāo)的特征要及時(shí)進(jìn)行更新,才能適應(yīng)這種變化[17]。 本文提出一種新的方法對(duì)目標(biāo)的模型進(jìn)行自適應(yīng)更新,當(dāng)前幀的融合響應(yīng)圖中最大值與之前所有幀融合后響應(yīng)圖中最大值之和的均值之比定義為θ,θ可以表示為

式中:t為幀的索引;f(t)max為響應(yīng)最大值。

由于相關(guān)濾波器的模型是由線性插值而得的,可以將其做出如下改進(jìn),具體如下:

式中:α′t-1和αt分別表示第t-1 幀的濾波器模型和第t幀的濾波器模型;α′t表示經(jīng)過線性插值后的濾波器模型;?！鋞-1和Γt分別表示第t-1 幀的目標(biāo)特征和第t幀的目標(biāo)特征;Γ′t表示經(jīng)過線性插值后的目標(biāo)特征;γ為初始的學(xué)習(xí)率,設(shè)為0.012。

1.5 目標(biāo)遮擋的解決方法

目標(biāo)遮擋處理一直是目標(biāo)跟蹤的難點(diǎn)問題。當(dāng)目標(biāo)被遮擋時(shí),目標(biāo)的外觀模型會(huì)發(fā)生變化,而跟蹤器由于無法進(jìn)行判斷,通常會(huì)將錯(cuò)誤的模型進(jìn)行學(xué)習(xí),從而丟失真正的目標(biāo),最終導(dǎo)致目標(biāo)跟蹤失敗。 卡爾曼濾波[18]通過輸入觀測(cè)數(shù)據(jù),經(jīng)過最優(yōu)估計(jì)方法最終獲得相對(duì)準(zhǔn)確的結(jié)果。 通過對(duì)衛(wèi)星視頻目標(biāo)跟蹤問題的分析,本文提出引入卡爾曼濾波算法解決目標(biāo)遮擋問題,通過響應(yīng)圖的APCE 值判斷目標(biāo)是否被遮擋,從而決定是否使用卡爾曼濾波算法對(duì)遮擋目標(biāo)進(jìn)行位置預(yù)測(cè)。

衛(wèi)星視頻中典型的運(yùn)動(dòng)目標(biāo)是車輛、艦船和飛機(jī),當(dāng)目標(biāo)處于轉(zhuǎn)彎、緊急停止時(shí)[9],可以假設(shè)目標(biāo)在短時(shí)間內(nèi)均勻的運(yùn)動(dòng)。 卡爾曼濾波算法的時(shí)間更新方程為

式中:xk-1為k-1 時(shí)刻的狀態(tài)估計(jì)值;C為控制矩陣;uk-1為控制增益,可以設(shè)置為0;A為狀態(tài)轉(zhuǎn)移矩陣;xk為k時(shí)刻的狀態(tài)估計(jì)值,所選擇的狀態(tài)量xk= [Lx,Ly,Vx,Vy],(Lx,Ly) 表示第k時(shí)刻目標(biāo)中心位置點(diǎn)的橫、縱坐標(biāo),(Vx,Vy)表示第k時(shí)刻目標(biāo)在水平方向和豎直方向的速度大小;Pk-1為第k-1 時(shí)刻的狀態(tài)估計(jì)協(xié)方差;Q為過程噪聲的協(xié)方差。

卡爾曼濾波狀態(tài)更新方程可以表示為

式中:Kk為卡爾曼增益;zk表示前一時(shí)刻的目標(biāo)測(cè)量結(jié)果;H為測(cè)量矩陣;R為測(cè)量噪聲矩陣;U為單位矩陣。

在本文中,設(shè)zk= [Px,Py],Px、Py分別表示目標(biāo)中心位置的橫、縱坐標(biāo),測(cè)量噪聲R值很小,可以設(shè)為R=10-6I2×2。 而過程噪聲Q值較大,可設(shè)為0.1I4×4。 其他參數(shù)可以定義為

通過引入卡爾曼濾波算法可以預(yù)測(cè)遮擋目標(biāo)的位置,能夠進(jìn)行實(shí)時(shí)地跟蹤,從而解決目標(biāo)被遮擋的問題。 經(jīng)過多次實(shí)驗(yàn)證明,該方法極大地提高了目標(biāo)跟蹤的成功率。 算法流程如圖1所示。

圖1 基于改進(jìn)的相關(guān)濾波衛(wèi)星視頻目標(biāo)跟蹤算法流程Fig.1 Flowchart of target tracking algorithm in satellite videos based on improved correlation filter

2 仿真實(shí)驗(yàn)結(jié)果與分析

2.1 仿真實(shí)驗(yàn)環(huán)境及參數(shù)

本文實(shí)驗(yàn)環(huán)境如下:Win10 系統(tǒng),處理器Intel Xeon CPU E3-1240(3.50 GHz),16 GB 內(nèi)存,仿真環(huán)境為Python 3.7。 為體現(xiàn)算法的一致性,設(shè)置的參數(shù)與原始KCF 算法的參數(shù)基本相同。 HOG特征的胞元大小為4 像素×4 像素,直方圖方向設(shè)置為9 個(gè),搜索區(qū)域?yàn)樵季匦慰騾^(qū)域的1.5 倍,正則化參數(shù)為0.000 1。 衛(wèi)星視頻為“吉林一號(hào)”衛(wèi)星數(shù)據(jù),選取4 個(gè)具有代表性的衛(wèi)星視頻,包含空中飛機(jī)、地面車輛和海面艦船目標(biāo)。每個(gè)視頻約為300 幀,采用手動(dòng)標(biāo)記確定目標(biāo)真實(shí)邊界框。

2.2 評(píng)價(jià)方法

為定量分析本文改進(jìn)算法對(duì)衛(wèi)星視頻中目標(biāo)跟蹤的性能,選取中心位置誤差(center location error, CLE)、距離精度(distance precision, DP)、重疊率(overlap precision, OP)[19]作為算法性能評(píng)價(jià)指標(biāo)。 中心位置誤差定義為

式中:(xi,yi)為由跟蹤器計(jì)算所得的目標(biāo)中心位置;(xi-gt,yi-gt)為目標(biāo)的實(shí)際中心位置。 CLE 值越小,說明目標(biāo)跟蹤的精度就越高。

距離精度定義為

式中:frames(a)表示滿足條件a的幀數(shù);N為圖像的總幀數(shù)。 由于衛(wèi)星視頻中目標(biāo)比較小,閾值d=3。

重疊率定義為

式中:Si和Si-gt分別表示第i幀的圖像邊界框和手工標(biāo)記的邊界框;“∪”和“∩”分別表示并集和交集。 重疊率表示重疊面積占2 個(gè)邊界框面積之和的百分比小于或等于閾值τ的幀數(shù)占總幀數(shù)的百分比,閾值τ設(shè)為0.75,重疊率越大,說明目標(biāo)跟蹤的成功率就越高。

2.3 實(shí)驗(yàn)過程分析

選用幾種經(jīng)典的算法進(jìn)行對(duì)比,分別為原始的KCF 算法[7]、CSK 算法[6]、MOSSE 算法[5]、MIL算法[20]、TLD 算法[21]和MEDIANFLOW 算法[22]。MOSSE 算法首次將相關(guān)濾波的思想應(yīng)用到目標(biāo)跟蹤領(lǐng)域的算法;CSK 算法通過循環(huán)矩陣構(gòu)建大量樣本,并且將核函數(shù)應(yīng)用到目標(biāo)跟蹤領(lǐng)域;KCF算法提取目標(biāo)的多通道特征,即HOG 特征,同時(shí)使用不同的核函數(shù);TLD 算法和MEDIANFLOW算法都基于光流法對(duì)目標(biāo)進(jìn)行跟蹤,且TLD 算法通過對(duì)目標(biāo)進(jìn)行重新檢測(cè),防止目標(biāo)丟失或者發(fā)生漂移,從而提高目標(biāo)的成功率。

由于遙感圖像的幅寬較大,本文通過截取目標(biāo)跟蹤的局部區(qū)域進(jìn)行算法驗(yàn)證。 圖2 ～圖5 為目標(biāo)跟蹤的精度和成功率曲線,圖6 為實(shí)驗(yàn)的4組衛(wèi)星視頻圖像,圖7 為目標(biāo)跟蹤結(jié)果的部分可視化圖像。 圖7 中:左上角數(shù)字表示視頻圖像的幀數(shù),藍(lán)色框表示目標(biāo)的運(yùn)動(dòng)區(qū)域,其他矩形框表示目標(biāo)跟蹤算法的跟蹤結(jié)果。

圖2 空中目標(biāo)跟蹤結(jié)果的精度和成功率曲線Fig.2 Precision and success curves of target tracking results in Plane sequences

圖3 遮擋目標(biāo)跟蹤結(jié)果的精度和成功率曲線Fig.3 Precision and success curves of occluded target tracking results in Car1 sequences

圖4 運(yùn)動(dòng)目標(biāo)跟蹤結(jié)果的精度和成功率曲線Fig.4 Precision and success curves of target tracking results in Car2 sequences

圖5 海面目標(biāo)跟蹤結(jié)果的精度和成功率曲線Fig.5 Precision and success curves of target tracking results in Ship sequences

圖6 衛(wèi)星視頻的運(yùn)動(dòng)目標(biāo)及運(yùn)動(dòng)區(qū)域Fig.6 Moving target and moving area of satellite videos

圖7 目標(biāo)的可視化跟蹤結(jié)果Fig.7 Visualization tracking results of targets

對(duì)空中目標(biāo)(Plane)進(jìn)行跟蹤,從跟蹤結(jié)果分析可得,圖5 的精度曲線和成功率曲線及表1 表明,本文算法與其他幾種算法相比,成功率和精度都有較大提高,與原始KCF 算法比較,提高了30%和21%。 曲線下面積(AUC)也作為一個(gè)跟蹤算法性能的評(píng)價(jià)指標(biāo)。 說明本文算法具有良好的魯棒性,取得不錯(cuò)的跟蹤效果。 從圖7 中Plane 視頻序列圖像也可以看出,不同算法對(duì)目標(biāo)跟蹤的結(jié)果不同,對(duì)目標(biāo)進(jìn)行跟蹤時(shí),原始KCF 算法和CSK 算法的跟蹤結(jié)果與改進(jìn)KCF算法跟蹤結(jié)果相差不大,但隨著目標(biāo)的運(yùn)動(dòng),導(dǎo)致各種算法的誤差累積越來越大。 從最終結(jié)果可以看出,本文算法對(duì)空中目標(biāo)進(jìn)行跟蹤具有不錯(cuò)的效果。

表1 Plane 視頻序列中目標(biāo)跟蹤結(jié)果Table 1 Target tracking results in Plane video sequences

對(duì)遮擋目標(biāo)(Car1)進(jìn)行跟蹤,從跟蹤結(jié)果分析得出,通過對(duì)圖3 和表2 中跟蹤結(jié)果的分析可得,本文算法由于引入了卡爾曼濾波,能夠?qū)φ趽跄繕?biāo)進(jìn)行較為準(zhǔn)確的跟蹤,與原始KCF 算法相比,成功率和精度提高了約80%和70%。 從圖7中Car1 視頻序列中可以得到,當(dāng)目標(biāo)在運(yùn)動(dòng)過程中,由于目標(biāo)的尺寸較小,且被大橋遮擋造成目標(biāo)丟失,最終導(dǎo)致目標(biāo)跟蹤失敗。 在第48 幀時(shí),原始KCF 算法和CSK 算法可以對(duì)未遮擋的目標(biāo)進(jìn)行跟蹤,取得了不錯(cuò)的結(jié)果。 而在第225 幀時(shí),由于前期誤差的存在,部分算法跟蹤的結(jié)果出現(xiàn)目標(biāo)丟失或者漂移,而當(dāng)目標(biāo)被遮擋時(shí),由于其他算法沒有解決目標(biāo)遮擋的能力,導(dǎo)致目標(biāo)重新出現(xiàn)時(shí),無法對(duì)目標(biāo)進(jìn)行重新跟蹤,從而造成目標(biāo)跟蹤失敗。 本文算法通過引入卡爾曼濾波算法,可以對(duì)遮擋的目標(biāo)進(jìn)行位置預(yù)測(cè),并且設(shè)置遮擋閾值,對(duì)目標(biāo)是否遮擋進(jìn)行判斷,如圖8 所示,紅色曲線表示閾值,經(jīng)過多次實(shí)驗(yàn),選取閾值為18,藍(lán)色曲線表示每一幀的APCE 值,當(dāng)APCE 值小于該閾值時(shí),可以認(rèn)為目標(biāo)被遮擋,此時(shí)對(duì)目標(biāo)進(jìn)行位置預(yù)測(cè),同時(shí)目標(biāo)不進(jìn)行模板更新;當(dāng)APCE 值大于該閾值時(shí),表示目標(biāo)并沒有被遮擋,此時(shí)對(duì)目標(biāo)進(jìn)行正常跟蹤。 因此,可以表明本文算法對(duì)遮擋目標(biāo)的跟蹤也有不錯(cuò)的效果,從而解決目標(biāo)遮擋的問題。

圖8 APCE 值和視頻幀數(shù)的關(guān)系Fig.8 Relationship between APCE values and number of video frames

表2 Car1 視頻序列中遮擋目標(biāo)跟蹤結(jié)果Table 2 Occluded target tracking results in Car1 video sequences

對(duì)運(yùn)動(dòng)目標(biāo)(Car2)進(jìn)行跟蹤,從跟蹤結(jié)果分析得到,圖4 和表3 表明,改進(jìn)KCF 算法可以適用于地面的目標(biāo)跟蹤,并且精度和成功率也有較大提高,圖7 中Car2 視頻序列說明了部分算法在第61 幀時(shí)對(duì)目標(biāo)跟蹤的結(jié)果就出現(xiàn)了偏差,而在第112 幀及后續(xù)出現(xiàn)的幀中都出現(xiàn)了很大的跟蹤誤差。 因此,這幾種典型的目標(biāo)跟蹤算法對(duì)衛(wèi)星視頻中的小目標(biāo)進(jìn)行跟蹤存在一定的困難,需要對(duì)其進(jìn)行改進(jìn),可能會(huì)達(dá)到較好的跟蹤效果。 而本文算法由于對(duì)原始KCF 算法進(jìn)行改進(jìn),提高對(duì)目標(biāo)外觀的描述能力,從而提高目標(biāo)的跟蹤結(jié)果。

表3 Car2 視頻序列中目標(biāo)跟蹤結(jié)果Table 3 Target tracking results in Car2 video sequences

對(duì)海面艦船(Ship)目標(biāo)進(jìn)行跟蹤,并對(duì)跟蹤結(jié)果分析可得,從圖5 和表4 可以得出,本文算法比原始KCF 算法在成功率方面提高了約20%,而在精度方面并沒有提高,但這并不能表示本文算法沒有效果,而恰恰說明原始KCF 算法可以對(duì)船只進(jìn)行跟蹤也達(dá)到了較好的跟蹤效果,但從成功率和AUC 來說,本文算法比原始KCF 算法效果相比,具有較好的跟蹤效果。 從圖7 中Ship 視頻序列中可以看出,船只在運(yùn)動(dòng)過程中,由于產(chǎn)生很多的波浪,對(duì)目標(biāo)跟蹤存在一定的干擾,有可能造成跟蹤器對(duì)目標(biāo)誤判。 而KCF 算法由于提取的是目標(biāo)的HOG 多通道特征,可以對(duì)目標(biāo)進(jìn)行描述,而本文通過將灰度特征和高斯平均曲率特征融合在一起,進(jìn)行自適應(yīng)特征融合,從而對(duì)目標(biāo)的外觀進(jìn)行較為詳細(xì)的描述,提高目標(biāo)跟蹤的成功率。

表4 Ship 視頻序列中目標(biāo)跟蹤結(jié)果Table 4 Target tracking results in Ship video sequences

綜上,本文算法通過對(duì)衛(wèi)星視頻中目標(biāo)進(jìn)行跟蹤,所獲得的精度和成功率都得到極大的提高。

3 結(jié) 論

本文提出一種基于改進(jìn)相關(guān)濾波的衛(wèi)星視頻目標(biāo)跟蹤算法,可以對(duì)目標(biāo)進(jìn)行較為準(zhǔn)確的跟蹤。

1) 通過提取目標(biāo)的高斯曲率特征,作為補(bǔ)充特征,提高對(duì)目標(biāo)外觀的描述能力,經(jīng)過實(shí)驗(yàn)表明,通過提取目標(biāo)的多種特征,可有效提高目標(biāo)跟蹤的成功率,從而達(dá)到穩(wěn)健的跟蹤效果。

2) 本文算法通過設(shè)計(jì)一種自適應(yīng)特征融合和自適應(yīng)模型更新的方法,獲得魯棒性的特征和模型,從而提高目標(biāo)跟蹤的精度。

3) 本文算法通過引入卡爾曼濾波算法解決目標(biāo)在運(yùn)動(dòng)過程中存在的遮擋問題,通過預(yù)測(cè)遮擋目標(biāo)在下一幀中的位置,當(dāng)遮擋結(jié)束目標(biāo)重新出現(xiàn)時(shí),可以對(duì)目標(biāo)進(jìn)行較為準(zhǔn)確的跟蹤,經(jīng)過在多種衛(wèi)星視頻數(shù)據(jù)上進(jìn)行實(shí)驗(yàn)驗(yàn)證,可以有效解決目標(biāo)遮擋的問題。

實(shí)驗(yàn)結(jié)果表明,在相似目標(biāo)干擾、目標(biāo)遮擋及復(fù)雜環(huán)境下,本文算法均能夠?qū)πl(wèi)星視頻中的目標(biāo)進(jìn)行跟蹤,并且具有良好的魯棒性。 但由于本文實(shí)驗(yàn)只考慮了剛性目標(biāo),而未對(duì)非剛性目標(biāo)進(jìn)行處理,當(dāng)目標(biāo)發(fā)生尺度變化時(shí),本文算法可能會(huì)跟丟目標(biāo)。 因此,目標(biāo)的尺度變化問題將是下一步研究的重點(diǎn)。