1. 遼寧工程技術大學 測繪與地理科學學院，阜新 123000 2. 武漢大學 遙感信息工程學院，武漢 430079 3. 珠海歐比特宇航科技股份有限公司，珠海 519080 4. 武漢大學 測繪遙感信息工程國家重點實驗室，武漢 430079 5. 武漢航天遠景科技股份有限公司，武漢 430205

Skybox公司于2013年底發(fā)射了全球首顆能夠拍攝高清航天視頻的小衛(wèi)星SkySat[1-2]，具備高動態(tài)信息觀測能力，標志著遙感應用進入全新的動態(tài)觀測時代[3]。為了更好地發(fā)揮衛(wèi)星視頻的作用，首先需要通過幀間關聯(lián)提取目標的動態(tài)信息，以便后續(xù)的高級分析和檢索等[4]。因此,實現(xiàn)航天視頻幀間目標的準確、魯棒跟蹤顯得尤為重要。

在視覺跟蹤領域中，基于相關濾波的跟蹤方法是其中一類表現(xiàn)優(yōu)秀的方法[5-6],如最小輸出平方誤差和的MOSSE方法[7]、在文獻[6]基礎上引入金字塔多尺度的DSST方法[8]、利用HOG特征和樣本循環(huán)矩陣的KCF方法[9]和利用時空上下文信息的STC方法[10]等。這些方法的基本思路都是對目標進行特征提取和描述，然后通過訓練構建目標模板濾波器，進而根據(jù)信號相關濾波度量尋找響應輸出最大的區(qū)域即為跟蹤目標。同時，在濾波計算時都利用了FFT(快速傅里葉變換)，算法執(zhí)行效率高，在測試數(shù)據(jù)集[11]的試驗中取得很好的跟蹤效果，其關鍵在于構建的特征濾波器能很好地對目標進行特征提取和描述，具有較強的獨特性，有利于相關濾波的特征模板匹配和目標定位[12]。但如圖1所示，在航天視頻條件下目標跟蹤的主要難點有：1)影像寬幅大，分辨率低，畫面對比度和清晰度低；2)運動目標大部分為點目標，尺寸小，特征和紋理稀少，且目標的相對速度較低；3)目標數(shù)量較多，目標與目標、目標與背景之間的可區(qū)分性差，彼此相似性較高，互干擾嚴重。使得特征選取困難，特征描述不顯著，目標模板的排他性和可辨識性不高，目標特征難以提取和描述[13]；此外，點目標的旋轉運動在航天視頻中較常見，而相關濾波在空間域上對應相關模板匹配，不具備旋轉不變性[14]，對大角度快速旋轉運動的目標較敏感，響應最大的區(qū)域可能不是最優(yōu)結果。

圖1 航天視頻截圖[5]Fig.1 ROI of satellite video

經(jīng)典的點目標跟蹤算法是Shi等[15]提出的LK光流法。其基本思想是，利用相鄰幀間鄰域像素集絕對誤差最小的原則建立光流誤差方程，考慮ROI區(qū)域的位移和旋轉，通過求解點的運動矢量代替窗口搜索，實現(xiàn)點跟蹤[16]。絕對誤差最小原則是一種相似程度的度量，因此該方法本質其實是一種空間域濾波的方法。其數(shù)學建模的基本準則和依據(jù)是視頻相鄰幀之間具有的3個特征——同一物體亮度恒定、運動變化緩慢、鄰域內的像素具有相同運動[17]。而航天視頻一般幀頻較高，軌道高度通常500 km以上，同時相鄰幀的基高比小，點目標在相鄰幀間具備2大顯著特征：運動變化小和灰度相關性高。目標運動矢量的方向和大小與歷史軌跡相比，變化是平滑的；同時也嚴格符合目標特征的高相關性。而在目標旋轉的問題上，Hu不變矩借助代數(shù)不變矩理論，利用二階、三階歸一化后的幾何中心距構造出7個不變矩，通過構造不變矩多項式來實現(xiàn)旋轉不變性[18]。因此，可以利用圖像的Hu不變矩特性作為目標相似度量基礎，同時結合點目標的2大特征，對運動目標可以更準確的進行特征描述、匹配和優(yōu)化約束，進而提高點目標的跟蹤魯棒性。

綜合以上分析，本文借鑒相關濾波的思想，針對航天視頻點目標跟蹤精度低的問題，提出一種基于Hu相關濾波的航天視頻點目標跟蹤方法。提取目標灰度的Hu不變矩作為模板濾波器，同時建立判斷區(qū)域的Hu置信模型，以相關特征濾波響應作為跟蹤匹配準則，同時借助Kalman濾波對目標運動進行運動平滑約束，實現(xiàn)航天視頻點目標的魯棒跟蹤。

1 Hu相關濾波點目標跟蹤方法原理

基本思路為：首先利用Hu不變矩將判斷區(qū)域進行降維壓縮，轉換成H矩陣，并根據(jù)相關濾波跟蹤原理生成基礎置信模型，然后對基礎模型進行歸一化FFT改進推導，進而通過求解置信圖最大值確定目標位置。在求解置信圖的同時，通過引入Kalman濾波和運動特性約束，提高跟蹤的魯棒性。整個算法的流程如圖2所示。

圖2 算法流程Fig.2 Flow chart of algorithm

1.1 相關濾波跟蹤基本原理

在信號處理中，離散信號f(n)，g(n)的響應輸出信號S(n)為：

(1)

式中：*表示卷積；N為信號f的長度，信號g一般被稱為卷積核或濾波器；S(n)為信號相關性序列，表示在時刻n時信號f和g的相關性。相關性用來衡量兩個信號的相似程度，相似性越高，對應的相關性數(shù)值越大。如圖3所示，在目標跟蹤中，若用f(n)表示待判斷區(qū)域圖像塊，g(n)表示模板目標濾波器，則S(n)可表示為跟蹤置信圖，其最大值時的n即為跟蹤結果的目標位置：

圖3 跟蹤置信圖Fig.3 Confidence map of tracking

1.2 H矩陣與置信模型

為了提取顯著、精簡的目標灰度特征，以便進行魯棒的特征描述和跟蹤匹配，本文引入Hu不變矩特征來進行跟蹤特征描述。首先在當前幀中選取圖像塊作為判斷區(qū)域，并對判斷區(qū)域進行降維處理，生成H矩陣。如圖4所示，在判斷區(qū)域中，每個像素位置表示一個判斷目標的中心。以這些像素為中心、以等同于模板目標寬、高的圖像塊組成判斷目標集。計算每個判斷目標的Hu不變矩，并按照從左到右、從上到下的順序將判斷區(qū)域重新排列，組成7×w,h的H矩陣(見圖4)，每一列為一個目標的7個Hu不變矩，w,h為判斷區(qū)域寬和高。幾何中心距和Hu不變矩的構造方法可參見文獻[19]，這里不再贅述。

圖4 H矩陣示意Fig.4 Diagram of H matrix

結合式(1)和H矩陣，推導出跟蹤的基礎Hu置信模型為：

(2)

式中：wh取值(0，wh-1);T為7維列向量，是Hu模板濾波。

1.3 改進的快速FFT相關濾波置信模型推導

基礎置信模型的本質是在每一個像素位置進行相關性匹配?？紤]到歸一化的相關匹配具有抗噪聲能力強的特點[20]，為了提高匹配的精度和魯棒性，根據(jù)歸一化相關匹配公式對式(2)進行整理：

(3)

根據(jù)卷積公式，式(3)可整理為：

(4)

根據(jù)卷積與快速傅立葉變換的關系，可進一步整理為：

(5)

式中：fft2和ifft2分別為快速傅里葉變化的正、反變換；T(m，wh)是由wh個模板濾波組成的m×wh的模板濾波矩陣。利用式(5)，可以快速、魯棒求得跟蹤置信圖，從而獲取目標的準確位置。

1.4 Hu模板濾波器

模板濾波器是跟蹤的依據(jù)和基礎。在一段視頻中，目標的形狀、灰度等會隨著時間的推移發(fā)生變化，考慮到目標模板的魯棒性，本文借鑒了多樣本采樣訓練和中值背景建模技術構建模板目標的濾波器，具體做法如下：

1)同理于第1.2節(jié)中提到的判斷目標集構建方法，以目標位置為中心的8鄰域作為模板采樣區(qū)，構建目標樣本集Sn，寬、高等同于模板目標；

2)對每一個樣本進行Hu計算，求得每個樣本的7個Hu不變矩；

3)按照式(6)建立目標模板濾波器T(m)：

T(m)=Med[Hus1(m)Hus2(m)…Husn(m)]

(6)

式中：m取值0～6；Med為中值濾波操作符；Husn(m)表示第n個樣本的Hu不變矩。

1.5 Kalman濾波優(yōu)化約束

在點目標跟蹤過程中，對比度低、分辨率低、臨近相似目標和背景的干擾等因素容易導致跟蹤漂移的結果。因此，本文利用目標運動平滑的特點，引入Kalman濾波對跟蹤進行優(yōu)化約束。Kalman濾波通過線性最小均方誤差估計，能夠根據(jù)目標歷史軌跡預測當前幀的位置，通過狀態(tài)方程的不斷迭代更新可實現(xiàn)自回歸的最優(yōu)估計[21]。由于相鄰幀之間，目標的運動具有平滑性的特點，因此真實的目標跟蹤位置一定與Kalman濾波預測的位置距離相差不大，一般小于或等于2個像素。本文采用歐式距離進行衡量，兩個點A(a1，a2)、B(b1，b2)的歐式距離為：

(7)

利用Kalman濾波進行優(yōu)化約束可表示為：

(8)

式中：Kal為利用kalman濾波預測得到目標中心點坐標；HuP為利用Hu置信圖得到的目標中心點坐標。

1.6 算法流程

綜上，本文提出算法的基本流程為：

1)利用式(6)建立跟蹤目標的模板濾波器。

2)建立判斷區(qū)域的Hu置信模型。

3)求解Hu置信圖。Hu置信圖最大值的位置，即為可能的跟蹤結果。

4)利用式(8)，判斷跟蹤結果是否滿足約束條件。若不滿足，則在Hu置信圖中將該位置的值置0，重復步驟3)、4)；若滿足，則該位置為最終優(yōu)化結果，并利用跟蹤結果更新Kalman濾波的狀態(tài)方程。

5)進入下一幀循環(huán)。

2 試驗

為驗證跟蹤算法的有效性和適用性，本文采用航天視頻進行5組試驗。視頻數(shù)據(jù)分別采用了SkySat和吉林一號視頻01、03星所拍攝視頻，幀頻優(yōu)于25幀/s。其中，SkySat視頻為全色，影像分辨率為1.1 m；吉林一號視頻為彩色，01星分辨率為1.1 m、03星分辨率優(yōu)于1 m。

2.1 試驗數(shù)據(jù)說明

選取5個航天視頻進行測試，視頻具有典型的場景環(huán)境、并富有挑戰(zhàn)。主要包括了目標變速運動、目標轉彎、臨近相似目標和背景干擾、以及目標被遮擋、隱藏等情況,如圖5所示。選擇機動目標做測試，目標尺寸小，無紋理特征，且與背景的對比度較低。測試1是吉林一號01星視頻，跟蹤目標是一輛機動車，首先處在靜止狀態(tài)一段時間，然后極其緩慢但伴隨大角度轉彎的運動，同時附近有近似目標干擾。測試2是SkySat視頻，將道路行駛汽車作為跟蹤目標，視頻中的跟蹤目標進行調頭和變速行駛，并且鄰域干擾嚴重，相似度高，與背景對比度低；測試3是SkySat視頻，同樣將一輛汽車作為跟蹤目標，在跟蹤過程中，有臨近相似目標的嚴重干擾；測試4是吉林一號3星視頻，跟蹤目標是城市道路行駛的汽車，在行駛的過程中，存在交通設施桿遮擋、干擾的情況；測試5是吉林一號3星視頻，拍攝了某機場飛機起飛后低空飛行的實況，飛行速度較快，且存在背景突變、目標隱藏在背景中的情況。測試視頻描述如表1所示。

圖5 測試視頻第一幀截圖Fig.5 First frame ROI of test videos

目標視頻目標尺寸/像素總幀數(shù)(每幀尺寸)目標1吉林一號01星7×7 493(1024×768)目標2目標3SkySat5×35×3300(1920×1080)700(1920×1080)目標4吉林一號9×966(3840×2160)目標503星11×13130(3840×2160)

2.2 試驗結果與分析

表2 測試結果

(1)目標1試驗

測試1試驗主要是為了驗證跟蹤算法針對目標進行小位移和大角度旋轉運動、并帶有臨近相似目標輕微干擾情況下的跟蹤效果，如圖6所示為本文方法的結果。目標1開始處于幾乎靜止、待轉彎狀態(tài)，車后有相似目標。10幀過后，目標開始進行旋轉運動。到120幀左右，目標幾乎未移動，但大約旋轉了30°，并且目標前、后都有臨近的相似目標干擾；到250幀左右，目標旋轉角度大約為45°，此時目標位移依然小，大約移動了6個像素；到330幀左右，目標旋轉角度大約為120°左右，完成轉彎運動，并開始進入直線加速行駛狀態(tài)，直到493幀視頻結束。在整個過程中，跟蹤軌跡平滑，近似真實軌跡。尤其是在目標做近似無位移的旋轉運動時，跟蹤效果良好，狀態(tài)穩(wěn)定。

圖6 本文方法的目標1跟蹤效果Fig.6 Tracking results of target 1 using the proposed method

(2)目標2試驗

測試2試驗主要是為了驗證算法在有臨近干擾和對比度低的情況下，做轉彎調頭運動時的跟蹤效果。與測試1相比，跟蹤目標尺寸更小，整個過程中的轉彎角度更大，接近180°。從圖7中可以看到，目標整體輪廓不夠清晰，左側目標干擾嚴重，幾乎貼合。測試2的試驗結果如圖7所示，15幀顯示了跟蹤目標與干擾目標并排行駛、彼此干擾較大；85幀左右，目標開始準備轉彎行駛，122幀左右，逐漸脫離干擾目標，同時旋轉了大約45°；155幀左右旋轉了90°左右；192幀左右大約旋轉了135°；284幀左右旋轉了170°，然后開始直線行駛。可以看到，在目標對比度欠佳并伴隨轉彎調頭的情況下，保持了較高的跟蹤精度，跟蹤效果良好。通過軌跡線也可以看出，除了在臨近目標干擾和轉彎135°之后的過程中，有幾幀的跟蹤結果出現(xiàn)了2個像素左右的偏移，但并未丟失目標，整體表現(xiàn)平滑、無階躍突變。

圖7 本文方法的目標2跟蹤效果Fig.7 Tracking results of target 2 using the proposed method

(3)目標3實驗

圖8 本文方法的目標3跟蹤效果Fig.8 Tracking results of target 3 using the proposed method

測試3實驗主要為了驗證算法在臨近相似目標的嚴重干擾下的跟蹤效果。目標沿著傾角約為12°(相對于垂直向下的方向)的道路直線行駛，在圖像中的像素移動表現(xiàn)為無規(guī)律的向下、向右或右下3個方向。本文方法的跟蹤結果如圖8所示。前200幀左右，目標處在幾乎無干擾的傾斜直線運動狀態(tài)；跟蹤目標不斷加速，到240幀左右，開始靠近相似干擾目標；332幀左右，目標彼此粘連干擾嚴重；390幀左右，兩個目標幾乎并排行駛，彼此干擾程度達到最大；512幀，目標逐漸超過干擾目標；570幀，目標減速、準備入彎道，此時被干擾目標超過半個身位；642幀，轉彎后進入直線行駛，干擾目標持續(xù)加速，開始脫離跟蹤目標。可以看出，在臨近高相似目標的嚴重干擾下，本文算法具有很好的跟蹤效果和精度，幾乎無跟蹤偏移。

(4)目標4試驗

測試4為吉林一號3星拍攝的某城區(qū)道路視頻，視頻場景逐幀整體向下移動，試驗結果如圖9所示。選取道路汽車為跟蹤目標，該目標初始階段處于近直線行駛狀態(tài)，到49幀左右時，目標接近交通設施桿遮擋區(qū)域。52幀左右開始，設施桿遮擋開始，與目標相互粘連、干擾；53幀，目標幾乎被全部遮擋，此時干擾最大；55幀，目標開始脫離設施桿干擾，成功通過遮擋區(qū)域。測試4主要是為了驗證目標在有部分遮擋和背景相似干擾的情況下的跟蹤情況?？梢钥闯觯疚姆椒軌驕蚀_的定位到受干擾的目標位置，整體跟蹤效果魯棒、良好。

圖9 本文方法的目標4跟蹤效果Fig.9 Tracking results of target 4 using the proposed method

(5) 目標5試驗

測試5試驗主要為了驗證算法在目標快速移動和短暫隱藏在背景中的情況下的跟蹤效果。測試5的試驗結果如圖10所示。飛機在開始階段做快速直線飛行，背景無明顯變化，如10幀所示；在28幀左右，背景發(fā)生突變，從綠地過渡到瀝青道路；在44幀左右，背景再一次發(fā)生突變，從瀝青道路過渡到綠地，在46幀時出現(xiàn)了5個像素左右的偏差；在51幀左右，通過濾波響應和約束逐漸調整回準確跟蹤位置；經(jīng)過一段穩(wěn)定背景的直線跟蹤后，到120幀左右，目標開始進入高相似背景區(qū)域，目標幾乎隱藏消失在背景中。121幀，目標被隱藏了大約20%。123幀中，目標被隱藏了80%以上。126幀飛出隱藏背景，在隱藏的過程中，目標跟蹤向左上偏移了軌跡，大約有4個像素，但并未丟失目標；138幀左右也出現(xiàn)了類似的干擾背景情況，本文方法依然可以成功跟蹤。從試驗中可以看到，在高相似背景甚至隱藏的情況下，目標跟蹤會出現(xiàn)較大漂移和偏差，但本文的方法利用運動濾波的約束，可以確保目標不丟失，并逐漸修正回準確的位置。

圖10 本文方法的目標5跟蹤效果Fig.10 Tracking results of target 5 using the proposed method

2.3 耗時對比分析

在跟蹤處理時，需要針對判斷區(qū)域生成跟蹤置信圖，將本文的方法與常規(guī)相關性方法進行復雜度分析對比，如表3所示，M、N分別為計算區(qū)域的寬、高。常規(guī)相關性方法指的是在每個位置按照式(3)計算，遍歷整個判斷區(qū)域。

表3 算法復雜度對比

通過表3可知，常規(guī)方法的復雜度約為O(2×13×MN+13×7)；FFT的復雜度為O(lgMN·MN)，本文方法復雜度為O[(3×lgMN+7)×MN]，因此本文算法在復雜度方面具有較大優(yōu)勢。在Win7系統(tǒng)、CPU為I7 4510u 2.0 GHz的試驗環(huán)境下，本文算法針對13×13區(qū)域的計算耗時約為0.0015 s，而常規(guī)方法耗時約為0.0074 s，加速效果顯著。

3 結束語

本文針對航天視頻條件下點目標跟蹤方法進行研究，為遙感動態(tài)信息的應用和處理提供基礎。得到如下結論：

1)航天視頻目標跟蹤的主要特點是分辨率、對比度低，目標尺寸小，無紋理信息，目標與目標之間、目標與背景之間相似性高，導致目標特征難以有效提取和描述。

2)利用目標Hu模板特征和運動特性，可有效進行目標的特征描述，并實現(xiàn)航天視頻的魯棒跟蹤。

3)利用FFT的快速方法可顯著提高計算效率。

此外，由于航天視頻寬幅大，運動目標數(shù)量較多，因此針對大數(shù)量多目標的魯棒、快速跟蹤將是今后主要研究方向。