張學峰

?

復雜地物背景下紅外弱小目標跟蹤算法

張學峰

（中國空空導彈研究院，河南 洛陽 471009）

復雜地物背景下紅外弱小目標的跟蹤在紅外監(jiān)視系統(tǒng)中有重要的應用價值。提出了一種基于人眼視覺系統(tǒng)原理和多目標跟蹤技術的弱小目標跟蹤算法，實現(xiàn)了對復雜地物背景下紅外弱小目標的跟蹤。算法首先在圖像中提取候選目標和各目標對應的目標區(qū)域，估計相鄰幀圖像之間的運動參數(shù)，對所有跟蹤目標進行軌跡預測；然后融合多信息對當前幀目標與目標鏈中目標進行關聯(lián)，根據(jù)關聯(lián)結果對目標鏈進行更新；最后輸出跟蹤目標的位置坐標，實現(xiàn)對紅外弱小目標的跟蹤。用實測的圖像序列對算法進行了測試，試驗結果表明本文算法對樹林、農田、建筑等復雜地物背景中弱小目標有較好的跟蹤效果，可以用于紅外監(jiān)視系統(tǒng)中對復雜地物背景下低對比度弱小目標自動跟蹤。

紅外目標跟蹤；人眼視覺系統(tǒng)；Kalman濾波；目標提??；運動參數(shù)估計

0 引言

復雜地物背景下紅外弱小目標的跟蹤是紅外告警、紅外監(jiān)視系統(tǒng)的關鍵技術之一，是紅外目標識別領域的研究熱點，研究的難點在于如何處理紅外目標對比度低、無形狀信息、特征不穩(wěn)定、容易受背景干擾等問題。

紅外弱小目標的跟蹤一般都是與目標檢測相互依存的，主要技術可以分為兩種[1]：一種是先檢測后跟蹤（DBT）；一種是檢測前跟蹤（TBD）。后者主要用于目標信噪比較低，需要使用多幀累積信息來檢測目標的情況。本文主要關注已經(jīng)識別出目標，在大部分幀中目標都可以單幀完成檢測的情況下，如何實現(xiàn)目標的穩(wěn)定跟蹤，原理上屬于先檢測后跟蹤算法。

近年來，國內外學者提出了許多基于DBT思想的目標跟蹤算法[2]，但在紅外目標跟蹤領域，最常用的是基于圖像分割和基于核函數(shù)的目標跟蹤算法?；趫D像分割的算法基本處理流程為：背景抑制，圖像分割，目標特征提取，目標匹配跟蹤，該方法在跟蹤目標與地面背景發(fā)生粘連，一段時間后又分開時，容易產生目標匹配錯誤，導致跟蹤失敗[3]。

基于核函數(shù)的算法常用的核函數(shù)有Epanechnikov核、單位均勻核函數(shù)、高斯核函數(shù)3種，由于目標小，像素點少，灰度直方圖特征空間樣本稀疏，無法呈現(xiàn)明顯的統(tǒng)計規(guī)律，因此獲得的密度估計很不準確[4-5]。在復雜環(huán)境下，目標模型和實際目標會有比較大的差別，也會導致跟蹤失敗[6]。這類方法在原理上都是使用目標的核函數(shù)直方圖特征進行跟蹤，所以要求目標具有一定的尺寸[7]。文獻[8]提出了首先對目標及其附近區(qū)域采用雙線性插值，增大目標面積，然后用核密度估計和梯度特征進行目標跟蹤的方法。這些方法研究的對象雖然也為小目標，但適用于像素大小至少5×5左右的小目標，對于更小的目標處理起來有困難。在紅外監(jiān)視系統(tǒng)中，為提高系統(tǒng)的作用距離，一般要求在目標很?。ㄏ袼?×2左右）時即能對目標進行識別跟蹤，此時基于核函數(shù)的跟蹤方法幾乎不能使用。

現(xiàn)在的紅外成像系統(tǒng)幀頻一般較高，地面目標的運動較慢，且有一定的連續(xù)性，本文提出了一種復雜地物背景下紅外弱小目標跟蹤算法，該方法基于人眼視覺系統(tǒng)（HVS：Human Visual System）原理從單幀中檢測目標，利用多目標跟蹤技術實現(xiàn)抗復雜地物背景干擾。

1 目標跟蹤算法

目標跟蹤算法原理如圖1所示，在接收到一幀視頻圖像后，首先在圖像中提取候選目標和各目標對應的目標區(qū)域，并估計當前幀圖像和相鄰的上一幀圖像之間場景的運動參數(shù)，同時算法對所有跟蹤目標用Kalman濾波算法估計目標在當前幀中的位置；目標關聯(lián)模塊融合場景運動參數(shù)、目標區(qū)域提取結果和目標位置預測結果對當前幀目標與目標鏈中目標進行關聯(lián)，實現(xiàn)對目標鏈中所有目標的跟蹤；最后輸出跟蹤目標的位置坐標，實現(xiàn)對紅外弱小目標的跟蹤。在判斷出跟蹤目標與背景發(fā)生粘連或遮擋時，使用Kalman濾波估計目標的位置，在目標與背景干擾分離或重新出現(xiàn)在視場中時，繼續(xù)對目標進行跟蹤。

1.1 弱小目標特征分析

紅外圖像中的弱小目標表現(xiàn)為圖像中與背景有一定灰度差的小斑塊，目標的灰度可近似認為服從高斯分布，但在小目標時，目標的灰度分布還與目標投影到像平面上的位置有關，圖2所示為同一目標在第22幀和第45幀時的灰度分布情況，第22幀時目標的最大灰度為9148，目標面積為3像素，第45幀時目標的最大灰度變?yōu)?762，目標面積變?yōu)?像素。定義目標能量：

＝目標像素灰度和－局部背景平均灰度×目標面積，

計算得到第22幀目標能量為982，第45幀目標能量為1098，可以看出目標能量相對穩(wěn)定。

圖1 目標跟蹤算法框圖

Fig.1 Block diagram of target tracking algorithm

圖2 弱小目標灰度分布圖

Fig.2 The target gray level distribution of dim target

1.2 基于人眼視覺系統(tǒng)原理的候選目標檢測

人眼視覺系統(tǒng)在執(zhí)行目標檢測任務時有很高的效率和魯棒性，HVS的主要原理有對比度機制、多分辨率描述、尺度自適應和彈出機制。文獻[9]提出了一種模擬HVS的小目標檢測算法，該算法能提取紅外圖像中的斑塊目標，同時有效抑制背景中的邊緣，且算法可以估計出目標的尺寸大小，為后續(xù)進行目標識別提供信息。該算法包含3個步驟：

①用不同尺度的高斯-拉普拉斯（LoG）濾波模板與圖像卷積，獲取不同尺度下的拉普拉斯圖像(,,)；

對婦產科患者給藥的過程當中,護理人員應當態(tài)度和謁,主動溝通,以便更好地分散患者的注意力。注射時應當選擇適宜的位置,以熟練的手法進行穿刺,穿刺過程中應當注意對患者進行詢問,如患者出現(xiàn)不適,則應當立即停止注射并進行檢查[3]。

1.3 目標區(qū)域提取

準確地提取跟蹤目標區(qū)域，可以獲取目標的更多特征信息，輔助進行目標識別。本文在提取的候選目標點附近采用區(qū)域增長法提取目標區(qū)域，區(qū)域增長算法的兩個要素為種子點選擇和停止條件設計。上一節(jié)中提取的候選目標點都是局部區(qū)域內LoG濾波結果最大的點，可以直接作為區(qū)域增長的種子點。

上一節(jié)中提取候選目標的同時也獲取了尺度信息，可以估計出目標的面積。將候選目標點的局部區(qū)域內的像素灰度進行排序，根據(jù)估計目標面積獲取目標灰度的下限，區(qū)域增長時就將與目標區(qū)域連通的所有大于等于閾值的像素作為目標像素，直到與目標區(qū)域連通的像素均不滿足條件時區(qū)域增長停止。

1.4 場景運動參數(shù)估計

在圖像平面上，目標的運動由兩部分組成：目標自身的運動和場景整體的運動。在紅外成像系統(tǒng)中，圖像幀頻一般較高，相鄰幀圖像之間有大量的重合部分，場景整體運動量可以通過對圖像重合部分進行匹配獲取。在高幀頻系統(tǒng)中（≥50Hz），相鄰幀圖像間尺度和旋轉變化較小，可以忽略，本文只對場景之間的平移運動量進行估計。文中使用中值流和特征點光流法相結合的方法估計背景運動參數(shù)[10]，算法處理步驟如下：

①在上一幀圖像中提取均勻分布的個點作為特征點，提取每個點的局部區(qū)域作為特征區(qū)域，計算每個特征區(qū)域的方差，刪除方差小于方差中值的特征點，得到特征點集1；

②用光流法搜索上一幀每個特征點1i在當前幀中的對應位置2i，用光流法反向搜索當前幀每個特征點2i在上一幀中的對應位置2i￠，形成特征點對(1i,2i)；

③計算每個特征點對的后向跟蹤誤差E＝norm(1i￠－1i)，計算每對特征點對應特征區(qū)域之間的相關系數(shù)作為其相似性S；

⑤獲取每對特征點之間的位移d＝1i－2i；

⑥返回背景運動參數(shù)＝median(d)。

1.5 Kalman濾波目標位置預測

在完成場景運動參數(shù)估計后，為了提高算法對短時遮擋和地面復雜干擾的適應能力，需要對目標自身的運動進行預測。Kalman濾波器可以對動態(tài)系統(tǒng)的狀態(tài)序列進行線性最小方差估計，具有計算量小，可實時實現(xiàn)的特點，在目標跟蹤中有廣泛的應用。本文使用Kalman濾波器來估計跟蹤目標自身的運動。

為了消除場景整體運動對目標自身運動預測的影響，本文以消除場景運動引起的目標位置變化后，目標幀間的運動量作為觀測量。在預測中，認為目標近似做勻速直線運動，Kalman濾波器的狀態(tài)方程為[11]：

測量方程：

假設第幀圖像中跟蹤算法輸出目標位置為(p(), p())，第＋1幀相對第幀場景運動量為(d(＋1), d(＋1))，則第＋1幀時的觀測量為：

1.6 紅外弱小目標跟蹤算法

紅外弱小目標特征不明顯，容易受到地面背景的干擾，采用基于特征匹配的跟蹤方法，在目標運動到干擾附近時，容易產生誤匹配，導致目標丟失。本文采用多目標監(jiān)視單目標跟蹤的策略來提高算法對復雜背景的適應能力，算法對背景中的干擾和目標分別建立目標鏈。目標跟蹤算法處理流程如下：

①基于HVS原理從圖像中提取候選目標點，使用區(qū)域增長方法提取候選目標區(qū)域；

②使用中值流和特征點光流法相結合的方法估計背景運動參數(shù)；

③如果為第一幀視頻，則對各候選目標建立目標鏈，初始化各目標鏈的Kalman濾波器參數(shù)；否則對各目標鏈使用Kalman濾波器估計目標在當前幀中的位置，并在該位置附近搜索對應的候選目標作為其關聯(lián)目標；如果判斷出跟蹤目標與背景發(fā)生粘連或遮擋，使用Kalman濾波估計目標的位置，繼續(xù)維持該目標鏈，直到目標與背景分離或者重新出現(xiàn)在視場中；

④對當前幀關聯(lián)上的各目標鏈的信息和Kalman濾波器參數(shù)進行更新；

⑤如果當前幀跟蹤目標鏈有關聯(lián)目標，則輸出關聯(lián)目標的位置作為跟蹤結果，否則輸出預測的跟蹤目標位置。

2 試驗結果與分析

在Visual Studio 2010環(huán)境中編程實現(xiàn)了本文算法，用紅外熱像儀采集的下視山地背景中飛行的無人機序列圖像對算法進行了測試，試驗的硬件平臺為3.4GHz CPU，3G內存配置的聯(lián)想T7600電腦一臺。測試視頻總幀數(shù)1460幀，跟蹤算法均能正確跟蹤目標，未出現(xiàn)誤跟蹤和漏跟蹤情況，也未出現(xiàn)跟蹤點偏離。

跟蹤算法獲取的各幀中目標的局部信噪比如圖3所示，信噪比小于1的共165幀，占11.3%，信噪比小于5的共751幀，占51.4%，場景的背景復雜性導致信噪比整體波動較大。各幀中目標的能量如圖4所示，在700幀之前，目標能量較為穩(wěn)定，可以看出1.1節(jié)給出的目標能量定義公式適用于計算小目標能量，700幀之后目標能量呈上升趨勢是因為目標與熱像儀之間的距離變小，大氣傳輸衰減變小的緣故。

圖3 目標局部信噪比圖

圖4 目標能量圖

試驗中目標跟蹤的結果如圖5所示，圖5(a)中白色圓形框內為指定的跟蹤目標，白色矩形框內所示為背景中部分與目標相似的干擾。圖5(b)為第100幀時的跟蹤結果，目標周圍的背景相對均勻，局部信噪比3.16。圖5(c)為第200幀時的跟蹤結果，目標位于較亮的背景上，局部信噪比1.5。圖5(d)為第500幀跟蹤結果，目標信噪比3.08。圖5(e)為第700幀跟蹤結果，目標與背景發(fā)生粘連，信噪比0.5，幾乎被背景淹沒，當目標與背景分離時，算法根據(jù)預測的目標狀態(tài)快速準確的跟蹤上目標。圖5(f)為第1000幀跟蹤結果，目標距離較近，周圍背景相對均勻，信噪比5.3。圖5(g)為第1200幀跟蹤結果，目標位于地面兩個亮暗交替區(qū)域的邊界上，信噪比2.74。圖5(h)為第1300幀跟蹤結果，目標位于地面一個亮帶區(qū)域上，信噪比2.8。從圖5可以看出，該序列包含了地面弱小目標跟蹤中常見的樹林、農田、建筑等背景類型，本文算法較好地處理了這些干擾類型，在目標與背景發(fā)生粘連、遮擋時，算法能根據(jù)預測的目標狀態(tài)，在目標與背景分離或目標重新出現(xiàn)時，快速跟蹤上目標。

3 結論

本文在對紅外弱小目標特征進行分析的基礎上，提出了一種地面復雜場景中弱小目標跟蹤算法，該算法由候選目標檢測、目標區(qū)域提取、場景運動參數(shù)估計、目標位置預測等模塊組成。采用實測的紅外圖像對算法進行了測試，試驗結果表面本文算法對樹林、農田、建筑等復雜地物背景中弱小目標的跟蹤有較好的效果，可以用于遠距離觀測系統(tǒng)中對復雜地物背景中低對比度弱小目標自動跟蹤。本文算法實際上對視場內的所有疑似目標都進行了監(jiān)視和跟蹤，所以本文算法稍加改動即可用于多目標跟蹤系統(tǒng)。雖然本文算法在目標跟蹤試驗中取得了較好的效果，但也暴露了部分問題，在目標與背景出現(xiàn)粘連時，會導致目標的位置坐標計算出現(xiàn)一定的偏差，由于地面目標運動較慢，如果不能準確判斷該狀態(tài)，在多幀累積誤差的影響下，會導致Kalman濾波器預測的目標狀態(tài)與實際的狀態(tài)發(fā)生偏離，導致目標位置預測不準確，目標與背景干擾分離時目標識別發(fā)生錯誤，后續(xù)改進中將對地面慢速運動目標的狀態(tài)預測方法進行研究。

[1] 侯旺, 孫曉亮, 尚洋, 等. 紅外弱小目標檢測技術研究現(xiàn)狀與發(fā)展趨勢[J]. 紅外技術, 2015, 37(1): 1-10.

[2] Arnold W M Smeulders, Dung M Chu, Rita Cucchiara, et al. Visual tracking: an experimental survey[J]., 2014, 36(7): 1442-1468.

[3] 金曉會, 楊衛(wèi), 白曉方. 一種用紅外熱像儀檢測與跟蹤遮擋目標的方法[J]. 紅外技術, 2014, 36(8): 639-643.

[4] 韓振, 劉永鴻. 紅外探測系統(tǒng)線性小目標檢測算法研究[J]. 激光與紅外, 2009, 41(3): 328-333.

[5] 侯晴宇, 卞春江, 逯力紅, 等. 紅外圖像中快速小目標的均值移位跟蹤[J]. 哈爾濱工業(yè)大學學報, 2013, 45(4): 79-83.

[6] 陳東, 林建粦, 馬德寶. 粒子濾波在空間光電小目標跟蹤中的應用[J]. 光電工程, 2011, 38(3): 1-8.

[7] 章學靜, 陳禾, 楊靜. 結合卡爾曼濾波和Mean Shift的抗遮擋跟蹤算法[J]. 北京理工大學學報, 2012, 33(10): 1056-1061.

[8] Kang Yimei, Wang Guan, Hu Jiang. A bilinear interpolation mean shift small target tracking algorithm[C]//, 2011(5): 1-6.

[9] Sungho Kim, Yukyung Yang, Joohyoung Lee, et al. Small target detection utilizing robust methods of the human visual system for IRST[J]., 2009, 30(5): 994-1011.

[10] Zdenek Kalal, Krystian Mikolajczyk, Jiri Matas. Forward backward error automatic detection-of-tracking failures[C]//, 2010(20): 2756 -2759.

[11] 任章, 李露, 蔣宏. 基于紅外圖像序列的運動目標檢測算法研究[J]. 紅外與激光工程, 2007, 36(增刊): 136-140.

Tracking of Dim Infrared Target in Complex Background

ZHANG Xue-feng

(China Airborne Missile Academy, Luoyang 471009, China)

Tracking of small infrared target in complex background is useful in infrared monitoring system. A small target tracking algorithm based on human visual system and multi-target tracking technology is proposed, which can be used in tracking of small infrared target in complex background. Firstly, candidate targets and their features are extracted, and scene motion parameters of consecutive frame are estimated, and trajectories of tracking targets are predicted. Secondly, candidate targets of current frame are associated with the target chain, and the target chain is updated. Thirdly, the location of tracking target is got by its index from the target chain, and tracking result is outputted. The algorithm was tested using real infrared image sequences, and experiment result indicated that the algorithm has good tracking performance of dim target in complex background. This algorithm can be used in infrared monitoring systems to track small and low contrast targets.

infrared target tracking，human visual system，Kalman filter，target extraction，motion parameters estimate

TP391

A

1001-8891(2015)08-0659-05

2015-01-07；

2015-05-30.

張學峰（1984-），男，湖北松滋人，工程師，研究方向是紅外目標自動識別、跟蹤算法。E-mail：xuefeng_26@163.com。

裝備預先研究項目。