李繼泉，時(shí)勤功，胡春松

一種復(fù)雜背景下紅外目標(biāo)穩(wěn)定跟蹤算法

李繼泉，時(shí)勤功，胡春松

（湖南華南光電（集團(tuán)）有限責(zé)任公司，湖南 常德 415000）

針對(duì)紅外單目標(biāo)在長(zhǎng)期跟蹤過(guò)程中的強(qiáng)背景干擾、遮擋、形變以及目標(biāo)特征信息減弱等實(shí)際問(wèn)題，提出了一種基于跟蹤-學(xué)習(xí)-檢測(cè)（Tracking-Learning-Detection，TLD）框架的紅外目標(biāo)穩(wěn)定跟蹤方法。該方法在壓縮跟蹤算法（Compressive Tracking，CT）的基礎(chǔ)上替換廣義的類Harr特征為HOG特征，引入互補(bǔ)隨機(jī)測(cè)量矩陣，優(yōu)化紋理和灰度特征信息的權(quán)重，同時(shí)引入卡爾曼濾波器記錄空間上下文位置信息，以解決CT算法和TLD算法在目標(biāo)被遮擋時(shí)的跟蹤失效和全局檢索問(wèn)題?；赥LD算法框架和改進(jìn)CT算法相結(jié)合的紅外圖像跟蹤算法有效地解決了遮擋和強(qiáng)干擾問(wèn)題，提升了算法的跟蹤準(zhǔn)確性和長(zhǎng)期跟蹤穩(wěn)定性。實(shí)驗(yàn)結(jié)果表明，本文提出的算法在紅外地面環(huán)境中能較好地實(shí)時(shí)穩(wěn)定跟蹤并保持良好的準(zhǔn)確性和魯棒性。

紅外目標(biāo)；壓縮跟蹤算法；TLD算法；HOG特征；卡爾曼濾波器

0 引言

紅外成像技術(shù)，作為衡量軍事能力的技術(shù)之一，可適用于夜晚、霧霾、沙塵等能見(jiàn)度低的天氣情況，具有全天候使用的特性。紅外目標(biāo)跟蹤技術(shù)的發(fā)展有利于軍事武器系統(tǒng)地升級(jí)和現(xiàn)代化，為此國(guó)內(nèi)外許多學(xué)者一直在不斷地進(jìn)行著深入研究。由于復(fù)雜環(huán)境下的背景復(fù)雜，紅外圖像信噪比較低，目標(biāo)很容易被環(huán)境噪聲淹沒(méi)。因此，如何在復(fù)雜背景下實(shí)現(xiàn)紅外目標(biāo)實(shí)時(shí)、穩(wěn)定地自主跟蹤是當(dāng)代紅外技術(shù)發(fā)展的關(guān)鍵問(wèn)題之一。

目前經(jīng)典的紅外目標(biāo)跟蹤算法主要包括：模板匹配算法、光流跟蹤算法以及均值漂移算法[1]等。其中，模板匹配算法是一種較為簡(jiǎn)單有效的目標(biāo)跟蹤方法，但是它存在著一個(gè)大的缺陷[2]，其目標(biāo)跟蹤匹配的搜索區(qū)域會(huì)隨著紅外圖像大小以及目標(biāo)模板大小的增加而急劇增大，這會(huì)大大增加算法計(jì)算量并降低目標(biāo)跟蹤的效率。光流跟蹤算法是一種基于目標(biāo)運(yùn)動(dòng)的分析方法，該算法在強(qiáng)噪聲下，跟蹤不穩(wěn)定。均值漂移算法屬于核密度估計(jì)法，該算法對(duì)噪聲敏感，易使算法不收斂。近年來(lái)，研究人員基于壓縮感知思想[3]，提出了以壓縮跟蹤（Compressive Tracking，CT）為主的各種跟蹤算法，這些方法簡(jiǎn)單高效，但是對(duì)于復(fù)雜紅外地面背景，特征表現(xiàn)不夠穩(wěn)定且對(duì)于形變和遮擋無(wú)法很好的處理。而“跟蹤-學(xué)習(xí)-檢測(cè)”（Tracking-Learning-Detection，TLD）的在線學(xué)習(xí)思想，將目標(biāo)跟蹤算法與檢測(cè)算法相結(jié)合，能有效改善目標(biāo)形變、目標(biāo)部分被遮擋等問(wèn)題。為此，我們提出了一種基于TLD算法框架的目標(biāo)壓縮跟蹤方法，能夠有效解決上述問(wèn)題。

本文提出的跟蹤算法能夠改善TLD算法中值光流的飄移以及CT算法的目標(biāo)形變問(wèn)題。本文著重研究了以下3個(gè)主要問(wèn)題：①在壓縮跟蹤特征提取過(guò)程中引入互補(bǔ)測(cè)量矩陣，以解決樣本特征的不均勻問(wèn)題；②在壓縮跟蹤的特征累加計(jì)算中引入特征權(quán)重，以優(yōu)化不同特征間的樣本分類質(zhì)量；③在經(jīng)典的TLD框架下融合改進(jìn)的壓縮跟蹤算法，改善TLD算法中值光流法的跟蹤飄移問(wèn)題以及壓縮跟蹤的目標(biāo)尺度變化問(wèn)題。實(shí)驗(yàn)結(jié)果表明，該紅外目標(biāo)跟蹤算法相對(duì)于傳統(tǒng)紅外目標(biāo)跟蹤算法，在復(fù)雜紅外地面環(huán)境下，提高了跟蹤的準(zhǔn)確性和魯棒性。

1 壓縮跟蹤算法和TLD算法

1.1 CT算法簡(jiǎn)述

CT算法[4]采用基于壓縮感知理論提取壓縮后的特征，其特征提取公式如下：

＝(1)

式中：∈(×)為樣本原始特征矩陣；矩陣(×)(?)為滿足約束等距性條件的隨機(jī)測(cè)量矩陣；(×)為壓縮后的特征。CT算法中隨機(jī)測(cè)量矩陣中元素值的定義如下：

式中：ri,j為矩陣P中第i行第j列的元素；c的取值隨機(jī)在2～3之間[4]選擇。通過(guò)式(2)可以計(jì)算壓縮特征，它是由原始特征以ri,j為權(quán)值的加權(quán)和，其生成過(guò)程如圖1所示。

CT算法主要包括樣本特征降維提取和樸素貝葉斯分類器分類學(xué)習(xí)。其流程為：先對(duì)目標(biāo)區(qū)域進(jìn)行特征降維提取，然后在目標(biāo)區(qū)內(nèi)提取正樣本，目標(biāo)區(qū)外提取負(fù)樣本以訓(xùn)練（更新）貝葉斯分類器，然后預(yù)測(cè)目標(biāo)位置。

1.2 TLD算法簡(jiǎn)述

TLD算法[5]作為一種單目標(biāo)長(zhǎng)期跟蹤算法，其結(jié)構(gòu)如圖2所示，主要由檢測(cè)、跟蹤和學(xué)習(xí)3個(gè)模塊構(gòu)成。其中，檢測(cè)模塊和跟蹤模塊并行運(yùn)行，跟蹤模塊應(yīng)用光流法對(duì)目標(biāo)位置進(jìn)行估計(jì)，檢測(cè)模塊基于全圖使用分類器檢測(cè)目標(biāo)。學(xué)習(xí)模塊基于跟蹤器和檢測(cè)器的結(jié)果，對(duì)跟蹤模塊的顯著特征點(diǎn)進(jìn)行更新，同時(shí)更新檢測(cè)器的模型。圖2右側(cè)的綜合模塊則結(jié)合檢測(cè)模塊和跟蹤模塊結(jié)果融合輸出。

圖2 TLD算法框圖

2 本文算法

傳統(tǒng)的TLD算法和CT算法都存在一定的不足，其中TLD算法存在以下不足[5]：①目標(biāo)被嚴(yán)重遮擋時(shí)，TLD檢測(cè)器和跟蹤器都無(wú)法捕獲到目標(biāo)，從而會(huì)造成目標(biāo)丟失；②檢測(cè)器全局檢索目標(biāo)時(shí)耗時(shí)且計(jì)算量大；③基于目標(biāo)直方圖特征的光流法，易受光照變化影響，且在目標(biāo)發(fā)生非剛性形變時(shí)，光流法跟蹤易失效。

傳統(tǒng)CT算法存在Harr特征在目標(biāo)灰度劇烈變化時(shí)表征不穩(wěn)定，提取的紋理和灰度特征不均勻，以及無(wú)法自適應(yīng)目標(biāo)尺度的變化。基于上述問(wèn)題，我們提出基于TLD算法框架的改進(jìn)CT算法的紅外圖像跟蹤算法。

2.1 改進(jìn)的壓縮跟蹤算法

在跟蹤算法中目標(biāo)特征的提取和識(shí)別[6]極其重要，而在復(fù)雜紅外地面環(huán)境下，背景雜波、運(yùn)動(dòng)模糊和目標(biāo)像素較少等問(wèn)題，均會(huì)對(duì)特征的提取和識(shí)別產(chǎn)生影響。為解決上述問(wèn)題，首先使用局部光照不變性和旋轉(zhuǎn)平移不變性的HOG特征[7]，h來(lái)表征紅外目標(biāo)，以解決Harr特征的不穩(wěn)定性[4]。HOG特征其思想是使用直方圖來(lái)統(tǒng)計(jì)局部梯度方向的信息以表征圖像局部區(qū)域，則特征提取變?yōu)槭?3)：

v＝h(3)

式中：為特征提取矩陣。在目標(biāo)區(qū)域隨機(jī)選擇不同尺度的矩形塊T（2～4個(gè)），統(tǒng)計(jì)每個(gè)T的梯度方向直方圖h，以解決目標(biāo)尺度變化問(wèn)題。則特征提取公式變?yōu)槭?4)，其中TN為目標(biāo)區(qū)域矩形塊T的總個(gè)數(shù)：

紅外目標(biāo)特征主要構(gòu)成為灰度和紋理特征，且灰度特征在目標(biāo)運(yùn)動(dòng)時(shí)穩(wěn)定，紋理特征在環(huán)境和目標(biāo)紋理變化時(shí)穩(wěn)定。且在低維特征向量空間下不同特征對(duì)跟蹤效果有較大的影響，在低維特征向量空間中，62.5%概率表征紋理特征，37.5%概率表征灰度特征[8]。為了平衡紋理特征和灰度特征的提取對(duì)穩(wěn)定跟蹤的影響，本文引入原始測(cè)量矩陣的互補(bǔ)矩陣。為了方便描述，這里的系數(shù)隨機(jī)測(cè)量矩陣用表示，其互補(bǔ)隨機(jī)測(cè)量矩陣用￠表示，￠的元素參考式(5)：

則特征提取模型變?yōu)椋海?￠＝￠。假定和￠中的特征元素相互之間獨(dú)立分布，則可對(duì)優(yōu)化后的特征使用樸素貝葉斯分類器建模，且有先驗(yàn)概率(＝0)＝(＝1)，則由貝葉斯分類公式可得到式(6)：

式中：(＞0)是學(xué)習(xí)速率參數(shù)；參數(shù),,￠,￠由極大似然估計(jì)理論可得。

原始的樸素貝葉斯分類器將特征分類結(jié)果直接相加，易增大貝葉斯分類器誤差，造成目標(biāo)模型漂移。為了克服該問(wèn)題，我們對(duì)樸素貝葉斯分類器中的特征進(jìn)行加權(quán)處理，式(8)給出了提取特征為目標(biāo)特征的概率：

這里引入特征權(quán)值w來(lái)解決不同特征間的樣本分類[9]。結(jié)合式(8)和閾值對(duì)分類器中特征v進(jìn)行評(píng)估。如果p()＞，則樣本分類結(jié)果為目標(biāo)正樣本；反之為背景負(fù)樣本。一般閾值≥0，在此基礎(chǔ)上更新特征權(quán)值w。由式w＝(tp＋fn)/(p＋n)可得權(quán)重w。其中，tp表示正確分類的目標(biāo)正樣本個(gè)數(shù)，fn表示正確分類的背景負(fù)樣本個(gè)數(shù)。則對(duì)于特征v，若權(quán)值w越大，分類效果越好；反之分類效果越差。故貝葉斯分類器n()更新成式(9)，實(shí)際的跟蹤器模板為了更好的魯棒性，每5幀更新一次模型參數(shù)：

2.2 基于TLD框架整合優(yōu)化CT算法

基于TLD算法再檢測(cè)機(jī)制實(shí)現(xiàn)的長(zhǎng)期穩(wěn)定跟蹤特性的框架。將改進(jìn)的壓縮跟蹤算法整合到TLD框架中，提出改進(jìn)的CT（Improved Compressd Tracking, ICT）跟蹤算法，如圖3所示。ICT算法替代TLD算法的跟蹤模塊，能有效克服光流法紅外跟蹤帶來(lái)的漂移。同時(shí)TLD算法的在線學(xué)習(xí)機(jī)制，能夠提升紅外目標(biāo)跟蹤的穩(wěn)定性，也能彌補(bǔ)ICT算法的目標(biāo)出視野的問(wèn)題，有效地改善了算法的魯棒性和準(zhǔn)確性。

圖3 改進(jìn)TLD算法與ICT算法融合的算法框架圖

2.3 遮擋目標(biāo)預(yù)測(cè)

目標(biāo)跟蹤算法在被遮擋后，基于判別學(xué)習(xí)的方法會(huì)學(xué)習(xí)到大量的負(fù)樣本信息，造成模型的漂移。CT算法即使優(yōu)化特征的抽取也無(wú)法有效地解決遮擋問(wèn)題。如果ICT跟蹤模塊跟蹤的目標(biāo)丟失，且TLD的檢測(cè)模塊無(wú)法在2.5倍目標(biāo)區(qū)域內(nèi)檢測(cè)出目標(biāo)，此時(shí)調(diào)用卡爾曼濾波器對(duì)目標(biāo)接下來(lái)一幀的位置Post進(jìn)行預(yù)測(cè)，并在該位置的2.5倍目標(biāo)區(qū)域面積大小區(qū)域內(nèi)進(jìn)行檢測(cè)。如果檢測(cè)成功則重新初始化跟蹤器和檢測(cè)器的參數(shù)，否則執(zhí)行TLD檢測(cè)器進(jìn)行全局檢索。這樣在一定程度下有利于降低目標(biāo)全局檢索開(kāi)銷的時(shí)間。

2.4 本文算法實(shí)現(xiàn)

在改進(jìn)的TLD算法框架下結(jié)合ICT算法，其實(shí)現(xiàn)流程如圖4所示。流程簡(jiǎn)述如下：

1）第一幀初始化ICT算法的貝葉斯分類器、TLD算法的隨機(jī)森林分類器和Kalman濾波器參數(shù)；2）計(jì)算測(cè)量矩陣和￠，提取目標(biāo)加權(quán)特征；3）計(jì)算ICT跟蹤模塊的響應(yīng)結(jié)果max_CT和TLD檢測(cè)器的響應(yīng)結(jié)果max_DE，更新Kalman濾波器位置參數(shù)，并記錄目標(biāo)位置和速度信息；4）根據(jù)閾值情況更新檢測(cè)模塊和跟蹤模塊（參考圖4偽代碼部分）；5）循環(huán)2）～4）步驟到視頻結(jié)束。

3 測(cè)試結(jié)果及分析

基于自建視頻測(cè)試集將改進(jìn)算法與原算法（CT算法、TLD算法）和紅外主流穩(wěn)定算法進(jìn)行對(duì)比。對(duì)比跟蹤精度、跟蹤抗遮擋、尺度變化等幾個(gè)方面，根據(jù)測(cè)試結(jié)果驗(yàn)證本文算法的有效性。

3.1 視頻序列

視頻序列采自國(guó)產(chǎn)非制冷紅外成像系統(tǒng)，主要包含：行人、汽車等紅外目標(biāo)；測(cè)試內(nèi)容包含，光照變化，目標(biāo)遮擋、背景雜波、紋理變化、尺度變化等。測(cè)試環(huán)境基于Intel Core I5臺(tái)式計(jì)算機(jī)和C＋＋語(yǔ)言。

3.1.1 視頻序列一

實(shí)驗(yàn)一采用的是384×288分辨率的紅外汽車視頻。跟蹤結(jié)果如圖5所示，其中跟蹤框顏色指代不同的算法。在跟蹤前期階段，紅外目標(biāo)像素較少，且和背景灰度相近，參考第10幀結(jié)果，CT算法出現(xiàn)輕微的漂移，其他兩種算法穩(wěn)定跟蹤。在26幀以后，CT算法目標(biāo)漂移加劇，后續(xù)的樣本特征無(wú)法修正分類器參數(shù)。再往后紅外目標(biāo)尺度變化明顯，TLD算法和CT算法均不能有效處理目標(biāo)的尺度變化。本文算法融合了兩種算法的優(yōu)點(diǎn)，同時(shí)在檢測(cè)器中使用了多尺度模板，因而能夠有效處理紅外目標(biāo)的尺度變化和背景雜波干擾。

圖4 所提算法的偽代碼和流程圖

再看上述情況的跟蹤誤差變化，3種算法跟蹤誤差對(duì)比結(jié)果如圖6所示。可以看出本文算法的總體跟蹤誤差要明顯優(yōu)于壓縮跟蹤算法和TLD算法，平均誤差在3個(gè)像素左右，跟蹤穩(wěn)定。

3.1.2 視頻序列二

實(shí)驗(yàn)二采用960×576分辨率的紅外行人視頻。跟蹤結(jié)果如圖7所示，其中跟蹤框顏色指代不同的算法。在跟蹤前期階段，沒(méi)有被遮擋或發(fā)生形變，3種算法跟蹤都較穩(wěn)定。但在第110幀開(kāi)始行人被樹(shù)木遮擋，TLD算法由于負(fù)樣本的學(xué)習(xí)導(dǎo)致模型漂移，進(jìn)而目標(biāo)框產(chǎn)生了漂移。CT算法和本文算法對(duì)遮擋有較強(qiáng)的魯棒性。

圖6 汽車紅外視頻的跟蹤誤差曲線圖

在小目標(biāo)不斷被不同程度地遮擋變化情況下，3種算法誤差對(duì)比結(jié)果如圖8所示。本文算法的總體跟蹤誤差要明顯優(yōu)于TLD算法，總體上可以看出，本文算法比CT算法的跟蹤效果較好，平均誤差在4個(gè)像素左右，跟蹤效果良好。

圖8 行人紅外視頻的跟蹤誤差曲線圖

3.2 對(duì)比其他算法

通過(guò)3.1節(jié)可見(jiàn)提出的算法有效地解決了紅外背景雜波干擾、運(yùn)動(dòng)模糊、部分遮擋和目標(biāo)輕微形變等問(wèn)題。再在VOT-TIR2015數(shù)據(jù)集對(duì)比測(cè)試經(jīng)典的紅外目標(biāo)跟蹤算法，如：FCT[9]，IVT[10]，ODFS[6]，CRC[12]，采用前述實(shí)驗(yàn)相同的紅外視頻序列作為輸入。表1為各種跟蹤算法的跟蹤成功率和跟蹤精度[12]方面的對(duì)比情況，其中跟蹤成功率的兩個(gè)衡量指標(biāo)為：Roc曲線下的面積（Area under Curve，AUC）和跟蹤保持穩(wěn)定的能力（Track Maintenance，TM）。本文算法在保證在前述平臺(tái)下的27FPS速度還取得更優(yōu)異的性能。得益于改進(jìn)TLD算法的在線學(xué)習(xí)和再檢測(cè)能力，本文提出的跟蹤算法在跟蹤成功率和精度方面相比其他算法都有了很大程度地提升，同時(shí)保證了較高的穩(wěn)定性。

表1 幾類紅外常見(jiàn)跟蹤算法的成功率和精度對(duì)比

4 結(jié)語(yǔ)

本文針對(duì)復(fù)雜地面背景下的紅外目標(biāo)穩(wěn)定跟蹤問(wèn)題提出了基于TLD框架的壓縮跟蹤方法，該方法將CT算法中表征不穩(wěn)定的類Harr特征替換為HOG特征，引入互補(bǔ)隨機(jī)測(cè)量矩陣，來(lái)自適應(yīng)地平衡目標(biāo)紋理和灰度特征，優(yōu)化貝葉斯分類器的加權(quán)問(wèn)題，同時(shí)加入尺度處理模板，很大程度上降低了傳統(tǒng)紅外目標(biāo)跟蹤算法的模型漂移和遮擋。由于TLD框架的在線學(xué)習(xí)機(jī)制，有效地解決了目標(biāo)脫離視野后的重補(bǔ)問(wèn)題，如果出現(xiàn)遮擋使用卡爾曼濾波器進(jìn)行區(qū)域預(yù)測(cè)有效降低全局檢測(cè)的復(fù)雜度，這提升了跟蹤算法的長(zhǎng)期準(zhǔn)確性。融合TLD思想和CT算法的優(yōu)點(diǎn)，結(jié)合可實(shí)時(shí)的速度，有效地克服了紅外目標(biāo)跟蹤地被遮擋和形變等，有利于目標(biāo)地長(zhǎng)期穩(wěn)定跟蹤。目前本算法只是對(duì)單個(gè)目標(biāo)進(jìn)行跟蹤，如何將本文算法推廣到多目標(biāo)和多種復(fù)雜條件下進(jìn)行跟蹤將是我們下一步將要研究的重點(diǎn)方向。

[1] Comaniciu D, Ramesh V, Meer P. Real-time tracking of non-rigid objects using mean Shift[C]//, 2000: 142-149.

[2] YANG Yue, LIU Xingmiao, GUO Qiwang, et al. Infrared Object Matching Tracking Algorithm Based on Improved Mutual Information[J]., 2013, 35(6): 350-354.

[3] Elad M, Aharon M. Image denoising via sparse and redundant representations over learned dictionaries[J]., 2006, 15(12): 3736-3745.

[4] ZHANG K, ZHANG L, YANG M H. Real-time compressive tracking[C]//, 2012: 864-877.

[5] Kalal Z, Mikolajczyk K, Matas J. Tracking-Learning-Detection[J]., 2012, 34(7): 1409-1422.

[6] ZHANG Kaihua, ZHANG Lei, YANG Mingsuan. Real-time object tracking via online discriminative feature selection[J]., 2013, 22(12): 4664-4677.

[7] Navneet Dalal, Bill Triggs. Histograms of oriented gradients for human detection[C]//, 2005: 886-893.

[8] YANG H R. Research on tracking algorithm of infrared ground target [D]. Chengdu: University of Electronic Science and Technology of China, 2017.

[9] ZHANG Kaihua, ZHANG Lei, YANG Mingsuan. Fast compressive tracking Pattern Analysis and Machine Intelligence[J]., 2014, 36(10): 2002-2015.

[10] Ross D A, Lim J, Lin R, et al. Incremental Learning for Robust Visual Tracking[J]., 2008, 77(1): 125-141.

[11] Kalal Z, Matas J, Mikolajczyk K. P-N learning: Bootstrapping binary classifiers by structural constraints[C]//, 2010: 49-56.

[12] Felsberg Michael, Berg Amanda, Hager Gustav. The Thermal Infrared Visual Object Tracking VOT-TIR2015 Challenge Results[C]//2015(ICCVW), 2015: 639-651.

Stable Infrared Target Tracking Algorithm Under Complicated Background

LI Jiquan，SHI Qingong，HU Chunsong

(Hunan Huanan Opto-Electro-Sci-Tech Co., LTD, Changde 415000, China)

During the long-term tracking process of a single infrared target, many technical problems occur, such as strong background interference, occlusion, deformation, and target feature attenuation. An infrared target-tracking algorithm based on tracking-learning-detection (TLD) was proposed to solve these problems. Based on compressive tracking (CT), generalized Harr-like features were replaced by histograms of oriented gradient features. In our proposed method, a complementary random measurement matrix, which extracted texture and optimized grayscale feature-weights, was introduced. Moreover, a Kalman filter, used to record the space context location information, was adopted. Hence, the tracking failure and global retrieval problem of traditional CT and TLD algorithms can be solved when the target is occluded or deformed. The infrared image-tracking algorithm based on the combination of the TLD algorithm framework and improved CT algorithm effectively solves the problem of occlusion and strong interference and improves the tracking accuracy and long-term tracking stability of the algorithm. Experimental results show that the proposed algorithm can track well in real time and maintain good accuracy and robustness in an infrared ground environment.

compressive tracking，tracking-learning-detection，HOG features，Kalman filter

TP391.4

A

1001-8891(2020)05-0434-06

2018-12-19；

2020-03-25.

李繼泉（1985-），男，本科，主要從事光電系統(tǒng)設(shè)計(jì)。E-mail: jiquan_li@163.com.