馬天超

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱 150001)

0 引言

在目前的多種目標(biāo)跟蹤算法中，常用于紅外目標(biāo)跟蹤的主要分為基于圖像對比度分析的方法[1]，基于圖像特征匹配的方法[2]及基于核的目標(biāo)跟蹤方法[3]。對于背景均勻的包含目標(biāo)的圖像，目標(biāo)與背景差異較大，基于圖像對比度分析的方法主要是通過目標(biāo)與背景的灰度信息差異來進(jìn)行跟蹤，對于復(fù)雜背景目標(biāo)，此類方法效果較差，基于對比度的跟蹤方法主要分為質(zhì)心跟蹤[4]及邊緣跟蹤[5]?；谔卣髌ヅ涞哪繕?biāo)跟蹤方法利用目標(biāo)在連續(xù)幀圖像中所具有的某種特征，在后續(xù)圖像中完成特征匹配，達(dá)成目標(biāo)跟蹤。用于目標(biāo)跟蹤的特征有Haar特征[6]、SIFT特征[7]和直方圖特征[8]等，對于某些紅外圖像，灰度特征不夠豐富[9]，于是與形狀相關(guān)的特征則更為常用?；诤朔椒ǖ母櫵惴ㄖ饕ㄟ^估計(jì)目標(biāo)的后驗(yàn)概率密度函數(shù)來得到目標(biāo)的狀態(tài)，也就是先進(jìn)行預(yù)測再跟蹤，Meanshift算法[10]是最先被開發(fā)使用的該類方法，利用了先預(yù)測再進(jìn)行跟蹤的思想，相對于提取全局信息進(jìn)行跟蹤而言是一個(gè)較大的改進(jìn)。基于Meanshift算法的理論，后續(xù)實(shí)驗(yàn)人員對其進(jìn)行了改進(jìn)，保留其核方法的本質(zhì)，相繼研究出Kalman濾波[11]、粒子濾波[12]等多種可應(yīng)用于紅外圖像的核方法。高璐等人[13]提出一種紅外序列圖像目標(biāo)跟蹤的自適應(yīng)Kalman濾波方法，利用函數(shù)估計(jì)的思想改進(jìn)了目標(biāo)運(yùn)動(dòng)模型，將最小二乘支持向量機(jī)應(yīng)用于對當(dāng)前目標(biāo)運(yùn)動(dòng)模型的估計(jì)，取得了良好的效果。李蔚[14]等人提出了一種多特征融合的優(yōu)化粒子紅外目標(biāo)跟蹤方法，融合目標(biāo)梯度特征[15]和灰度特征建立觀測模型并自適應(yīng)更新模板，能夠顯著改善目標(biāo)受遮擋狀況。

本文對傳統(tǒng)粒子濾波算法中的狀態(tài)方程進(jìn)行更新，對重采樣過程進(jìn)行改進(jìn)，提出基于改進(jìn)粒子濾波算法的紅外圖像目標(biāo)跟蹤算法。

1 紅外車輛目標(biāo)跟蹤

紅外車輛目標(biāo)跟蹤算法流程如圖1所示。

圖1 紅外車輛目標(biāo)跟蹤算法流程

① 預(yù)處理階段：對紅外圖像進(jìn)行Top-Hat變換，除去與目標(biāo)相近的背景；

② 目標(biāo)檢測階段：利用圖像準(zhǔn)則進(jìn)行圖像信息融合，對目標(biāo)位置進(jìn)行標(biāo)定；

③ 目標(biāo)跟蹤階段：利用圖像準(zhǔn)則對粒子濾波狀態(tài)方程進(jìn)行改進(jìn)，并對粒子濾波重采樣方法進(jìn)行改進(jìn)，完成紅外車輛圖像檢測與跟蹤。

2 預(yù)處理與目標(biāo)檢測

2.1 預(yù)處理階段

通常狀況下，對于紅外圖像增強(qiáng)需要應(yīng)用形態(tài)學(xué)濾波，經(jīng)過處理后的紅外圖像會(huì)更加適合進(jìn)行特征提取、目標(biāo)識別等后續(xù)工作。研究者提出圖像形態(tài)學(xué)Top-Hat變換[16]，通過選擇合適的結(jié)構(gòu)元素，對原圖像實(shí)施開運(yùn)算獲取圖像的背景信息，再利用原圖像減去開運(yùn)算后圖像，即可完成圖像的Top-Hat變換，如圖2所示。

圖2 Top-Hat仿真結(jié)果

2.2 檢測階段

紅外圖像序列有其特有性質(zhì)，將此類性質(zhì)定義為圖像準(zhǔn)則。本研究中用到的圖像準(zhǔn)則包括圖像的面積準(zhǔn)則、灰度準(zhǔn)則、位置準(zhǔn)則及幀間速度加速度差異等。

圖像的面積準(zhǔn)則通過比較前后兩幀目標(biāo)區(qū)域的面積，排除非感興趣區(qū)域或無目標(biāo)區(qū)域，長寬比與圓形度是衡量圖像面積準(zhǔn)則的重要參數(shù)。圖像的長寬比是目標(biāo)長與寬的比值；圓形度為衡量與圓近似程度的值，定義為e=4πs/c2，其中s是圖像面積，c是周長。圓的圓形度為1，圖像越扁，其圓形度越小，現(xiàn)隨機(jī)取多幀圖像序列并對其進(jìn)行研究。在目標(biāo)檢測過程和跟蹤過程中，首先利用紅外面積準(zhǔn)則與灰度準(zhǔn)則來篩選疑似目標(biāo)，對于面積明顯過大目標(biāo)及長寬比較大(線形)目標(biāo)予以排除。同時(shí)，在粒子濾波應(yīng)用過程中也可利用面積準(zhǔn)則來維持跟蹤的穩(wěn)定性。對于灰度與面積準(zhǔn)則滿足要求的目標(biāo)，根據(jù)目標(biāo)的位置即可將目標(biāo)區(qū)分，同時(shí)在跟蹤過程中，幀間位置差可代替速度的變化，由這些速度帶來的加速度改變也可作為狀態(tài)方程的重要部分，對紅外車輛圖像序列進(jìn)行分析，紅外車輛目標(biāo)長寬比與圓形度信息如表1所示。

表1 紅外車輛目標(biāo)長寬比與圓形度

目標(biāo)長寬比圓形度1幀主目標(biāo)2.2500.57632幀主目標(biāo)2.1820.67764幀主目標(biāo)2.0000.69896幀主目標(biāo)1.8000.721其他目標(biāo)11.4740.756其他目標(biāo)21.8330.717其他目標(biāo)31.5500.720

分析表1中長寬比與圓形度，紅外車輛目標(biāo)長寬比信息穩(wěn)定在1.5～3，圓形度穩(wěn)定在0.50～0.75。由此可得出結(jié)論，綜合運(yùn)用圖像準(zhǔn)則的圖像融合方式可在目標(biāo)的檢測跟蹤過程中得到應(yīng)用。

3 目標(biāo)跟蹤

3.1 算法流程

基于上述對圖像信息融合的論證，將對狀態(tài)轉(zhuǎn)移方程進(jìn)行更新，新的狀態(tài)轉(zhuǎn)移方程融合了圖像的速度，面積準(zhǔn)則，位置準(zhǔn)則，灰度準(zhǔn)則，與幀間目標(biāo)大小。此方法與文中提到的方法相比計(jì)算量較小，能顯著降低粒子濾波使用的粒子數(shù)目。

算法流程如下：

① 提取圖像，進(jìn)行預(yù)處理；

② 初始化粒子：利用圖像準(zhǔn)則對疑似目標(biāo)進(jìn)行標(biāo)定，初始化粒子參數(shù)，其坐標(biāo)即為標(biāo)定中心，作為初始模板，獲取當(dāng)前的目標(biāo)狀態(tài)，將粒子均勻散布于目標(biāo)上(以目標(biāo)中心為粒子散布中心)；記錄此時(shí)中心坐標(biāo)為跟蹤起始點(diǎn)(x，y)；

③ 狀態(tài)轉(zhuǎn)移：下一幀起開始進(jìn)行粒子濾波過程，記錄本幀坐標(biāo)，根據(jù)兩幀間位置差可計(jì)算x軸及y軸速度，若兩幀間圓形度相差過大時(shí)，認(rèn)為目標(biāo)丟失，重新檢測目標(biāo)位置。

以x軸為例，在預(yù)測后續(xù)位置時(shí)，將記錄連續(xù)4幀間的速度v1，v2，v3，v4，并設(shè)權(quán)值mi對預(yù)測速度vpx進(jìn)行調(diào)整，每幀速度應(yīng)與前一幀速度有較大相關(guān)性；同時(shí)利用4幀間速度求得加速度a1，a2，a3也將被用于預(yù)測方程中，其權(quán)值為nk，定義如下：

vpx=∑vimi+∑aknk+Δ，

(1)

式中，Δ為高斯隨機(jī)數(shù)，對粒子群進(jìn)行微調(diào)，使其均勻分布在預(yù)測位置周圍，同理可得y軸預(yù)測方向。當(dāng)幀間速度趨于穩(wěn)定時(shí)，式中第二項(xiàng)對速度預(yù)測影響將會(huì)變??；每個(gè)速度的預(yù)測值均與前一幀相關(guān)性較大。

則每個(gè)粒子預(yù)測位置為：

xp=xpre+vpxt，

(2)

yp=ypre+vpyt。

(3)

④ 權(quán)值選擇及最終預(yù)測位置確定：每幀跟蹤時(shí)會(huì)獲得多個(gè)預(yù)測位置，通過加權(quán)來獲取最終預(yù)測位置，第一幀時(shí)設(shè)定每個(gè)粒子權(quán)值均為1/N，第二幀起，權(quán)值由重采樣及與真實(shí)位置的巴氏距離來決定。

巴氏距離及巴氏系數(shù)定義如下：

DB(p，q)=-ln(BC(p，q))，

(4)

(5)

觀測方程：對粒子在這一狀態(tài)的評價(jià)。即這個(gè)狀態(tài)與最優(yōu)相比的好壞程度，決定后續(xù)權(quán)重的大小。最終位置為St=∑WiSpi，Wi為各粒子權(quán)值，Spi為各粒子對應(yīng)預(yù)測位置。

⑤ 粒子狀態(tài)更新及重采樣：對于本幀已實(shí)現(xiàn)跟蹤過程的粒子，在下一幀預(yù)測狀態(tài)時(shí)為了保證其準(zhǔn)確性要進(jìn)行狀態(tài)更新，在此進(jìn)行改進(jìn)系統(tǒng)重采樣來抑制退化現(xiàn)象，完成粒子狀態(tài)更新過程；然后，進(jìn)入下一幀的跟蹤過程。

3.2 重采樣改進(jìn)

首先設(shè)定權(quán)值閾值w0，粒子數(shù)目閾值T，粒子總數(shù)N，對高于閾值w0權(quán)值的粒子進(jìn)行保留，并對其進(jìn)行系統(tǒng)重采樣來生成T個(gè)粒子；再取低于該閾值的粒子權(quán)重的粒子進(jìn)行系統(tǒng)重采樣生成剩余N-T個(gè)粒子；最后將這N-T個(gè)粒子與對應(yīng)的高權(quán)值粒子進(jìn)行加權(quán)，生成新的粒子權(quán)重作為這部分粒子的權(quán)重，剩余粒子的位置也由高權(quán)值與低權(quán)值粒子的位置共同決定，具體步驟如下：

④ 綜合兩部分粒子，進(jìn)行權(quán)值歸一化，完成后續(xù)操作。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)環(huán)境

分別對改進(jìn)系統(tǒng)重采樣方法及改進(jìn)粒子濾波方法進(jìn)行實(shí)驗(yàn)仿真，并與傳統(tǒng)方法比較其優(yōu)劣性，實(shí)驗(yàn)環(huán)境為普通個(gè)人筆記本電腦，系統(tǒng)Windows 10，CPU：Intel(R) Core(TM) i7-8750H，主頻2.60 GHz，內(nèi)存：8.00 GB。軟件環(huán)境為Matlab 2017a，Visual Studio 2012。

4.2 實(shí)驗(yàn)分析

對于重采樣方法，常用ARIMA模型進(jìn)行仿真：

xk=xk-1/2+25xk-1/(1+xk-12)+8cos1.2k+wk，

(6)

yk=xk2/20+vk，

(7)

式中，k表示狀態(tài)時(shí)刻；xk表示狀態(tài)量；yk表示觀測量，狀態(tài)初始值為x0=0.1，初始分布為p(x0)～N(0，5.0)，過程噪聲w～N(0，5.0)，觀測噪聲v～N(0，1.0)，粒子數(shù)目取100，500，1 000；對5種方法分別采取50次獨(dú)立實(shí)驗(yàn)，針對多項(xiàng)式重采樣，系統(tǒng)重采樣，分層重采樣，殘差重采樣，改進(jìn)重采樣5種重采樣方法進(jìn)行復(fù)雜度及運(yùn)行時(shí)間對比，結(jié)果如表2所示。

表2 重采樣算法比較

算法名稱多項(xiàng)式系統(tǒng)分層殘差改進(jìn)算法復(fù)雜度O(nlogn)O(n)O(n)O(n)O(n)運(yùn)行時(shí)間/s0.024 10.012 50.012 50.019 00.020 70.125 60.061 00.063 80.096 50.102 20.263 70.123 20.125 90.189 20.196 8

綜上所述，隨著粒子數(shù)目的增加，各種算法運(yùn)行時(shí)間呈線性變化。在粒子濾波進(jìn)行過程中仍無法避免退化現(xiàn)象的發(fā)生，伴隨著粒子濾波的進(jìn)行，跟蹤誤差將會(huì)逐漸變大，這在后續(xù)仿真中也有所體現(xiàn)，但是在生成新粒子方面，改進(jìn)系統(tǒng)重采樣與殘差重采樣均生成新粒子，這對補(bǔ)充粒子種類，抑制退化現(xiàn)象有一定的幫助。

在粒子濾波跟蹤過程中采用960×720像素大小的紅外序列2×200幀。實(shí)驗(yàn)中，標(biāo)準(zhǔn)系統(tǒng)重采樣粒子濾波算法(PF)，改進(jìn)系統(tǒng)殘差重采樣粒子濾波(PFRSR)，基于方向梯度的粒子濾波算法(PF/WS)作為同類算法進(jìn)行比較，設(shè)定粒子數(shù)目為500。這里引入均方誤差來比較這幾種方法。

紅外圖像序列利用PFIR(Particle Filter Based on Improved Resampling)方法進(jìn)行跟蹤的結(jié)果如圖3和圖4所示。

圖3 紅外圖像序列PFIR跟蹤結(jié)果

圖4 紅外圖像序列PFIR跟蹤結(jié)果

無論何種算法，隨著跟蹤時(shí)間的增長，誤差都在逐漸增大，這也是由于粒子的退化所導(dǎo)致的，4種方法幀間平均均方誤差及運(yùn)行時(shí)間對比如表3所示。

表3 紅外車輛圖像序列跟蹤算法結(jié)果

組別算法PFPFRSRPF/WSPFIR(a)均方誤差 1.981.841.501.18總時(shí)間/s7.0310.577.3311.26(b)均方誤差 3.562.942.332.18總時(shí)間/s7.9112.759.1313.66

對比標(biāo)準(zhǔn)PF算法，在重采樣方面采用殘差系統(tǒng)重采樣的PFRSR算法及在狀態(tài)方程中采取方向梯度的PF/WS算法均在跟蹤準(zhǔn)確度上有所提升，而狀態(tài)方程相較于重采樣方法的更新更為重要，而本文提到的PFIR算法由于分別對狀態(tài)方程及重采樣方式進(jìn)行了改善，導(dǎo)致運(yùn)行時(shí)間方面有所降低。

對于傳統(tǒng)PF算法，隨著圖像序列的增加，抗干擾能力較弱，誤差較大。本文設(shè)計(jì)的PFIR方法則是從圖像信息入手，以圖像準(zhǔn)則作為粒子濾波的輔助手段可以有效排除周圍環(huán)境的干擾，但是對較低信噪比及遮擋情況下有待繼續(xù)研究。

5 結(jié)束語

在傳統(tǒng)的粒子濾波算法中，狀態(tài)方程僅由幀間位置決定，整個(gè)系統(tǒng)抗干擾能力較弱；在重采樣過程中，傳統(tǒng)方法僅保留大權(quán)重粒子剔除小權(quán)重粒子，導(dǎo)致粒子衰竭現(xiàn)象的發(fā)生。本文提出基于改進(jìn)粒子濾波算法的紅外圖像目標(biāo)跟蹤算法，充分利用圖像內(nèi)部信息，將圖像準(zhǔn)則應(yīng)用于狀態(tài)方程，使?fàn)顟B(tài)方程更加完善；對于重采樣則提出改進(jìn)系統(tǒng)重采樣的方法，將小權(quán)重粒子加以保留，與大權(quán)重粒子進(jìn)行加權(quán)產(chǎn)生新粒子，保證粒子的多樣性。與傳統(tǒng)PF算法，基于殘差系統(tǒng)重采樣的PFRSR方法，基于方向梯度的PF/WS方法相比跟蹤效果有所提升，兼顧了高權(quán)重粒子的保留與新粒子的生成，對粒子濾波退化現(xiàn)象有一定的改善。