張紹明，胡建平，施 揚(yáng)

（同濟(jì)大學(xué)測(cè)繪與地理信息學(xué)院，上海200092）

基于改進(jìn)的粒子濾波的紅外視頻行人跟蹤

張紹明，胡建平，施 揚(yáng)

（同濟(jì)大學(xué)測(cè)繪與地理信息學(xué)院，上海200092）

提出了一種基于改進(jìn)的粒子濾波的紅外視頻行人跟蹤算法，實(shí)現(xiàn)了在傳統(tǒng)粒子濾波算法的框架下，使用有向梯度直方圖（histograms of oriented gradients，HOG）來(lái)描述跟蹤目標(biāo)的特征.算法在粒子權(quán)值和相似度計(jì)算中使用HOG，替代現(xiàn)有的顏色空間歐式距離測(cè)度，克服了紅外視頻中顏色信息缺失的困難.試驗(yàn)表明，與傳統(tǒng)的粒子濾波算法相比，本文算法更能準(zhǔn)確有效地跟蹤復(fù)雜場(chǎng)景中的行人，提高了跟蹤的魯棒性.

紅外視頻；粒子濾波；有向梯度直方圖（HOG）；行人跟蹤

基于紅外視頻的運(yùn)動(dòng)目標(biāo)的跟蹤是在真實(shí)環(huán)境下對(duì)監(jiān)控場(chǎng)景中的運(yùn)動(dòng)目標(biāo)（人和車(chē)輛等）進(jìn)行跟蹤，并對(duì)目標(biāo)的運(yùn)動(dòng)行為進(jìn)行描述，是視頻監(jiān)控技術(shù)的智能化發(fā)展.目前，對(duì)智能視頻監(jiān)控技術(shù)的研究與應(yīng)用方興未艾［1-4］.許多關(guān)于視頻監(jiān)控的大規(guī)模的研究項(xiàng)目已經(jīng)在美國(guó)、歐洲和日本等國(guó)或地區(qū)展開(kāi)，同時(shí)它也成為許多國(guó)際學(xué)術(shù)期刊和會(huì)議所關(guān)注的重要主題.

近年來(lái)，國(guó)內(nèi)外對(duì)跟蹤算法進(jìn)行大量研究，根據(jù)跟蹤方法的不同，一般將目標(biāo)跟蹤分為4類［5-6］：①基于區(qū)域匹配的跟蹤方法，將目標(biāo)模板和候選區(qū)域進(jìn)行相似匹配來(lái)確定目標(biāo)位置，其可信度高，但很難處理運(yùn)動(dòng)目標(biāo)的影子和遮擋問(wèn)題；②基于特征的跟蹤方法，包括特征提取和匹配2個(gè)過(guò)程；③基于主動(dòng)輪廓的跟蹤方法，該方法的思想是利用封閉的曲線輪廓來(lái)表達(dá)運(yùn)動(dòng)目標(biāo)，并且該輪廓能夠自動(dòng)連續(xù)地更新，然而初始化通常卻是很困難的；④基于模型的跟蹤方法，該方法利用先驗(yàn)知識(shí)建立目標(biāo)模型，然后通過(guò)匹配運(yùn)動(dòng)目標(biāo)進(jìn)行模型的實(shí)時(shí)更新，行人是非剛體，其自身運(yùn)動(dòng)靈活復(fù)雜，很難建立統(tǒng)一的行人模型用于實(shí)時(shí)性和魯棒性很好的行人跟蹤.

傳統(tǒng)的紅外視頻目標(biāo)跟蹤的方法主要有模板匹配［7］、光流法［8］、卡爾曼濾波［9］等.模板匹配法跟蹤目標(biāo)方法簡(jiǎn)單，但是匹配過(guò)程的空間搜索受到圖像大小和模板大小的限制；光流法在目標(biāo)跟蹤方法中是一種常用的方法，但是在視頻背景受到強(qiáng)噪聲和強(qiáng)雜波的干擾下，光流法表現(xiàn)得不穩(wěn)?。豢柭鼮V波方法是有效的線性最優(yōu)估計(jì)方法，但是對(duì)于紅外視頻非線性和非高斯的情況不能有效處理.為了更好地處理紅外目標(biāo)非線性和非高斯情況下的動(dòng)態(tài)系統(tǒng)狀態(tài)估計(jì)問(wèn)題，粒子濾波方法被考慮應(yīng)用到紅外視頻目標(biāo)跟蹤中.

粒子濾波跟蹤算法是基于模型的跟蹤方法，具有較好的魯棒性和抗干擾性，但難對(duì)付紅外影像固有的低信噪比、低對(duì)比度、無(wú)法校驗(yàn)的黑白極性反轉(zhuǎn)以及人體周?chē)壮霈F(xiàn)的光暈效應(yīng)等問(wèn)題.根據(jù)行人非剛性形狀及運(yùn)動(dòng)變化的特點(diǎn)，本文提出基于粒子濾波框架和基于有向梯度直方圖（HOG）特征相結(jié)合的跟蹤方法.

1 粒子濾波方法

粒子濾波［10］是一種通過(guò)蒙特卡羅仿真實(shí)現(xiàn)遞歸貝葉斯估計(jì)的一種估計(jì).粒子濾波的核心是采用大量的加權(quán)粒子來(lái)代表被估計(jì)問(wèn)題的概率分布函數(shù)，例如后驗(yàn)分布p（xtzt）可表示為：p （xtzt）≈，其中xt為狀態(tài)變量，zt為觀測(cè)值，t為觀測(cè)次數(shù)標(biāo)號(hào)，i為粒子標(biāo)號(hào)，N為粒子個(gè)數(shù)，ωit為相應(yīng)的粒子權(quán)值，xit為采樣粒子.｛xit，ωiti＝1，…，N｝代表加權(quán)粒子集，粒子濾波算法通過(guò)采樣 重要性采樣 重采樣的結(jié)構(gòu)實(shí)現(xiàn)貝葉斯估計(jì).

粒子濾波算法流程如下：①初始化，從初始分布中采樣粒子.

式中：p（x0）為初始分布.②粒子預(yù)測(cè)，首先根據(jù)運(yùn)動(dòng)方程及當(dāng)前時(shí)刻的觀測(cè)共同確定一個(gè)重要性函數(shù)（建議分布），基于該建議分布進(jìn)行粒子預(yù)測(cè).

式中：q為建議分布.③粒子權(quán)值更新，設(shè)ω⌒it為沒(méi)有歸一化的更新后的權(quán)值，可根據(jù)下式所示的似然函數(shù)進(jìn)行權(quán)值計(jì)算.

④粒子權(quán)值歸一化處理.

⑤計(jì)算當(dāng)前時(shí)刻狀態(tài)的最小均方誤差（MMSE）估計(jì).

⑥計(jì)算有效樣本個(gè)數(shù)Neff，如果小于閾值（閾值一般根據(jù)經(jīng)驗(yàn)選?。?，則進(jìn)行重采樣.

步驟①僅在算法開(kāi)始時(shí)執(zhí)行一次，步驟②和步驟⑥在每個(gè)時(shí)刻進(jìn)行一次計(jì)算，以實(shí)現(xiàn)對(duì)粒子集合的更新，實(shí)現(xiàn)對(duì)目標(biāo)狀態(tài)后驗(yàn)分布p （xtzt）的跟蹤.

2 有向梯度直方圖

HOG算法是由Dalal等［11］在2005年提出，最初用于行人的檢測(cè)與識(shí)別，HOG的核心思想是所檢測(cè)的局部物體外形能夠被光強(qiáng)梯度或邊緣方向的分布所描述.首先將整幅圖像劃分成小的大小均等的矩形區(qū)域（稱為cells），每個(gè)cell生成一個(gè)方向梯度直方圖.方向梯度直方圖的橫坐標(biāo)為角度，范圍為0°～180°（一般量化為16或32級(jí)）.直方圖縱坐標(biāo)為區(qū)域內(nèi)所有像素梯度模值在該方向的分量之和，計(jì)算方法為：遍歷每個(gè)像素的梯度，根據(jù)每個(gè)像素梯度的方向，將模值按比例分配并累加到與之接近的3個(gè)直方圖方向中.模值在3個(gè)方向的分配比例的確定方法為：直方圖中與像素梯度方向最接近的方向獲得最大比例，最遠(yuǎn)的方向獲得最小比例.即梯度直方圖的形成是cell中每個(gè)像素梯度加權(quán)投票的結(jié)果.然后，這樣的每一個(gè)直方圖都作為一個(gè)向量.然后將幾個(gè)cell組合成為block計(jì)算其內(nèi)部所有cell直方圖的聯(lián)合作為HOG特征.通常將上下左右相鄰的4個(gè)cell組合為一個(gè)block，并且2個(gè)block之間有2個(gè)cell是重疊的（左右重疊或上下重疊）.

計(jì)算步驟簡(jiǎn)述如下：①計(jì)算每個(gè)像素的梯度；②按照方向統(tǒng)計(jì)每個(gè)cell內(nèi)梯度模值的直方圖，把每個(gè)block內(nèi)的cell的梯度直方圖歸一化，并首尾相接組合成為一個(gè)更大的直方圖，作為該block的HOG.③把圖像所有block的HOG首尾相接，組合成圖像的HOG特征.例如：圖像的寬度和高度分別為64和128，cell的寬度和高度均為8，則block的寬度和高度均為16.如果block之間左右或上下都重疊2個(gè)cell，則圖像共包含7×15個(gè)相互重疊的block.如果每個(gè)cell的直方圖為32維，則每個(gè)block的直方圖為32×4＝128維，圖像的HOG特征為128×7×5＝4 480維.

3 基于粒子濾波和HOG融合的行人跟蹤方法

為實(shí)現(xiàn)紅外視頻中運(yùn)動(dòng)目標(biāo)的有效跟蹤，基于粒子濾波的跟蹤框架結(jié)合要跟蹤的運(yùn)動(dòng)目標(biāo)的HOG特征，以實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的跟蹤.在粒子濾波框架下，建立系統(tǒng)狀態(tài)轉(zhuǎn)移模型和觀測(cè)模型對(duì)于紅外目標(biāo)的跟蹤非常重要，在紅外目標(biāo)跟蹤中，一般采用二階自回歸模型作為系統(tǒng)狀態(tài)轉(zhuǎn)移模型，利用HOG特征描述紅外目標(biāo)，并以此為基礎(chǔ)建立系統(tǒng)觀測(cè)模型.

3.1 狀態(tài)轉(zhuǎn)移模型

在紅外目標(biāo)跟蹤中，狀態(tài)轉(zhuǎn)移模型刻畫(huà)了紅外目標(biāo)在2幀之間的運(yùn)動(dòng)特性.為了穩(wěn)健地跟蹤紅外目標(biāo)，應(yīng)當(dāng)建立精確的狀態(tài)轉(zhuǎn)移模型，但是精確的狀態(tài)轉(zhuǎn)移模型的建立是非常困難的.根據(jù)粒子濾波的蒙特卡洛隨機(jī)模擬機(jī)理，紅外目標(biāo)的狀態(tài)可以通過(guò)多個(gè)假設(shè)樣本穩(wěn)健地估計(jì)，因此，基于粒子濾波的紅外目標(biāo)跟蹤的穩(wěn)健性并不過(guò)度依賴系統(tǒng)的狀態(tài)轉(zhuǎn)移模型的精確性，于是本文選擇二階自回歸模型的狀態(tài)轉(zhuǎn)移模型.

式中：Xk為估計(jì)次數(shù)標(biāo)號(hào)為k的狀態(tài)向量估計(jì)值；vk為零均值白噪聲；A1和A2為系數(shù).由于運(yùn)動(dòng)目標(biāo)用矩形窗口表示，狀態(tài)向量定義為X＝｛x，y，w，h｝，其中（x，y）表示目標(biāo)矩形窗口的中心，w和h分別為窗口的長(zhǎng)和寬.

3.2 觀測(cè)模型

由于紅外目標(biāo)一般沒(méi)有明顯的穩(wěn)健輪廓，同時(shí)也沒(méi)有顏色信息，因此選擇HOG特征描述紅外目標(biāo)，通過(guò)比較目標(biāo)樣本和參考目標(biāo)（參考目標(biāo)是在目標(biāo)出現(xiàn)的初始幀選取的，此后每次跟蹤得到新目標(biāo)后用新目標(biāo)信息更新參考目標(biāo)）的HOG特征，建立系統(tǒng)觀測(cè)模型.使用目標(biāo)的HOG特征來(lái)描述目標(biāo)可以減弱目標(biāo)的部分遮擋、旋轉(zhuǎn)和變形對(duì)跟蹤的影響.觀測(cè)概率p（xitzt）用于描述目標(biāo)樣本與參考目標(biāo)的接近程度，本文使用Bhattacharyya距離結(jié)合高斯函數(shù)模擬該概率.當(dāng)t時(shí)刻第i個(gè)粒子的狀態(tài)為xit，q＝｛q（u）｝是以xit為中心提取的HOG特征，目標(biāo)的特征為p＝｛p（u）｝，兩者的Bhattacharyya距離為

則t時(shí)刻第i個(gè)粒子的觀測(cè)概率模型為

式中：λ為系數(shù).由式（3），同時(shí)使用建議分布q（zt， xitxi（t-1））對(duì)權(quán)重進(jìn)行跟新，通常取建議分布為狀態(tài)轉(zhuǎn)移概率密度，即q（zt，xitxi（t-1））＝p（xitxi（t-1）），所以權(quán)重更新簡(jiǎn)化為

進(jìn)而歸一化為

經(jīng)過(guò)多次迭代計(jì)算，會(huì)出現(xiàn)粒子退化現(xiàn)象，即少數(shù)粒子所占權(quán)值較大，大多數(shù)粒子權(quán)值極小，大量的計(jì)算都耗費(fèi)在對(duì)結(jié)果影響不大的粒子上，本文使用重要性重采樣策略，舍棄權(quán)值很小的粒子，將大權(quán)值粒子分裂成多個(gè)小權(quán)值粒子，重采樣后保證粒子數(shù)目不變，且每個(gè)粒子的權(quán)重均為1／N，進(jìn)入下一輪的循環(huán).

3.3 算法流程

（1）初始化：第1幀時(shí)選取參考目標(biāo)，計(jì)算參考目標(biāo)的HOG特征，建立特征模板｛p（u）｝，同時(shí)根據(jù)先驗(yàn)分布p（x0）建立初始粒子集｛xi0，1／N｝Ni＝1.

（2）狀態(tài)轉(zhuǎn)移：由式（7）根據(jù)狀態(tài)轉(zhuǎn)移模型預(yù)測(cè)粒子的位置.

（3）粒子權(quán)值計(jì)算：由式（8）至式（11），分別計(jì)算每個(gè)預(yù)測(cè)粒子與目標(biāo)的相似度，更新預(yù)測(cè)粒子的權(quán)值并歸一化，所有粒子的加權(quán)和即為目標(biāo)參數(shù)；同時(shí)，跟蹤權(quán)值最大的目標(biāo)樣本.

（4）重采樣：由粒子的權(quán)值做重要性重采樣.①計(jì)算轉(zhuǎn)移粒子集的累計(jì)權(quán)值cit＝，②產(chǎn)生［0，1］上均分分布的N個(gè)隨機(jī)數(shù)，從小到大的順序排列，u＝｛ui｝i＝1，2，…，N，③計(jì)算式cjt≥ui（i＝1，2，…，N）的最小j，令重采樣粒子xjt＝x＾jt，重采樣過(guò)程保留并分裂權(quán)值大的粒子，舍去權(quán)值低的粒子，重采樣后每個(gè)粒子的權(quán)值為1／N.

（5）若非最后一幀紅外圖像，令t＝t＋1，轉(zhuǎn)到流程（2），否則結(jié)束.流程框圖如圖1所示.

圖1 基于粒子濾波和HOG的紅外視頻目標(biāo)跟蹤流程框圖Fig.1 Flow-chart of the object tracking based on particle filter and HOG

4 試驗(yàn)結(jié)果與分析

為驗(yàn)證本文中算法對(duì)紅外目標(biāo)跟蹤效果，在Intel（R）Xeon（R）CPU E5-1607@3.00GHz的處理器、32.0GB的內(nèi)存的電腦上基于C＋＋對(duì)本文算法進(jìn)行了實(shí)現(xiàn)和驗(yàn)證.

試驗(yàn)所用視頻為主動(dòng)紅外槍機(jī)采集的城市室外紅外視頻；相關(guān)參數(shù)設(shè)置為：粒子個(gè)數(shù)為N＝100，狀態(tài)參數(shù)A1＝2.5，A2＝-0.5，目標(biāo)樣本與參考樣本的置信度為0.65.參考樣本為第1幀手工選取的運(yùn)動(dòng)目標(biāo).

為了驗(yàn)證本算法在紅外視頻中的跟蹤效果，將本文算法與傳統(tǒng)的粒子濾波算法在紅外視頻中的目標(biāo)跟蹤結(jié)果相比較，圖2給出了第10，35，50，80幀2種算法的對(duì)比情況.

圖2 本文算法與粒子濾波方法的比較Fig.2 Comparison of the proposed method and particle filter

視頻總幀數(shù)為100，本文方法能夠在所有幀對(duì)目標(biāo)實(shí)現(xiàn)正確跟蹤（檢測(cè)所得目標(biāo)框與實(shí)際標(biāo)定的目標(biāo)框重合的面積與目標(biāo)框面積之比大于60%）.傳統(tǒng)方法在第52幀開(kāi)始丟失目標(biāo)，直至視頻結(jié)束一直不能有效找到目標(biāo).

紅外目標(biāo)一般沒(méi)有明顯和穩(wěn)健的輪廓，也沒(méi)有顏色信息.而傳統(tǒng)粒子濾波算法對(duì)目標(biāo)的標(biāo)注基于顏色直方圖，因此無(wú)法實(shí)現(xiàn)目標(biāo)跟蹤.在改進(jìn)方法中，利用目標(biāo)HOG實(shí)現(xiàn)目標(biāo)特征的有效描述.因此，基于HOG特征的粒子濾波對(duì)紅外目標(biāo)的跟蹤效果比傳統(tǒng)的粒子濾波好.

5 結(jié)論

由于紅外目標(biāo)固有的低信噪比、低對(duì)比度、無(wú)法校驗(yàn)的黑白極性反轉(zhuǎn)以及人體周?chē)壮霈F(xiàn)的光暈效應(yīng)等問(wèn)題，本文提出了一種基于HOG特征的粒子濾波方法跟蹤紅外目標(biāo).試驗(yàn)結(jié)果表明，該方法跟蹤紅外目標(biāo)的效果優(yōu)于傳統(tǒng)粒子濾波算法，并且具有更好的魯棒性.但是，當(dāng)跟蹤的紅外目標(biāo)遠(yuǎn)離紅外攝像機(jī)時(shí)，本算法仍會(huì)出現(xiàn)跟蹤丟失的現(xiàn)象，所以下一步的研究主要在于觀測(cè)模型的改進(jìn)和參考模板的更新.

［1］ Maybank S J，Tan T N.Special section on visual surveillanceintroduction［J］.International Journal of Computer Vision，2000，37（2）：173.

［2］ Regazzoni C，Ramesh V.Special issue on video communications，processing，and understanding for third generation surveillance systems［J］.In Proceedings of IEEE，2001，89：1355.

［3］ Wang L，Hu W，Tan T.Recent developments in human motion analysis［J］.Pattern Recognition，2003，36（3）：585.

［4］ Hilton A，F(xiàn)ua P.Foreword：Modeling people toward visionbased understanding of a person’s shape，appearance and movement［J］.Computer Vision and Image Understanding，2001，81（3）：227.

［5］ 馬曉婷.行人跟蹤技術(shù)綜述［J］.電腦知識(shí)與技術(shù)，2011，7（19）：4647.MA Xiaoting.Pedestrian tracking technology overview［J］.Computer Knowledge and Technology，2011，7（19）：4647.

［6］ 王亮，胡衛(wèi)明，譚鐵牛.人運(yùn)動(dòng)的視覺(jué)分析綜述［J］.計(jì)算機(jī)學(xué)報(bào)，2002，25（3）：225.WANG Liang，HU Weiming，TAN Tieniu.A survey of visual analysis of human motion［J］.Chinese Journal of Computers，2002，25（3）：225.

［7］ 楊暤昀，張桂林.一種新的相關(guān)跟蹤算法的設(shè)計(jì)與實(shí)現(xiàn)［J］.紅外與毫米波學(xué)報(bào)，2000，19（5）：377.YANG Haoyun，ZHANG Guilin.Design and realization of a new correlation tracker algorithm［J］.Journal of Infrared Millimeter Waves，2000，19（5）：377.

［8］ 李熙瑩，倪國(guó)強(qiáng).紅外圖像的光流計(jì)算［J］.紅外與激光工程，2002，31（3）：189.LI Xiying，NI Guoqiang.Optical flow computation of infrared image［J］.Infrared and Laser Engineering，2002，31（3）：189.

［9］ 梁錫寧，楊剛.一種動(dòng)態(tài)模板匹配的卡爾曼濾波跟蹤方法［J］.光電工程，2010，37（10）：29.LIANG Xining，YANG Gang.Object tracking algorithm based on combining dynamics template matching and kalman filter［J］.Opto-Electronic Engineering，2010，37（10）：29.

［10］ Nummiaro K，Koller-Meier E，Van Gool L.An adaptive colorbased particle filter［J］.Image and Vision Computer，2003，21：99.

［11］ Dalal N，Triggs B.Histograms of oriented gradients for human detection［C］∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.San Diego：IEEE，2005，886-893.

Pedestrian Tracking in Infrared Video Based on Improved Particle Filter

ZHANG Shaoming，HU Jianping，SHI Yang
（College of Surveying and Geo-Informatics，Tongji University，Shanghai，200092，China）

An improved particle filter method for pedestrian tracking in infrared video is proposed.The objects are described in the scheme of particle filter using Histogram of Oriented Gradients（HOG）.Instead of the Euclidean distance in color space，the HOG is employed to describe the similarity and compute the weights of the samples，which solves the issue of lack of color information for infrared video.Experimental results show that the method is more accurate and effective tracking of moving targets in complex scenes than traditional particle filter algorithm in infrared video.

infrared video；particle filter；histogram of oriented gradients（HOG）；pedestrian tracking

TP391

A

0253-374X（2015）12-1883-05

10.11908／j.issn.0253-374x.2015.12.018

2014 06 05

國(guó)家自然科學(xué)基金（41301361，41171327）；國(guó)家“九七三”重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃（2012CB719903）；國(guó)家高分辨率對(duì)地觀測(cè)系統(tǒng)重大專項(xiàng)（07-Y30B10-9001-14／16）；教育部高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金（20120072120057）

張紹明（1979—），男，副教授，工學(xué)博士，主要研究方向?yàn)槟Ｊ阶R(shí)別、計(jì)算機(jī)視覺(jué).E-mail：sheva2003@gmail.com