， ，，

(1.上海航天控制技術(shù)研究所，上海 201109; 2.西北工業(yè)大學(xué) 航天學(xué)院，西安 710072)

0 引言

目標(biāo)跟蹤是計算機(jī)視覺研究領(lǐng)域的一個重要分支，廣泛應(yīng)用于視頻監(jiān)控、行為和事件分析和精確制導(dǎo)等方面，跟蹤過程中光照變化、外觀形變和背景遮擋等因素對其造成了極大的影響。近年來，基于判別式模型的算法在目標(biāo)跟蹤領(lǐng)域獲得了廣泛的應(yīng)用[1]，通過訓(xùn)練分類器將跟蹤問題轉(zhuǎn)化為目標(biāo)和背景的分類過程，以初始跟蹤矩形框內(nèi)的目標(biāo)樣本作為正樣本，矩形框外的區(qū)域作為負(fù)樣本，通過特征提取和分類求解預(yù)測目標(biāo)在下一幀的位置。由于目標(biāo)形狀的多變性，以矩形框作為跟蹤區(qū)域不可避免的會引入大量的背景信息，使模型更新的過程中誤差逐步積累，造成跟蹤框的漂移。相較于可見光目標(biāo)跟蹤而言，紅外目標(biāo)分辨率和信噪比較低[2]，更易受背景雜波影響，因而迫切需要一種對目標(biāo)模型更為精確的表征。部件級的目標(biāo)表觀模型在應(yīng)對形變和部分遮擋帶來的目標(biāo)外觀變化時仍能保持一定的魯棒性，F(xiàn)elzenszwalb[2]等提出的可形變部件模型(Deformable Part Model，DPM)在物體檢測領(lǐng)域取得了巨大的成功，但DPM模型需要待檢測物體類別的數(shù)據(jù)集進(jìn)行離線訓(xùn)練，較難應(yīng)用于在線通用目標(biāo)的跟蹤。Kwon and Lee[4]等提出的基于目標(biāo)部件拓?fù)浣Y(jié)構(gòu)的跟蹤模型在目標(biāo)發(fā)生大量形變時取得了較好的效果，但引入的蒙特卡洛采樣使算法的實時性較差。Gall J[5]等對圖像進(jìn)行分解，構(gòu)建霍夫森林將圖像塊映射成對目標(biāo)重心位置的投票實現(xiàn)目標(biāo)檢測。Godec M[6]等將霍夫森林進(jìn)一步擴(kuò)展至目標(biāo)跟蹤領(lǐng)域，將grab-cut粗分割和目標(biāo)區(qū)域采樣進(jìn)行結(jié)合，避免背景區(qū)域引入的雜波信息對目標(biāo)樣本造成的干擾。由Gall J[5]和Godec M[6]等提出的跟蹤算法在目標(biāo)和背景區(qū)分度比較明顯的場景中取得了較好的跟蹤效果，由于紅外場景中目標(biāo)邊緣模糊，紋理信息缺乏，與背景區(qū)域形成了一定的耦合性，直接將上述算法應(yīng)用于紅外目標(biāo)跟蹤時，難以對目標(biāo)進(jìn)行精確定位。

本文在上述算法的基礎(chǔ)上，引入背景建模的思想，將目標(biāo)和背景的特征信息整體融入跟蹤框架，對霍夫森林跟蹤算法進(jìn)行改進(jìn)。基于局部二值模式 (Local Binary Pattern)描述符來表示背景紋理，同時引入光度不變性灰度特征，應(yīng)對整體光照的變化，使得背景模型對局部或整體亮度的擾動均有一定的魯棒性。背景建模提供區(qū)域信息作為精確采樣的基礎(chǔ)，前景區(qū)域和背景區(qū)域分別作為正負(fù)樣本集代入霍夫森林進(jìn)行樣本訓(xùn)練，獲取高置信度的樣本區(qū)作為目標(biāo)跟蹤區(qū)域，保證了模型更新的準(zhǔn)確度和跟蹤的穩(wěn)定性。

1 特征描述

1.1 LBP局部紋理特征

LBP(local binary patterns，局部二值模式)是度量圖像局部紋理特征的算子，在計算機(jī)視覺的諸多領(lǐng)域得到了廣泛的應(yīng)用[7]，它的計算如下式所示，其中(xc,yc)為中心像素的坐標(biāo)，ip為第p個鄰域像素的灰度值，ic為中心像素的灰度值，s(x)為符號函數(shù)。

(1)

(2)

以圖 1為例，在中心像素65的3*3鄰域內(nèi)，相鄰的8個像素分別與其進(jìn)行比較，若大于中心像素則相應(yīng)位置值為1，反之則為0，最后形成的8位二進(jìn)制序列即為中心像素的LBP值。

圖1 LBP局部紋理特征

1.2 光度不變性灰度特征

Kyungnam Kim[8]等通過改變光照條件，觀測由于亮度改變而發(fā)生的像素值變化，主要表現(xiàn)為觀測像素值與顏色模型中原點(diǎn)間連線方向的改變，故提出將像素值在顏色空間中的夾角作為前景和背景的判斷依據(jù)，

(3)

(4)

(5)

(6)

1.3 特征距離測度

通過LBP局部紋理特征和光度不變性灰度特征對圖像進(jìn)行描述后，進(jìn)一步地需要對圖像不同區(qū)域間的相似性進(jìn)行度量，定義LBP局部紋理特征如式(7)所示，其中Dtext(LBPa,LBPb)代表區(qū)域a和區(qū)域b之間的局部紋理特征距離。

(7)

(8)

(9)

基于紋理特征距離和光度特征距離建立特征距離測度如式(10)所示，分別計算像素x在時刻t與上一幀k模式的紋理特征距離和光度特征距離，其中λ為距離融合系數(shù)。

(10)

2 多模態(tài)背景建模

(11)

(12)

(13)

(14)

(15)

圖2 基于多模態(tài)背景建模提取的區(qū)域

3 霍夫森林

霍夫森林是隨機(jī)森林和霍夫投票算法的結(jié)合[5]，在隨機(jī)森林的學(xué)習(xí)框架的基礎(chǔ)上融合目標(biāo)的位置信息通過廣義霍夫變換進(jìn)行投票，構(gòu)建決策樹對圖像塊進(jìn)行訓(xùn)練[10]。

3.1 隨機(jī)森林

(16)

U(S)=|S|·Entropy{ci}=|S|·

(-clogc-(1-c)log(1-c))

(17)

(18)

Obj(tk)={U(S)，D(S)}

(19)

(20)

3.2 霍夫投票

p(E(x)|I(y))=p(E(x)，c(y)=1|I(y))=

p(E(x)|c(y)=1,I(y))·p(c(y)=1|I(y))=

p(d(y)=y-x|c(y)=1,I(y))·p(c(y)=1|I(y))

(21)

p(E(x)|I(y);T)=

(22)

(23)

(24)

4 紅外目標(biāo)跟蹤

基于多模態(tài)背景模型和霍夫森林的紅外目標(biāo)跟蹤的算法整體流程如圖 3所示，首先基于建立的特征描述子提取紅外圖像特征，然后通過計算各區(qū)域序列的特征距離和背景模式列表確定匹配的背景模式，進(jìn)而由背景建模提取前景區(qū)域和背景區(qū)域。以背景模型提供的區(qū)域信息為基礎(chǔ)進(jìn)行區(qū)域采樣，在前景區(qū)和背景區(qū)分別采集圖像塊作為正負(fù)樣本集送入隨機(jī)森林進(jìn)行訓(xùn)練，訓(xùn)練過程中根據(jù)圖像塊的類別信息和位置信息對決策樹進(jìn)行構(gòu)建，最終訓(xùn)練完成的決策樹葉結(jié)點(diǎn)記錄了霍夫投票所需的信息，通過統(tǒng)計不同圖像塊對目標(biāo)中心進(jìn)行概率投票的值得到目標(biāo)置信度圖，置信度圖反映了目標(biāo)處于不同位置的概率，最后根據(jù)置信度圖完成目標(biāo)區(qū)域定位。

圖3 紅外目標(biāo)跟蹤算法流程圖

5 實驗結(jié)果分析

實驗硬件系統(tǒng)為Intel(R) Core(TM) i3-4030U 1.90 GHz的CPU，4 GB內(nèi)存，操作系統(tǒng)為Windows 7，運(yùn)行軟件為Visual Studio 2010。實驗采用OTCBVS(Object Tracking and Classification in and Beyond the Visible Spectrum)紅外公開數(shù)據(jù)集中的行人序列進(jìn)行測試分析，圖像分辨率為320*240。通過對跟蹤結(jié)果的定性分析和定量分析，對本文提出的算法與Godec M[6]提出的基于霍夫森林的跟蹤算法進(jìn)行比較。

選取跟蹤序列中部分幀的跟蹤結(jié)果對算法的性能進(jìn)行分析，圖4為第16幀的目標(biāo)區(qū)域置信度分布對比，左圖為原始的基于霍夫森林的跟蹤算法置信度分布，圖中的高亮區(qū)即為算法的高置信度區(qū)。從左圖中可以看出，經(jīng)過霍夫投票后的目標(biāo)置信度圖受背景雜波影響，高置信度區(qū)分布較分散，部分背景區(qū)域也覆蓋于高置信度區(qū)域內(nèi)。圖 4的右圖為本文提出的融入背景建模后置信度區(qū)的分布圖，對比第16幀的目標(biāo)實際位置(見圖 5中的第16幀跟蹤結(jié)果)，可以看出經(jīng)過背景建模后，置信度分布圖排除了大量背景雜波的干擾，高置信度區(qū)域得到了有效的收縮，將關(guān)注區(qū)更集中于目標(biāo)區(qū)域。

圖5分別為第16、33和82幀的跟蹤結(jié)果，左側(cè)為原始算法的跟蹤結(jié)果，右側(cè)為本文提出改進(jìn)算法后的跟蹤結(jié)果。從左側(cè)的跟蹤結(jié)果中可以看出當(dāng)目標(biāo)靠近背景中的高亮干擾源時，由于背景雜波的灰度分布特征與目標(biāo)本身的灰度分布存在一定的相似性，原始算法易將其誤認(rèn)為目標(biāo)區(qū)，并錯誤地將其引入到了后續(xù)的模型更新過程中，造成后續(xù)跟蹤過程的漂移。右側(cè)的跟蹤結(jié)果中，經(jīng)過背景建模后霍夫投票的置信度分布圖排除了背景中的干擾源，較好地保留了目標(biāo)的區(qū)域信息，將高概率區(qū)集中于目標(biāo)本身，跟蹤區(qū)域能夠更有效地鎖定目標(biāo)。

定義跟蹤誤差為每幀目標(biāo)中心標(biāo)注位置(xgt,ygt)與跟蹤的目標(biāo)位置(xt,yt)之間的歐氏距離，如式(25)所示，跟蹤誤差曲線如圖 6所示，其中加*號曲線為本文提出的算法。從原始算法的誤差跟蹤曲線中可以看出原始算法的跟蹤誤差波動范圍較大，進(jìn)一步地對誤差曲線進(jìn)行分析，可以看到原始誤差曲線有兩處較明顯的波峰，是因為目標(biāo)向背景中的高亮區(qū)域靠近，原始算法將背景中的這部分干擾區(qū)域和目標(biāo)同時鎖定(見圖 5左側(cè)的跟蹤結(jié)果)，造成跟蹤誤差曲線的波動。相較于原始算法，融合背景建模后誤差曲線(圖 6中加*號曲線)有了明顯下降，原先的誤差曲線兩處較大的波動也得到了有效的抑制。

圖4 目標(biāo)區(qū)域置信度圖

圖5 部分幀跟蹤結(jié)果

(25)

圖6 跟蹤誤差曲線

6 結(jié)論

本文針對紅外目標(biāo)跟蹤過程中背景雜波和目標(biāo)形變對目標(biāo)跟蹤引起的干擾，提出了一種基于多模態(tài)背景模型和霍夫森林的紅外目標(biāo)跟蹤算法，通過特征描述和多模態(tài)背景建模提取背景區(qū)域和前景區(qū)域作為霍夫森林的訓(xùn)練輸入，通過區(qū)域分塊采樣和在線樣本更新，獲得目標(biāo)信息的魯棒表征。由霍夫投票輸出對目標(biāo)中心的投票概率圖，生成目標(biāo)區(qū)域分布置信度圖，最后根據(jù)置信度圖完成目標(biāo)區(qū)域定位。相較于基于矩形框?qū)δ繕?biāo)進(jìn)行跟蹤的算法，本文提出的算法提高了對目標(biāo)區(qū)域定位的準(zhǔn)確性，通過背景建模和目標(biāo)區(qū)域分解較好地保留了目標(biāo)的結(jié)構(gòu)和形狀信息，避免了模型更新時過多地引入背景雜波對跟蹤過程造成的影響。實驗結(jié)果表明在背景雜波和目標(biāo)形變對目標(biāo)跟蹤造成一定程度干擾的情況下，所提算法仍能保持跟蹤的穩(wěn)定性。

參考文獻(xiàn)：

[1] Wang N, Shi J, Yeung D Y, et al. Understanding and diagnosing visual tracking systems[A].Proceedings of the IEEE International Conference on Computer Vision[C]. 2015: 3101-3109.

[2] 楊福才, 楊德東, 毛 寧, 等. 基于稀疏編碼直方圖的穩(wěn)健紅外目標(biāo)跟蹤[J]. 光學(xué)學(xué)報, 2017, 37(11): 1115002.

[3] Felzenszwalb P F, Girshick R B, McAllester D, et al. Object detection with discriminatively trained part-based models[J]. IEEE transactions on pattern analysis and machine intelligence, 2010, 32(9): 1627-1645.

[4] Kwon J, Lee K M. Tracking of a non-rigid object via patch-based dynamic appearance modeling and adaptive basin hopping monte carlo sampling[A].Computer Vision and Pattern Recognition[C]. 2009. CVPR 2009. IEEE Conference on. IEEE, 2009: 1208-1215.

[5] Gall J, Lempitsky V. Class-specific hough forests for object detection[M].Decision forests for computer vision and medical image analysis. Springer London, 2013: 143-157.

[6] Godec M, Roth P M, Bischof H. Hough-based tracking of non-rigid objects[J]. Computer Vision and Image Understanding, 2013, 117(10): 1245-1256.

[7] 董恩增, 蘇麗婭, 付艷紅, 等. 融合顏色紋理特征的自適應(yīng)粒子濾波跟蹤算法[J]. 計算機(jī)測量與控制, 2014(4):68.

[8] Kim K, Chalidabhongse T H, Harwood D, et al. Real-time foreground-background segmentation using codebook model[J]. Real-time imaging, 2005, 11(3): 172-185.

[9] Yao J, Odobez J M. Multi-layer background subtraction based on color and texture[A].Computer Vision and Pattern Recognition, 2007. CVPR’07. IEEE Conference on[C]. IEEE, 2007: 1-8.

[10] 魯奉軍, 王世剛, 趙文婷, 等. 基于可判別葉子的霍夫森林目標(biāo)跟蹤算法[J]. 吉林大學(xué)學(xué)報 (信息科學(xué)版), 2016(1): 86-91.