李騰芳，陳水利

(1.福州大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，福建福州350002;2.集美大學(xué)理學(xué)院，福建廈門361021)

0 引言

跟蹤行人技術(shù)是檢測(cè)行人異常行為的基礎(chǔ)工作.在有效的跟蹤算法基礎(chǔ)上，提取相應(yīng)的行人特征，判斷行人是否發(fā)生了異常行為.隨著視頻技術(shù)的發(fā)展與提高，不少跟蹤算法已被提出.然而現(xiàn)有的跟蹤算法都有其優(yōu)缺點(diǎn)，如Mean-shift算法［1］是一種基于核概率密度估計(jì)尋找局部極值的穩(wěn)定方法，該方法針對(duì)密度分布連續(xù)的情況，處理過程比較簡(jiǎn)單，本質(zhì)上只需要對(duì)數(shù)據(jù)的密度直方圖應(yīng)用爬山算法即可，但由于該方法是利用加權(quán)直方圖對(duì)目標(biāo)進(jìn)行建模，容易造成跟蹤不精確.Camshift算法［2］是在Mean-shift算法基礎(chǔ)上改進(jìn)的，該算法能夠自適應(yīng)調(diào)整搜索窗口的尺寸，其不足是當(dāng)目標(biāo)顏色和背景顏色相似時(shí)，容易跟錯(cuò)或尺寸調(diào)整覆蓋了大部分的背景.在目標(biāo)跟蹤里，對(duì)目標(biāo)的定位還有基于概率的不確定性跟蹤算法，而這類的跟蹤算法要求系統(tǒng)同時(shí)具有線性、高斯特性，但真實(shí)的系統(tǒng)一般是不會(huì)同時(shí)滿足這兩個(gè)特性.利用卡爾曼濾波［3］可以緩解這兩個(gè)特性，但無法解決嚴(yán)重的非線性和非高斯性的問題.近年來，粒子濾波被廣泛地應(yīng)用于視覺跟蹤中［4-6］，但粒子濾波需要用大量的樣本數(shù)量才能很好地近似系統(tǒng)的后驗(yàn)概率密度，所以數(shù)量越多，算法的復(fù)雜性就越高，無法達(dá)到實(shí)時(shí)性的要求.另外，重采樣階段過程會(huì)造成樣本有效性和多樣性的損失，使樣本發(fā)生貧化現(xiàn)象.鑒于粒子濾波的不足，出現(xiàn)了大量關(guān)于改進(jìn)的粒子濾波跟蹤算法［7-9］，這些算法提高了粒子濾波的跟蹤效果，但同時(shí)也付出了時(shí)間代價(jià).

雖然目前有些跟蹤算法都有不錯(cuò)的跟蹤效果，但一般都比較耗時(shí)，且只是研究行人的跟蹤行為.由Loza提出的DSSIM的跟蹤算法［10］，該算法對(duì)光照亮度變化的跟蹤具有較強(qiáng)的魯棒性，而后他又提出了DSSIM方法［11］，運(yùn)用微分的方法，降低了算法的計(jì)算復(fù)雜度，使之能適應(yīng)實(shí)時(shí)系統(tǒng)的要求.為了能夠有效地檢測(cè)行人游蕩、探身、摔倒這些在公共場(chǎng)所發(fā)生犯罪時(shí)經(jīng)常發(fā)生的異常行為，本文擬提出改進(jìn)的DSSIM算法，以期增強(qiáng)跟蹤的性能，并且使之能夠在跟蹤行人的過程中快速、有效地檢測(cè)出游蕩、探身、摔倒的異常行為.

1 改進(jìn)的DSSIM跟蹤算法

1.1 結(jié)構(gòu)相似度

本文利用圖像的結(jié)構(gòu)相似性SSIM［13］來度量當(dāng)前幀的候選區(qū)域C與目標(biāo)模板T的相似程度，其定義如下:

其中C1、C2、C3是為了確保分母非0且C3=C2/2的正的小常數(shù)，μ、σ和σCT分別表示灰度的平均值、標(biāo)準(zhǔn)偏差和協(xié)方差，即

這里，Ii表示候選模板中像素點(diǎn)i的灰度值，Ji表示目標(biāo)模板中像素點(diǎn)i的灰度值，N為模板中像素點(diǎn)的個(gè)數(shù).S具有對(duì)稱性，即SCT=STC，取值范圍在(-1，1］;當(dāng)且僅當(dāng)C=T時(shí)，S=1.公式 (1)中的三個(gè)乘子分別表示了亮度、對(duì)比度與結(jié)構(gòu)信息的對(duì)比.

在本文中，用核灰度均值的方法來代替?zhèn)鹘y(tǒng)的灰度均值求法，而計(jì)算標(biāo)準(zhǔn)差和協(xié)方差用的還是傳統(tǒng)的灰度均值公式，核灰度均值公式如下，

其中，2hx、2hy分別為窗口的寬和高，核函數(shù)K(x)采用的是Epanechnikov核函數(shù)，xi、yi分別表示模板中像素點(diǎn)的坐標(biāo)，x0、y0分別表示模板中心點(diǎn)的像素坐標(biāo).

則改進(jìn)型的結(jié)構(gòu)相似度S計(jì)算公式變?yōu)?

1.2 仿射運(yùn)動(dòng)目標(biāo)跟蹤

1.2.1 仿射變換推導(dǎo)

首先要使候選模板進(jìn)行仿射變換，假定模板中的像素點(diǎn)由(xi，yi)經(jīng)仿射變換到(xi'，yi')，則

將公式 (3)用分塊矩陣寫成

其中Z為平移量.依據(jù)奇異值分解，矩陣A可以分解為A=UDVT，則

在本文中，為了后面計(jì)算方便，把公式 (4)中的D改為:D=diag{λ'1，λ'2}.

當(dāng)候選模板進(jìn)行仿射變換時(shí)，應(yīng)該把坐標(biāo)原點(diǎn)移到模板的中心(x0，y0)，即像素點(diǎn)(xi，yi)進(jìn)行仿射變換到(x'i，y'i)的公式為:

1.2.2 仿射DSSIM跟蹤過程

跟蹤過程就是找到目標(biāo)的位置坐標(biāo)X，使之與目標(biāo)模板最匹配，即利用優(yōu)化算法求出使相似函數(shù)ρ(x)取得最大值的X.為了計(jì)算方便，把ρ(x)定義為ρ(x)=s log(abs(S))，其中s=sign(S)，S是經(jīng)過T(xi)變換的候選模板和目標(biāo)模板的SSIM.因此，跟蹤問題的求解可歸結(jié)為求解

本文采用最速下降法求其最優(yōu)解，計(jì)算梯度2ρ(x)，即，沿著最速下降的方向移動(dòng)到最優(yōu)位置X，并認(rèn)定它為目標(biāo)出現(xiàn)的位置.

首先，對(duì)ρ(x)進(jìn)行求導(dǎo)，可得

這里，

分別為經(jīng)仿射變換后候選模板的均值、方差和協(xié)方差，其中k(T(x))=k(x)，它們的梯度2μKC、和2σCT分別為

其中，Ii、Ji分別表示經(jīng)仿射變換后的候選模板和目標(biāo)模板的第i個(gè)像素點(diǎn)的灰度值，ki表示目標(biāo)模板第i個(gè)像素點(diǎn)的核值.此時(shí)，2Ii=［?I/?xi?I/?yi］為當(dāng)前幀圖像I在第i個(gè)像素點(diǎn)的梯度.2T為Jacobian矩陣，即對(duì)參數(shù)一階偏導(dǎo):

其中:

其次，利用最速下降法即可求得使結(jié)構(gòu)相似度最大時(shí)參數(shù)的解，即滿足公式 (6)的解.

1.2.3 GM(1，1)灰色模型

為了解決行人被遮擋而跟蹤效果不佳的情況，引入GM(1，1)模型［12］對(duì)行人的位置進(jìn)行預(yù)測(cè)，提高了算法的對(duì)遮擋問題的魯棒性.GM(1，1)灰色模型［12］定義為:

通過參數(shù)估計(jì)，求解公式 (7)便可得到預(yù)測(cè)模型:

其中，α=a/(1+0.5a)，β=u/(1+0.5a).

本文利用GM(1，1)灰色模型，在可能發(fā)生錯(cuò)跟的情況下，用預(yù)測(cè)值來代替計(jì)算出來的窗口位置.

1.2.4 異常判斷

判斷一個(gè)行人是否進(jìn)行徘徊，根據(jù)檢測(cè)他在場(chǎng)景中出現(xiàn)的時(shí)間t有沒有超過tloitering，即當(dāng)t≥tloitering，行人進(jìn)行了徘徊，則系統(tǒng)應(yīng)當(dāng)發(fā)出警報(bào).如果行人在場(chǎng)景邊緣，并且S小于閾值，則行人走出場(chǎng)景，取消跟蹤.

判斷一個(gè)行人是否有探身、摔倒等旋轉(zhuǎn)的異常行為，根據(jù)檢測(cè)φ有沒有超過一定的閾值κφ，即當(dāng)φ≥κφ，行人可能發(fā)生了探身、摔倒等旋轉(zhuǎn)的異常行為，則系統(tǒng)應(yīng)當(dāng)發(fā)出警報(bào).

1.2.5 基于改進(jìn)的DSSIM行人異常行為檢測(cè)算法

本文只考慮平移、尺寸變換和旋轉(zhuǎn)，所以令θ的值總為0，并且不對(duì)它進(jìn)行更新.因此，基于改進(jìn)的DSSIM行人異常行為檢測(cè)算法為:

Step 1:通過人機(jī)交互方式獲得感興趣的目標(biāo)區(qū)域，初始化k=0，parm0=(1，1，0，0，0，0).

Step 2:獲得新的一幀圖像，進(jìn)行如下操作:

①令parm0=parm1=parmk-1;

②判斷S(parm1)≥S(parm0)，如果是則令parm0=parm1，轉(zhuǎn)向③，否則轉(zhuǎn)向⑤;

③計(jì)算 2ρ(x;parm0)=(2λ'1，2λ'2，2θ，2φ，2p1，2p2);

④根據(jù)求導(dǎo)結(jié)果2φ、2λ'1、2λ'2與更新閾值比較，用步長更新φ、λ'1、λ'2，并由2p1，2p2計(jì)算平移的方向向量→d，利用最速下降法更新p1，p2，把更新結(jié)果保存到變量parm1，轉(zhuǎn)向②;

⑤判斷S(parm1)＜εs，如果是則轉(zhuǎn)向⑥，否則轉(zhuǎn)向⑧;

⑥判斷行人是否在場(chǎng)景邊緣，如果是則結(jié)束跟蹤，否則轉(zhuǎn)向⑦;

⑦parm0=parmk-1，根據(jù)GM(1，1)預(yù)測(cè)位置更新平移量parm0(p1，p2);

⑧令parmk=parm0，t=t+1，k=k+1;

⑨判斷t≥tloitering，如果是則發(fā)出游蕩警報(bào);

⑩判斷parmk(φ)≥κφ，如果是則發(fā)出探身或者摔倒警報(bào).

Step 3:選擇下一幀圖像，轉(zhuǎn)向Step 2.

2 實(shí)驗(yàn)結(jié)果與分析

本文提出的改進(jìn)的DSSIM跟蹤算法通過C++程序?qū)崿F(xiàn)，編程環(huán)境是Visual Studio 2010，并與改進(jìn)之前的DSSIM進(jìn)行比較.

2.1 改進(jìn)的DSSIM與DSSIM跟蹤對(duì)遮擋魯棒性對(duì)比

實(shí)驗(yàn)通過用PETS2009［14］里的片段視頻作為測(cè)試數(shù)據(jù)，比較改進(jìn)的DSSIM與DSSIM［11］算法在目標(biāo)跟蹤時(shí)對(duì)遮擋的魯棒性.用改進(jìn)的DSSIM遇到較大遮擋時(shí)，由GM(1，1)預(yù)測(cè)可很快跟上目標(biāo)，如圖1中，在跟蹤行人時(shí)，遇到了較大的廣告牌，由GM(1，1)能夠預(yù)測(cè)行人可能出現(xiàn)的位置，并穩(wěn)定跟蹤.而DSSIM跟蹤遇到遮擋時(shí)跟蹤失敗 (如圖2所示).結(jié)果顯示了本文算法對(duì)遮擋有更強(qiáng)的魯棒性.

圖1 改進(jìn)DSSIM的跟蹤結(jié)果Fig.1 The results of modified DSSIM

圖2 DSSIM的跟蹤結(jié)果Fig.2 The results of DSSIM

2.2 改進(jìn)的DSSIM與DSSIM跟蹤精度對(duì)比

實(shí)驗(yàn)通過選用一段場(chǎng)景中只有單個(gè)行人的100幀視頻作為測(cè)試數(shù)據(jù)，比較改進(jìn)的DSSIM與DSSIM的跟蹤精度.圖3描繪了改進(jìn)的DSSIM與DSSIM算法在100幀中跟蹤的精度，跟蹤精度定義為行人中心的位置與算法跟蹤窗口中心的歐氏距離.實(shí)驗(yàn)結(jié)果顯示了本文算法采用核灰度均值來代替?zhèn)鹘y(tǒng)的灰度均值求法，減少窗口受背景像素的影響，使跟蹤窗口更為精確.

2.3 摔倒、探身等旋轉(zhuǎn)異常行為檢測(cè)

本實(shí)驗(yàn)選取了某外部場(chǎng)景中的視頻序列作為測(cè)試數(shù)據(jù)，在測(cè)試數(shù)據(jù)中行人發(fā)生左右探身、摔倒的異常行為，人體的上半身類似地發(fā)生了旋轉(zhuǎn)變化.圖4顯示了改進(jìn)的DSSIM算法可有效地檢測(cè)出行人因探身而發(fā)生的人體傾斜的異常.圖5顯示了算法可以有效地檢測(cè)到行人的摔倒異常.

圖4 改進(jìn)的DSSIM對(duì)行人探身的檢測(cè)Fig.4 Modified DSSIM detect the bent pedestrian

2.4 徘徊異常行為檢測(cè)

本實(shí)驗(yàn)采用的視頻數(shù)據(jù)是PETS2006［15］，用tloitering表示跟蹤的時(shí)間，tloitering為視頻播放1000幀的時(shí)間，如果t≥tloitering時(shí)行人還在場(chǎng)景中，即可判斷行人在場(chǎng)景中徘徊.圖6顯示了改進(jìn)的DSSIM算法在簡(jiǎn)單場(chǎng)景下能夠穩(wěn)定跟蹤行人，并檢測(cè)出徘徊的行人，用紅框標(biāo)出.

圖5 改進(jìn)的DSSIM對(duì)行人摔倒的檢測(cè)Fig.5 Modified DSSIM detect the trip pedestrian

圖6 改進(jìn)的DSSIM對(duì)行人徘徊的檢測(cè)Fig.6 Modified DSSIM detect the loitering pedestrian

3 結(jié)論

本文提出了改進(jìn)的DSSIM跟蹤算法，算法基于DSSIM，改進(jìn)了灰度均值的計(jì)算公式，結(jié)合了GM(1，1)預(yù)測(cè)模型，對(duì)跟蹤窗口進(jìn)行仿射變換，使之能夠在跟蹤基礎(chǔ)上檢測(cè)游蕩、探身、摔倒的行人異常行為.實(shí)驗(yàn)結(jié)果表明:改進(jìn)的DSSIM算法比原始的DSSIM算法有更好的跟蹤準(zhǔn)確度，并且在跟蹤過程中遇到較大遮擋時(shí)，通過GM(1，1)模型預(yù)測(cè)行人可能出現(xiàn)的位置，能夠有效地跟蹤，增強(qiáng)了算法對(duì)遮擋的魯棒性;在穩(wěn)定跟蹤基礎(chǔ)上，判斷行人在場(chǎng)景中的游蕩時(shí)間，能夠檢測(cè)出具有游蕩異常行為的行人;算法通過仿射變換，判斷窗口旋轉(zhuǎn)角度，能夠檢測(cè)出探身、摔倒的行人異常行為.

［1］ COMANICIU D，RAMESH V，MEER P.Real-time tracking of non-rigid objects using mean shift［C］ //Computer Vision and Pattern Recognition.Hilton Head Island，SC:IEEE Conference on，2000:142-149.

［2］ BRADSKI G R.Computer vision face tracking as a component of a perceptual user interface［J］.IEEE Workshop Application of Computer Vision，1998:214-219.

［3］ BOYKOV Y，HUTTENLOCHER D.Adaptive Bayesian recognition in tracking rigid objects［C］ //Computer Vision and Pattern Recognition.Hilton Head Island，SC:IEEE Conference on，2000:697-704.

［4］ BOUAYNAYA N，QU W，SCHONFELD D.An online motion-based particle filter for head tracking applications［C］ //Acoustics，Speech and Signal Processing.Philadelphia，PA，USA:IEEE Conference on，2005:225-228.

［5］ BRASNETT P，MIHAYLOVA L，BULL D，et al.Sequential Monte Carlo tracking by fusing multiple cues in video sequences［J］.Image and Vision Computing，2007，25(8):1217-1227.

［6］ BRASNETT P，MIHAYLOVA L，CANAGARAJAH N，et al.Particle filtering with multiple cues for object tracking in video sequences［J］.Science and Technology，2005，5685:430-441.

［7］ FU X，JIA Y.An improvement on resampling algorithm of particle filters［J］.Signal Processing，2010，58(10):5414-5420.

［8］ KHAN Z H，GU I Y，BACKHOUSE A G.Robust visual object tracking using multi-mode anisotropic mean shift and particle filters［J］.Circuits and Systems for Video Technology，2011，21(1):74-87.

［9］ SHAOJUN L，ZHENFU Z.Mixtures of t distribution particle filters for visual tracking［J］.Infrared and Laser Engineering，2011，40(7):1387-1396.

［10］ LOZA A，MIHAYLOVA L，BULL D R，et al.Structural similarity-based object tracking in multimodality surveillance videos［J］.Machine Vision and Applications，2009，20(2):71-83.

［11］ LOZA A，F(xiàn)ANGLIN W，JIE Y.Video object tracking with differential structural similarity index［C］ //Acoustics，Speech and Processing.Prague:IEEE Conference on，2011:1405-1408.

［12］劉思峰，郭天榜，黨耀國.灰色系統(tǒng)理論及其應(yīng)用［M］.北京:科學(xué)出版社，2000.

［13］ WANG Z，BOVIK A C，SHEIKH H R，et al.Image quality assessment:from error visibility to structural similarity［J］.IEEE Trans on Image Processing，2004，13:600-612.

［14］ JAMES FERRYMAN.PETS 2009 Benchmark Data［C］//Computer Vision and Pattern Recognition，Miami，F(xiàn)lorida:IEEE Conference on，2009.

［15］ JAMES FERRYMAN.PETS 2006 Benchmark Data［C］//Computer Vision and Pattern Recognition，New York，USA:IEEE Conference on，2006.