韓 旭，蔡中民

（河南牧業(yè)經濟學院 應用電子系，河南 鄭州 450046）

基于多信息融合的行人狀態(tài)采集識別模型

韓 旭，蔡中民

（河南牧業(yè)經濟學院 應用電子系，河南 鄭州 450046）

針對粒子濾波算法在采樣階段因證據不足，使得行人智能跟蹤系統(tǒng)效率不高、魯棒性不強的問題，融合顏色、紋理和空間等多證據信息和RGB顏色空間建立行人外觀模型，采用優(yōu)化的LBP紋理特征算法（LBP_AE算法）消除干擾、提取證據信息。實驗結果表明，所設計的多證據信息融合模型，可以有效實現(xiàn)在復雜條件下的行人跟蹤問題，相比傳統(tǒng)算法有較高識別準確率。

粒子濾波；行人；采樣；多證據；LBP_AE；空間信息

科技的發(fā)展給交通業(yè)帶來了極大的挑戰(zhàn)，只有掌握到站場內部客流波動的真實情況，才能從信息的角度出發(fā)保證對應策略的科學有效性和旅客出行的安全性，有效地竭制客流擁堵造成的事故。電腦視覺技術的行人識別方式在當前已變成該領域當中極重要的一個課題[1-2]，其中的一個重要保障性技術就是目標跟蹤識別技術。在研究科學合理、全方位的行人技術平臺工作中，目標跟蹤識別技術是一項不可或缺的前提。不過，在實現(xiàn)精確跟蹤時由于物體的實際形態(tài)和周遭環(huán)境的改變會導致一系列必須解決的難點問題出現(xiàn)[3]。

簡單來說，及時預估行人的運動情況即為行人跟蹤，判別行人目標是其整體工作過程，系統(tǒng)的識別效率在一定程度上受到了結果的限制[4]。在此，筆者從交通現(xiàn)場的實際工作需求出發(fā)，對可見光環(huán)境中的識別手法作了詳盡的剖析。當前情況下，匹配和概率預估兩個類型是羅列了全部有關的技術后得到的最典型的技術方法[5]。

第一種類型的行人跟蹤方式有如下4種，即在特征[6]基礎上的、在模板[7]基礎上的、在模型[8-9]基礎上的行人跟蹤方式、在區(qū)域[10]基礎上的行人跟蹤方式，它們的布署工作相對簡單，但對比較復雜的交通環(huán)境下出現(xiàn)的行人遮掩、動作變化等狀況沒有充分的魯棒性。

正是因為它的持續(xù)變化，算法復雜程度就無法得到有效的管控。線性狀態(tài)方程下的跟蹤事項比較偏向于采用這種技術，從其自身角度來說，在當前復雜的交通環(huán)境中不能有效地發(fā)揮功用。

第二種類型中，卡爾曼[11-12]與粒子濾波[13]是最典型的兩種跟蹤方式，它有很多優(yōu)點，比方說操作起來很輕松，還能展開并行處理?，F(xiàn)階段，行業(yè)內相關人員對此項技術展開了諸多研究并得到了很大進展[14-18]，不過此技術在算法上仍然存在很多問題，比如怎樣在一些復雜的情況下捕捉到針對性強的跟蹤特點與重要的證據。

采樣、計算權值、輸出沖采樣等方面的工作是實現(xiàn)粒子濾波算法的具體步驟。行人智能跟蹤系統(tǒng)在粒子濾波算法的采樣階段由于缺乏證據出現(xiàn)準確性低、魯棒性特征不明顯等難點是本文重點解決的事項。系統(tǒng)的實時性和具體特征在工作中的實際需要是該模型優(yōu)先考量的事項，對應的模型創(chuàng)建工作是利用RGB顏色空間來實現(xiàn)的。接下來對LBP紋理特征的算法予以優(yōu)化，并基于此來闡述經優(yōu)化后的模型。引入像素的梯度資料，鑒定像素區(qū)域有否產生比較顯著的波動，將計算閾值的方法予以改變，消除紋理區(qū)分受到的來自像素點亮度輕微波動的影響，把紋理證據特征恰如其分地體現(xiàn)出來等工作都是利用它來得以實現(xiàn)的；另一方面，空間信息也被筆者引用到該研究工作中來，具體做法是運用亮度信息依照人體特征將取得的行人矩形區(qū)域初始數(shù)據深入化解為3個對應的子區(qū)域，接下來在所有子區(qū)域里面捕捉相關的證據數(shù)據，在這種方法下把目標狀態(tài)和其空間信息特征一一對應起來，最終提升該方法的魯棒性。

1 多證據信息融合觀測模型

正常來說，顏色和其紋理融合信息無法與其空間信息相對應，這項特征使得它不能準確地判斷出被跟蹤的對象。行人目標模型成為筆者最先說明的對象，基于此，再全面考量多證據信息予以體現(xiàn)，有機地把對象部分的紋理色彩和空間數(shù)據證據揉和在一起，使其描述得以提升，以期做出高效的判別。

建模是行人跟蹤算法的首要工作，在此過程中不但要使它的具體需求得到滿足，還要將充分的條件留給后續(xù)的數(shù)學處理工作，一般來說，為了預防求解工作中發(fā)生某些不必要的難度，并不需要精準的假設目標構造。

矩形和橢圓兩類描述模型一般都會出現(xiàn)在二維圖像中，基于當下流行的行人特征檢測技術的考量，筆者在本文中的描述工作以矩形窗口來展開，詳細說來，式（1）能有效地描述目標行人的狀況

式中：u，v用以表示矩形的中心，中心距離兩邊的大小則由l，h來表示。一般情況下目標的運動是預測不到的，所以，筆者在此假定隨機游走模型能被行人狀態(tài)的變化所滿足，在這種做法下來提升其通用性，此時，式（2）能有效地描述該模型的狀態(tài)

式中：Wk-1是一種多變量的高斯噪聲，各不同變量之間相互獨立存在。

2 各證據信息子模型設計

2.1 顏色信息證據模型

顏色信息證據模型[19-20]在很多方面都有其自身的優(yōu)點，比方說它具有很簡單的結構，對目標的改變不敏感，在跟蹤非規(guī)則性物體的工作中具有更好的實用性，可以得到極為理想的效果。把目標的顏色視為證據，只能實現(xiàn)首帖圖像中的建立顏色模型，基于此實現(xiàn)對應的跟蹤工作。

一般來說，顏色空間描述在一定程度上受到了來自各個不可預測的條件帶來的干擾，實用性與辨識力是目標模型中心范圍的像素顏色描述所必不可少的，基于此，各個區(qū)域范圍中的像素值相應的權重值在此應該得到明確。簡單而言，式（3）有效描述了行人候選區(qū)域

2.2 LBP_AE紋理信息證據模型

一般來說，目標紋理證據特征的魯棒性、辨識能力、旋轉和光照不變性都比較好，它的這些優(yōu)點受到了行人目標識別等工作的大力追捧。此方法在具體操作時也有一些缺陷：比方說它會占去很多的時間來求解計算量。一些很顯著的優(yōu)點從局部二元模式（local binary pattern）中突顯出來，這在計算機的操作中較為簡單，且無須耗費太多時間便能實現(xiàn)。筆者對系統(tǒng)實時性的需求展開了詳盡的剖析后采用改進LBP算法，在此基礎上來優(yōu)化行人目標描述過程中的弊端，經過優(yōu)化的LBP_AE算法模型由此而生，如此一來，其描述的準確程度相對較好。

具體的優(yōu)化措施：利用引入的像素點梯度信息來判定相對明顯的變化有沒有在該像素區(qū)內產生。同時改變閾值計算方式，運用消除紋理區(qū)分像素點亮度的輕微波動造成的干擾，呈現(xiàn)出真正的紋理證據特性。

式（4）～（5）能求解Sobel法得到的圖像梯度數(shù)據

式中：θ(x,y)代表了梯度方向；gx和gy分別代表了圖像水平和垂直方向的梯度變化。其紋理的變化情況由圖像的梯度來表示，式（6）能對此展開求解

式中：N代表感興趣區(qū)域像素點數(shù)；gj的比例值由δr(gj)來表示，gj的像素點數(shù)由代表梯度的ngj來表示，在此筆者的主要工作是利用求解δ來判定圖像波動是否處在一種平滑狀態(tài)。

式（7）能有效描述經過優(yōu)化后的LBP_AE

本文中筆者描述的方法是紋理直方圖，簡單而言，式（8）可有效描述紋理直方圖屬于行人候選區(qū)域

行人候選區(qū)域像素點數(shù)在公式中由N和M所表示，狄拉克函數(shù)由k∈{1，2，3，…，P+2}來表示。

2.3 空間證據模型

由于筆者在描述目標區(qū)域工作中采用的是矩形區(qū)域，所以，如果遇到比較復雜的情況就會經常出現(xiàn)目標被遮攔的不利的現(xiàn)象，這樣一來，跟蹤目標在一定程度上增大了難度。雖然前文提到過行人特征在有機融合顏色和紋理信息后能得到有效的描述，可卻未涉及其空間信息，上述提到的一些確實存在的情況并沒有得到很好的處理。

在人體特性的基礎上，筆者更進一步地把行人區(qū)域劃分成3個子區(qū)域，捕捉其有關信息的工作在所有區(qū)域中都進行，跟蹤信息和其空間。雙方在此方法的作用下彼此互相一一對應起來，如此一來，求解的魯棒性在很大程度上得以增加。

涵蓋了人的頭部、上身、腿部等3個部分在紋理和顏色等方面互相之間有明顯的不同，將目標細分成3個子區(qū)域，換言之，用兩條水平分割線將上述3個部分分別視為一個區(qū)域，具體做法是：

1）區(qū)分出既測目標行人區(qū)域，捕捉各子區(qū)域中置信度偏大的像素點。

2）尋找水平分割線的工作是在捕捉到的像素點的灰度值的基礎上完成的，假定兩個持續(xù)子區(qū)域分別由Ta和Tb來表示，而且，Ta在Tb之上，式（9）能求解它們的水平分割線位置

目標跟蹤在所有子區(qū)域被筆者劃分完后的比例一直都表現(xiàn)得很平穩(wěn)，信息證據模型在所有子區(qū)域空間里得以創(chuàng)建完成，并完成紋理、顏色和空間信息互相對應的工作，以此來提升它的魯棒性。

2.4 基于空間劃分的顏色紋理證據特征相似度融合信息描述

在前文所說的劃分區(qū)域和創(chuàng)建模型的工作得到實現(xiàn)后，再在對比分析相似度的基礎上來對跟蹤目標所在的場合予以分析，最終得到有效的跟蹤效果。

在計量相似度工作中用得最多、最好的技術手法是Bhat?tacharyya相似系數(shù)法，各類證據特征直方圖的相似度都可以通過它來實現(xiàn)，它的操作極為簡單方便，顏色紋理直方圖是筆者在研究工作中采用的計量方式，此算法應該得到優(yōu)化，式（12）能對此進行有效求解

式（13）體現(xiàn)了聯(lián)合顏色紋理似然函數(shù)對x的權值求解過程

3 實驗結果及分析

3.1 本文模型與經典模型的跟蹤效果比較及分析

筆者提到的多證據融合模型需要大量粒子的使用，基于此，粒子濾波計算方式在一定程度上對它的及時性帶來了或大或小的影響。筆者在粒子濾波計算方式的權值計算和輸出的兩項工作中優(yōu)化了文獻[21]所示的方式，其運算效率在其改進優(yōu)化以后得以大量提升，另外，粒子的大小和數(shù)量等因素也不再對其產生束縛作用。

在相同的拍攝現(xiàn)場和實驗平臺下做實驗，其中原始視頻如圖1所示，單純地把色彩視為該模型（這里簡稱STM）[22]的試驗結果，如圖2所示，聯(lián)合色彩和紋理的雙證據跟蹤判別模型（簡稱STTM）[23-24]的試驗結果如圖3所示，筆者創(chuàng)建的多證據融合下跟蹤判別模型（SKTTM）的試驗結果如圖4所示，各組圖予以比照剖析。值得一提的是，筆者使用自行在某地鐵站通道內拍攝的錄像用于測試。試驗工作中涉及到的平臺為：Intel 3.0 GHz 4 Gbyte內存、Windows7，Visual C++6.0，粒子像素是37×46，數(shù)量高達400。

圖1 視頻原始幀

在視頻中可以看到，由于此目標剛開始出現(xiàn)在視頻中時沒有其他不利因素的干擾，可以有效跟蹤試驗的3個模型，具體的狀態(tài)連續(xù)識別情況如圖1a所示。圖1b中受目標衣著和周圍商業(yè)廣告標牌色彩相近的影響，STM的矩形跟蹤區(qū)域和實踐操作狀況下有著較大的差距。不過，相對較好的連續(xù)判別能力在后兩種方案中得以體現(xiàn)出來。圖1c中出現(xiàn)的情況可以通過SKTTM法來實現(xiàn)。

圖2 使用STM的目標行人運動狀態(tài)識別結果示意圖

圖3 使用STTM的目標行人運動狀態(tài)識別結果示意圖

圖4顯示，跟蹤線索會隨著行人跟蹤時附近環(huán)境的變化受到干擾而在一定程度上發(fā)生變化。空間信息對應的紋理、顏色證據信息可以在較小的區(qū)域中進行融合，如此一來，某些因環(huán)境條件變化而帶來的負面影響能得以消除，與其他的兩種模型方案相比，它體現(xiàn)出來的魯棒性具有更強的優(yōu)越性，可以實現(xiàn)在跟蹤識別過程中實現(xiàn)高效的持續(xù)狀況估計。

圖4 使用SKTTM的目標行人運動狀態(tài)識別結果示意圖

3.2 LBP_AE紋理信息證據模型實驗效果分析

基于LBP紋理特征算法的某些缺陷，筆者在本文中對其進行優(yōu)化，使有效描述紋理特征成為現(xiàn)實，下面對此優(yōu)化方法的有效性予以驗證。算法1所示的LBP紋理特征[25]、算法2所示的GSR-LBP紋理特征[26]和筆者自行設計改進的LBP_AE紋理特征的算法都在上述視頻中有所體現(xiàn)，行人運動狀態(tài)估計實驗是利用前文所說的SKTTM模型來展開的。

比較參數(shù)用跟蹤的準確率表示，式（14）可對其展開求解

正確和錯誤跟蹤目標的圖像幀數(shù)中分別用TP和FN來表示。前文所述的3個紋理特征證據捕捉方式得到的試驗結果通過圖5來體現(xiàn)。

圖5 3種算法的跟蹤準確率

前文所述的3種算法在圖5中得到了很好的展現(xiàn)，優(yōu)化后提升其跟蹤效果的準確率為94.8%，GSR-LBP以92.3%的準確率位列第二，LBP以88.6%的準確率位列第三，經過一系列的分析得出結論：相對于業(yè)內其他兩種典型的算法來說，LBP_AE能在很大程度上使其跟蹤的準確率得以提升，另外，更好的操作性在持續(xù)對行人運動狀態(tài)進行識別時也被很好地體現(xiàn)出來。

3.3 識別模型的消耗時間分析

接下來筆者結合本文設計的模型和普通直方圖與積分直方圖，對其所消耗時間展開比較，使筆者設計的模型的實用范疇和實用價值得到實踐的驗證，這里仍按前文提到的、筆者自行拍攝的視頻引用到試驗中，通過下列兩種情況來進行試驗：

1）在粒子的大小不一樣卻在數(shù)量上保持一致的狀況下耗用的時間見表1。

表1 不同粒子大小消耗時間比較 s

表1顯示：筆者自創(chuàng)的模型運行于普通直方圖中的時間受到了粒子像素數(shù)的干擾，但在積分直方圖中的表現(xiàn)卻不相同，完全與之無關。

2）在粒子的大小保持平穩(wěn)而變化其數(shù)量的狀況下，其所耗用的時間見表2。

表2 不同粒子數(shù)消耗時間比較s

表2顯示：粒子數(shù)在較大程度上影響了筆者自行設計的模型在普通直方圖算法中所運行的時間，它的運算時間會伴著粒子數(shù)的增大而產生明顯的增長，然而，積分直方圖算法中它卻基本沒有受到干擾。

上文2個實驗結果顯示：粒子可能出現(xiàn)的區(qū)域與粒子的大小和數(shù)量多少成正比，在積分直方圖算法計算中，筆者自行設計的模型突顯出了極為顯著的優(yōu)越性。

4 總結

總而言之，筆者在粒子濾波跟蹤計算方式的基礎上，對相對繁雜的站內交通狀況下的行人跟蹤事項展開了深入細致的探討。筆者將行人特有的非剛體的特性和環(huán)境帶來的不良影響納入考量范圍，基于其采樣步驟，對融合色彩、紋理、空間數(shù)據證據的行人連續(xù)狀態(tài)識別模型作了詳細的闡述，實現(xiàn)了有效跟蹤復雜環(huán)境下的行人。相對于單線索或簡單多證據線索融合的粒子濾波行人跟蹤采樣算法來說，其效果在實踐工作中更便于推廣和應用。另外，相對偏低的運算效率是因為多證據信息融合所需大量的粒子而產生，筆者在粒子濾波計算方式的權值計算和輸出兩項工作中改進了文獻[21]所提到的方法，其運算效率在實驗論證下已經得到了極大的提升。在粒子大小與數(shù)量等方面，筆者設計的多證據信息融合的粒子濾波采樣模型并沒有被約束，在準確、快速地跟蹤目標行人的有關問題上能從本文中得到一條良好的化解思路。

[1]曹藝華，楊華，李傳志.基于時空LBP加權社會力模型的人群異常檢測[J].電視技術，2012，36（21）：145-148.

[2]付洋，宋煥生，陳艷，等.一種基于視頻的道路行人檢測方法[J].電視技術，2012，36（13）：140-144.

[3] ENZWEILER M，GAVRILA D M.Monocular pedestrian detec?tion：survey and experiments[J]．Journal of IEEE Trans.Pat?tern Analysis and Machine Intelligence，2009，31（12）：2179-2195.

[4] 王永忠，梁彥，潘泉，等.基于自適應混合高斯模型的時空背景建模[J].自動化學報，2009，35（4）：371–378.

[5] 張娟，毛曉波，陳鐵軍.運動目標跟蹤算法研究綜述[J].計算機應用研究，2009（12）：4407-4409.

[6] 高陳強，余迪虎，李強，等.視頻圖像中基于特征匹配的人流量統(tǒng)計[J].電視技術，2011，35（15）：20-23.

[7] 解易，裴明濤，于冠群.增量學習灰度與輪廓模板的行人跟蹤方法[J].北京理工大學學報，2012，32（3）：274-280.

[8] SHERRAH J，RISTIC B，REDDING N J.Particle filter to track multiple people for visual surveillance[J].IET Computer Vision，2011，5（4）：192-200.

[9] 江帆，王貴錦，劉暢.一種基于模型融合的行人跟蹤算法[J].電視技術，2010，34（3）：85-87.

[10] 明安龍，馬華東.多攝像機之間基于區(qū)域SIFT描述子的目標匹配[J].計算機學報，2008，31（4）：650-661.

[11] 李熙瑩，盧林，陳玲.汽車客運站出入口監(jiān)控系統(tǒng)中行人檢測與跟蹤方法[J].計算機與現(xiàn)代化，2013（8）：15-18.

[12] STEPANOV O A.Kalman filtering：past and present，an outlook from Russia[J]．Gyroscopy and Navigation，2011，2（2）：99-110.

[13] 張洪建.基于有限集統(tǒng)計學的多目標跟蹤算法研究[D].上海：上海交通大學，2009.

[14] SHERRAH J.，RISTIC B，REDDING N J．Particle filter to track multiple people for visual surveillance[J]．Gyroscopy and Navigation，2011，5（4）：99-200.

[15] XU KUN，GUO Lanying．An anti-occlusion object tracking al?gorithm based on mean shift and particle filter[J]．ICIC Ex?press Letters，Part B：Applications，2011，2（1）：95-100.

[16]梁琛華，常青.基于HOG隨機森林分類器的人體識別[J].電視技術，2013，37（15）：185-188.

[17]AGUSTIENS I，RAHMAT W M，BASARUDDIN T.Particle filter with Gaussian weighting for human tracking[J]．Telkomnika，2012，10（6）：1453-1457.

[18]BALCELLS C M，DAVID D，DANIEL D.An appearance based approach for human and object tracking[C]//Proc.the IEEE In?ternational Conference on Image Processing.[S.l.]：IEEE Press，2003：85-88.

[19]李培華.一種新穎的基于顏色信息的粒子濾波器跟蹤算法[J].計算機學報，2009，32（12）：2454-2463.

[20] 徐小龍，谷宇章，王營冠，等.基于顏色特征的人流量實時檢測方法[J].現(xiàn)代電子技術，2014，37（7）：92-97.

[21] ZHANG Yang，LIU Weiming.Diverse gentle adaboostwith cost-sensitiveSVM ensemble classifiers algorithm forreal-time pedestrian tracking based on machinevision[J].International Journal of Digital Content Technology and Its Applications，2014，8（1A）：222-225.

[22]王怡蕾，丁輝，尚媛園.顏色與紋理相融合的自適應粒子濾波跟蹤算法[J].光學技術，2014，40（1）：27-31.

[23]KUMAR K B，SATPUTE N R，ADIGA A．Tabu search based implementation of object tracking using joint color texture histo?gram[C]//Proc.IEEE 7th International Conference on Industri?al and Information Systems．Chennai，India：[s.n.]，2012：829-835.

[24] LIU Li，ZHAO Lingjun，LONG Yunli，et al.Extended local bi?nary patterns for texture classification[J].Image and Vision Computing，2012，30（2）：86-99.

[25]OJALA T，VALKEALAHTI K，OJA E，et al.Texture discrimi?nation with multi-dimensional distributions of signed gray-lev?el differences[J]．Pattern Recognition，2001，34（3）：727-739.

[26] OJALA T，PIETIK?INEN M，M?ENP?? T.Multiresolution gray-scale and rotation invariant textureclassification with local binary patterns[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2006，24（7）：971-987.

責任編輯：閆雯雯

Recognition Model of Pedestrian State Acquisition Based on Multi Information Fusion

HAN Xu,CAI Zhongmin
（Henan University of Animal Husbandry&Economy,Zhengzhou 450046,China）

When the particle filter algorithm is applied to the pedestrian motion state estimation,insufficient evidence in the sampling phase leads to pedestrian intelligent tracking system is not efficient,robust feature is not significant, and so on.In order to solve the above problems,the paper fusion the multi-evidence information of color,texture and space to jointly build pedestrian appearance mode,utilizes the optimized LBP texture features algorithm(LBP_AE algorithm)to distinguish interference and extract evidence information.After experimental verification,the designed multi-evidence information fusion modelcan effectively solve the problem ofpedestrian tracking in complex conditions under the conjunction with the integral histogram algorithm,at the same time,the LBP_AE algorithms involved in it has more recognition accuracy rate than the general traditional LBP algorithm.

particle filter;pedestrian;sampling;multi-evidence;LBP_AE;space information

TP391

A

10.16280/j.videoe.2015.08.016

2014-09-21

【本文獻信息】韓旭，蔡中民.基于多信息融合的行人狀態(tài)采集識別模型[J].電視技術，2015，39（8）.

河南省教育廳項目（14B520015）