宗智嵩，王夏黎，張明輝，安毅生

(長安大學(xué) 信息工程學(xué)院，陜西 西安 710064)

?

一種基于監(jiān)控視頻的有效的行人自動跟蹤方法*

宗智嵩，王夏黎，張明輝，安毅生

(長安大學(xué) 信息工程學(xué)院，陜西 西安 710064)

行人跟蹤是智能視頻監(jiān)控領(lǐng)域一個重要的研究內(nèi)容，受到廣泛關(guān)注。在實際應(yīng)用中，對視頻中行人跟蹤處理的實時性和準確性都有很高要求，因此，如何在場景復(fù)雜多變的視頻圖像中完成對多行人自動、快速而準確的跟蹤，是行人跟蹤方法的研究熱點。提出了一種有效的行人自動跟蹤方法，該方法通過AdaBoost+Haar的檢測框架以及SURF特征點匹配，改進原始的在線Boosting跟蹤算法，解決了跟蹤過程中由于目標尺度變化造成的跟蹤誤差問題并實現(xiàn)了對視頻圖像中多行人自動檢測跟蹤。使用校園內(nèi)實際監(jiān)控視頻進行實驗，實驗結(jié)果證明該方法有較好的跟蹤效果。

智能監(jiān)控視頻；運動目標檢測；多目標跟蹤；AdaBoost；在線Boosting

0 引言

對監(jiān)控視頻圖像中的行人進行檢測和跟蹤以及對行人的行為和運動狀態(tài)進行分析是計算機視覺的一個重要研究方向，也是實現(xiàn)智能視頻監(jiān)控的關(guān)鍵，在社會安保、城市規(guī)劃、經(jīng)濟決等方面有著廣泛的應(yīng)用，具有一定的研究和應(yīng)用價值。

目前的跟蹤算法主要是將目標跟蹤看作概率密度函數(shù)估計問題，如卡爾曼濾波、粒子濾波等。根據(jù)顏色直方圖的跟蹤算法Meashift及其改進的Camshift[1]算法使用也較多，該方法計算效率高，但易受顏色等因素影響。近幾年比較流行的是基于學(xué)習(xí)的目標跟蹤方法，即把目標和背景看作分類問題，通過前期訓(xùn)練分類器，在之后的跟蹤中將目標和背景進行分類，如TLD[2]等方法，但由于監(jiān)控視頻數(shù)據(jù)量大，使用這些方法的效率較低，實時性差。并且由于在實際監(jiān)控視頻中光照影響明顯，行人間遮擋頻繁，遮擋面積較大，對行人進行整體檢測的跟蹤方法，在現(xiàn)實場景中計算量大，效果不佳。本文是基于傾斜視角[3-5]的行人跟蹤方法，該視角下行人面部和頭部特征明顯，在圖像中所占面積較小，有效地降低了計算量，且遮擋情況極少，有較高的實際使用價值，故將人臉和人頭作為行人跟蹤的具體對象。另外，目前研究的跟蹤算法大都需要手動初始化跟蹤對象，不滿足自動跟蹤的實際使用需求，本文通過對人臉和人頭檢測，在檢測區(qū)域內(nèi)對跟蹤目標進行自動初始化，并在跟蹤階段可以對多個目標進行跟蹤。

本文采用的方法是在視頻畫面外圍設(shè)定檢測人臉和人頭的區(qū)域。在外圍檢測區(qū)域內(nèi)，通過高斯背景建模的方法，縮小檢測范圍提高檢測效率，并將檢測到的目標自動初始化為跟蹤對象。在里層跟蹤區(qū)域內(nèi)，使用SURF特征點匹配改進原始的在線Boosting跟蹤方法，實現(xiàn)對縱向運動尺度變化的目標尺度自適應(yīng)跟蹤。

1 運動目標范圍確定

本文的行人檢測是在行人檢測區(qū)域內(nèi)檢測，通過混合高斯背景建模[6]的方法獲得前景區(qū)域并對前景區(qū)域進行邊緣檢測，獲取輪廓矩形，將檢測范圍進一步縮小至運動目標可能出現(xiàn)的區(qū)域，并根據(jù)視頻的實際情況，去除面積較小的區(qū)域，后續(xù)目標檢測只需要對這些區(qū)域進行檢測，而不用對整個檢測區(qū)域檢測，從而實現(xiàn)對算法效率的提高。流程如圖 1所示。

圖1 精確目標檢測范圍

混合高斯背景建模是由斯托弗等人提出的經(jīng)典的自適應(yīng)混合高斯背景提取方法，該方法認為各像素點之間相互獨立，而其在視頻圖像中的變化可以用高斯分布來描述其像素值的變化規(guī)則，并依此建立背景模型。當新的一幀圖像到來時，根據(jù)建立的背景模型判斷每個像素點是前景點還是背景點，并對高斯模型進行不斷的更新。

2 基于Haar特征的行人目標檢測

在行人檢測中，較為常用的是使用HOG特征[7]的檢測方法，但是該方法計算量較大且受行人間相互的遮擋以及環(huán)境影響較大，因此對人頭人臉進行檢測不僅會降低計算量，還能夠提高檢測效率。在監(jiān)控視頻中，行人的頭部信息可能是正面人臉、側(cè)面人臉、背面人頭三種情況，四個方向，將正面、側(cè)面人臉定為一個人臉分類器，將背面人頭定為人頭分類器。

本文采用Haar特征和AdaBoost[8-9]方法使用大量樣本訓(xùn)練兩個分類器，其主要思想是通過積分圖計算所需分類對象正樣本的Haar特征值，每一個特征值對應(yīng)一個弱分類器。使用訓(xùn)練不同的弱分類器形成強分類器，并將多個強分類器串聯(lián)為瀑布式級聯(lián)架構(gòu)分類器。

訓(xùn)練正樣本包括從實際監(jiān)控中采集以及對MIT人臉庫和INRIA行人數(shù)據(jù)庫中的人臉和人頭的提取，負樣本自行選擇大量不包含檢測內(nèi)容的圖片，每個分類器的訓(xùn)練正樣本數(shù)為5 000，負樣本數(shù)為4 000。

3 在線Boosting行人跟蹤方法及改進

3.1 在線Boosting算法跟蹤原理

本文采用在線Boosting[10-12]跟蹤方法，對離線分類器檢測出的目標在跟蹤區(qū)域進行跟蹤。在線Boosting算法將跟蹤問題看作跟蹤目標和背景的更新問題，接收到每一幀時，將此幀中的目標作為正樣本，從正樣本周圍選取若干與正樣本大小相同的背景塊作為負樣本加入到之前訓(xùn)練好的分類器中進行學(xué)習(xí)并更新分類器。具體原理如下：

(2)訓(xùn)練弱分類器hk,計算分類錯誤率：

(1)

(3)根據(jù)分類錯誤率設(shè)置弱分類器的權(quán)重：

(2)

(4)更新樣本權(quán)重：

(3)

(5)最終生成強分類器：

(4)

對于新到來的一幀圖像，使用上一幀生成的強分類器對搜索區(qū)域內(nèi)提取的N個樣本進行測試，并生成置信圖。通過置信圖的頂點確定目標的新的位置。將該目標作為正樣本并在周圍選取若干負樣本，并將這些樣本重復(fù)上述的強分類器過程，生成新的強分類器。對以上過程進行迭代，不斷對目標和背景進行分類，就達到了對目標進行跟蹤的目的。

但是該方法由于跟蹤框保持尺度不變，在目標尺度變化的過程中，尤其是目標遠離攝像頭的過程中容易引入錯誤，而這種錯誤的不斷累積將導(dǎo)致跟蹤漂移。故本文提出了依據(jù)SURF特征描述算子的改進方案解決以上問題，并實現(xiàn)了自動多目標行人跟蹤。

3.2 SURF描述算子原理及匹配

在計算機視覺領(lǐng)域，SIFT[13]局部特征描述算子由于尺度不變性、旋轉(zhuǎn)不變性等特性應(yīng)用較為廣泛。但是該算法計算量大、效率低，這也就促成了SURF局部特征描述算子[14]的產(chǎn)生，該算法的運算效率是SIFT的數(shù)倍。

SURF算法依賴于Hessian矩陣，并將Hessian 矩陣加上尺度σ的描述。設(shè)圖像I中的像素點X坐標為(x,y)，則矩陣被重新定義為：

(5)

Bay等人通過計算逼近值對其計算進行簡化，使用與尺度線性相關(guān)的權(quán)值修正兩者之間的誤差，并證明當Hessian決定因子為0.9時效果最佳，得到：

det(Happrox)=DxxDyy-(0.9Dxy)2

(6)

根據(jù)上式遍歷圖像所有像素點，得到該圖像在尺度σ下的響應(yīng)圖像，在使用不同尺度的模版進行高斯卷積時，將每個像素點的特征值與空間鄰域內(nèi)其他26個點進行比較，判斷該像素點是否為局部極值，也就是特征點。

得到兩幅圖像的特征點集合后，使用快速臨近匹配庫(Fast Library for Approximate Nearest Neighbors，F(xiàn)LANN)[15-17]中的隨機KD樹進行匹配。KD樹是一種適用于高維向量匹配的搜索樹，所有維度中方差最大的維度的中間值作為樹的節(jié)點，并不斷重復(fù)該過程直到葉子節(jié)點。

3.3 算法改進

現(xiàn)有的跟蹤算法大多不能自動選擇跟蹤目標且只能跟蹤單目標，本文通過對人臉和人頭的檢測，自動初始化跟蹤目標。當跟蹤目標位置更新后記錄跟蹤目標位置，在檢測出人臉或者人頭時，遍歷所有跟蹤目標的更新框，若二者中心的距離小于跟蹤框的寬度，則認為是同一目標，不對跟蹤框進行初始化。在實驗中，使用STL中的容器保存跟蹤框初始化的位置和更新位置，實現(xiàn)對多目標進行自動跟蹤。具體流程及跟蹤效果如圖2所示。

圖2 行人檢測跟蹤流程

經(jīng)實驗發(fā)現(xiàn)，使用該方法能達到較好的跟蹤效果及效率，如圖3所示。

由圖3可以看出，行人在由近至遠的運動過程中，頭部及人臉的尺度會產(chǎn)生變化，當行人運動到攝像頭的遠處時，原始的跟蹤框遠大于實際人頭或者人臉，若此時有其他目標進入跟蹤框中，則會對另外一個目標產(chǎn)生誤檢。故在跟蹤的過程中，間隔n幀對跟蹤框內(nèi)的圖像進行SURF特征點匹配，得到t幀中匹配度最好的兩個點p1、p2以及t+n幀中對應(yīng)的點p3、p4。跟蹤過程特征點匹配如圖4所示。

圖4 跟蹤過程特征點匹配

設(shè)原始跟蹤框尺度為1，分別計算兩幅圖像中兩點之間的歐氏距離比值即可得圖像在t+n幀的尺度S′,其中dp3p4和dp1p2分別表示在第t幀和第t+n幀中兩點之間的距離。

(7)

由于匹配點間的距離并非絕對的匹配(距離為0)，但是基本小于0.1，故使用類似線性函數(shù)歸一化的方法計算對該尺度的置信度：

(8)

其中Dp1p3和Dp2p4表示根據(jù)KD樹匹配后兩點匹配的距離?？梢罁?jù)置信度對尺度進行加權(quán)計算得到校正后的尺度S：

S=1×(1-conf_ratio)+S′conf_ratio

(9)

(10)

(11)

此時只使用一個最佳匹配特征點，故此時計算對該特征點的置信度為：

(12)

對在線Boosting在t+n幀置信度最大跟蹤框Rectt+n(xt+n,yt+n,w,h)的左上頂點加權(quán)更新：

(13)

(14)

得到校正后的跟蹤框Rectt+n(xt+n,yt+n,Sw,Sh)。若間隔幀數(shù)n過大，則目標可能形變較大，無法匹配，若過小，目標變化有限，造成不必要的計算。實驗中將n設(shè)為5，即間隔5幀進行尺度變換及跟蹤框校正。實驗效果如圖5所示，在跟蹤過程中，跟蹤框不斷進行尺度變換，避免其他無關(guān)目標進入跟蹤框內(nèi)被誤認為正樣本。

圖5 跟蹤誤檢及改進效果

4 實驗結(jié)果

本文實驗采用Windows 7平臺運行，處理器為3.6 GHz Intel Core i7，內(nèi)存為8 GB，C++編譯環(huán)境為VS2013。實驗視頻采用校園內(nèi)實際監(jiān)控視頻錄像作為處理對象，分別使用本文方法和原始的在線Boosting方法進行實驗，實驗中將跟蹤框與實際目標包裹，對目標進入視區(qū)直至離開視區(qū)的整個過程穩(wěn)定跟蹤視為準確跟蹤。實驗結(jié)果如表1所示。原始的跟蹤算法在行人縱向運動尺度發(fā)生變化情況下會產(chǎn)生跟蹤框漂移等情況，并保留在圖像中，對后續(xù)的行人檢測跟蹤產(chǎn)生影響，改進后的方法，對目標的包裹更為準確，也避免了引入錯誤，達到了較好的跟蹤效果。算法改進部分增加了一定的時間消耗，但是仍能達到15 f/s(幀/秒)的實時性要求，能滿足日常監(jiān)控使用需求。

表1 實驗結(jié)果對比

5 結(jié)論

本文提出的劃分檢測區(qū)域和跟蹤區(qū)域的行人檢測跟蹤方法，可自動初始化跟蹤目標，并利用SURF特征點進行匹配，達到了尺度自適應(yīng)的效果，將理論方法應(yīng)用到具體的應(yīng)用中有普遍適應(yīng)性和較好的運行效率。但是該方法在檢測和跟蹤精度上還有優(yōu)化的空間，另外在該方法的基礎(chǔ)上，可以對行人的特征、運動路徑、視野內(nèi)逗留時間進行有效的提取，為進一步的研究提供幫助，后續(xù)將開展相關(guān)研究。因此，本文提出的監(jiān)控視頻行人跟蹤算法具有一定的理論和實際意義。

[1] 顧裕豐, 劉國棟. 一種復(fù)雜場景下的運動目標跟蹤算法[J]. 電子技術(shù)應(yīng)用, 2012，38(1):122-124.

[2] KALAL Z, MIKOLAJCZYK K, MATAS J. Tracking-learning-detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 34(7):1409-1422.

[3] Liu Xiafeng, TU P H, RITTSCHER J, et al. Detecting and counting people in surveillance applications[C]. Advanced Video and Signal Based Surveillance, 2005 IEEE International Conference on Video and Signal Based Surveillance, 2005:306-311.

[4] Zeng Chengbin, Ma Huadong. Robust head-shoulder detection by PCA-based multilevel HOG-LBP Detector for People Counting[C]. International Conference on Pattern Recognition, 2010:2069-2072.

[5] SIDLA O, LYPETSKYY Y, BRANDLE N, et al. Pedestrian detection and tracking for counting applications in crowded situations[C]. IEEE International Conference on Video and Signal Based Surveillance, 2006:70-70.

[6] STAUFFER C, GRIMSON W E L. Adaptive background mixture models for real-time tracking[C]. IEEE Computer Society Conference on Computer Vision & Pattern Recognition, 1999:2246.

[7] 石志強, 趙向東, 李文軍,等. 基于HOG和block權(quán)重的快速人體檢測方法[J]. 微型機與應(yīng)用, 2012, 31(11):44-46.

[8] VIOLA P, JONES M J. Robust real-time object detection[J]. International Journal of Computer Vision, 2004, 57(2): 131-154.

[9] 王小蘭,蔡燦輝,朱建清.一種改進的快速人臉檢測算法[J]. 微型機與應(yīng)用, 2013, 32(15):37-40.

[10] GRABNER H, BISCHOF H. On-line Boosting and vision[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2006:260-267.

[11] 沈丁成. 基于在線Boosting算法的目標跟蹤研究[D]. 天津：天津理工大學(xué), 2013.

[12] 孫來兵, 陳健美, 宋余慶,等. 改進的基于在線Boosting的目標跟蹤方法[J]. 計算機應(yīng)用, 2013, 33(2):495-498.

[13] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2):91-110.

[14] BAY H, TUYTELAARS T, GOOL L V. SURF: speeded up robust features.[J]. Computer Vision & Image Understanding, 2006, 110(3):404-417.

[15] MUJA M. Fast approximate nearest neighbors with automatic algorithm configuration[C]. Visapp 2009-Proceedings of the Fourth International Conference on Computer Vision Theory and Applications, Lisboa, Portugal, February, 2009:331-340.

[16] MUJA M, RUSU R B, BRADSKI G, et al. REIN-A fast, robust, scalable recognition infrastructure[C]. IEEE International Conference on Robotics & Automation, 2011:2939-2946.

[17] MUJA M, LOWE D G. Fast matching of binary features[C]. Ninth Conference on Computer and Robot Vision. IEEE Computer Society, 2012:404-410.

Effective automatic pedestrian tracking method based on surveillance video

Zong Zhisong, Wang Xiali, Zhang Minghui, An Yisheng

(School of Information Engineering, Chang’an University,Xi’an 710064, China)

Pedestrian tracking is an important research content in the field of intelligent video surveillance, which is being widely concerned. In practice, the pedestrian tracking in video processing has a high requirement of real-time and accuracy. Therefore, how to complete automatic, fast and accurate pedestrians tracking in the complex video scene is a hot spot. In this paper, an effective method of pedestrian tracking is proposed. This method combined with AdaBoost+Haar detection framework and improved online Boosting algorithm with the SURF feature matching solves the error caused by multi-scale window and realizes the automatic detection and tracking of multi pedestrians in video images. Experiments with actual surveillance videos on campus show that the proposed method has a better processing effect.

intelligent visual surveillance; moving objects detection; multi-objects tracking; AdaBoost; on-line Boosting

中國博士后科學(xué)基金資助項目(2012M521729)

TP391.4

A

10.19358/j.issn.1674- 7720.2017.12.014

宗智嵩，王夏黎，張明輝，等.一種基于監(jiān)控視頻的有效的行人自動跟蹤方法[J].微型機與應(yīng)用，2017,36(12)：46-49.

2016-12-29)

宗智嵩(1992-)，男，碩士研究生，主要研究方向：圖形圖像處理與智能交通。

王夏黎(1965-)，男，博士，副教授，主要研究方向：圖形圖像處理與智能交通。

張明輝(1990-)，男，碩士研究生，主要研究方向：智能交通與圖形圖像處理。