徐 曼

(1.上海電力學院計算機科學與技術學院，上海 200090;2.復旦大學 計算機科學技術學院，上海 200433)

人的檢測和跟蹤技術在視頻監(jiān)控、人機交互、輔助駕駛系統(tǒng)等方面有著廣泛的應用，該技術主要由兩部分組成:一是對人的檢測，即在視頻幀中用目標檢測技術檢測出人;二是將在多個連續(xù)幀間跟蹤檢測到的人做標記.對于人的檢測，早期采用的是基于移動的目標檢測方法，假設攝像機是靜止不動的，此時背景不變，變化的區(qū)域(motion blobs)就是檢測的對象.這種方法適用于對單個移動的人的檢測，要求照明不變或場景變化很慢，而且人是場景中唯一移動的對象.

在實際應用中，場景復雜，監(jiān)測到的移動區(qū)域不再是一個人，有可能是物體，也有可能是多個互相遮擋的人，人的出現(xiàn)可能會伴隨著人與人的遮擋及景物的遮擋，因此基于移動的方法不再適用.在人群擁擠的復雜場景中如何實現(xiàn)魯棒的多個人的檢測和跟蹤，已成為研究的熱點.

1 人的檢測和跟蹤系統(tǒng)

1.1 系統(tǒng)結構

人的檢測和跟蹤系統(tǒng)基本結構如圖1所示.該系統(tǒng)由檢測器和跟蹤器兩部分組成.輸入視頻流后，首先由檢測器對每一幀進行監(jiān)測，檢測出每一幀圖像中包含的多個人，以一個檢測子的形式R={ri}(ri為多元組，代表一個人，通常由檢測人的位置、大小、特征、所在幀編號等組成)表示該集合.跟蹤器以這些檢測結果為基礎，對檢測到的人進行跟蹤，并計算不同幀中檢測對象間的聯(lián)系.最后，給出不同檢測對象在視頻流中的軌跡T={Tk}，其中 Tk為第 k 個人的軌跡，Tk={rk1，rk2，，…，rkl}，kl為檢測子的個數.

圖1 檢測和跟蹤系統(tǒng)的基本結構

根據具體的檢測和跟蹤方法，可以將系統(tǒng)框架進一步細化，主要包括3個方面:檢測器的組成;跟蹤器的組成;系統(tǒng)整體結構的調整.比如，在文獻［1］中檢測器由部分檢測器和聯(lián)合檢測器兩部分組成;而跟蹤器由前向跟蹤和后向跟蹤組成.文獻［2］提出了基于數據聯(lián)系的3層的層級式跟蹤方法，可以實現(xiàn)在擁擠環(huán)境中單個攝像機對多個對象的魯棒跟蹤.

基于文獻［2］的分層聯(lián)系框架，文獻［3］對多個檢測對象的親密度量進行了改進，提出了一種基于學習親密度模型的跟蹤方法，在系統(tǒng)中引入了機器學習模塊.文獻［4］構建了小軌跡圖，通過求圖的最大權重獨立集，在小軌跡之間建立聯(lián)系并進行多目標跟蹤.

1.2 技術概述

關于用于靜止圖像和視頻跟蹤的人的檢測方法有大量的研究，其中大部分都是基于滑窗的方法，DALAL在博士論文［5］中進行了較為全面的綜述.現(xiàn)階段人的檢測技術主要包括兩個方面:一是具有高區(qū)分能力的特征;二是分類器.

1.2.1 特征

檢測對象人的特征表示可以分為全局特征和基于局部的特征兩種.其中，基于局部的特征由于不容易受遮擋的影響，因而應用得比較多.常用的局部特征有:SIFT特征;小波特征;HOG(梯度直方圖)特征;小邊緣特征［1］.文獻［5］將這些局部特征用于行人檢測，實驗結果顯示HOG特征用于行人檢測的性能優(yōu)于其他3種.

其中HOG特征是目前最好的一種描述邊緣和形狀特征的局部特征.很多研究者對HOG特征進行了改進，提出了一些類HOG的特征.文獻［6］針對雜亂背景中的噪音邊緣，結合HOG特征和另外一種描述子LBP，提出了將HOG-LBP特征用于行人檢測.

LBP是一種紋理描述子，它通過均勻模型過濾掉圖像中的噪音，彌補了HOG特征的不足.文獻［7］針對HOG特征的高位率存儲和傳輸問題，提出了CHOG(壓縮的HOG)特征，將梯度直方圖表示成樹結構進行高效壓縮，在壓縮的HOG特征間比較相似度，提供了一種低位率的特征描述子.文獻［8］將圖像的分割信息集成到HOG特征中，提高了行人檢測的準確度.

1.2.2 分類器

用于行人檢測的分類器主要有SVM分類器和決策樹兩種.一些研究工作針對分類器展開，主要目的是提高分類器的區(qū)分能力和分類速度.SVM分類器的訓練速度快，但是非線性SVM分類器的運行復雜度較高;而決策樹的分類速度較快，但同時訓練速度較慢，而且訓練的復雜度隨類別的增加而呈指數級增長.因此，在實時應用中大多使用線性的SVM核分類器，其訓練速度和分類速度都比較快，而且比非線性方法耗費的內存少.文獻［9］提出了SVM直方圖相交核方法，加速了直方圖比較函數的處理速度，同時還提出了一種基于多級方向邊緣能量直方圖的特征，實驗表明該方法優(yōu)于 DALAL［5］的方法.

1.2.3 檢測方法

從人的表示方法的角度，可以將人的檢測技術分為兩種:一是基于整體表示的方法，將人表示成一個整體;二是基于部分的方法，將人表示成不同部位的組合.基于整體表示的方法比較簡單，但對于部分被遮擋的情況效果不好;基于部分的表示方法對遮擋有一定的魯棒性.

1.2.4 關鍵問題

在人多的擁擠環(huán)境中，人的出現(xiàn)常常表現(xiàn)為不同程度的遮擋，其中包括人的遮擋和景物的遮擋，如何檢測出有部分遮擋的人，是對人的檢測技術必須解決的關鍵問題.一個較好的解決方法是將部位檢測和整體檢測結合起來，組成聯(lián)合檢測器.

文獻［1］和文獻［2］實現(xiàn)了聯(lián)合檢測的技術，將人表示為不同部位的組合，以方便處理遮擋問題.使用了部分檢測器和聯(lián)合檢測器，其中部分檢測器是基于部分特征的，聯(lián)合檢測器是由部分特征與貝葉斯推論組合而成的.檢測時，首先用人整體和頭肩部分檢測器對圖像進行掃描，得到一幅圖像中存在多個人的推測，然后再逐個用軀干和腿的部位檢測器進行驗證.

2 跟蹤多個人的技術

基于檢測的跟蹤方法［1，2，10-19］應用較為普遍，即用檢測器檢測視頻中的每一幀，然后基于檢測結果建立多個檢測對象之間的聯(lián)系.針對復雜場景中多個對象的跟蹤，研究者提出了基于數據聯(lián)系的跟蹤方法(DAT方法)［20］，在多個對象聯(lián)系假設間進行匹配，通過計算多個對象的連接映像似然值處理遮擋問題.由于連接假設空間通常是高維的，因此采用了很多有效的優(yōu)化算法，包括基于粒子濾波器的方法、馬爾可夫鏈蒙特卡洛方法(MCMC)、EM 方法、Hungarian 算法等［1-3］.

DAT方法的兩個主要組成部分:一是用來測量兩個小軌跡是否屬于同一個對象的親密度模型［3，12-14，21，22］;二是聯(lián)系優(yōu)化結構，用來決定基于親密度模型，鏈接哪些小軌跡.

2.1 親密度模型

親密度模型主要使用對象的顏色特征(如顏色直方圖)、移動特征(如速度)和小軌跡之間的幀數，采用歐氏距離、簡單高斯分布等度量其密度.假設，rp1，rp2是兩個檢測結果，rp1=(p1，s1，c1)，rp2=(p2，s2，c2)，表示兩個檢測子的位置、大小和顏色直方圖，它們之間的親密度公式為［1］:

式中:Apos，Asize，Aappr——位置、大小及外貌的相似度;

γpos，γsize——正則化參數.

文獻［2］提出的3層的層級式聯(lián)系方法，在每一階段采用不同的親密度量模型，第一層聯(lián)系中采用式(1)至式(4)定義的親密度模型，得到小軌跡集;在中級階段，對這些小軌跡基于更復雜的親密量度模型作進一步計算聯(lián)系，以形成更長的小軌跡.中級階段中使用的親密度量模型綜合考慮了顏色、移動信息及兩個小軌跡間的幀數等.兩條小軌跡的親密度模型定義為:

Aa，Am，At——顏色相似度，移動信息親密度，時間親密度.

文獻［1］對文獻［2］的中級聯(lián)系親密度量模型進行了改進，不再使用經驗的固定參數和權值，而由學習得到，是一種基于學習親密度模型的跟蹤方法.另外，結合AdaBoost算法和Rank-Boost算法的優(yōu)點，提出了一種 boosting算法，即HybridBoost算法，可用于訓練親密度量的參數.

2.2 聯(lián)系優(yōu)化方法

文獻［2］中基于Hungarian算法對優(yōu)化結構進行了改進，采用一種分層的聯(lián)系框架，每一層采用不同的親密度模型，同時利用上一層跟蹤的結果，采用貝葉斯方法對其逐層優(yōu)化，考慮到了檢測器的誤警、漏檢，以及不準確的檢測子和場景遮擋等噪音問題，是一種魯棒的跟蹤方法.該方法在中級階段對檢測結果進行了卡爾曼濾波，得到移動模型;將檢測結果進行精煉，減小錯誤的檢測結果對跟蹤的影響.中級階段的數據聯(lián)系是一個迭代的過程.在高級階段，由中級階段已經計算得到的小軌跡，通過貝葉斯推論得到進入、退出及場景遮擋的統(tǒng)計估計，用于對最終軌跡的精煉.

另外，還有一些基于聯(lián)系優(yōu)化的研究，比如基于線性規(guī)劃的方法、最小流的方法都是比較有代表性的.文獻［23］和文獻［24］采用馬爾可夫蒙特卡羅方法和粒子濾波建立了數據聯(lián)系.

3 實驗數據集及性能度量

3.1 實驗數據集

常用的實驗數據集有CAVIAR視頻庫［25］、i-LIDS AVSS AB視頻集［26］和 TRECVID08 數據集［27］.

CAVIAR視頻庫提供了不同的情景，包括:人單獨行走;遇到其他人;進入商店;走出商店;打架;經過;經過并在公共場所留下包裹等.提供了兩個場景的視頻庫:第一個視頻庫是用一個廣角攝像機在INRIA實驗室的走廊入口處拍攝的視頻，半分辨PAL標準(分辨率為384×288像素，幀率為25幀/s)，MPEG2壓縮，文件大小為6～12 MB，有些文件達到21 MB;第二個視頻庫也是使用廣角鏡頭拍攝的，在Lisbon的一個商場的門廳外分別沿著門廳方向和跨門庭兩個方向同步拍攝，視頻文件執(zhí)行的標準、壓縮標準和文件大小與第一個視頻庫相同.

i-LIDS AVSS AB視頻集是從一個地鐵站拍攝得到的，包含 3個視頻，135個真實軌跡.TRECVID08數據集較有挑戰(zhàn)性，其中的視頻是從機場拍攝得到的，場景擁擠(每一幀10～30人)，互相遮擋較為嚴重，并有頻繁的互動.

3.2 性能度量

Recall，查全率，定義為正確匹配的對象/所有的真實對象.Precision，查準率，定義為正確匹配的對象/所有查出的對象.這兩個評價標準都是基于幀的.

跟蹤性能通常有以下度量標準:

(1)GT(No.of groundtruth trajectories)，跟蹤到的真實軌跡的數量;

(2)T%(Mostly tracked)，跟蹤出長度大于真實軌跡80%的軌跡的比例;

(3)ML%(Mostly lost)，跟蹤出長度小于真實軌跡20%的軌跡的比例;

(4)PT%，部分跟蹤率，定義為1-MT-ML;

(5)Frag(Fragments)，真實軌跡被中斷的次數，越小越好;

(6)IDS(ID switches)，發(fā)生身份交換的次數，越小越好.

這些綜合標準基本上也是基于上述檢測和跟蹤的度量標準來確定的，主要有:

(1)多對象跟蹤準確度，計算誤警數量、漏檢數量和身份交換數量等，越大越好;

(2)真實實例漏檢比例，越小越好;

(3)每幀誤檢率，越小越好.

4 結語

對擁擠場景中人的檢測和跟蹤的困難主要體現(xiàn)在:擁擠環(huán)境中存在較多的人和人之間的遮擋以及場景遮擋，而且人和人之間體貌相似的較多，很容易產生對象的交叉，當兩個人的軌跡發(fā)生交叉時，標識會發(fā)生交換.如何解決遮擋和部分遮擋問題，提供具有高度區(qū)分能力的特征是解決擁擠環(huán)境下多個人的檢測和跟蹤的關鍵問題.將來的工作主要要圍繞4個方面展開:一是提供高區(qū)分度的特征用于人的檢測;二是發(fā)明適用于人的檢測的聚類技術;三是建立更好的自適應親密度量模型;四是研制用于跟蹤過程中高維假設空間的高效優(yōu)化算法.

［1］ WU Bo，NEVATIA R.Detection and tracking of multiple，partially occluded humans by bayesian combination of edgelet based part detectors［J］.International Journal of Computer Vision，2007，75(2):247-266.

［2］ HUANG Chang，WU Bo，NEVATIA R.Robust object tracking by hierarchical association of detection responses［C］//Computer Vision-ECCV，2008:788-801.

［3］ LI Yuan，HUANG Chang，NEVATIA R.Learning to associate:hybridBoosted multi-target tracker for crowded scene［C］//Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2009:2 953-2 960.

［4］ BRENDEL William，AMER Mohamed，TODOROVIC Sinisa.Multiobject tracking as maximum weight independent set［C］//Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR)，2011:1 273-1 280.

［5］ DALAL N.Finding people inimages andvideo［D］.Grenoble:INRIA Rhne-Alpes，2006.

［6］ WANG Xiaoyu，HAN Tony X，YAN Shuicheng.An HOG-LBP human detectorwith partialocclusion handling［C］//Proceeding of the 12th IEEE International Conference on Computer Vision，2009:32-39.

［7］ CHANDRASEKHAR Vijay，TAKAC Gabriel，CHEN David，et al.CHOG:compressed histogram of gradients:a low bit-rate feature descriptor［C］//Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2009:2 504-2 511.

［8］ OTT Patrick， EVERINGHAM Mark. Implicit color segmentation features for pedestrian detection［C］//Proceeding of the 12th IEEE International Conference on Computer Vision，2009:723-730.

［9］ MAJI Subhransu，BERG AlexanderC，MALIK Jitendra.Classification using intersection kernel support vector machines is efficient［C］//Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2008:1-8.

［10］ OKUMA Kenji，TALEHANI Ali，F(xiàn)REITAS Nando D，et al.A boosted particle filter:multitarget detection and tracking［C］//Proceeding of European Conf.Computer Vision(ECCV)，2004:28-39.

［11］ GRABNER H，BISCHOF H.On-line boosting and vision［C］//Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR)，2006:260-267.

［12］ LEIBE B，SCHINDLER K，GOOL L V.Coupled detection and trajectory estimation for multi-object tracking［C］//Proceeding of IEEE Int＇l Conf.Computer Vision(ICCV)，2007:1-8.

［13］ ANDRILUKA M，ROTHS，SCHIELEB.People-trackingbydetection and people-detection-by-tracking ［C］//Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR)，2008:1-8.

［14］ XING J，AI H，LAO S.Multi-object tracking through occlusions by local tracklets filtering and global tracklets association with detection responses［C］//Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR)，2009:1 200-1 207.

［15］ CHOI W，SAVARESE S.Multiple target tracking in world coordinate with single，minimally calibrated camera［C］//Proceeding of European Conf.Computer Vision(ECCV)，2010:553-567.

［16］ YUL Jie，F(xiàn)ARIN Dirk，SCHIELE Bernt.Multi-target tracking in crowded scenes［C］//DAGM＇11 Proceedings of the 33rd InternationalConference on Pattern Recognition，2011:406-415.

［17］ STALDER S，GRANDER H，VAN GoolL.Cascaded confidence filtering for improved tracking-by-detection［C］//Proceeding of European Conf.Computer Vision(ECCV)，2010:369-382.

［18］ BREITENSTEIN M D，REICHLIN F，LEIBE B，et al.Online multi-person tracking-by-detection from a single，uncalibrated camera［J］.IEEE Trans.on Pattern Analysis and Machine Intelligence，2011:1 820-1 833.

［19］ BREITENSTEIN M，REICHLIN F，LEIBE B，et al.Robust tracking-by-detection using a detector confidence particle filter［C］//Proceeding of IEEE International Conference on Computer Vision(ICCV)，2009:1 515-1 522.

［20］ QIN Zhen，SHELTON Christian R.Improvingmulti-target tracking via social grouping［C］//Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR)，2012:1 972-1 978.

［21］ LI Y，NEVATIA R.Key object driven multi-category object recognition，localization and tracking using spatio-temporal context［C］//Proceeding of European Conf.Computer Vision(ECCV)，2008:409-422.

［22］ GRABNER H，MATAS J，COOL L Van，et al.Tracking the invisible:learning where the object might be［C］//Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR)，2010:1 285-1 292.

［23］ DOUKWORTH Daniel.Monte carlo methods for multiple target tracking and parameter estimation.technical report No.UCB/EECS-2012-68［R］.http://www.eecs.berkeley.edu/Pubs/TechRpts/2012/EECS-2012-68.html.

［24］ VU Anh Tuyet，VO Ba Ngu，Evans，et al.Markov chain monte carlo for bayesian multi-targettracking［C］//2011 Proceedings of the 14th International Conference on Information Fusion(FUSION)，2011:1-8.

［25］ SMEATON A F，OVER P，KRAAJI W.Evaluation campaigns and trecvid［C］//MIR ’06:Proceedings of the 8th ACM International Workshop on Multimedia Information Retrieval，2006:321-330..