王冬海，張 宇，郭文剛，連禮泉

(中國電子科學研究院，北京 100041)

0 引 言

視頻監(jiān)控系統(tǒng)廣泛應用在各類場所中，如商場、公共社區(qū)、學校和政府機構(gòu)等。監(jiān)控系統(tǒng)的目的就是在不同的區(qū)域里跟蹤和識別感興趣的目標對象。然而單一的視頻監(jiān)控并不能提供滿意有效的服務，原因是難以查找和管理攝像頭所產(chǎn)生的海量數(shù)據(jù)，很難識別視頻信息中的目標對象，造成監(jiān)控無效或效率低下。

視頻信息和智能終端電子定位信息在城市安防等應用領域中被廣泛采集、分析，但目前的應用均是孤立的，各自有獨立的應用范圍，僅僅利用傳統(tǒng)的無線傳感器定位跟蹤[1,2]或視頻定位跟蹤[3]很難獲得更高的精度和穩(wěn)定的定位性能。為了達到目的，多種信息融合技術已經(jīng)在一些領域得到應用。視頻信息和智能終端電子定位信息這兩種看似無關的信息，事實上存在的一定的聯(lián)系，即依靠“人”來聯(lián)系。視頻信息主要是“人”的圖像信息，智能終端電子定位信息是“人”的定位信息。有效地利用兩種信息的聯(lián)系，對兩種信息進行融合利用，將能夠進一步發(fā)揮兩種信息的價值，實現(xiàn)視頻監(jiān)控目標與雷達探測目標一樣具有識別、定位、軌跡跟蹤為一體的“視頻雷達”監(jiān)控系統(tǒng)。下面以集成及應用創(chuàng)新的思路選擇常用H.264視頻格式數(shù)據(jù)和手機WI-FI定位信息進行研究分析。

1 融合技術原理

1.1 視頻信息

在人類獲取的信息中，視覺信息約占70%，聽覺信息占20%，其他感官的獲取量僅占10%，可見作為對外部世界進行提取、處理和反饋過程的視覺對于人類感知外界環(huán)境的重要性。隨著計算機和網(wǎng)絡技術的飛速發(fā)展，視頻己經(jīng)成為當今世界進行信息傳播的主流載體之一。

1.2 定位信息

近年來，智能終端的使用和市場推廣都呈現(xiàn)出高速增長的態(tài)勢，智能終端的強大功能和相關應用服務日益豐富，使得智能終端對用戶產(chǎn)生的黏性越來越大，電子信息發(fā)揮著巨大作用[4]。以手機為代表的智能終端已經(jīng)成為不可離身的必備隨身物品，智能終端的定位信息所帶來的附加業(yè)務需求也越來越大。電子信息的特點是具有唯一的電子身份，如GSM IMEI(國際移動設備識別碼)、WI-FI MAC地址或藍牙ID等。獲取手機終端發(fā)射的電子信息，通過一定的定位技術手段能夠獲取其定位信息。

1.3 “視頻雷達”

基于信息融合[5]的思想，本研究將智能終端的電子定位信息，與視頻圖像信息進行融合，通過信息的位置屬性與時間屬性的融合匹配[6]，確定監(jiān)控目標。

如圖1所示，“視頻雷達”即利用視頻監(jiān)控技術，結(jié)合定位信息的身份特征，將目標的位置標繪在電子地圖上，并通過多部攝像頭的監(jiān)控，實現(xiàn)對目標的跟蹤、特征提取等，從而能夠?qū)⒛繕说牡乩矶ㄎ恍畔⑴c視頻圖像信息緊密結(jié)合，形成一條連續(xù)的目標移動軌跡，使得視頻監(jiān)控如雷達一樣具有監(jiān)視、定位及跟蹤等功能，形成有特色集成產(chǎn)品，實現(xiàn)智能監(jiān)控，服務于各行業(yè)。

圖1 “視頻雷達”示意圖

2 設計與實現(xiàn)

2.1 融合架構(gòu)

在無線定位算法和視頻跟蹤算法的基礎上，本文研究確定了多傳感器融合定位跟蹤監(jiān)控的總體結(jié)構(gòu)，如圖2所示。

圖2 總體框架

通過無線傳感器對目標所攜帶的移動終端提取相關特征(如WI-FI MAC或手機號碼等)，采用無線定位算法對目標進行間接定位，獲取定位信息(如經(jīng)緯度等)；同時通過對攝像頭獲得圖像信息進行處理分析，跟蹤識別目標；最后，將兩種傳感器獲取的信息通過融合算法，根據(jù)設定好的融合策略，做出最后的決策，確定目標的存在。

融合主要體現(xiàn)在決策層，也就是目標的位置預測估計。無線傳感器和攝像頭通過各自的定位模型得到目標的位置特征決策向量，運用無線定位算法和粒子濾波算法，解決傳統(tǒng)粒子濾波的移動目標檢測問題和攝像頭的盲區(qū)，能夠減少目標檢測的虛警，提高了邊界區(qū)域的定位跟蹤精度。

2.2 系統(tǒng)構(gòu)成

實驗系統(tǒng)中利用數(shù)字攝像頭采集監(jiān)控區(qū)域的視頻圖像信息；通過無線傳感器(如基站、無線接入點AP)采用定位算法獲取電子信號的定位信息；視頻存儲服務器是以H.264編碼標準存儲視頻數(shù)據(jù)；在數(shù)據(jù)處理服務器中將定位信息與視頻信息融合處理，數(shù)據(jù)關聯(lián)匹配及相應的圖像處理；在人機交互部分，實現(xiàn)了綜合應用業(yè)務的操作界面和監(jiān)控圖像顯示。實驗系統(tǒng)構(gòu)成,如圖3所示。

圖3 系統(tǒng)構(gòu)成示意圖

3 關鍵技術

3.1 視頻信息與地理信息的匹配技術

視頻監(jiān)控與地理信息的匹配，是將視頻攝像頭定位信息與視頻影像集成，為視頻監(jiān)控提供空間位置與視頻影像相融合的超媒體信息。該技術的基本思想是將地理位置、視頻時間或幀之間建立映射關系，使得視頻影像數(shù)據(jù)能夠在地理信息系統(tǒng)(GIS)中以數(shù)據(jù)接口方式呈現(xiàn)在地圖上，實現(xiàn)攝像頭地理位置查找、影像播放同步顯示和交互操作[7]。將視頻監(jiān)控系統(tǒng)與地理信息系統(tǒng)結(jié)合，既可以發(fā)揮視頻監(jiān)控系統(tǒng)實時圖像可視化的優(yōu)勢，又可以充分發(fā)揮GIS管理空間數(shù)據(jù)的特點，讓管理人員能夠全面地了解監(jiān)控對象的空間分布狀況，使圖像管理與數(shù)據(jù)管理融為一體。

視頻監(jiān)控與地理信息的匹配實驗效果演示,如圖4所示。圖(a)是將城市地圖或監(jiān)控區(qū)域地圖加載到系統(tǒng)中，監(jiān)控攝像頭分布標繪在地圖上，紅色標識即表示附近的監(jiān)控區(qū)域；圖(b)表示某一熱點區(qū)域的三維模型，并顯示了攝像頭所在位置與實際環(huán)境之間關系；圖(c)是在三維模型中直接獲取攝像頭的圖像信息，實時查看該區(qū)域的視頻圖像。

圖4 視頻信息與地理信息的匹配演示圖

視頻監(jiān)控與地理信息的匹配實現(xiàn)了對目標位置從宏觀地圖到微觀實景圖像的識別與跟蹤，通過坐標匹配，將目標定位信息實時顯示在二維地圖上，形成目標航跡，時刻掌握目標定位信息；直接獲取區(qū)域攝像頭圖像，能夠從圖像細節(jié)上獲得目標圖像信息，實現(xiàn)位置與視頻的數(shù)據(jù)關聯(lián)。

3.2 無線定位信息獲取技術

隨著現(xiàn)代通信技術的快速發(fā)展，許多服務和應用需要知道移動終端的準確位置，移動終端定位成為國內(nèi)外研究的熱點課題。無線傳感器定位技術和方法比較相似，是通過檢測位于已知位置的無線傳感器(基站) 和標簽(移動設備)之間無線電傳播的特征參數(shù)實現(xiàn)，根據(jù)多個基站接收到移動設備的信號對移動設備的距離和方向做出估計。

利用AP對手機WIFI無線信號的強弱變化進行位置的確定[8]，這種方式獲取目標的精確度較高。其定位方法主要分成兩類：三角形算法和位置指紋識別算法。三角形算法利用待測目標到至少三個已知參考點之間的距離信息估計目標位置，而位置指紋識別則通過比較定位所需的信號特征指紋信息獲取目標位置。本文采用位置指紋識別算法：

(1)訓練階段，其目標在于建立一個位置指紋識別數(shù)據(jù)庫。首先，選擇合理的參考點分布，確保能為定位階段的準確位置估計提供足夠的信息。接著依次在各個參考點上測量來自不同AP的接收信號強度(RSS)值，將相應的MAC地址與參考點的定位信息記錄在數(shù)據(jù)庫中，直至遍歷關注區(qū)域內(nèi)所有的參考點。由于受環(huán)境影響，無線信號強度并不穩(wěn)定，為了克服RSS不穩(wěn)定對定位的影響，通常在每個參考點上多次測量取平均。

(2)定位階段，給定數(shù)據(jù)庫后，依據(jù)一定的匹配算法將待測點上接收的RSS值與數(shù)據(jù)庫中的已有數(shù)據(jù)進行比較，計算位置估計值。常用的匹配算法有K-近鄰(KNN)算法、神經(jīng)網(wǎng)絡算法等，本文采用簡單的NN算法。假定待測點接收的RSS觀測值為s=[ss1,ss2,…ssn]，數(shù)據(jù)庫中的已有記錄為Si=[SS1,SS2,…SSNi,]，其中n代表待測點上檢測到的不同AP數(shù)；i∈[1,NT]，NT為數(shù)據(jù)庫中的記錄數(shù)；Ni代表第i條記錄中存儲的不同AP數(shù)，則NN算法可以表示成下述形式

L=argmini∈[1,NT]]||s-Si||

式中，||s-Si||代表s和Si之間的歐式距離。

3.3 視頻目標跟蹤技術

視頻中目標跟蹤的主要任務是在連續(xù)的圖像幀中，檢測出運動目標并對其進行定位，從而確定其完整的運動軌跡。目標定位跟蹤的技術研究有多種方法，如Jorge[9]等人提出了基于區(qū)域的跟蹤方法，計算確定的目標區(qū)域與候選區(qū)域的相似性度量，進而尋找相似性度量最大的位置；Kass等人提出了Snake的主動輪廓模型，后來提出改進算法，用來檢測目標的邊緣和跟蹤運動目標[10]。Paragios和Deriche[11]將短程線的活動輪廓和水平集理論相結(jié)合，實現(xiàn)了視頻中多個目標的跟蹤。岑峰等[12]將運動邊緣信息結(jié)合到短程線主動輪廓模型中，實現(xiàn)了復雜環(huán)境下非剛性運動目標的跟蹤；在系統(tǒng)是線性的、噪聲是高斯噪聲的條件下，卡爾曼濾波能給出解析的結(jié)果[13]。隨著計算機計算能力的快速提高及并行處理的出現(xiàn)，基于蒙特卡羅[14]方法的粒子濾波理論受到了廣泛的關注。

序貫重要采樣法是一種通過蒙特卡羅模擬實現(xiàn)遞推貝葉斯濾波器的技術。它的核心思想是利用一系列隨機樣本的加權(quán)和表示所需的后驗概率密度，得到狀態(tài)的估計值，這些樣本即稱為“粒子”。當樣本點數(shù)增至無窮大，粒子的概率密度函數(shù)逐漸逼近狀態(tài)的概率密度函數(shù)，粒子濾波估計即達到了最優(yōu)貝葉斯估計的效果。

(1)

(2)

重要密度可以分解為

(3)

后驗概率密度可表示為

(4)

將式(3)、(4)代入式(2)，可以得到權(quán)值更新公式

(5)

隨著測量值的依次到來迭代求得相應的權(quán)值，最終以其加權(quán)和表征后驗概率密度,得到狀態(tài)的估計值。

運動目標跟蹤流程圖,如圖5所示。

圖5 運動目標檢測跟蹤流程

首先使用基于自適應混合高斯模型的幀間差方法提取運動區(qū)域，檢測運動目標的存在，采用粒子濾波實現(xiàn)目標的運動估計，由預測位置確定初始的候選區(qū)域。然后根據(jù)先驗信息來初始化例子的狀態(tài)分布，根據(jù)系統(tǒng)采用的動態(tài)模型進行采樣。在得到時刻t的觀測情況下，確定似然函數(shù)來估計重要性權(quán)值。最后輸出狀態(tài)的估計，并估計有效粒子數(shù)目N，如果N小于閾值，則轉(zhuǎn)到重采樣，轉(zhuǎn)到粒子更新，否則結(jié)束估計過程。

3.4 視頻信息和定位信息的融合算法

為了能夠?qū)⑶懊嫜芯康臒o線定位、與視頻跟蹤的優(yōu)勢結(jié)合到一起，使視頻監(jiān)控達到預期的效果，本文提出了基于位置特征的特征級融合算法。

綜合考慮兩種融合定位模式。第一是目標從無線傳感器定位區(qū)域進入視頻定位區(qū)域；第二是目標從視頻定位區(qū)域進入無線傳感器定位區(qū)域。在攝像頭覆蓋的區(qū)域，系統(tǒng)優(yōu)先選擇視頻跟蹤模型，在攝像頭無法覆蓋的區(qū)域，選擇無線定位跟蹤模型，并將跟蹤到的結(jié)果顯示在視頻GIS中，可以明確、清晰地顯示在GIS中，解決了無線定位不能可視化、視頻盲區(qū)無法顯示的問題。

以第一種為例，即目標從無線傳感器定位區(qū)域進入視頻定位區(qū)域的算法流程，如圖6所示。

圖6 融合定位算法流程

(1)通過無線傳感器檢測到目標電子信號，并采用前面提到的無線定位算法對目標進行定位。(2)將電子定位信息形成的軌跡作為輸入，將其特征與視頻目標特征提取的位置軌跡特征進行匹配。(3)如果匹配成功，表示已經(jīng)確定目標，用粒子濾波算法對目標跟蹤。如果視頻中沒有目標，說明目標進入無線傳感器定位區(qū)域，但未進入攝像頭可視區(qū)域，流程回到無線定位，繼續(xù)檢測目標的位置軌跡信息。

4 實驗結(jié)果分析

實驗選取一個20 m×16 m面積的房間，并部署三個WIFI信號接收點，二個攝像頭，對隨機行走的目標進行軌跡跟蹤，跟蹤軌跡如圖7所示。

圖7 定位軌跡效果圖

通過無線定位模型和視頻定位模型的計算，可得到目標的運動軌跡，經(jīng)過定位數(shù)據(jù)匹配和軌跡關聯(lián)后，得到融合后的軌跡，如圖7中黑色軌跡曲線。通過對比可以看到，經(jīng)過本文融合算法后計算的軌跡比單獨利用無線定位和視頻定位的軌跡更接近于實際軌跡，驗證了本文算法的優(yōu)越性與可靠性。

在一段實驗視頻中，被監(jiān)控目標攜帶手機在視頻監(jiān)控范圍內(nèi)自由移動，手機開通WIFI連接。無線傳感器作為AP置于攝像頭周圍，用來獲取目標手機的WIFI信號，并計算出相對位置信息，找到含有監(jiān)控目標電子信息對應的視頻，實現(xiàn)目標視頻跟蹤，實驗結(jié)果如圖8所示。

圖8 實驗效果圖

圖8(a)是在實驗視頻中的第一幀，圖8(b)、(c)分別是第2秒和第4秒時刻截取的視頻圖像。從監(jiān)控實驗結(jié)果可以看到，結(jié)合無線傳感器和攝像頭，兩者可在精度和目標檢測可靠性上相互補償，監(jiān)控目標能夠在系統(tǒng)中準確的被識別與跟蹤，證實了所提到的技術方法的可行性。

5 結(jié) 語

主要研究了基于視頻信息和定位信息的融合技術，即電子定位信息與視頻圖像信息融合在一個系統(tǒng)中，實現(xiàn)“雷達”跟蹤、識別、定位，從而提高定位跟蹤的準確性，減輕處理大量數(shù)據(jù)的負擔。融合多種傳感器提供的有用信息，提高識別的精度和穩(wěn)定性。經(jīng)過實驗的測試，結(jié)果證實了所提到的理論和相關算法的可行性和有效性。

視頻信息和定位信息的融合技術可以廣泛地應用在軍事、民用領域，應用前景廣闊。軍用上，視頻信息和定位信息的融合技術可以應用在邊防安全、戰(zhàn)略和戰(zhàn)術監(jiān)視系統(tǒng)，進行目標跟蹤、目標識別、態(tài)勢評估和威脅估計等功能，能夠保障軍事上對敵方或潛在威脅的有效監(jiān)控；在武警、公安應用方面，利用智能監(jiān)控代替哨兵，能較好地承擔警戒任務。在民用領域上，視頻信息和定位信息的融合技術將在智慧城市和物聯(lián)網(wǎng)的應用中發(fā)揮巨大作用:(1)犯罪監(jiān)控、公共場所安全保障；(2)機器人視覺上的應用，能夠提高機器人的識別效率，大大提高機器人的智能化；(3)在老人院或精神病院等對特殊人員的監(jiān)控，保障其活動范圍。對社會的發(fā)展、安全和安定具有重要的實用價值。

這是一個全新且很有發(fā)展前景的研究課題，目前還只是剛剛起步，仍存在海量分布視頻信息提取、定位精度不高等諸多問題急需解決，因此迫切需要開展廣泛深入的基礎理論和技術的研究工作。展望未來，我們將繼續(xù)研究如何經(jīng)濟地部署攝像頭及無線傳感器，覆蓋某個區(qū)域以滿足特定的參數(shù)。此外，也將繼續(xù)研究視頻監(jiān)控網(wǎng)絡，對視頻信息和定位信息的融合原型系統(tǒng)的綜合評估。相信隨著技術的進步，“視頻雷達”將發(fā)揮巨大的效益。

[1] MAO G,FIDAN B,ANDERSON B.Wireless Sensor Network Localization Techniques[J].Computer Networks,2007,51(10):2 529-2 553.

[2] WANG J,GHOSH R,DAS S.A Survey on Sensor Localization[J].Journal of Control Theory and Applications,2010,8(1):2-11.

[3] YILMA A,JAVED Z O,SHAH M.Object Tracking:A Survey[J].ACM Comput.Surv.2006,38(4):13.

[4] NI L M,DIAN Z,SOURYAL M R.RFID-based Localization and Tracking Technologies[J].IEEE Wireless Communications,2011,18(2):45-51.

[5] 韓崇昭，朱洪艷，段戰(zhàn)勝，等.多源信息融合[M].北京：清華大學出版社，2006.

[6] ZHU J,TENG J,XUAN D,et al.Effective Visual Tracking with Electronic Localization by Directional Antennas[C]//IEEE NAECON,2011.

[7] 孔云峰.一個公路視頻GIS的設計與實現(xiàn)[J].公路，2007(1)：118-121.

[8] 王靜，張會清.基于信號強度的室內(nèi)定位技術的研究[J].計算機測量與應用，2009 .17 (12)：2500-2504.

[9] JORGE BADENAS,BOBER M,PLA F.Motion and Intensity Based Segmentation and its Application to Traffic Monitoring[C]//In Proceeding,International Conference on Image Analysis and Proeessings,1997:502-509.

[10] DENZLER J,NIEMANN H.Combination of Simple Vision Models for Robust Real-Time Motion Tracking[J].European Trans Tele commun.1995,6(3):275-286.

[11] PARAGIOS N,DERICHE R.Geodesic Active Contours and Level Sets for the Detection and Tacking of Moving Objects[J].IEEE Trans Patten Analysis and Machine Intelligence,2000,22(3):266-280.

[12] 岑峰，戚飛虎.短程線主動輪廓跟蹤算法的研究[J].計算機研究與發(fā)展，2003，40(2):283-288.

[13] WELCH G,BISHOP G.An Introduction to the Kalman Filter[R].University of North Carolina at Chapel Hill:Technical Report,2004.

[14] DOUCET A,GODSILL S,ANDRIEU C.On Sequential Monte Carlo Sampling Methods for Bayesian Filtering[J].Statistics and Computing,2000,10(3):197-208.