張紀(jì)寬, 彭 力, 陳志勇

(江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇 無錫 214122)

動(dòng)態(tài)復(fù)雜背景下的智能視頻監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

張紀(jì)寬, 彭 力, 陳志勇

(江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇 無錫 214122)

采用二重對(duì)稱幀間差分目標(biāo)檢測(cè)算法和基于壓縮感知的目標(biāo)跟蹤算法，設(shè)計(jì)并實(shí)現(xiàn)了一種可適應(yīng)動(dòng)態(tài)復(fù)雜背景下的智能視頻監(jiān)控系統(tǒng)；基于目標(biāo)檢測(cè)該系統(tǒng)能提取本地視頻文件中局部運(yùn)動(dòng)目標(biāo)并進(jìn)行視頻壓縮，減少回放、查看視頻時(shí)間，可實(shí)時(shí)播放并處理本地或網(wǎng)絡(luò)攝像頭數(shù)據(jù)，也可根據(jù)光照變化動(dòng)態(tài)調(diào)整二值化閥值，實(shí)現(xiàn)實(shí)時(shí)區(qū)域入侵檢測(cè)與報(bào)警；基于目標(biāo)跟蹤本系統(tǒng)能在動(dòng)態(tài)背景下對(duì)選定目標(biāo)進(jìn)行跟蹤,可通過客戶端手動(dòng)控制監(jiān)控云臺(tái)跟蹤，也可對(duì)入侵目標(biāo)實(shí)現(xiàn)云臺(tái)自主大角度追蹤；實(shí)驗(yàn)表明，此系統(tǒng)能在日常復(fù)雜環(huán)境下對(duì)運(yùn)動(dòng)目標(biāo)準(zhǔn)確檢測(cè)和大角度跟蹤，在智能家居和移動(dòng)安防領(lǐng)域有很好的實(shí)用性。

目標(biāo)檢測(cè); 壓縮感知; 自主跟蹤; 復(fù)雜背景; 智能監(jiān)控; 監(jiān)控云臺(tái)

0 引言

傳統(tǒng)視頻監(jiān)控僅采集、顯示、存儲(chǔ)和回放等簡單的功能，僅僅記錄發(fā)生的事情，很難起到預(yù)防和報(bào)警的作用。隨著視頻監(jiān)控應(yīng)用日益廣泛，智慧城市和公共安全需求的日益增長，監(jiān)控視頻數(shù)據(jù)已成為大數(shù)據(jù)時(shí)代的重要數(shù)據(jù)對(duì)象，采用人工監(jiān)看視頻方式已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足需求[1-3]。由此智能視頻監(jiān)控成為如今研究熱點(diǎn)，文獻(xiàn)[1-2]概括提出了當(dāng)今智能監(jiān)控系統(tǒng)發(fā)展的趨勢(shì)，大規(guī)模的應(yīng)用尚處于積累階段，智能視頻監(jiān)控系統(tǒng)的需求將日益迫切。文獻(xiàn)[4]用三幀差分法實(shí)現(xiàn)了運(yùn)動(dòng)目標(biāo)的跟蹤監(jiān)控，為系統(tǒng)的實(shí)際應(yīng)用打下了基礎(chǔ)；文獻(xiàn)[5]提出了復(fù)雜背景下的目標(biāo)檢測(cè)與跟蹤，為智能視頻監(jiān)控系統(tǒng)打下了理論基礎(chǔ)；文獻(xiàn)[6]實(shí)現(xiàn)了視頻網(wǎng)絡(luò)傳輸，但未對(duì)視頻進(jìn)行智能處理。因此，文中是在文獻(xiàn)[6]嵌入式前端無線視頻傳輸服務(wù)器基礎(chǔ)上,在PC端構(gòu)建智能視頻分析客戶端；優(yōu)化文獻(xiàn)[7]中二重對(duì)稱邊緣幀差算法完成運(yùn)動(dòng)目標(biāo)檢測(cè)，實(shí)現(xiàn)區(qū)域入侵報(bào)警和本地視頻特征提取與視頻壓縮；采用簡單高效的基于壓縮感知的跟蹤算法[8-11]，增強(qiáng)其在復(fù)雜動(dòng)態(tài)背景下的性能，實(shí)現(xiàn)攝像頭快速連續(xù)大角度自動(dòng)跟蹤進(jìn)入特定區(qū)域的目標(biāo)。完成在日常生活中動(dòng)態(tài)復(fù)雜背景下的智能視頻監(jiān)控。

1 系統(tǒng)設(shè)計(jì)及工作原理

文中設(shè)計(jì)的智能監(jiān)控系統(tǒng)由嵌入式前端服務(wù)器[6]和智能視頻分析客戶端兩部分組成。前端服務(wù)器采用TMS320DM365多媒體處理器，構(gòu)建流媒體服務(wù)器，完成視頻采集，H.264編碼，RTSP網(wǎng)絡(luò)傳輸，實(shí)時(shí)接收客戶端控制命令并對(duì)監(jiān)控云臺(tái)進(jìn)行全方位控制?？蛻舳诉\(yùn)行在windows平臺(tái)上，采用MFC編程，實(shí)現(xiàn)實(shí)時(shí)視頻流接收，本地視頻壓縮，運(yùn)動(dòng)目標(biāo)檢測(cè)與報(bào)警，監(jiān)控云臺(tái)手動(dòng)、自主跟蹤。系統(tǒng)整體結(jié)構(gòu)圖如圖1所示。

圖1 系統(tǒng)整體結(jié)構(gòu)圖

系統(tǒng)工作原理：系統(tǒng)上電后，前端服務(wù)器初始化硬件設(shè)備，打開攝像機(jī)，歸位云臺(tái)并構(gòu)建RTSP服務(wù)器等待客戶端連接。客戶端可通過輸入RTSP網(wǎng)絡(luò)地址連接到服務(wù)器，實(shí)時(shí)接收視頻數(shù)據(jù)，通過列表框中選擇的智能算法來對(duì)視頻進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)或跟蹤處理，可通過點(diǎn)擊云臺(tái)控制按鈕，手動(dòng)向前端服務(wù)器發(fā)送云臺(tái)控制命令，也可選擇自主跟蹤，攝像機(jī)便自主跟蹤入侵區(qū)域的運(yùn)動(dòng)目標(biāo)。前端服務(wù)器通過USART協(xié)議控制監(jiān)控云臺(tái)轉(zhuǎn)動(dòng)，通過無線WiFi連入網(wǎng)絡(luò)與客戶端通信。

2 智能算法

智能算法的系統(tǒng)實(shí)現(xiàn)必須滿足算法簡單高效計(jì)算量低的特點(diǎn)。針對(duì)動(dòng)態(tài)復(fù)雜背景時(shí)光照等條件易發(fā)生突變從而導(dǎo)致目標(biāo)檢測(cè)精度低，背景誤判為運(yùn)動(dòng)目標(biāo)的概率大這一難題，文中系統(tǒng)利用幀間差分法的簡單、快速、易實(shí)現(xiàn)[2]等優(yōu)點(diǎn)，采用二重對(duì)稱邊緣幀差法實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)；目標(biāo)跟蹤部分采用簡單高效的壓縮感知跟蹤算法，完成對(duì)目標(biāo)的精確跟蹤。

2.1 運(yùn)動(dòng)目標(biāo)檢測(cè)算法

采用二重對(duì)稱邊緣幀間差分算法實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)，首先根據(jù)幀間灰度直方圖的巴氏距離判斷是否產(chǎn)生光線突變，若發(fā)生突變，重新建立幀差組合，保證突變瞬間不影響檢測(cè)結(jié)果，自主調(diào)整二值化閥值，自適應(yīng)光照變化后的背景。算法流程圖如圖2所示。

圖2 二重對(duì)稱幀間差分流程圖

二重對(duì)稱幀間差分步驟如下：

2)進(jìn)行五幀邊緣差分并二值化處理:

(1)

二值化自適應(yīng)閥值借鑒文獻(xiàn)[7]中的OUT法，增加一個(gè)光照變化量ΔT，變?yōu)閯?dòng)態(tài)閥值:

T′=TH+ΔT

(2)

其中:θ為系數(shù)，參考值為0.1，S為一幀圖像像素個(gè)數(shù)。無光照突變時(shí)ΔT趨近0，閥值不變；當(dāng)產(chǎn)生光照突變時(shí)，ΔT增大，閥值對(duì)應(yīng)增大，從而抑制復(fù)雜動(dòng)態(tài)背景時(shí)因光照突變帶來的二值化影響。

3)對(duì)差分結(jié)果進(jìn)行運(yùn)算處理，如公式(3)，得到完整邊緣圖像f″n。

(3)

4)進(jìn)行形態(tài)學(xué)處理，得到運(yùn)動(dòng)目標(biāo)D。

檢測(cè)光照突變方法：根據(jù)光照突變時(shí)直方圖灰度級(jí)像素個(gè)數(shù)相應(yīng)的發(fā)生突變，因此，可通過巴氏系數(shù)d來衡量相鄰幀灰度直方圖的相似性，從而判斷是否發(fā)生光照突變，如公式(4)：

(4)

其中:H為圖像的直方圖，圖像相似度越高，d越大，接近1，反之越小，接近0，通過實(shí)驗(yàn)，設(shè)置為0.7時(shí)可很好的判定是否發(fā)生光照突變。

2.2 目標(biāo)跟蹤算法

文中系統(tǒng)使用基于壓縮感知的目標(biāo)跟蹤算法，分為特征提取、特征向量分類、分類器更新三部分。其中特征提取選用壓縮感知提取，分類使用的樸素貝葉斯分類器，更新通過對(duì)每一幀圖像的在線學(xué)習(xí)，從而實(shí)現(xiàn)目標(biāo)跟蹤的全過程。算法流程圖如圖3所示。

第t 幀時(shí)，對(duì)此幀圖像提取采樣獲得若干圖像片，其中目標(biāo)的樣片作為正樣本，背景的為負(fù)樣本，經(jīng)過多尺度變換得到正負(fù)樣本的多尺度圖像特征，利用稀疏測(cè)量矩陣對(duì)其進(jìn)行降維得到各自的壓縮向量，最后通過各自的壓縮向量訓(xùn)練樸素貝葉斯分類器。第t+1 幀時(shí)，在第t 幀跟蹤目標(biāo)周圍采樣若干個(gè)窗口，進(jìn)行多尺度變換、降維、提取特征和分類，降維和分類時(shí)分別采用跟第t 幀相同的測(cè)量矩陣和分類器，最終的跟蹤窗口便是分類中分?jǐn)?shù)最大的窗口，從而完成了第t 幀到第t+1 幀的跟蹤。

圖3 目標(biāo)跟蹤算法流程圖

算法實(shí)現(xiàn)步驟如下：

1)輸入：分別輸入視頻序列v ，和正、負(fù)樣本的采樣半徑α和β。

2)提取樣片：以第t-1 幀的目標(biāo)窗口中心o為圓心，分別在以α為半徑的圓形區(qū)域和以β為外半徑α為內(nèi)半徑的圓環(huán)區(qū)域采集正、負(fù)樣本。

3)多尺度變換：用公式(5)所示濾波器對(duì)圖像某特定位置進(jìn)行灰度卷積，其中i、j 分別是矩形濾波器的寬和高。

(5)

(6)

5)隨機(jī)投影降維：如公式7，一個(gè)m 維的圖像空間x 可以被一個(gè)n×m的稀疏矩陣變換成n 維，變換過程如圖4所示，R中灰白黑三種顏色分別代表矩陣中的正數(shù)、零、負(fù)數(shù)，帶箭頭的藍(lán)色曲線表示用R 矩陣中的非零元素感知x 圖像空間中的元素。

(7)

圖4 隨機(jī)投影降維圖解

6)分類器構(gòu)建：對(duì)每個(gè)樣本z∈Rw×h，低維表示是v=(v1,...,vn)T∈Rn，構(gòu)建樸素貝葉斯分類器：

(8)

其中樣本標(biāo)簽為y∈{0,1}，0代表負(fù)樣本，1代表正樣本，假設(shè)特征中每個(gè)元素是獨(dú)立的，因此可通過公式8來建模。假定p(vi|y=1)和p(vi|y=0)也服從高斯分布，則有：

(9)

(10)

3 監(jiān)控系統(tǒng)軟件設(shè)計(jì)

前端服務(wù)器參考文獻(xiàn)[6]，文中主要工作是客戶端軟件設(shè)計(jì)，實(shí)時(shí)接收服務(wù)器端視頻信息并進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)、跟蹤，本地視頻壓縮處理，云臺(tái)控制及云臺(tái)自動(dòng)跟蹤。在PC端MFC平臺(tái)上運(yùn)用C++多線程編程，采用live555流媒體庫獲取視頻流，F(xiàn)FMPEG解碼庫實(shí)現(xiàn)實(shí)時(shí)H.264視頻流解碼，Opencv實(shí)現(xiàn)目標(biāo)檢測(cè)和視頻壓縮，單獨(dú)的線程實(shí)現(xiàn)目標(biāo)跟蹤，最后主線程變?yōu)榭刂凭€程?？蛻舳斯δ苣K圖和各線程協(xié)同工作流程圖分別如圖5和圖6所示。

圖5 客戶端功能模塊圖

圖6 線程工作流程圖

動(dòng)態(tài)背景控制策略：文中系統(tǒng)可在動(dòng)態(tài)背景下實(shí)現(xiàn)目標(biāo)檢測(cè)與跟蹤，通過線程互斥機(jī)制使視頻處理線程和云臺(tái)控制線程互斥運(yùn)行，有效解決幀差法無法適應(yīng)動(dòng)態(tài)背景的問題和云臺(tái)轉(zhuǎn)動(dòng)產(chǎn)生圖像漂移對(duì)壓縮感知的影響。線程互斥流程圖如圖7所示。

圖7 線程互斥運(yùn)行流程圖

在進(jìn)行視頻處理前，需要先訪問信號(hào)量，通過P操作申請(qǐng)信號(hào)量，若此時(shí)信號(hào)量為0則線程阻塞，說明此時(shí)云臺(tái)正在轉(zhuǎn)動(dòng)，等待云臺(tái)控制線程的V操作釋放信號(hào)量；若信號(hào)量為1，P操作先將信號(hào)量置0后再進(jìn)行視頻處理操作。

4 監(jiān)控系統(tǒng)測(cè)試

文中實(shí)現(xiàn)的智能監(jiān)控系統(tǒng)客戶端運(yùn)行在Intel(R)Pentium(R)CPU主頻3.00GHz的PC機(jī)上，采用C++語言在VS2010上進(jìn)行開發(fā)，系統(tǒng)用戶界面及區(qū)域入侵和云臺(tái)自主跟蹤效果如圖8所示。上面三幅是區(qū)域入侵效果圖，下面三幅是云臺(tái)自主跟蹤效果圖。

圖8 智能監(jiān)控效果圖

運(yùn)動(dòng)目標(biāo)檢測(cè)算法的測(cè)試采用自采視頻，分別利用傳統(tǒng)幀間差分和高斯背景差分法與本文實(shí)現(xiàn)算法對(duì)有光照突變的視頻進(jìn)行測(cè)試,如圖9。a1代表光照突變前一幀，可見在無光照突變時(shí)本文使用算法b1可以完整檢測(cè)出目標(biāo)輪廓，傳統(tǒng)三幀差分c1則檢測(cè)不夠連續(xù)，傳統(tǒng)高斯背景建模法d1則檢測(cè)結(jié)果比較充實(shí)。在發(fā)生光照突變后，c2和d2則無法檢測(cè)目標(biāo)，由于本文使用算法在光照突變時(shí)重構(gòu)幀差組合且動(dòng)態(tài)調(diào)整二值化閥值，從而仍能清晰檢測(cè)出目標(biāo)輪廓。

圖9 光照突變時(shí)目標(biāo)檢測(cè)結(jié)果

目標(biāo)跟蹤采用三組標(biāo)準(zhǔn)視頻Occludedface2、Davidindoor、Tiger1將本文實(shí)現(xiàn)算法與TLD[12]和MIL[13]算法進(jìn)行對(duì)比,如圖10。

圖10 目標(biāo)跟蹤結(jié)果比較

表1 跟蹤成功率(%)

表2 平均處理速度(幀/秒)對(duì)比

由以上比較結(jié)果，Davidindoor視頻序列，TLD算法表現(xiàn)最好，略好于本文使用算法；occludedface2序列，TLD算法出現(xiàn)丟失目標(biāo)現(xiàn)象嚴(yán)重，本文使用算法跟蹤效果最好，MIL算法次之；Tiger2序列目標(biāo)不明顯且變換復(fù)雜，文中使用算法依然保持最好的跟蹤成功率。從處理速度上，文中使用算法明顯高效于其他算法。因此文中算法高效，實(shí)時(shí)，符合系統(tǒng)實(shí)現(xiàn)要求。

5 結(jié)束語

設(shè)計(jì)并實(shí)現(xiàn)了一套適應(yīng)動(dòng)態(tài)復(fù)雜背景的智能視頻監(jiān)控系統(tǒng)。該系統(tǒng)能播放處理本地視頻，對(duì)視頻文件進(jìn)行區(qū)域壓縮，接收并處理網(wǎng)絡(luò)實(shí)時(shí)視頻流，實(shí)現(xiàn)實(shí)時(shí)區(qū)域目標(biāo)檢測(cè)和對(duì)選定目標(biāo)進(jìn)行跟蹤，可手動(dòng)控制監(jiān)控云臺(tái)實(shí)現(xiàn)大角度跟蹤，也可對(duì)入侵目標(biāo)進(jìn)行云臺(tái)自主跟蹤。與文獻(xiàn)[6]結(jié)合組成完整的監(jiān)控系統(tǒng)前后端，適用于眾多監(jiān)控領(lǐng)域。

[1] 黃凱奇,陳曉棠,康運(yùn)鋒,等.智能視頻監(jiān)控技術(shù)綜述[J].計(jì)算機(jī)學(xué)報(bào),2015,38(6):1093-1118.

[2] 黃鐵軍,鄭 錦,李波等.多媒體技術(shù)研究:2013——面向智能視頻監(jiān)控的視覺感知與處理[J].中國圖象圖形學(xué)報(bào).2014,19(11):1539-1562.

[3] 管菊花,郭 波.基于DaVinci技術(shù)的嵌入式智能監(jiān)控系統(tǒng)[J].計(jì)算機(jī)測(cè)量與控制.2014,22(9):2754-2757.

[4] 謝永昌,許少凡,狄紅衛(wèi).基于DM642的運(yùn)動(dòng)目標(biāo)實(shí)時(shí)跟蹤監(jiān)控系統(tǒng)的設(shè)計(jì)[J].光學(xué)技術(shù),2010,36(3):469-473.

[5] 李勁菊,朱 青,王耀南.一種復(fù)雜背景下運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤方法[J].儀器儀表學(xué)報(bào),2010,31(10)：2242-2247.

[6] 張紀(jì)寬,彭 力,陳志勇.基于嵌入式前端服務(wù)器的音視頻監(jiān)控系統(tǒng)設(shè)計(jì)[J].江南大學(xué)學(xué)報(bào)(自然科學(xué)版)，2015,14(1):38-42.

[7] 王麗梅.基于DM642的智能視頻監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京工業(yè)大學(xué),2013.

[8]ZhangK,ZhangL,YangMH.Real-timecompressivetracking[A].ComputerVision-EVCC2012[C].BerlinHeidelberg:Springer, 2012, 7574:864-877.

[9]WuY,JiaN,SunJ.Real-timemulti-scaletrackingbasedoncompressivesensing[J].TheVisualComputer, 2014, 31(4): 471-484.

[10]ZhuQ,YanJ,DengD.Compressivetrackingviaoversaturatedsub-regionclassifiers[J].ComputerVision,IET, 2013, 7(6): 448-455.

[11]JingJ,XuG,LeiB,etal.Usingappearancere-matchingtoimprovereal-timecompressivetracking[A].ProceedingsoftheFifthInternationalConferenceonInternetMultimediaComputingandService[C].ACM, 2013: 28-33.

[12]KalalZ,MikolajczykK,MatasJ,Tracking-learning-detection[J].PatternAnalysisandMachineIntelligence,IEEETransactionson, 2012, 34(7):1409-1422.

[13]BabenkoB,YangMH,BelongieS.Visualtrackingwithonlinemultipleinstancelearning[C]ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition.WashingtonDC:IEEE, 2009: 983-990.

Design and Realization of Intelligent Video-surveillance System in Dynamic Complex Background

Zhang Jikuan, Peng Li, Chen Zhiyong

(Engineering College of Internet of Things,Jiangnan University,Wuxi 214122,China)

In this paper, an intelligent video surveillance system is designed and implemented in dynamic complex background based on the target detection algorithm of double symmetrical frame difference and the target tracking method based on compressive sensing. This system, based on target detection, has functions such as local moving objects extracted from local video file and compression to reduce playback time, local or network camera data real-time playing and processing, real-time area intrusion detection and alarm according to the change of illumination to dynamically adjust the binarization threshold. This system, based on target tracking, also has functions such as tracking the selected target in dynamic background, controlling monitoring PTZ through the client manually, tracking the invasion target independently with large angle,. The results showed that the system can accurately detect and track moving target in daily complex environment, have great practical needs in smart home and mobile security field.

target detection; compressive sensing; active tracking; complex background; intelligent video surveillance; monitoring PTZ

2015-12-28；

2016-02-24。

江蘇省產(chǎn)學(xué)研聯(lián)合創(chuàng)新資金--前瞻性聯(lián)合研究項(xiàng)目(BY2014023-25)。

張紀(jì)寬 (1990-),男,碩士研究生，主要從事網(wǎng)絡(luò)視頻傳輸方向的研究。

彭 力(1967-),男,博士,教授，主要從事視覺傳感器網(wǎng)絡(luò)、人工智能、計(jì)算機(jī)仿真方向的研究。

1671-4598(2016)07-0100-05

10.16526/j.cnki.11-4762/tp.2016.07.027

TP3 文獻(xiàn)標(biāo)識(shí)碼：A