何英高，鄭學(xué)洪

（無錫工藝職業(yè)技術(shù)學(xué)院 江蘇無錫 214221）

智能視頻分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

何英高，鄭學(xué)洪

（無錫工藝職業(yè)技術(shù)學(xué)院 江蘇無錫 214221）

針對當(dāng)前嵌入式智能視頻分析系統(tǒng)圖像易抖動(dòng)、漏報(bào)和誤報(bào)率高、檢測規(guī)則少等現(xiàn)狀，提出了通過在視頻服務(wù)器端應(yīng)用視頻穩(wěn)定模塊、采用多高斯分布的算法和引入規(guī)則引擎等方法的嵌入式智能視頻分析系統(tǒng)設(shè)計(jì)方案。并通過交通流量檢測實(shí)踐結(jié)果驗(yàn)證該設(shè)計(jì)方案提高了視頻圖像防抖能力，降低了漏報(bào)和誤報(bào)率，方便用戶實(shí)現(xiàn)檢測規(guī)則的靈活設(shè)置。

嵌入式系統(tǒng)；智能視頻分析；視頻監(jiān)控

從上世紀(jì)90年代智能視頻分析技術(shù)誕生到現(xiàn)在，在近20年的時(shí)間里，智能視頻分析技術(shù)一直都在不斷的發(fā)展，隨著商業(yè)化的逐步應(yīng)用正日益受到人們的普遍重視[1-3]，并且成長為視頻監(jiān)控的關(guān)鍵部分和重要賣點(diǎn)。國內(nèi)的嵌入式智能視頻分析技術(shù)起步較晚，許多廠家通過購買ObjectVideo和ioimage等國外的技術(shù)授權(quán)快速地實(shí)現(xiàn)了智能視頻分析服務(wù)器量產(chǎn)上市。由于嵌入式智能視頻分析產(chǎn)品具備較少的后端硬件、更低的耗電以及更小的產(chǎn)品尺寸等優(yōu)點(diǎn)，使得整個(gè)智能監(jiān)控產(chǎn)品正在由基于PC的架構(gòu)轉(zhuǎn)向嵌入式架構(gòu)[4]。隨著移動(dòng)互聯(lián)網(wǎng)高速發(fā)展，基于B/S架構(gòu)的智能視頻分析產(chǎn)品已經(jīng)成為智能安防監(jiān)控產(chǎn)品主流。文中基于多高斯分布運(yùn)動(dòng)目標(biāo)檢測與跟蹤算法，提出了采用B/S軟件架構(gòu)、視頻穩(wěn)定模塊和引入檢測規(guī)則引擎等方法實(shí)現(xiàn)嵌入式智能視頻分析系統(tǒng)，提高了智能視頻分析系統(tǒng)防抖能力，降低漏報(bào)和誤報(bào)率，實(shí)現(xiàn)檢測規(guī)則靈活配置。

1　智能視頻分析系統(tǒng)硬件設(shè)計(jì)

目前智能視頻分析硬件多采用TI公司芯片[5-6]，本系統(tǒng)的硬件系統(tǒng)基于TI公司達(dá)芬奇（Davinci）芯片，總體設(shè)計(jì)框圖如圖1所示。硬件系統(tǒng)采用模塊化設(shè)計(jì)，系統(tǒng)由多個(gè)模塊組成，根據(jù)功能的不同主要有視頻輸入模塊、處理器模塊、視頻輸出模塊、報(bào)警外設(shè)模塊（音頻模塊和ATA硬盤模塊）、存儲模塊（NOR、NAND、SRAM等）、UART模塊 （RS232和RS485）、10／100M自適應(yīng)以太網(wǎng)物理層電路模塊和USB接口模塊等模塊組成。實(shí)時(shí)視頻圖像由圖像采集設(shè)備（CCD/CMOS）采集得到，采集的視頻信號經(jīng)過視頻解碼芯片轉(zhuǎn)換為數(shù)字視頻信號傳入DM6446的視頻處理前端 （VFPE），然后由VPSS處理后存入DDR2SDRAM，或者通過外部顯示設(shè)備輸出；DSP子系統(tǒng)從DDR2SDRAM中讀入視頻圖像數(shù)據(jù)，根據(jù)檢測規(guī)則調(diào)用相關(guān)應(yīng)用程序?qū)ζ溥M(jìn)行處理、分析判斷和入侵檢測，最后將檢測結(jié)果傳給ARM子系統(tǒng)，由ARM子系統(tǒng)來控制外圍接口輸出報(bào)警信息并將入侵視頻存儲到ATA硬盤模塊。

圖1　系統(tǒng)硬件結(jié)構(gòu)

2　智能視頻分析系統(tǒng)軟件設(shè)計(jì)

本項(xiàng)目所采用的智能視頻分析系統(tǒng)的原理如圖2。

圖2　智能視頻分析原理

2.1視頻穩(wěn)定模塊

視頻穩(wěn)定模塊是為了消除攝像機(jī)抖動(dòng)對跟蹤結(jié)果的影響，避免不必要的誤報(bào)。視頻穩(wěn)定是通過對背景特征的篩選和匹配，得出水平/垂直方向的位移，對視頻進(jìn)行實(shí)時(shí)的補(bǔ)償。

2.2背景提取

智能視頻分析運(yùn)動(dòng)目標(biāo)檢測主要算法有3種：幀間差分法、背景差分法和光流法[7-9]。背景提取是基于在一定時(shí)間t內(nèi)對固定像素的觀察得出的統(tǒng)計(jì)可能性（statistical likelihood），建立一個(gè)基于像素點(diǎn)的場景模型。我們采用的背景提取方法是基于Stauffer和Grimson的多高斯分布的方法（mixture of Gaussians，MOG）.背景提取算法分為兩個(gè)步驟：用當(dāng)前圖像和背景模型相結(jié)來得出圖像差異，以及用當(dāng)前圖像來更新背景模型，如圖3所示。

圖3　背景提取方法

背景模型的建立是基于多高斯分布的。傳統(tǒng)的方式是用多高斯分布 （每個(gè)高斯分布都有自己的均值μ和標(biāo)準(zhǔn)差σ）來對每個(gè)像素點(diǎn)的亮度進(jìn)行建模，因?yàn)槊總€(gè)獨(dú)立的像素點(diǎn)都有可能是動(dòng)態(tài)背景的一部分。例如交通燈里面閃爍的黃燈，相應(yīng)的像素會從黃色便成黑色，這種情況就不能用單一的高斯分布來建模，而只能用多高斯分布。

2.3圖像形態(tài)學(xué)操作

對于生成的圖像差異進(jìn)行二值化，就可以得到大概的圖像前景輪廓圖 （blobs）。但是我們還需要對這一輪廓圖進(jìn)行進(jìn)一步的“清理”，例如移除那些獨(dú)立的像素（噪聲），以及把那些臨近的像素連接起來。這些都可以通過圖像閉運(yùn)算操作來完成，閉運(yùn)算操作就是對圖像先膨脹后腐蝕。圖4給出了圖像形態(tài)學(xué)操作前后的例子：

2.4連通區(qū)域

連通區(qū)域是用來將所有相鄰的像素連接起來并標(biāo)記的算法。常用的有4方向連通（上下左右）見圖5和8方向連通（再加上4個(gè)對角）見圖6：

圖4　圖像形態(tài)學(xué)操作

圖5　4方向連通

圖6　8方向連通

所有連通的區(qū)域包括標(biāo)記，位址，大小等等，都會被傳給跟蹤算法做進(jìn)一步處理。

2.5多假設(shè)跟蹤算法

多假設(shè)跟蹤的算法的目的在于將t時(shí)刻的二值化前景和t-1時(shí)刻的二值化前景建立起對應(yīng)的關(guān)系。這是一個(gè)很基本的數(shù)據(jù)關(guān)聯(lián)問題，在這里我們將使用多種特征來建立這種對應(yīng)關(guān)系。

2.6目標(biāo)匹配

采用了以下幾種特征的組合作為匹配的標(biāo)準(zhǔn)：

blob的中心位置 （x，y）

blob的像素面積

blob所對應(yīng)像素（灰度）的歸一化直方圖（16 bins）

下面給出了blob和已跟蹤的物體 （tracker）之間的距離的公式：

在上式（1）中，最后一項(xiàng)其實(shí)就是計(jì)算了blob直方圖和tracker直方圖之間的Bhattacharyya距離。

根據(jù)上面的公式，我們可以計(jì)算出每個(gè)blob和tracker之間的距離，從而生成一個(gè)匹配矩陣。根據(jù)這個(gè)矩陣，會有4種可能的匹配結(jié)果：

blob找不到相匹配的tracker（新的tracker出現(xiàn)）

tracker找不到相匹配的blob（tracker消失或者被遮擋）

tracker找到一個(gè)相匹配的blob（tracker還存在或者不再被遮擋）

blob找到多個(gè)相匹配的tracker（假設(shè)多個(gè)tracker正處于合并中）

2.7三維校正

多假設(shè)跟蹤算法的輸出（大小，高度，速度等等）都是基于像素點(diǎn)的，不是現(xiàn)實(shí)的單位。通過設(shè)置攝像機(jī)的一些參數(shù)，如視角（field angle），傾斜角（tilt angle），像機(jī)高度等等，我們可以建立一個(gè)二維到三維的轉(zhuǎn)化關(guān)系，借此將跟蹤算法的輸出轉(zhuǎn)化成現(xiàn)實(shí)世界的單位。

2.8物體分類

我們這里采用了比較簡單直觀的物體分類。根據(jù)三維校正的輸出，我們可以得到物體在現(xiàn)實(shí)世界中大概的大小，高度，速度，長寬比等等。根據(jù)一些常識性的知識進(jìn)行簡單的分類，如汽車的面積都比人的面積大等等。

2.9規(guī)則判定引擎

規(guī)則判定引擎支持非常強(qiáng)大且靈活的規(guī)則判定，它既支持簡單的預(yù)設(shè)規(guī)則（存在/出現(xiàn)/消失/進(jìn)入/離開/徘徊/停留/方向/遺棄/尾隨/計(jì)數(shù)），又提供強(qiáng)大的自定義規(guī)則設(shè)置，用戶可以根據(jù)自己的需要進(jìn)行相關(guān)的規(guī)則設(shè)置。

2.10XML生成器

考慮到XML的普及性，XML生成器是用來將所有的智能視頻分析引擎的輸出轉(zhuǎn)化成XML格式并輸出的工具。

3　系統(tǒng)軟件設(shè)計(jì)與實(shí)現(xiàn)

系統(tǒng)采用window7操作系統(tǒng)搭建軟件平臺，嵌入式智能視頻分析系統(tǒng)內(nèi)核采用Linux2.6.18作為嵌入式Linux操作系統(tǒng)。Linux2.6采用可搶占內(nèi)核、更加有效的調(diào)度算法以及同步性的提高，同時(shí)添加了新的體系結(jié)構(gòu)和處理器類型，可以支持大容量內(nèi)存模型、微控制器，同時(shí)還改善了I/O子系統(tǒng)，增添更多的多媒體應(yīng)用功能。

3.1視頻采集軟件實(shí)現(xiàn)

由于Linux kernel中的V4L（video4linux）提供了支持影像設(shè)備的一組API，使得 Linux在智能視頻、TV、多媒體等產(chǎn)品上廣泛應(yīng)用，成為目前相當(dāng)熱門的研究領(lǐng)域。本實(shí)現(xiàn)方案中通過調(diào)度嵌入式Linux操作系統(tǒng)的V4L（video4linux）和影像設(shè)備驅(qū)動(dòng)程序來完成視頻捕獲，完成整個(gè)智能視頻分析系統(tǒng)的視頻采集第一步重要工作。具體過程：本系統(tǒng)采用內(nèi)置OV511芯片的攝像頭，Linux內(nèi)核中含有對OV511芯片的USB攝像頭的驅(qū)動(dòng)。驅(qū)動(dòng)加載過程如下：在kernel目錄中選擇Multimedia device下的Video for Linux，在usb support目錄下選擇support for usb和usb camera ov511 support，保存退出，新內(nèi)核加載到開發(fā)板上，啟動(dòng)板子后ov511.o就可以成功加載，在監(jiān)控端ARM的LCD上就可以看到攝像頭所采集到的圖像。

3.2智能視頻分析實(shí)現(xiàn)

智能視頻分析需要完成智能視頻分析、視頻編碼與發(fā)送兩個(gè)功能模塊。智能視頻分析模塊收到原始視頻后，先將多路行交叉模式輸出的復(fù)合視頻數(shù)據(jù)解復(fù)用，并對解復(fù)用后的單路視頻標(biāo)記通道ID，然后把空buffer返回給采集線程，再按照通道ID分別對采集到的視頻原始數(shù)據(jù)根據(jù)智能分析算法和規(guī)則進(jìn)行處理；視頻編碼與發(fā)送模塊將經(jīng)過智能分析處理后的視頻數(shù)據(jù)通過DSP進(jìn)行實(shí)時(shí)的H.264編碼，并生成NAUL數(shù)據(jù)，然后利用RTP流媒體實(shí)時(shí)傳輸協(xié)議封裝NAUL數(shù)據(jù)，建立傳輸鏈路，創(chuàng)建socket，把RTP數(shù)據(jù)包以組播方式發(fā)送到網(wǎng)絡(luò)當(dāng)中。為了能將采集到的視頻圖像傳輸?shù)交跒g覽器的客戶端并實(shí)時(shí)顯示，可以通過在目標(biāo)板系統(tǒng)中移植一個(gè)Web服務(wù)器來實(shí)現(xiàn)。

3.3客戶端監(jiān)控實(shí)現(xiàn)

B/S模式的視頻服務(wù)機(jī)制是隨著Internet技術(shù)的興起對C/S（Client/Server）服務(wù)機(jī)制的一種改進(jìn)，由于其先進(jìn)的開發(fā)技術(shù)，優(yōu)越的可管理性和可維護(hù)性以及簡單方便的應(yīng)用模式，已經(jīng)成為視頻監(jiān)控系統(tǒng)最流行的應(yīng)用方式。

為了方便基于瀏覽器模式瀏覽智能視頻，客戶端通過開發(fā)ActiveX控件實(shí)現(xiàn)視頻接收和解碼，在ActiveX控件中實(shí)現(xiàn)與Web服務(wù)器端的網(wǎng)絡(luò)通信顯示圖像等功能。由于ActiveX控件可以嵌入到網(wǎng)頁中所以就可以通過瀏覽器訪問基于Linux的Web服務(wù)器，用戶在瀏覽器端下載ActiveX控件，通過Web頁面輸入監(jiān)控方的IP地址可以查看監(jiān)控方的信息。智能監(jiān)控系統(tǒng)用于交通流量檢測效果如圖7所示。

圖7　交通流量檢測

4　結(jié)束語

文中介紹了以DM6446+Linux+WebServer體系架構(gòu)結(jié)合先進(jìn)智能分析算法開發(fā)了嵌入式智能監(jiān)控系統(tǒng)，降低了當(dāng)前智能視頻分析系統(tǒng)漏報(bào)和誤報(bào)率；由于采用IP接入方式，用戶利用現(xiàn)有網(wǎng)絡(luò)資源，通過瀏覽器下載ActiveX控件就可以實(shí)現(xiàn)客戶端規(guī)則配置，實(shí)時(shí)查看智能分析監(jiān)控視頻，具有很強(qiáng)的實(shí)用性和通用性，滿足了徘徊檢測、流量檢測等高難度、復(fù)雜環(huán)境下的視頻監(jiān)控要求，目前已經(jīng)實(shí)現(xiàn)試點(diǎn)推廣應(yīng)用。

[1]董宏輝，葛大偉，秦勇，等.基于智能視頻分析的鐵路入侵檢測技術(shù)研究[J].中國鐵道科學(xué)，2010，31（2）:121-124.

[2]曾令卉.城市視頻監(jiān)控系統(tǒng)解決方案[J].電視技術(shù)，2012，36 （5）:131-133．

[3]付蓉，嚴(yán)建亮.智能家居遠(yuǎn)程視頻監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2012，22（3）:137-140.

[4]趙瑤池，胡祝華，胡詩雨.嵌入式網(wǎng)絡(luò)智能視頻監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]．現(xiàn)代電子技術(shù)，2012，35（4）:68-70.

[5]陳先玉，帥建平.基于DM642平臺的智能視頻分析系統(tǒng)設(shè)計(jì).現(xiàn)代電子技術(shù)[J]，2013，36（23）:47-48.

[6]鄭靜，王新萍.基于TMS320DM6446的智能視頻分析系統(tǒng)設(shè)計(jì)[J].山西煤炭管理干部學(xué)院學(xué)報(bào)，2011，24（3）:100-103.

[7]李鵬飛，陳朝武，李曉峰.智能視頻算法評估綜述[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)報(bào)，2010，22（2）:352-360.

[8]朱映映，朱艷艷，梁葉，等.結(jié)合運(yùn)動(dòng)估計(jì)的自適應(yīng)運(yùn)動(dòng)目標(biāo)檢測改進(jìn)算法.小型微型計(jì)算機(jī)系統(tǒng) [J]，2014，35（1）: 129-132.

[9]譚筠梅，王履程，雷濤，等.城市軌道交通智能視頻分析關(guān)鍵技術(shù)綜述[J].計(jì)算機(jī)工程與應(yīng)用，2014，50（4）:1-6.

Design and implementation of embedded intelligent video analysis system

HE Ying-gao，ZHENG Xue-hong
（Wuxi Institute of Arts&Technology，Wuxi 214221，China）

In view of shortage of current embedded intelligent video image analysis system，such as image dithering，high rate of false alarm and missing alarm，little rules setting and so on，this paper designs a solution of embedded intelligent video analysis system，through application of video stability module，adoption of mixture of Gaussians and usage of rules engine in video server.Practice verifies this solution can improve capability of protection image dithering，reduce rate of false alarm and missing alarm and set rules flexibly for user through a traffic flow detection case.

embedded system；intelligent video analysis；video surveillance

TN919.85

A

1674－6236（2016）22-0036-03

2015-10-28稿件編號：201510205

國家自然科學(xué)基金項(xiàng)目（61271333）

何英高（1972—），男，湖南衡陽人，碩士，高級工程師。研究方向：智能視頻分析和智慧校園。