舒 君，呂 順，李 飛，何小海

（四川大學(xué) 電子信息學(xué)院，四川 成都 610064）

隨著社會(huì)的發(fā)展，在一些重要的地區(qū)和區(qū)域（如軍事邊界、銀行金庫(kù)、自然保護(hù)景區(qū)等），為了防止非法人員的入侵或者其他外來(lái)破壞，通常在外圍設(shè)置一些屏障和阻擋物并配備人員進(jìn)行巡邏或者安裝周界探測(cè)報(bào)警系統(tǒng)。目前，國(guó)內(nèi)周界探測(cè)報(bào)警系統(tǒng)主要有兩類(lèi)：一類(lèi)是以微波、紅外和激光燈為代表的對(duì)射面或?qū)ι渚€(xiàn)的報(bào)警系統(tǒng)；另一類(lèi)是以振動(dòng)光纖、傳感電纜、高壓脈沖電網(wǎng)和泄露電纜等其他各種線(xiàn)纜式傳感器為代表的報(bào)警系統(tǒng)。這些方法不僅耗費(fèi)人力和財(cái)力，而且檢測(cè)效率不高，容易出現(xiàn)失誤，因此難以適應(yīng)現(xiàn)代安防需求。隨著視頻采集和視頻信息處理在日常生活、軍事、醫(yī)療和安防等許多領(lǐng)域的廣泛應(yīng)用，利用視頻監(jiān)控周界報(bào)警逐漸的成為了一個(gè)新的趨勢(shì)。

本文以TI公司DM648為核心構(gòu)架硬件平臺(tái)，設(shè)計(jì)實(shí)現(xiàn)了基于DM648的圍界實(shí)時(shí)越界監(jiān)測(cè)系統(tǒng)，通過(guò)提取以圍界為核心的感興趣區(qū)域ROI（Region of Interest），實(shí)時(shí)檢測(cè)二值化后ROI中亮度值突變及白點(diǎn)的連通區(qū)域面積，實(shí)現(xiàn)區(qū)域越界報(bào)警。

1 硬件平臺(tái)介紹

DM648是TI公司生產(chǎn)的達(dá)芬奇系列多媒體數(shù)字信號(hào)處理器，其主頻最高可達(dá)1.1 GHz，可同時(shí)處理8條指令，處理速度最快為8 800 MIPS。它的一級(jí)緩存包含32 KB的數(shù)據(jù)緩存（L1D）和 32 KB程序緩存（L1P），一級(jí)數(shù)據(jù)緩存和數(shù)據(jù)緩存共用一個(gè)512 KB大小的二級(jí)緩存。它內(nèi)部集成了5個(gè)視頻輸入輸出端口（VP0～VP4），理論上可以同時(shí)采集8路視頻。外圍配以視頻解碼芯片TVP5154、編碼芯片THS8200和SAA7105構(gòu)成典型的嵌入式圖像采集顯示系統(tǒng)，同時(shí)外部存儲(chǔ)器總線(xiàn)接口（EMIF）上擴(kuò)展了 256 MB的 DDR2和 64 MB Flash。

通過(guò)模擬攝像頭采集的視頻信號(hào)經(jīng)TVP5154芯片解碼后轉(zhuǎn)為YUV格式的數(shù)字視頻數(shù)據(jù)送入DM648的VP0口，然后通過(guò)EDMA3（EnhancedDirectMemory Access3）將視頻數(shù)據(jù)搬運(yùn)到 DDR2中進(jìn)行處理，將處理好的視頻數(shù)據(jù)送入VP1口，由THS8200接收數(shù)據(jù)并傳給SAA7105芯片編碼為標(biāo)清模擬信號(hào)后輸出到監(jiān)視器顯示。

DM648圖像處理平臺(tái)硬件系統(tǒng)框架如圖1所示。

圖1 硬件系統(tǒng)框架圖

2 越界檢測(cè)算法設(shè)計(jì)與實(shí)現(xiàn)

為了能檢測(cè)是否有目標(biāo)越界，就需要提取目標(biāo)。常用的運(yùn)動(dòng)目標(biāo)檢測(cè)的方法主要有光流法、相鄰幀差法和背景差分法。光流法支持?jǐn)z像頭移動(dòng)，能夠很好地檢測(cè)運(yùn)動(dòng)目標(biāo)的完整信息，但是其計(jì)算量非常大且計(jì)算復(fù)雜，目前難以在嵌入式平臺(tái)上實(shí)現(xiàn)實(shí)時(shí)處理。相鄰幀差法則算法簡(jiǎn)單、速度快，滿(mǎn)足實(shí)時(shí)性要求，但是穩(wěn)定性差，檢測(cè)目標(biāo)不準(zhǔn)確，容易出現(xiàn)空洞現(xiàn)象。背景差分法相對(duì)光流法運(yùn)算量小，相對(duì)相鄰幀差法可靠性高，只要建立可靠的背景，就能夠提取出準(zhǔn)確的目標(biāo)。因此，本文選擇背景差分法進(jìn)行運(yùn)動(dòng)目標(biāo)的檢測(cè)。

背景差分法的核心是背景模型的建立。常見(jiàn)的背景建模方法有中值背景建模、單高斯背景建模、混合高斯背景建模和碼書(shū)背景建模等。中值背景建模和單高斯背景建模算法簡(jiǎn)單，但對(duì)環(huán)境適應(yīng)能力差，如光照變化、樹(shù)葉搖擺會(huì)造成提取的背景噪聲比較大，檢測(cè)準(zhǔn)確率低；混合高斯背景建模算法精度高，算法的運(yùn)算量大，背景更新慢，很難在本文所用的嵌入式平臺(tái)上做到實(shí)時(shí)處理；碼書(shū)背景建模算法簡(jiǎn)單易于實(shí)現(xiàn)，更新速度快，檢測(cè)效果好，因此本文選擇碼書(shū)背景建模。

為了實(shí)現(xiàn)實(shí)時(shí)越界檢測(cè)，需要解決以下3個(gè)問(wèn)題。（1）如何構(gòu)建 ROI，并對(duì)其進(jìn)行處理以減少運(yùn)算量；（2）如何改進(jìn)簡(jiǎn)化碼書(shū)背景建模以進(jìn)一步減少計(jì)算量達(dá)到實(shí)時(shí)檢測(cè)；（3）如何檢測(cè)物體目標(biāo)越界，提高檢測(cè)準(zhǔn)確率并對(duì)物體越界進(jìn)行警示。本文的算法最后在DM648圖像處理硬件平臺(tái)上得以實(shí)現(xiàn)，該越界檢測(cè)系統(tǒng)的核心算法流程圖如圖2所示。

圖2 核心算法流程圖

2.1 ROI構(gòu)建與處理

在越界檢測(cè)系統(tǒng)中，ROI圖像的信息只集中在需要進(jìn)行檢測(cè)的ROI中，去除冗余數(shù)據(jù)，提取出ROI以提高圖像處理速度和準(zhǔn)確度。只對(duì)ROI進(jìn)行檢測(cè)將會(huì)大大減少計(jì)算量。

首先對(duì)要處理的視頻信息設(shè)置圍界，如圖3所示，用白色線(xiàn)條表示設(shè)定的界線(xiàn)，通過(guò)白色線(xiàn)條的邊界點(diǎn)確定黑色的區(qū)域?yàn)镽OI。

圖3 ROI區(qū)域圖

設(shè)定界線(xiàn)后，選取邊界點(diǎn){B（x，y）}里面坐標(biāo)值x的最大值xmax和最小值xmin及y的最大值ymax和最小值ymin構(gòu)建矩形區(qū)域左上方點(diǎn)（xmin，ymin）和右下方點(diǎn)構(gòu)建矩形（xmax，ymax）。 為了減少在硬件上的計(jì)算量，突顯實(shí)時(shí)性，對(duì)ROI區(qū)域繼續(xù)作下采樣處理。

采用YUV顏色模型，使用水平和垂直兩種分塊方法對(duì)這兩個(gè)方向上的亮度信息特征作處理，可以得到亮度值在這兩種分塊模型中分割區(qū)域的平均分布，如圖4所示。

圖4 兩種分塊模型

最后，選取LUMRA最大的N/2個(gè)區(qū)域作為判斷亮度值突變及白點(diǎn)的連通區(qū)域面積的區(qū)域。

2.2 ROI碼書(shū)背景模型建立

在ROI建立之后，由于需要檢測(cè)的物體只與圍界的范圍相關(guān)，本文通過(guò)構(gòu)建ROI模板來(lái)分別提取背景區(qū)域和要處理的視頻區(qū)域，以減少背景建模和背景更新時(shí)的計(jì)算量。

碼書(shū)背景建模對(duì)RGB空間的視頻序列具有較好的檢測(cè)效果，但有一些不足之處：視頻采集設(shè)備（如網(wǎng)絡(luò)攝像機(jī)、DV等）采集的視頻序列大多是YUV格式的，如果按照原碼書(shū)算法思想[4]，則需要進(jìn)行從YUV空間到RGB空間的轉(zhuǎn)換，該轉(zhuǎn)換運(yùn)算為浮點(diǎn)型運(yùn)算，運(yùn)算量大，而且DM648是一個(gè)定點(diǎn)數(shù)字處理器，不適合作浮點(diǎn)運(yùn)算。本文越界檢測(cè)只需對(duì)亮度信號(hào)進(jìn)行處理，YUV相比RGB色度空間更有優(yōu)勢(shì)。因此，對(duì)原碼書(shū)算法進(jìn)行改進(jìn)，直接在YUV空間Y通道上進(jìn)行碼書(shū)背景建模，不僅省去了大量的浮點(diǎn)型運(yùn)算，而且省去了計(jì)算色度失真度對(duì)碼字的匹配，只是在Y通道上進(jìn)行像素值匹配。改進(jìn)后的碼書(shū)背景建模非常適合在嵌入式平臺(tái)上進(jìn)行實(shí)時(shí)處理。

改進(jìn)后的碼書(shū)建模模型是以一個(gè)長(zhǎng)度為N的圖像序列{X1，X2，X3，…，XN}，對(duì)碼書(shū)模型進(jìn)行訓(xùn)練，一幅圖像的碼書(shū)表示為長(zhǎng)L的碼字序列{C1，C2，…，CN}，根據(jù)像素值的變化程度，其碼書(shū)長(zhǎng)度或長(zhǎng)或短。在基于YUV色度空間的碼書(shū)模型中，一個(gè)碼字由一個(gè)均值亮度向量v=和一個(gè)六元組aux=＜Im，IM，f，λ，p，q＞構(gòu)成， 其中Im與IM分別表示像素在某個(gè)范圍內(nèi)的最小亮度與最大亮度，f表示該碼字在圖像序列訓(xùn)練過(guò)程中出現(xiàn)的次數(shù)，λ表示碼字最長(zhǎng)沒(méi)有出現(xiàn)的跨度，p與q分別表示碼字第一次出現(xiàn)與最后一次出現(xiàn)的幀數(shù)。

改進(jìn)后的碼書(shū)模型建模的基本流程如下。

（1）對(duì)每個(gè)像素的碼字長(zhǎng)度初始化為0，碼書(shū)長(zhǎng)度為L(zhǎng)。

（2）對(duì) 于圖 像 序 列{X1，X2，X3，…，XN}，像 素 亮 度值I=Y。

（3）對(duì)于第n幀圖像中的像素，若對(duì)應(yīng)碼字為空，則建立新碼字，以當(dāng)前像素值設(shè)定亮度向量和六元組，p=q=n，IM=Im=I，λ=0；若碼字不為空，則計(jì)算亮度向量與碼字亮度向量的亮度失真是否在一個(gè)閾值Th以?xún)?nèi)，同時(shí)比較亮度值是否在六元組Im和IM以?xún)?nèi)更新碼字。

（4）若滿(mǎn)足條件（3），則更新碼字：

（5）若不滿(mǎn)足條件（3），則 λ+1，其他值不變。

完成訓(xùn)練以后，對(duì)碼書(shū)中的碼字進(jìn)行整理，對(duì)于λ比較大的碼字予以去除，閾值Th需根據(jù)實(shí)際情況進(jìn)行調(diào)整。與混合高斯模型比，碼書(shū)模型由于其更新運(yùn)算比較簡(jiǎn)單，更為節(jié)省運(yùn)算量，因此非常適合運(yùn)算資源與存儲(chǔ)資源都比較有限的嵌入式平臺(tái)。

2.3 目標(biāo)提取

當(dāng)訓(xùn)練完成時(shí)，將得到RQI碼書(shū)背景模型，碼書(shū)下每個(gè)碼字都是一個(gè)像素亮度能量的集合，因此碼書(shū)背景不能單獨(dú)直接顯示在屏幕上。當(dāng)一段連續(xù)視頻的一幀被讀取以后，只需遍歷整個(gè)碼書(shū)來(lái)判斷輸入幀該點(diǎn)像素的亮度值I（x，y）是否存在于碼書(shū)的對(duì)應(yīng)碼字CB（x，y）中，若不存在，則將該點(diǎn)判斷為前景點(diǎn)。

采用 Ostu 最大類(lèi)間方差法[5]求取由Dt（x，y）組成的前景圖像最佳分割閾值T。最后采用式（6）分割，即可得到檢測(cè)目標(biāo)的二值圖像 （x，y）處的前景二值圖像值Gt（x，y）。

為了消除由背景差分和Ostu分割提取二值化前景圖像而帶來(lái)的噪聲，首先進(jìn)行均值濾波，再采用圖像形態(tài)學(xué)腐蝕、膨脹操作消除目標(biāo)圖像中的點(diǎn)噪聲。

本文采用該方法測(cè)試了兩種場(chǎng)景環(huán)境下的圖像，并與在混合高斯建模方法下提取的運(yùn)動(dòng)目標(biāo)效果圖進(jìn)行了比較，結(jié)果如圖5和圖6所示，兩種建模方法提取目標(biāo)所用的時(shí)間對(duì)比如表1所示。

圖5 采用兩種背景建模方法對(duì)圖像1提取目標(biāo)的效果圖

圖6 采用兩種背景建模方法對(duì)圖像2提取目標(biāo)的效果圖

表1 兩種建模方法提取目標(biāo)運(yùn)行時(shí)間對(duì)照表

從圖5、圖6和表1可以看出，使用本文簡(jiǎn)化改進(jìn)的碼書(shū)背景算法與混合高斯算法提取的目標(biāo)效果圖基本相同，差別不大，但是處理時(shí)間節(jié)省了11.12 ms。

2.4 越界檢測(cè)

為了檢測(cè)到是否有目標(biāo)闖入，本文對(duì)已經(jīng)檢測(cè)到的ROI進(jìn)行亮度檢測(cè)來(lái)初步確定目標(biāo)是否闖入。檢測(cè)的算式為：

其中，MY為檢測(cè)區(qū)域的亮度值，Mth為檢測(cè)區(qū)域門(mén)限值，當(dāng)MY＞Mth時(shí)，Mth可以根據(jù)不同的場(chǎng)景進(jìn)行更改。

若ROI的亮度發(fā)生突變，不一定是有目標(biāo)闖入，有可能是很多噪聲點(diǎn)或者其他原因引發(fā)檢測(cè)區(qū)域亮度突變。為提高檢測(cè)準(zhǔn)確度，需要進(jìn)一步對(duì)提取的目標(biāo)進(jìn)行連通區(qū)域面積的計(jì)算。本文采用相鄰點(diǎn)循環(huán)掃描的方法按照從上向下、從左至右的順序掃描ROI中的連通區(qū)域，步驟如下。

（1）提取 ROI二值化圖像，F(xiàn)lag=0，從上向下、從左至右開(kāi)始掃描。

（2）如遇到白點(diǎn)，相鄰點(diǎn)循環(huán)掃描直到找不到白點(diǎn)，統(tǒng)計(jì)白點(diǎn)數(shù)（連通區(qū)域面積）退出循環(huán)。

（3）如果連通區(qū)域面積大于設(shè)定閾值Num，則 Flag=1進(jìn)入步驟（4）；否則檢查掃描是否完畢，如果沒(méi)有則跳回步驟（2），完畢則退出掃描。

（4）Flag=1表示有目標(biāo)存在，報(bào)警后退出掃描。

3 實(shí)驗(yàn)結(jié)果及數(shù)據(jù)分析

使用 720×576的 AVI視頻作為本文所設(shè)計(jì)的系統(tǒng)的測(cè)試視頻，結(jié)果如表2和表3所示。由表2實(shí)驗(yàn)數(shù)據(jù)可知，當(dāng)對(duì) ROI進(jìn)行下采樣處理時(shí)能做到26 f/s，由此可見(jiàn)對(duì)ROI進(jìn)行下采樣在實(shí)際應(yīng)用中的意義之大。由表3可知，本文通過(guò)先做亮度突變檢測(cè)再進(jìn)行白點(diǎn)的連通區(qū)域面積檢測(cè)后的檢測(cè)精度能達(dá)到92.65%，實(shí)用性很強(qiáng)。

表2 實(shí)時(shí)性數(shù)據(jù)比較

表3 檢測(cè)正確率數(shù)據(jù)比較

本文越界檢測(cè)系統(tǒng)效果圖如圖7所示，在圖中黑色線(xiàn)條表示警戒線(xiàn)，當(dāng)有目標(biāo)經(jīng)過(guò)ROI時(shí)，系統(tǒng)會(huì)自動(dòng)用矩形框出目標(biāo)在ROI中的位置并發(fā)出警報(bào)。

圖7 直觀效果圖

本文設(shè)計(jì)了以TI公司DM648為核心的硬件圖像處理平臺(tái)，設(shè)計(jì)實(shí)現(xiàn)了目標(biāo)越界的實(shí)時(shí)監(jiān)測(cè)，通過(guò)提取以圍界為核心的ROI，實(shí)時(shí)檢測(cè)ROI中亮度值突變及白點(diǎn)的連通區(qū)域面積，實(shí)現(xiàn)越界報(bào)警。實(shí)驗(yàn)結(jié)果表明，本文所設(shè)計(jì)越界檢測(cè)系統(tǒng)實(shí)時(shí)性好，檢測(cè)精度高。但當(dāng)物體運(yùn)動(dòng)太快時(shí)候?qū)?huì)出現(xiàn)檢測(cè)不到的情況，需要進(jìn)行改進(jìn)。

[1]LOWE D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision， 2004，60（2）：91-110．

[2]齊美彬，楊?lèi)?ài)麗，蔣建國(guó)，等．一種基于改進(jìn)碼本的車(chē)輛檢測(cè)與跟蹤方法[J]．中 國(guó)圖象圖形 學(xué) 報(bào) ，2011，16（3）：406-412．

[3]郭志濤，劉玉菲，劉恩海，等．基于區(qū)域特征分析的層級(jí)有序碼書(shū)目標(biāo)檢測(cè)算法[J]．計(jì)算機(jī)應(yīng)用研究，2013，30（6）：1903-1906.

[4]KIM K， CHALIDABHONGSE T H， HARWOOD D， et al．Real-time foreground-background segmentationusing codebook model[J]．Real-Time Imaging，2005，11（3）：172-185．

[5]齊麗娜，張博，王戰(zhàn)凱.最大類(lèi)間方差法在圖像處理中的應(yīng)用[J].無(wú)線(xiàn)電工程，2006（7）：25-26.

[6]李峰，周荷琴．融合碼本和紋理的雙層視頻背景建模方法[J]．中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào)，2012，42（2）：99．105．