靳海偉, 彭力, 盧曉龍

(江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇無錫214122)

基于幀間差分和粗糙熵的運(yùn)動目標(biāo)檢測算法

靳海偉, 彭力*, 盧曉龍

(江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇無錫214122)

幀間差分法只把相鄰幀間存在較大差異的部分提取出來,檢測出的運(yùn)動目標(biāo)內(nèi)部往往存在“空隙”。利用粗糙熵可以精確地分割圖像區(qū)域。引入粗糙熵作為幀間差分法的補(bǔ)充,通過顏色灰度信息完成圖像形態(tài)學(xué)重構(gòu),并進(jìn)行形態(tài)學(xué)濾波和連通性檢測,由此克服了檢測出運(yùn)動目標(biāo)內(nèi)部的空洞現(xiàn)象,滿足實時性,檢測效果顯著提高。

幀間差分;空隙;目標(biāo)檢測;粗糙熵;形態(tài)學(xué)重構(gòu)

運(yùn)動目標(biāo)檢測技術(shù)是圖像視頻處理領(lǐng)域的研究熱點(diǎn)之一。目前運(yùn)動目標(biāo)檢測的基本方法有幀間差分法、背景差分法和光流法。幀間差分法具有程序簡單、運(yùn)行速度快的特點(diǎn)[1-2]。因為相鄰幀之間背景的變化較小,所以幀間差分法能夠較好地適應(yīng)各種場景。但是這種方法也有很明顯的缺點(diǎn)。該算法的基本思想是將相鄰兩幀存在較大差異的部分提取出來,所以檢測出的運(yùn)動目標(biāo)內(nèi)部往往存在大量“空隙”[3-4]。

文獻(xiàn)[5]提出基于五幀差分和背景差分的運(yùn)動目標(biāo)檢測算法,雖然可以完整地提取目標(biāo)輪廓,但沒有解決目標(biāo)內(nèi)部的空隙問題。文獻(xiàn)[6]提出的基于背景減法和時空熵的運(yùn)動目標(biāo)檢測新方法,可以完整地提取目標(biāo),但算法復(fù)雜度大。文獻(xiàn)[7]提出基于粒子粗糙熵的圖像分割算法,使用粗糙集理論、粗糙熵來對圖像中目標(biāo)和背景進(jìn)行正確分類[8],但其處理對象是單幀圖像,無法檢測出圖像序列(視頻)中的運(yùn)動目標(biāo)。

針對上述算法的缺點(diǎn),文中進(jìn)行了相應(yīng)改進(jìn): (1)通過三幀差分法將視頻中的運(yùn)動目標(biāo)進(jìn)行提取;(2)使用粗糙集理論上近似和下近似概念來描述圖像的目標(biāo)、背景和邊界區(qū)域。集的近似能力可以用粗糙熵來衡量,當(dāng)粗糙熵最大時,這時選擇的閾值可以對圖像中目標(biāo)和背景進(jìn)行正確分類;(3)引入形態(tài)學(xué)圖像重構(gòu),通過形態(tài)學(xué)運(yùn)算對兩幅圖像(掩模圖像和標(biāo)記圖像)進(jìn)行處理完成重構(gòu),可以提取出掩膜圖像中的感興趣區(qū)域(運(yùn)動目標(biāo))。

文中提出基于幀間差分和粗糙熵的運(yùn)動目標(biāo)檢測算法,將圖像時間和空間分割有機(jī)地結(jié)合起來,通過形態(tài)學(xué)運(yùn)算完成圖像重構(gòu)。經(jīng)過實驗,文中算法可以完整地提取運(yùn)動目標(biāo),克服空洞現(xiàn)象,滿足實時性并取得了顯著的檢測效果。

1 幀間差分法

對于圖像序列中相鄰的幀,在忽略了部分噪聲的前提下,產(chǎn)生變化的部分即為移動的物體,沒有變化的部分即為背景。通過對圖像序列相鄰幀之間進(jìn)行差分運(yùn)算可以獲取目標(biāo)的位置與形態(tài)信息。

幀間差分法的基本原理:在視頻圖像序列f1, f2,…,fn中,選取相鄰兩幀圖像fk(x,y)和fk-1(x, y),則它們的差分圖像Dk(x,y)為

其中(x,y)為圖像中像素點(diǎn)的坐標(biāo)。

選取一個合適的閾值T(取經(jīng)驗值或者采用相關(guān)算法獲得動態(tài)閾值),把差分圖像Dk(x,y)和閾值T進(jìn)行比較,從而提取運(yùn)動目標(biāo):

幀間差分法對連續(xù)兩幀圖像進(jìn)行差分運(yùn)算得到運(yùn)動目標(biāo),算法比較簡單且易于實現(xiàn),適應(yīng)能力較強(qiáng)。但是在物體快速運(yùn)動而造成背景大面積顯露的時候,容易在顯露區(qū)域產(chǎn)生誤檢,從而導(dǎo)致檢測到的前景出現(xiàn)“重影”現(xiàn)象。為了克服這個缺點(diǎn),對幀間差分法進(jìn)行改進(jìn),形成了三幀差分算法。

三幀差分法算法原理如圖1所示。

圖1 三幀差分法原理Fig.1 Schem atic of the three fram e differencem ethods

2 基于粗糙熵的圖像分割

近年來粗糙集理論在圖像處理中被廣泛應(yīng)用,運(yùn)用粗糙集理論中的相似關(guān)系來解決圖像中的分類問題,可以有效地消除噪聲。對圖像信息的相關(guān)性和不精確性,用粗糙熵概念對圖像直方圖顏色信息進(jìn)行分類,提高了分割的效率[7]。

2.1 粗糙集理論

給定一個有限的非空集合U稱為論域,R為一等價關(guān)系,則稱知識庫K=(U,R)為一個近似空間。若論域中存在子集X?U,根據(jù)關(guān)系R定義的基本集合Yi(i=1,2,…,n)來描述集合X,為了準(zhǔn)確地說明某些Yi在X中對象的隸屬度情況,這里考慮兩個子集:

分別稱它們?yōu)閄的R下近似和R上近似。

2.2 基于粗糙集理論的區(qū)域劃分

對于一幅灰度級為L的N×N個像素組成的二維圖像U,設(shè)像素X為U中的一個對象,稱知識庫(知識系統(tǒng))K=(U,R)為一個圖像近似空間。把原圖像分成Fi個互不重疊的小塊,Pi是分塊中Fi每個像素的灰度值。由粗糙集理論的上近似、下近似以及邊界域的概念來定義圖像中每一塊所包含目標(biāo)和背景像素的程度[8-9]。

目標(biāo)灰度的下近似:

目標(biāo)灰度的上近似:

背景灰度的下近似:

背景灰度的上近似:

目標(biāo)的邊界區(qū)域:

用R粗糙度來定義目標(biāo)和背景的不確定程度:

背景的邊界區(qū)域:

因為邊界即在目標(biāo)區(qū)域又在背景區(qū)域中,粗糙度越小,說明目標(biāo)和背景的邊界區(qū)域越小,兩者越接近重合。選擇合適的閾值T滿足粗糙度ROT,RBT同時達(dá)到最小,此時目標(biāo)和背景的邊界域QOT=QBT,兩者完全重合,即為圖像目標(biāo)和背景相交的邊界。

2.3 粗糙熵

對目標(biāo)和背景邊界域的確定,閾值T的選擇至關(guān)重要[10-13]。引入信息論中熵的概念來精確地計算閾值T。把目標(biāo)區(qū)域和背景區(qū)域看成兩個信源,由目標(biāo)和背景區(qū)域的粗糙度定義目標(biāo)區(qū)域粗糙熵為

背景區(qū)域粗糙熵為

根據(jù)熵的概念和性質(zhì),兩個獨(dú)立信源聯(lián)合熵等于它們各個熵之和,所以目標(biāo)和背景區(qū)域粗糙熵為

選擇閾值T的準(zhǔn)則是使它們的熵之和取最大,這就是所謂最大熵準(zhǔn)則下的最佳門限[7-9]。

2)擴(kuò)孔鉆頭的橫向不平衡系數(shù)對鉆頭擴(kuò)孔鉆進(jìn)的影響較大，通過自平衡原理設(shè)置切削齒將鉆頭的不平衡系數(shù)控制在0.05以內(nèi)，能提高鉆頭的穩(wěn)定性，減少鉆頭異常失效現(xiàn)象。

粗糙熵的最大值可以定義為

求解出最終的T*,此時所對應(yīng)的T值就是最佳分割閾值,對原圖像進(jìn)行二值化分割,得到明顯區(qū)分的目標(biāo)和背景的二值圖,如圖2所示。

圖2 粗糙熵圖像分割Fig.2 Rough entropy im age segmentation

3 形態(tài)學(xué)重構(gòu)

重構(gòu)是一種將兩幅圖像和一個結(jié)構(gòu)元素進(jìn)行形態(tài)學(xué)變換的過程。標(biāo)記圖像(marker)是變換的開始目標(biāo)點(diǎn),掩模圖像(mask)用來約束變換過程。結(jié)構(gòu)元素用來定義連續(xù)性,通常為一個三維單位矩陣。

如果g是掩模,f是標(biāo)記,定義從重構(gòu)g為Rg(f),下面是其迭代過程定義:

1)將m1初始化為標(biāo)記圖像f;

2)創(chuàng)建結(jié)構(gòu)元素:P=ones(3);

3)重復(fù)mk+1=(mk⊕P)∩g直到mk+1=mk。其中標(biāo)記f必須是g的一個子集,即f?g。圖3說明上述過程。

圖3 形態(tài)學(xué)重構(gòu)Fig.3 M orphology reconstruction

4 基于幀間差分和粗糙熵的運(yùn)動目標(biāo)檢測算法

三幀差分法能快速精確地檢測出運(yùn)動目標(biāo)的輪廓,但是其內(nèi)部存在很大的空洞,不能完整地提取出目標(biāo)信息。利用粗糙熵可以對圖像的目標(biāo)和背景區(qū)域進(jìn)行精確分類。三幀差分法基于時間域?qū)⑦\(yùn)動目標(biāo)從圖像序列中提取出來,利用粗糙熵將單幀圖像在空間上實現(xiàn)目標(biāo)和背景分割,通過時間域和空間域的有機(jī)結(jié)合來進(jìn)行形態(tài)學(xué)重構(gòu),可以完整地提取運(yùn)動目標(biāo)。為此,提出基于三幀差分法和粗糙熵的運(yùn)動目標(biāo)檢測算法。

算法具體步驟:

1)從視頻中提取連續(xù)三幀原始圖像,分別記為fk-1(x,y),fk(x,y),fk+1(x,y),對其進(jìn)行中值濾波(medfilt2)去噪、灰度化(rgb2gray)。

2)將提取出的三幀圖像中相鄰兩幀圖像利用公式(1)進(jìn)行差分運(yùn)算:

對差分結(jié)果Dk(x,y),Dk+1(x,y)進(jìn)行邏輯與操作,由三幀差分法得到初始運(yùn)動目標(biāo):

3)利用粗糙熵對中間幀fk(x,y)進(jìn)行圖像分割,得到分割后圖像Ek(x,y):

(2)統(tǒng)計圖像的灰度值,根據(jù)灰度值分布情況確定閾值范圍T∈[m,n]。

(3)將圖像分成Fi個互不重疊的小塊,確定每個小塊灰度的最大值Pi_min、最小值Pi_min。

(5)根據(jù)式(5),(6),(9)算出T所對應(yīng)的粗糙熵,重復(fù)(4),直到T=n。

(6)通過比較每一個T所對應(yīng)的粗糙熵大小,當(dāng)粗糙熵最大時,T為最佳閾值T*。

(7)對圖像fk(x,y)進(jìn)行分割,得到:

4)將步驟(2)得到的圖像Rk(x,y)經(jīng)過處理設(shè)為標(biāo)記圖像(marker),步驟(3)得到的圖像Ek(x,y)記為掩模(mask):

多次進(jìn)行代數(shù)邏輯運(yùn)算完成圖像重構(gòu),最終得到目標(biāo)圖像Qk(x,y)。

5)對(4)的結(jié)果進(jìn)行形態(tài)學(xué)濾波和連通性檢測,最終得到運(yùn)動目標(biāo)。

5 實驗結(jié)果及分析

為了測試文中所提出算法的有效性和魯棒性,對三段標(biāo)準(zhǔn)視頻highway,campus,vipman(http:// cvrr.ucsd.edu/aton/)分別進(jìn)行測試。實驗環(huán)境為CPU E5500/2.80 GHz、內(nèi)存為2 GB的PC機(jī),使用Matlab R2009a編程實現(xiàn)。將文中算法與三幀差分算法以及文獻(xiàn)[6]所提出的算法運(yùn)行結(jié)果進(jìn)行對比,結(jié)果如圖4～6所示,并采用文獻(xiàn)[14]提出的查全率和查準(zhǔn)率進(jìn)行度量:

其中:tp為檢測目標(biāo)正確像素個數(shù);fp為將背景錯誤檢測為目標(biāo)的像素個數(shù);fn為將運(yùn)動目標(biāo)錯誤檢測為背景的像素個數(shù)。表1給出了實驗結(jié)果。

圖4 H ighway場景的不同算法檢測結(jié)果Fig.4 Detected results of Highway on different algorithm s

圖5 Cam pus場景的不同算法檢測結(jié)果Fig.5 Detected results of Cam pus on different algorithm s

圖6 Vipm an場景的不同算法檢測結(jié)果Fig.6 Detected results of Vipman on different algorithm s

表1 不同算法運(yùn)行結(jié)果參數(shù)比較Fig.1 Com parison of the results and parameters of different algorithm s

為了檢驗算法的實時性,文中取測試視頻各80幀對三幀差分法、文獻(xiàn)[6]算法和文中算法的平均單幀處理時間(t/ms)進(jìn)行比較,如表2所示。

表2 單幀處理時間測試結(jié)果Tab.2 Test results of single frame processing time

從表1,2結(jié)果可以看出,Highway中汽車運(yùn)動較快,三幀差分法可以提取運(yùn)動汽車的大部分信息,而Campus中人走動較慢,Vipman中人物移動更加緩慢,提取的人物內(nèi)部信息較少?？傮w來說,三幀差分法可以提取運(yùn)動目標(biāo)輪廓,但其提取目標(biāo)信息有限,提取的目標(biāo)內(nèi)部存在空洞。

3種場景中文獻(xiàn)[6]算法可以較為全面地提取汽車和人物的信息,但效果不是最佳。利用粗糙熵可以對圖像進(jìn)行有效地分割,但其將圖像中亮度不同的部分分割為多個區(qū)域,除了運(yùn)動目標(biāo)本身外,部分背景也被分割顯示。

通過形態(tài)學(xué)重構(gòu),可以較完整地提取運(yùn)動目標(biāo),檢測效果顯著提高。在每幀圖像的處理時間上,三幀差分法速度很快。由于初始背景模型的建立和更新耗時較長,文獻(xiàn)[6]算法的實時性較差。文中算法處理時間介于三幀差分法和文獻(xiàn)[6]算法之間,以滿足實時性。

6 結(jié) 語

提出一種基于幀間差分和粗糙熵的運(yùn)動目標(biāo)檢測算法,將時間分割和空間分割有機(jī)地結(jié)合起來。該方法能有效地提取運(yùn)動目標(biāo),克服了提取目標(biāo)內(nèi)部的空洞現(xiàn)象和其他算法的復(fù)雜性。該算法相對于已有算法檢測效果更好,在實際工程中有一定的應(yīng)用價值。

[1]SHEN Hao,LI Shuxiao,ZHU Chengfei,et al.Moving object detection in aerial video based on spatiotemporal saliency[J]. Chinese Journal of Aeronautics,2003,26:1211-1217.

[2]丁瑩,李文輝,范靜濤,等.基于Choquet模糊積分的運(yùn)動目標(biāo)檢測算法[J].電子學(xué)報,2010,38(2):263-268.

DING Ying,LIWenhui,FAN Jingtao,et al.A moving object detection algorithm base on choquet integrate[J].Acta Electronica Sinica,2010,38(2):263-268.(in Chinese)

[3]WANG Kongqiao,XU Lei,FANG Yikai,et al.One-against-all frame differences based hand detection for human and mobile interaction[J].Neurocomputing,2013,120(11):185-191.

[4]Lipton A J,Fujiyoshi H,Patil R S.Moving target classification and tracking from real-time video[BE/OL].[2012-09-19](2014-07-15)./http://www.doc88.com/p-696925666738.html

[5]郝毫剛,陳家琪.基于五幀差分和背景差分的運(yùn)動目標(biāo)檢測算法[J].計算機(jī)工程,2012,38(4):146-148.

HAO Haogang,CHEN Jiaqi.Moving object detection algorithm based on five frame difference and background difference[J]. Computer Engineering,2012,38(4):146-148.(in Chinese)

[6]常曉峰,馮曉毅.基于背景減法和時空熵的運(yùn)動目標(biāo)檢測新方法[J].計算機(jī)仿真,2008,25(3):235-238.

CHANG Xiaofeng,FENG Xiaoyi.A newmethod ofmotion detection based on background subtraction and spatial temporal entropy [J].Computer Simulation,2008,25(3):235-238.(in Chinese)

[7]Debarati Chakraborty,Uma Shankar Sankar,Pal K.Granulation,rough entropy and spatiotemporalmoving object detection[J]. Applied Soft Computing,2003,13:4001-4009.

[8]Sankar K,Pal B,Uma Shankar.Pabitra MitraGranular computing,rough entropy and object extraction[J].Pattern Recognition Letters,2005,26:2509-2517.

[9]Rafael C Gonzalez,Richard E Woods,Steven L Eddins.Digital Image Processing Using MATLAB[M].2nd ed.Beijing: Publishing House of Electronics Industry,2005:252-284.

[10]Duncan E,Donohue,Giorgio A.Automated reconstruction of neuronal morphology:an overview[J].Brain Research Reviews, 2011,67(6):94-102.

[11]霍東海,楊丹,張小洪,等.一種基于主成分分析的Codebook背景建模算法[J].自動化學(xué)報,2012,38(4):591-600.

HUO Donghai,YANG Dan,ZHANG Xiaohong,et al.Principal component analysis based codebook background modeling algorithm[J].Acta Automatica Sinica,2012,38(4):591-600.(in Chinese)

[12]吳濤.圖像閾值化的自適應(yīng)粗糙熵方法[J].中國圖像圖形學(xué)報,2014,19(1):1-10.

WU Tao.Adaptive rough entropy method for image thresholding[J].Journal of Image and Graphics,2014,19(1):1-10.(in Chinese)

[13]YE Mingquan,WU Xindong,HU Xuegagn,et al.Anonymizing classification data using rough set theory[J].Knowledge-Based Systems,2013,43(5):82-94.

[14]Maddalena L,Petrosino A.A self-organizing approach to background subtraction for visual surveillance applications[J].IEEE Transactions on Image Processing,2008,17(7):1168-1177.

(責(zé)任編輯:楊 勇)

M oving Target Detection A lgorithm Based on Frame Difference and Rough Entropy

JIN Haiwei, PENG Li*, LU Xiaolong
(School of Internet of Things Engineering,Jiangnan University,Wuxi214122,China)

The frame differencemethod extracts the large different part of the adjacent images,but the extracted target exists“gap“.Rough entropy segments image region accurately.Introducing rough entropy as a supplement to the frame differencemethod,completing the imagemorphology reconstruction with color grayscale information,then processing the image through morphological filtering and connectivity detection,experiments show that the proposed algorithm overcomes internal cavity phenomenon and meets the real-time.Detection effect is significantly improved.

frame difference,gap,target detection,rough entropy,image reconstruction

TP 391.41

A

1671-7147(2015)01-0028-06

2014-09-02;

2014-10-20。

江蘇省產(chǎn)學(xué)研聯(lián)合創(chuàng)新項目(BY2014023-25)。

靳海偉(1988—),男,山西汾陽人,控制科學(xué)與工程專業(yè)碩士研究生。

*通信作者:彭 力(1967—),男,河北唐山人,教授,博士生導(dǎo)師。主要從事視覺物聯(lián)網(wǎng)等研究。

Email:pengli@jiangnan.edu.cn