劉天良,鄭海紅,羅圣美,梁瑋,鄧碩

(1.西安電子科技大學(xué)計算機(jī)學(xué)院,710071,西安;2.清華大學(xué)計算機(jī)學(xué)院,100084,北京;3.中興通訊股份有限公司,518057,廣東深圳)

?

改進(jìn)的混合動靜態(tài)背景的分割方法

劉天良1,鄭海紅1,羅圣美2,3,梁瑋1,鄧碩3

(1.西安電子科技大學(xué)計算機(jī)學(xué)院,710071,西安;2.清華大學(xué)計算機(jī)學(xué)院,100084,北京;3.中興通訊股份有限公司,518057,廣東深圳)

針對動靜態(tài)背景場景下背景分割虛警率高的問題,提出了一種基于塊直方圖特征的Zivkovic混合高斯模型改進(jìn)算法—BHZ-MoG。該算法設(shè)計了圖像的塊觀測向量,并根據(jù)塊觀測向量的統(tǒng)計規(guī)律將圖像塊分類為動態(tài)、半動態(tài)、靜態(tài)塊,由此給出了結(jié)合塊觀測向量與塊分類的塊直方圖特征提取算法,同時結(jié)合塊直方圖特征與Zivkovic混合高斯模型對不同類型的塊分別進(jìn)行背景分割與模型更新。實驗結(jié)果表明,相較于Zivkovic混合高斯模型,BHZ-MoG算法能夠在保證查全率不變的情況下,有效提高背景分割結(jié)果的查準(zhǔn)率;Zivkovic混合高斯模型及BHZ-MoG的最大F1分?jǐn)?shù)分別為0.758和0.790,說明了BHZ-MoG算法可以獲得較佳的前、背景分割效果。另外,BHZ-MoG算法還可有效降低Zivkovic混合高斯模型在動態(tài)背景下的虛警率。

背景分割;圖像塊分類;顏色直方圖特征;混合高斯模型

背景建模是解決許多機(jī)器視覺問題的基礎(chǔ)步驟,目前存在許多不同的靜態(tài)背景建模方法,例如混合高斯模型[1](mixture of Gaussians, MoG)、碼本[2]、ViBe[3]等,但對動態(tài)背景處理效果不佳。Zivkovic的混合高斯模型(Zivkovic-mixture of Gaussians, Z-MoG)[4]因能較好地分割靜態(tài)背景且不會產(chǎn)生“鬼影”而被廣泛使用,然而現(xiàn)實中混合高斯模型對于動態(tài)背景虛警率偏高。據(jù)此,許多文獻(xiàn)提出了針對動態(tài)背景的分割方法。文獻(xiàn)[5]將圖像劃分成塊,運用歸一化矢量距離來度量塊的相關(guān)性,從而實現(xiàn)動態(tài)場景的分割,但分割結(jié)果較粗糙。文獻(xiàn)[6]使用自回歸移動平均模型取得了較好的效果,但只針對高度規(guī)律的動態(tài)場景。文獻(xiàn)[7-8]將混合高斯模型擴(kuò)展到鄰域,并使用馬爾可夫隨機(jī)場進(jìn)行前、背景分割,但算法的時間復(fù)雜度急劇升高。文獻(xiàn)[9]對視頻幀進(jìn)行前后雙向分析,再利用馬爾可夫隨機(jī)場分配標(biāo)簽、通過高斯混合模型進(jìn)行背景建模,但需要一定延遲以獲得前向信息。與靜態(tài)背景建模方法相比,動態(tài)背景處理方法通常會降低靜態(tài)背景下前景分割的準(zhǔn)確率,特別是在混合動靜態(tài)背景的場景中。

為解決現(xiàn)有方法在混合動靜態(tài)背景中存在的問題,本文基于對背景中動靜態(tài)塊分類分治的思想,設(shè)計了基于塊內(nèi)隨機(jī)采樣的具有時域特性的塊觀測向量;根據(jù)塊觀測向量,推導(dǎo)出動態(tài)、半動態(tài)、靜態(tài)塊的分類規(guī)律,提出了分類標(biāo)準(zhǔn),并給出分類算法;給出了基于塊分類與塊直方圖特征相結(jié)合的混合高斯改進(jìn)算法(block histogram with Zivkovic-mixture of Gaussians, BHZ-MoG)。實驗表明,BHZ-MoG算法可以有效提高混合場景中背景分割的效果。

1 Zivkovic的混合高斯模型[4]

視頻I中包含背景GB和前景GF,x(i)表示第i幀的單像素HSV(hue,saturation,value)顏色空間三通道值。選擇某個時間長度T,若當(dāng)前幀的時間為t,則It={I(t),I(t-1),…,I(t-T)}為I的訓(xùn)練集,Xt={x(t),x(t-1),…,x(t-T)}為像素x的訓(xùn)練集。

用M(M≤4)個高斯分量模擬像素分布,則有

(1)

Z-MoG更新計算如下

(2)

(3)

(4)

(5)

(6)

(7)

(8)

2 改進(jìn)的混合高斯模型

Z-MoG分割靜態(tài)背景時效果較好,分割動態(tài)背景時虛警率較高;直方圖特征法分割靜態(tài)背景時準(zhǔn)確性較差,分割動態(tài)背景時虛警率低。因此,背景圖像需要進(jìn)行動、靜態(tài)塊分類,再按類別進(jìn)行分治,具體算法如下:①對動態(tài)、半動態(tài)塊,結(jié)合塊直方圖顏色特征與Z-MoG進(jìn)行背景分割;②對靜態(tài)塊,使用Z-MoG進(jìn)行背景分割。該算法由兩部分組成:①記錄塊的觀測向量,對塊進(jìn)行分類;②根據(jù)塊類型,利用觀測向量計算塊的直方圖特征,再結(jié)合Z-MoG得到背景,然后分別對顏色特征及Z-MoG進(jìn)行更新。算法流程如圖1所示。

圖1 BHZ-MoG背景分割算法流程圖

2.1 背景圖像的塊分類

(9)

式中:ζ1為閾值,取值為10～15。

1:動態(tài)塊;2:半動態(tài)塊 (a)背景 (b)背景塊劃分N1=10

(c)前景覆蓋背景(d)圖c塊的二值觀測向量分布圖2 背景分塊與觀測向量分布

已知動態(tài)背景不斷隨時間變化[6],即概率上滿足

(10)

(11)

i=0,1,…,T/2-1

(12)

由式(12)得

(13)

閾值ζ2不應(yīng)過小,否則會因噪聲產(chǎn)生誤判。當(dāng)動態(tài)背景所占塊的比例大于1/20時,即C>1/20可區(qū)別噪聲,由式(13)可得,h2=0.05。定義動態(tài)背景所占塊的比例大于等于3/4,即C≥3/4為動態(tài)塊,由式(11)、式(13)得h3=4。塊的分類結(jié)果見圖2b。

2.2 結(jié)合塊直方圖特征的分割算法BHZ-MoG

綜上所述,已知描述塊顏色特征的組號集合為H={hi,hj,…,hz},hi的組距為d、中點為ξi,ψi為塊的第i組的顏色,塊中像素x在時間T時的幀訓(xùn)練的混合模型個數(shù)為M(M≤4),BHZ-MoG背景分割算法為:x∈k,若塊k是動態(tài)或半動態(tài)塊,則x(t+1)∈[ψi-dM/8,ψi+dM/8],x(t+1)∈GB;否則,利用式(8)進(jìn)行判斷。

2.3 BHZ-MoG更新算法

H←H(t)+α(H(t+1)-H(t))

初始時,α是更新因子,代表顏色特征的可信度,當(dāng)hi的可信度大于0.9時,顏色特征可信。

3 實驗與分析

實驗的測試視頻序列為SABS-BASIC[11]、overpass[12]、fall[12]和water[6]。實驗在AMD4400+/2.31 GHz計算機(jī)上使用Matlab仿真。實驗中Z-MoG參數(shù)取自文獻(xiàn)[11],其中a=0.001 3,DMahalan=80,Rf=0.1,ct=0.01。本實驗選取參數(shù)T=800 幀,N1=10,N2=6,ζ1=15,HSV顏色空間直方圖分為512組。本實驗的對比算法為MoG、ViBe、G-MoG[7]、T2FMRF[8]及Z-MoG。

實驗從前景分割測評指標(biāo)與前景分割結(jié)果兩方面對BHZ-MoG及各對比算法進(jìn)行了比較。對視頻序列SABS-BASIC,使用查全率與查準(zhǔn)率映射關(guān)系及最大F1分?jǐn)?shù)[11]比較,實驗結(jié)果如圖3和表1所示。為減少算法在動態(tài)背景下的虛警數(shù),MoG、ViBe、G-MoG、T2FMRF均以犧牲前景查全率為代價。由圖3可知,當(dāng)查全率大于0.7時,上述算法的查準(zhǔn)率呈指數(shù)下降,而Z-MoG和BHZ-MoG可以在獲得高查全率(0.9)的基礎(chǔ)上,保持較高查準(zhǔn)率(大于0.7)。由于BHZ-MoG對背景中動、靜態(tài)塊分類分治,因此其在提高查準(zhǔn)率的同時,并未降低查全率,圖3中BHZ-MoG的查全率查準(zhǔn)率曲線位于Z-MoG之上即可驗證此結(jié)論。如文獻(xiàn)[11]所述,使用最大F1分?jǐn)?shù)可綜合評定算法前景分割效果。由表1可知,BHZ-MoG算法可以得到較好的前景分割效果。

圖3 各算法查全率查準(zhǔn)率映射圖

最大F1分?jǐn)?shù)MoGG?MoGViBeT2FMRFZ?MoGBHZ?MoG079907630761065507580790

各測試視頻序列的前景分割結(jié)果與算法運算速度比較如圖4和表2所示。由圖4可知,MoG、G-MoG、T2FMRF算法在降低了前景命中率的同時仍會產(chǎn)生較高虛警。原因是MoG高斯分量過少,G-MoG與T2FMRF算法利用馬爾可夫隨機(jī)場進(jìn)行前景平滑分割時降低了前景命中率,同時由于動態(tài)背景顏色特征豐富,因而虛警率較高。ViBe與Z-MoG算法通過增加背景分量雖然保證前景命中率,但虛警率也較高。BHZ-MoG由于利用動靜態(tài)塊分類,避免了前景命中率的下降,同時利用塊顏色直方圖特征,降低動態(tài)顏色特征豐富的影響。圖4顯示, BHZ-MoG 算法可在獲得較完整前景的基礎(chǔ)上,有效降低樹和水運動產(chǎn)生的虛警,因而驗證了算法的有效性。由于圖4a中動態(tài)背景較稀疏,圖4b、圖4c中動態(tài)背景存在大幅運動,因而BHZ-MoG算法分割前景仍會產(chǎn)生少量噪聲。圖4d的背景訓(xùn)練集僅173幀,當(dāng)訓(xùn)練集幀數(shù)較低時,觀測向量采樣點較少,因此不能很好表達(dá)動態(tài)背景顏色分布,只能減少部分前景噪聲。由表1可知,相較于MoG、G-MoG、ViBe與Z-MoG,BHZ-MoG并不會大幅增加處理時間,且處理速度遠(yuǎn)高于T2FMRF與G-MoG。原因在于T2FMRF與G-MoG利用時間復(fù)雜度極高的馬爾可夫隨機(jī)場逐像素分割前背景,而BHZ-MoG是結(jié)合塊直方圖特征計算前背景,并且每幀每塊只隨機(jī)采樣一個像素點進(jìn)行塊更新。

(a)SABS-BASIC (b)overpass

(c)fall (d)water

(e)GroundTruth

(f)MoG

(g)G-MoG

(h)ViBe

(i)T2FMRF

(j)Z-MoG

(k)BH-MoG

表2 各算法單幀處理時間比較

4 結(jié) 語

本文針對Z-MoG對混合動靜態(tài)背景虛警率高的問題,提出了利用觀測向量進(jìn)行塊分類,同時考慮了像素在動態(tài)、半動態(tài)塊上的聯(lián)系,由此提出了塊直方圖顏色特征與Z-MoG相結(jié)合的BHZ-MoG改進(jìn)算法,該算法可以使得分割背景的虛警率有效降低,前、背景分割質(zhì)量提高。

[1] STAUFFER C, GRIMSON W. Adaptive background mixture models for real-time tracking [C]∥Proceed-ings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ, USA: IEEE, 1999: 246-252.

[2] KIM K, CHALIDABHONGSE T H, HARWOOD D, et al. Real-time foreground background segmentation using codebook model [J]. Real-Time Imaging, 2005, 11: 172-185.

[3] BARNICH O, VAN DROOGENBROECK M. ViBe: a powerful random technique to estimate the background in video sequences [C]∥Proceedings of the IEEE Conference on Acoustics, Speech and Signal Processing. Piscataway, NJ, USA: IEEE, 2009: 945-948.

[4] ZIVKOVIC Z. Improved adaptive Gaussian mixture model for background subtraction [C]∥Proceeding of the 17th International Conference on Pattern Recognition. Piscataway, NJ, USA: IEEE, 2004: 28-31.

[5] MATSUYAMA T, OHYA T, HABE H. Background subtraction for non-stationary scene [C]∥Proceeding of the Asian Conference on Computer Vision. Berlin, Germany: Springer, 2000: 622-667.

[6] ZHONG J, SCLAROFF S. Segmenting foreground objects from a dynamic textured background via a robust Kalman filter [C]∥Proceedings of the 9th IEEE International Conference on Computer Vision. Piscataway, NJ, USA: IEEE, 2003: 44-50.

[7] DALLEY G, MIGDAL J, GRIMSON W. Background subtraction for temporally irregular dynamic textures [C]∥Proceedings of the IEEE Workshop on Applications of Computer Vision. Piscataway, NJ, USA: IEEE, 2008: 1-7.

[8] ZHAO Zhenjie, THIERRY B, ZHANG Xuebo, et al. A fuzzy background modeling approach for motion detection in dynamic backgrounds [C]∥Proceedings of the Multimedia and Signal Processing Communications in Computer and Information Science. Berlin, Germany: Springer, 2012: 175-178.

[9] SHIMADA A, NAGAHARA H, TANIGUCHI R. Background modeling based on bidirectional analysis [C]∥Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition. Piscataway, NJ, USA: IEEE, 2013: 1979-1986.

[10]KIM W J, KIM C. Background subtraction for dynamic texture scenes using fuzzy color histograms [J]. IEEE Signal Processing Letters, 2012, 19(3): 127-130.

[11]BRUTZER S, H?FERLIN B, HEIDEMANN G. Evaluation of background subtraction techniques for video surveillance [C]∥Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition. Piscataway, NJ, USA: IEEE, 2011: 1937-1944.

[12]GOYETTE N, JODOIN P, PORIKLI F, et al. Changedetection.net: a new change detection benchmark dataset [C]∥Proceedings of the 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ, USA: IEEE, 2012: 16-21.

(編輯 武紅江)

An Improved Subtraction Algorithm of Backgrounds with Stationary and Non-Stationary Scenes

LIU Tianliang1,ZHENG Haihong1,LUO Shengmei2,3,LIANG Wei1,DENG Shuo3

(1. School of Computer Science and Technology, Xidian University, Xi’an 710071, China; 2. School of Computer, Tsinghua University, Beijing 100084, China; 3. Zhongxing Telecommunication Equipment Corporation, Shenzhen, Guangdong 518057, China)

An improved algorithm—BHZ-MoG of Zivkovic-mixture of Gaussians (Z-MoG) based on block histogram feature is proposed to solve the problem that the background subtraction has a high false alarm rate in the mixture of stationary and non-stationary scenes. Observation vectors for image blocks are designed and blocks are classified into static, dynamic and half-dynamic blocks according to the statistical regularities of the observation vectors. A method that combines the observation vector and the classified information of a block is presented to extract block histogram feature. Block background models are constructed and updated from the combination of Z-MoG and histogram features. The BHZ-MoG can effectively reduce the high false alarm rate of Z-MoG under dynamic backgrounds. Experimental results show that the precision of the BHZ-MoG is higher than that of Z-MoG while the recall keeps the same. The maximal F1-scores of the Z-MoG is 0.758 and that of the BHZ-MoG is 0.790, and it shows that the proposed algorithm can provide better subtraction results.

background subtraction; image block classification; color histogram feature; mixture of Gaussians

2014-06-06。

劉天良(1989—),男,碩士生;鄭海紅(通信作者),女,副教授。

國家“十二五”預(yù)研項目(513160702);中央高?；究蒲袠I(yè)務(wù)費專項資金資助項目(K5051303013,K5051303014);中興通訊股份有限公司研究基金資助項目(HX0114030318)。

時間:2015-01-07

10.7652/xjtuxb201502005

TP391

A

0253-987X(2015)02-0025-06

網(wǎng)絡(luò)出版地址:http:∥www.cnki.net/kcms/detail/61.1069.T.20150107.1647.002.html