曹倩霞,羅大庸,王正武

(1.中南大學信息科學與工程學院,長沙410075;2.長沙理工大學公路工程省部共建教育部重點實驗室,長沙410004)

基于改進Sigma-Delta濾波的復雜場景背景估計

曹倩霞1,2,羅大庸1,王正武2

(1.中南大學信息科學與工程學院,長沙410075;2.長沙理工大學公路工程省部共建教育部重點實驗室,長沙410004)

背景估計是運動目標檢測一項重要的前期工作,在城市交通等復雜場景中,存在大量慢速或暫停運動目標,背景模型很快受到污染,需要進行較多的后續(xù)處理或者采用高復雜度算法來檢測前景。針對該問題,提出基于Sigma-Delta濾波改進的背景估計算法,融合可選擇性背景更新機制和多頻Sigma-Delta濾波背景估計方法,處理復雜場景中不同運動目標的運動特征,以獲取穩(wěn)定的背景。通過對典型城市路段和交叉口復雜交通場景序列進行對比實驗,結(jié)果表明,該算法在保持Sigma-Delta濾波低內(nèi)存消耗和高計算效率的基礎(chǔ)上可獲得更好的檢測效果。

圖像處理;背景差分;背景估計;多頻Sigma-Delta濾波;選擇性背景更新;復雜場景

1 概述

基于序列圖像的前景檢測是計算機視覺應用中非常重要的前期工作,背景差分是檢測前景目標一項很普遍的技術(shù)[1],其思想是建立背景,比較當前幀與背景幀之間的差別來獲取運動前景,背景模型須精確獲取非運動場景,并考慮光照變化和背景更新[2]。

本文提出一種基于Sigma-Delta(又稱Σ-Δ)濾波的算法,利用其計算高效、低內(nèi)存消耗特性,以一種新的思路來解決慢速或短暫停止目標的背景估計和檢測,為后續(xù)工作提供更為可靠的結(jié)果。

2 背景介紹

視頻序列背景建模遇到的主要困難在于[3]: (1)系統(tǒng)須在較長一段時間內(nèi)保持連續(xù)工作,無人工交互(如在視頻監(jiān)控系統(tǒng)中),在此過程中,背景應適應漸變或突變,如光照的緩慢或迅速的變化、場景中出現(xiàn)某一靜態(tài)目標。(2)自然場景中背景往往是動態(tài)變化的,如晃動的樹葉、變化的光照及波動的水面等,即使背景是靜止的,攝像機的抖動及信號噪聲等也會給建立魯棒的背景模型提出挑戰(zhàn)性的要求。(3)系統(tǒng)應當實時低耗,算法不過多占用計算內(nèi)存資源?；谙袼氐谋尘敖７椒ㄖ饕鶕?jù)每個像素在時域上的分布信息構(gòu)造背景模型,一般有參數(shù)化背景建模和非參數(shù)化背景建模方法。參數(shù)化建模方法最簡單的是為背景像素建立單峰概率密度函數(shù),如滑動高斯平均[4];另一種是基于過去K幀每個像素的直方圖值統(tǒng)計分析,其均值、中值或者頻數(shù)最大值被用來估計背景[5];而目前用的較廣泛的是混合高斯模型[6],單個高斯密度函數(shù)不能處理非靜止背景目標,如樹葉晃動或其他自然變化,一般為每個像素建立N個高斯成分組成的混合高斯概率模型[7]。非參數(shù)背景建模方法則更適合密度函數(shù)較復雜或者不能被參數(shù)化建模的情況,核密度估計是一種非參數(shù)方法,混合高斯模型和之前方法對連續(xù)逐變場景是非常有效的,但對快速非平穩(wěn)變化的動態(tài)場景無法用一組高斯函數(shù)精確描述,核密度估計則從最近多幀序列中估計每個像素的背景概率來克服此問題[8]。文獻[9]提出改進混合高斯模型來處理動態(tài)場景,為每個像素建立分層3D多元高斯模型,并用貝葉斯方法估計每層的均值和方差以及均值和協(xié)方差的概率分布。另一種非參數(shù)方法是碼本模型,碼本是基于像素顏色的背景建模法,它的建模思想是根據(jù)圖像序列中每個像素的顏色距離和亮度,用量化技術(shù)建立一個碼本。文獻[10]提出了一種改進的碼本算法,并與原始碼本算法和混合高斯模型比較,獲得較好的結(jié)果,但均不能較好地處理有短暫停留的目標。此外,還有一些其他背景建模方法,如考慮預測策略,通過建模和預測每個像素的動態(tài)來估計背景[11](如卡曼濾波[12])。

在上述背景建模的3個困難中,前2個說明統(tǒng)計方法必須局部獲取并不斷更新背景,這就排除一些基本方法,如單一模型或基于統(tǒng)計均值或中值,或全局閾值。許多復雜的算法,如線性預測、核密度估計等,均基于過去K幀,需要很大內(nèi)存,為了達到魯棒效果,K需要很大(至少50幀),不適合第3個難點解決。遞歸循環(huán)方法不需要保存每個像素的直方圖,而是固定數(shù)量的估計遞歸計算,而使用線性遞歸很難獲得魯棒背景估計,除非使用多模式分布(如多維高斯模型),但復雜度和內(nèi)存消耗則相應增大。除了考慮計算效率外,著重復雜場景,如在城市交通環(huán)境,交通流密集、可能的交通擁堵或者車輛排隊造成大量車輛慢速或短暫停車,背景估計算法必須能處理運動目標由于慢速或短暫的停車融入到背景,在重新運動后又出現(xiàn)在前景的現(xiàn)象。目前許多背景差分算法通過目標定位和跟蹤依靠后續(xù)后處理或者前景確認步驟來提取運動前景。

文獻[3]將Σ-Δ引進到視頻前景檢測中,給出了理論推導[13],并提出多頻Sigma-Delta濾波算法來處理較復雜場景,通過計算K套背景來適應各運動特征[14],對運動特征分布較廣的復雜場景,需建立多套背景,復雜度隨之大大提升。

本文采取Σ-Δ濾波器的思想,著重適應復雜場景,在算法設(shè)計中使用多頻Sigma-Delta濾波(K≤3)和選擇性部分更新機制相結(jié)合獲取穩(wěn)定的背景模型,注重何時及怎樣更新背景,避免背景被前景慢行或暫停運動目標污染,同時適應背景正常更新和自然動態(tài)變化。對典型城市路段和交叉口復雜交通場景序列進行測試,比較了改進的Sigma-Delta算法與之前Sigma-Delta算法及常用的混合高斯模型結(jié)果,同時評估了各算法計算復雜度,驗證了方法的優(yōu)越性。

3 基本Sigma-Delta濾波

基本Sigma-Delta濾波算法是一種非線性遞歸循環(huán)計算,具體思路如下:

(1)背景估計:

(2)計算當前幀與背景幀差:

(3)方差更新:

(4)如果 Δt(x)＜Vt(x),則 Dt(x)=0;否則, Dt(x)=1。

其中,It為輸入視頻序列;Mt為估計背景值;sgn函數(shù)是通過比較輸入值與背景值,給出-1(小于)、0 (等于)或1(大于)的結(jié)果,通過輸出值累加,用于追蹤實際背景?？梢钥闯?對每一幀,背景估計的增益為±1,若It為離散隨機信號,一段時間內(nèi),小于0和大于0的比率應接近于1,所以Mt是一種近似中值收斂估計,在慢速或擁擠城市交通環(huán)境下,前景目標會逐漸融入背景。Vt是方差圖像,表征像素灰度值的變化,對于無運動目標穩(wěn)定的背景,方差較小,可作為背景更新閾值。算法中唯一可調(diào)整的參數(shù)是N,一般取值1～4,另一個隱含參數(shù)是統(tǒng)計更新周期,即無需每幀處理,可每P幀執(zhí)行一次處理循環(huán)。Dt是前景像素圖像,可通過比較Δt和Vt獲得,其中Δt為當前幀與當前估計背景的差值。算法不需使用顏色信息,完全基于灰度圖像處理,進一步滿足低計算需求目標。

基本Sigma-Delta濾波能有效地處理背景緩變和自然場景中細微的動態(tài)變化,檢測運動目標。然而,在復雜場景中,如城市交通場景中不斷有各種速度特征車輛通過,車輛慢速或暫停情況經(jīng)常出現(xiàn)(尤其在交叉口),而算法更新周期固定,很難適應如此復雜的場景。根據(jù)多維混合高斯模型的思路,文獻[11]提出多頻 Sigma-Delta背景估計來克服此問題,即計算K套背景,每一套背景都有自己的更新周期,混合背景模型由K套背景按一定權(quán)重結(jié)合而成。每套背景的權(quán)重因子直接與其相應更新周期成正比,而與相應的方差成反比,即對于更新周期長的背景模型賦予更大的權(quán)重,同時,根據(jù)方差大小調(diào)整權(quán)重以適應背景的變化。這種算法能處理一定程度上慢速或較短時間暫停車輛及隨機運動目標,但在城市交通場景中,尤其在路段擁擠或者交叉口紅燈停車時,停車時間較長且長短不一,多頻Sigma-Delta濾波分層太多導致復雜度大大增加,且由于更新周期長的背景模型權(quán)重大,更新效果不理想。

本文通過引入可選擇性背景更新機制結(jié)合多頻Sigma-Delta濾波背景估計方法來克服此問題,即對慢速或暫停車輛的前景可選擇暫時不更新背景,直到情況好轉(zhuǎn)。

4 改進的Sigma-Delta濾波

在基本Sigma-Delta濾波基礎(chǔ)上引入可選擇性背景更新機制結(jié)合多頻Sigma-Delta濾波進行背景估計,可獲得適應光照和背景改變與阻止背景污染之間的平衡,最終目標是阻止復雜場景中慢速和一段時間停止運動目標融入背景模型,同時不增加原有計算復雜度。具體算法思路如下所示:

背景更新選擇機制的實施通過一個更新周期P,在P幀內(nèi),若Vt≤Vth,方差較小,用檢測率/來判別運動狀況,其中,為視頻幀計數(shù);為檢測幀計數(shù)。若檢測率大于80%,說明出現(xiàn)暫停車輛或車輛擁擠情況,此時不更新背景;否則,采用多頻Sigma-Delta濾波更新背景,計算K套(1≤ K≤3)背景。 每個背景有其更新周期αi,αi＜α2＜…＜αk,以適應特定的復雜場景?？扇缦逻f歸計算:,其中,,最終背景Mt由K套背景按一定權(quán)重結(jié)合而成。為了防止不更新背景不斷累積陷入死鎖,設(shè)定了一個最大更新周期Imax,當累積的時間達到最大更新周期,則強制更新,一般Imax可取最大停留時間(如城市交通中最大車輛排隊時間或交叉口的紅燈時間)。

5 實驗分析

本文將所提算法分別應用在典型城市路段和交叉口復雜交通場景中,并與目前常用的處理較復雜場景的多維混合高斯模型以及已有的基本Sigma-Delta和多頻Sigma-Delta算法應用效果進行對比。其中,路段的交通場景使用i-LIDS的PV_ EVAL序列,序列中流量較大,出現(xiàn)了交通擁堵和車輛排隊,此外,還有一輛停留約85 s的路邊停車;交叉口的交通場景使用實際環(huán)境拍攝(長沙市竹塘西路口東進口),圖像大小為720×576像素,序列中包含3個信號周期,其中信號周期為100 s,本相位紅燈時間為75 s。圖1為路段交通場景中的對比結(jié)果,第1列展示的是視頻圖像,第2列為各算法獲得的當前背景,第3列為檢測圖像;第1行為多維混合高斯模型應用結(jié)果(K=3,α=0.005,T= 0.4),第2行是基本 Sigma-Delta算法結(jié)果(N= 4),第3行是多頻Sigma-Delta背景估計(N=4, K=3,更新周期為1,8,16),第4行是本文提出的改進方法(N=4,Vt∈[Vmin,Vmax]=[10,200], Imax=2 125,為可能最大排隊長度,Vth=38?？紤]到實際車長車速,設(shè)定P=25,K=3,更新周期為1,5,25,更能較好地描述場景中背景緩變、自然動態(tài)變化和慢速車輛運動情況),可以看出,在1 450幀,即車輛排隊開始后,基本Sigma-Delta算法(圖中SD)的背景模型很快被慢速或排隊停駛車輛污染,多維混合高斯模型(圖中MOGM)和多頻Sigma-Delta濾波(圖中SDM)背景估計中隨著停留時間變長,慢速或短暫排隊車輛部分融入背景,而對在1 735幀出現(xiàn)并停留約85 s的路邊停車(圖中箭頭指向處),前3種方法幾乎忽略了此車檢測,本文提出的改進算法(圖中SDEn)能阻止此車融入背景并獲得完整的前景檢測。

圖1 城市路段交通場景的比較結(jié)果

圖2為交叉口交通場景中的對比結(jié)果,此時,車輛陸續(xù)到達并停在紅燈前,其中前2輛車已停車23 s后第3輛車才到達,可以看出這些車在基本Sigma-Delta算法中都已融入背景模型,在多維混合高斯模型和多頻Sigma-Delta算法中部分融入背景(前兩三輛車),且由于綠燈時間不很長,融入背景的車輛很難在下個紅燈來臨前恢復,本文提出的改進算法中保持背景模型未受到停車車輛污染,能獲得完整的前景檢測。

圖2 城市交叉口交通場景的比較結(jié)果

對i-LIDS的PV_EVAL序列4 361幀測試序列記錄了各Sigma-Delta算法計算每一幀的用時,并與目前常用的多維混合高斯模型比較。雖然不同的實現(xiàn)方式將在很大程度上影響算法的運行速度,但仍能從一定程度上反映出算法的時間復雜度。4種算法都在Matlab上進行了測試。測試用的硬件環(huán)境為酷睿i3雙核四線程2.13 GHz,2 GB內(nèi)存,Win7平臺和Matlab 2010a軟件,圖像大小為720×576像素。統(tǒng)計的平均用時和速度結(jié)果如表1所示,可以看到基本Sigma-Delta法速度非?？?本文提出算法較多頻Sigma-Delta算法復雜度增加不大,多維混合高斯模型法最慢。

表1 算法運行速度比較

6 結(jié)束語

本文提出一種基于Sigma-Delta濾波的背景估計算法,算法不僅保持Sigma-Delta濾波的低內(nèi)存消耗和高計算效率,同時基于Sigma-Delta算法,通過引入選擇性背景更新機制結(jié)合多頻Sigma-Delta背景估計模型,對復雜場景背景估計提供更強的魯棒性。對典型的城市路段和交叉口交通場景進行測試,并比較已有的Sigma-Delta算法和常用的多維混合高斯模型,測試結(jié)果表明,本文提出的算法在有慢速或暫停運動目標的情況下,能獲得一個更穩(wěn)定的背景模型,簡化后續(xù)處理步驟,如前景確認、避免復雜的時空處理等,時間復雜度較低。

[1] Sanchez E J F,Rubio L,Diaz J,et al.Background Subtraction Model Based on Color and Depth Cues[J]. Machine Vision and Applications,2013,13(7): 8895-8915.

[2] Wang Junqiu,Yagi Y.Efficient Background Subtraction Under Abrupt Illumination Variations[M].Berlin, Germany:Springer,2013.

[3] Manzanera A,Richefeu J.A Robust and Computationally Efficient Motion Detection Algorithm Based on Σ–Δ Background Estimation[C]//Proc.of the 4th Indian Conference on Computer Vision,Graphics&Image Processing.Kolkata,India:[s.n.],2004:46-51.

[4] Jalal A S,Singh V.A Robust Approach for Background Subtraction with Shadow Removal for Moving Object Detection[J].InternationalJournalofSignaland Imaging Systems Engineering,2013,6(3):188-202.

[5] 曾 艷,于 濂.一種新的道路交通背景提取算法及研究[J].中國圖象圖形學報,2008,13(3):593-599.

[6] 何亮明,覃榮華,鞏思亮,等.動態(tài)場景中的改進混合高斯背景模型[J].計算機工程,2012,38(8):10-12,15.

[7] 王永忠,梁 彥,潘 泉,等.基于自適應混合高斯模型的時空背景建模[J].自動化學報,2009,35(4): 371-378.

[8] Zhu Qingsong,Shao Ling,Li Qi,et al.Recursive Kernel Density Estimation for Modeling the Background and Segmenting Moving Objects[C]//Proc.ofIEEE International Conference on Acoustics,Speech and Signal Processing.[S.l.]:IEEE Press,2013:1769-1772.

[9] Kim H,Sarim M,Takai T,et al.Dynamic 3d Scene Reconstruction in Outdoor Environments[C]//Proc.of InternationalSymposium on 3D Data Processing, Visualization and Transmission.[S.l.]:IEEE Press, 2010:1-8.

[10] Ilyas A,Scuturici M,Miguet S.Real Time Foregroundbackground Segmentation Using a Modified Codebook Model[C]//Proc.of the 6th International Conference on Advanced Video and Signal Based Surveillance. [S.l.]:IEEE Press,2009:454-459.

[11] Shimada A,Yoshinaga S,Taniguchi R.Maintenance of Blind Background Model for Robust Object Detection [J].IPSJTransactionson ComputerVision and Applications,2011,3:148-159.

[12] Ahmad K A,Saad Z,Abdullah N,et al.Moving Vehicle Segmentation in a Dynamic Background Using Selfadaptive Kalman Background Method[C]//Proc.of the 7th International Colloquium on Signal Processing and Its Applications.[S.l.]:IEEE Press,2011:439-442.

[13] Manzanera A.Σ-Δ Background Subtraction and the Zipf Law[M]//Proc.of the 12th Iberoamericann Congress on Pattern Recognition.Valparaiso,Chile:[s.n.], 2007:42-51.

[14] Manzanera A,Richefeu J C.A New Motion Detection Algorithm Based on Sigma-Delta Background Estimation [J].Pattern Recognition Letters,2007,28(3):320-328.

編輯 顧逸斐

Complex Scenes Background Estimation Based on Improved Sigma-Delta Filtering

CAO Qian-xia1,2,LUO Da-yong1,WANG Zheng-wu2
(1.School of Information Science and Engineering,Central South University,Changsha 410075,China;
2.Key Laboratory of Highway Engineering,Ministry of Education,Union Between Ministry and Province, Changsha University of Science&Technology,Changsha 410004,China)

Background estimation is an important preparatory work for moving object detection.In complex scenes,such as urban traffic,the background model is easily contaminated by a number of slow-moving or temporarily stopped moving object,and many subsequent processing steps or higher computational cost algorithms are needed to detect the foreground.To solve this problem,this paper proposes a background estimation algorithm based on the improved Sigma-Delta fi ltering,which is intended to achieve a more stable background model by combining a selective background updating mechanism with multiple-frequency Sigma-Delta background estimation method to deal with different object motion characteristics in complex scenes.The results of comparative experiment on complex traf fi c scenes sequences of typical urban road and intersection show that the proposed algorithm achieves better detection effects with keeping Sigma-Delta filtering high efficiency and low consumption performance.

image processing;background subtraction;background estimation;multiple-frequency Sigma-Delta fi ltering;selective background update;complex scene

1000-3428(2014)09-0225-04

A

TP391

10.3969/j.issn.1000-3428.2014.09.045

國家自然科學基金資助項目(51278068);湖南省科技計劃基金資助項目(2012GK3060);湖南省教育廳科學研究計劃基金資助項目(10C0372);長沙理工大學公路工程省部共建教育部重點實驗室開放基金資助項目(GKj100105)。

曹倩霞(1981-),女,講師、博士研究生,主研方向:交通信息工程及控制;羅大庸,教授、博士研究生;王正武,教授、博士后。

2013-11-15

2014-01-10E-mail:caoqianxia@163.com