楊 恒，王 超，姜文濤，劉培楨，孫小煒，紀 明

(西安應用光學研究所，陜西 西安 710065)

?

基于隨機背景建模的目標檢測算法

楊 恒，王 超，姜文濤，劉培楨，孫小煒，紀 明

(西安應用光學研究所，陜西 西安 710065)

運動目標檢測是智能視頻監(jiān)控系統(tǒng)中的重要步驟和前提。提出了一種基于隨機背景建模的非參數(shù)化建模算法，對場景中運動目標進行快速提取跟蹤。在初始化階段，從當前像素的鄰域中隨機抽取樣本值作為背景模型；在模型更新階段，引入了隨機更新策略和背景傳播機制，能夠較好地抑制環(huán)境噪聲；在后處理階段，給出了一種基于積分圖的前景濾波優(yōu)化方法，進一步濾除噪聲和填充前景空洞。實驗結(jié)果表明，在復雜場景條件下，算法的目標檢測性能明顯優(yōu)于其他幾種同類算法，能夠較好地抑制噪聲干擾，具有較高的檢測正確率。對于360×288像素的測試視頻，算法的計算速度高達120 f/s，完全可以滿足實時應用。

隨機背景建模；目標檢測；智能監(jiān)控；積分圖

引言

智能視頻監(jiān)控已經(jīng)成為國內(nèi)外研究的熱點，并逐步在軍事和國民生產(chǎn)中發(fā)揮越來越重要的作用。在智能監(jiān)控系統(tǒng)中，視覺目標檢測是一個重要的環(huán)節(jié)，是后續(xù)目標跟蹤、目標識別、行為分析、場景解釋的基礎(chǔ)。目標檢測的任務就是分割和提取出場景中的運動目標。國內(nèi)外學者近年來提出了大量目標檢測方法，綜合起來大致可以分為4類[1]：1) 基于幀差法的目標檢測；2) 基于背景建模法的目標檢測；3) 基于特征點的目標檢測；4) 基于機器學習的目標檢測算法。幀差法是將相鄰的2幀或者3幀進行差分從而檢測出運動目標。幀差法計算簡單，易于實現(xiàn)，適用于攝相機靜止和環(huán)境變化較強的情況。但對于像素變化不明顯的點很難檢測到，容易產(chǎn)生空洞和雙影現(xiàn)象。背景建模算法也稱為背景減除法，通過建立背景模型，把當前幀與建立的背景模型做差分對比，差別大的部分被檢測為運動目標。特征點檢測算法思路是通過檢測圖像中目標的特征點，再與已知目標特征點的匹配建立對應關(guān)系，從而實現(xiàn)目標檢測。常用的穩(wěn)定特征點有Moravec特征點、Harris特征點以及Scale Invariable Feature Transformation(SIFT)特征點。但是提取特征點的過程非常耗時，而且也需要開辟額外的空間來存儲這些高維特征向量。基于機器學習目標檢測算法是通過對某類目標樣本的大量學習獲得針對這類目標的分類器，然后利用這個分類器在視頻圖像中檢測這類目標?；跈C器學習的目標檢測算法對檢測特定目標(比如行人)具有很好的適應性，但是這類算法需要視頻場景圖像特征明顯，否則容易得到錯誤分類結(jié)果，因此對于運動小目標的檢測效果不佳?？偟膩碚f，在以上4類目標檢測方法中，基于背景建模的算法具有比較好的通用性，目標檢測準確且計算量小，特別適用于智能視頻監(jiān)控系統(tǒng)，具有比較高的實際應用價值。

1 背景建模方法分類

背景建模方法的基本策略是對圖像中的每一個像素建立分類器，區(qū)分前景(運動目標)和背景(靜止或準靜止場景)。學習的樣本為每個像素上的采樣值。利用這些樣本分類器實時更新，以適應場景的快速變化。背景建模算法又大致可以分為2大類[2]：參數(shù)化背景建模和非參數(shù)化背景建模。

參數(shù)化背景建模的思想是為圖像中每個像素在時間序列上的變化建立一個參數(shù)化模型。參數(shù)化模型的好處是，可以用較少的存儲空間建立背景模型。Haritaoglu等人[3]提出的W4模型，將背景模型中每個像素點用3個值來描述：最大灰度值、最小灰度值和最大鄰間差分值。對當前幀圖像，將輸入的像素值與最大和最小灰度值比較，若都小于最大鄰間差分值，則該像素判斷為背景。單高斯模型[4]是對每一個像素用高斯函數(shù)建模，每個像素的亮度值假設服從均值為μ和標準方差為σ的高斯分布，且每一點的高斯分布是獨立的。高斯模型的參數(shù)可以通過累積一定數(shù)量的初始幀來完成參數(shù)估計。對當前像素，通過計算該像素與背景高斯均值的差異是否在標準差范圍內(nèi)，來判斷該像素屬于背景或者前景。但是由于復雜環(huán)境條件下，背景分布往往具有多峰分布特性。針對這個特性，研究者們又提出了混合高斯背景建模(Gaussian mixture model, GMM)算法[5]，其基本思想是使用多個高斯分布模型來表征圖像中每個像素點的背景分布，并通過新圖像像素值不斷更新每個高斯模型參數(shù)。如果當前圖像像素與混合高斯模型相匹配，則判斷為背景。GMM算法能夠較好處理光照變化，抑制諸如樹葉輕微晃動等外界環(huán)境影響，因此得到了較為廣泛的應用。Varcheie等人[6]在GMM算法框架下，增加了基于區(qū)域顏色直方圖和紋理特征提取過程，進一步去除虛假目標，增強GMM算法目標檢測準確性。董小舒[7]等人提出一種結(jié)合邊緣檢測和鄰域方差的混合高斯模型算法，克服實際應用中的光照和噪聲影響。

與參數(shù)化背景建模思想不同，非參數(shù)化背景建模則將像素點在時間域的變換看成是一個統(tǒng)計過程，且像素亮度的分布可能是時刻變化的，分布概率密度可以用非參數(shù)的方法估計出來，然后再和閾值比較，判斷是否為背景。碼書模型算法[8]利用量化和聚類技術(shù)來構(gòu)建背景模型，通過對每個像素的空間和時間紋理信息進行訓練得到各個像素的碼書，每個碼書中包含若干個碼字，然后通過聚類算法將像素中表示前景物體的碼字去掉，剩下的即是表示背景的碼書模型。Noh等人[9]提出了一種改進的碼書模型，稱為場景自適應局部二元模式算法，該算法將像素的顏色和紋理信息聯(lián)合編碼，在判斷前景像素時可以提供更多的自適應閾值，從而提高前景目標檢測的精度。Chiu等人[10]也提出了一種非參數(shù)背景建模法，基于k均值算法對背景像素分類，同時記錄每個類屬性中像素個數(shù)，出現(xiàn)次數(shù)多的就標記為背景。Godbehere等人[11]在彩色RGB空間構(gòu)建了非參數(shù)背景模型，并且使用貝葉斯決策估計方法對每個像素進行前景和背景的類別推斷。Bloisi等人[12]提出了一種稱為獨立多峰背景減除算法(independent multimodal background subtraction, IMBS)。IMBS算法是通過在線聚類方法為每一個像素建立背景模型，同時通過對彩色空間的變化檢測，有條件地更新背景模型。Barnich等人[13]提出了一種視覺背景提取算法(visual background extractor, VIBE)，該算法采用了隨機采樣的方法，以同等概率對背景進行建模。

非參數(shù)化方法能夠適應任意未知的數(shù)據(jù)分布，因此在復雜環(huán)境條件下的智能監(jiān)控系統(tǒng)應用中往往具有更好的目標檢測性能。本文受到文獻[13]啟發(fā)，提出一種非參數(shù)化的隨機背景建模算法(randomized background modeling, RBM)，對場景中的運動目標進行快速檢測提取。在背景初始化階段與文獻[13]類似，也是利用當前像素的鄰域隨機采樣建立初始背景模型；所不同的是在目標檢測階段，引入了隨機更新策略和背景傳播機制，對背景模型進行實時在線更新，同時抑制環(huán)境噪聲影響；此外，在目標分割階段，還提出一種基于積分圖的前景濾波優(yōu)化方法，進一步濾除噪聲和填充前景空洞，降低虛警和漏檢概率。實驗結(jié)果驗證了本文提出的算法在復雜背景條件下的智能視頻監(jiān)控系統(tǒng)中，具有較高的目標檢測性能和實際應用價值。

2 隨機背景建模算法

一個基于背景建模的目標檢測系統(tǒng)應該解決好3個基本問題：1) 背景模型如何建立；2) 背景模型如何更新；3) 如何對前景目標進行濾波優(yōu)化。其中前2個問題是背景建模方法最核心的問題，直接關(guān)系到目標檢測性能，第3個問題是一個后處理過程，旨在濾除噪聲干擾和目標空洞的填充。本文提出的算法稱為隨機背景建模(RBM)算法，就是要解決上述3個問題，首先根據(jù)相鄰像素之間具有空間相關(guān)性，利用鄰域像素的隨機采樣來獲得每個像素的樣本模型；然后設計了更加完善的更新機制，包括隨機替代策略和背景樣本傳播策略，目的是保證樣本衰減周期的一致性和抑制噪聲；最后利用積分圖技術(shù)對前景目標進行快速濾波優(yōu)化，抑制小噪聲點和填充目標空洞。

2.1 背景模型建立

由于場景中光照條件變化，背景晃動，鏡頭畸變噪聲，以及相機自身的抖動等因素影響，在實際場景中對背景進行建模是一件非常困難的事情。因此，把模型表征成為符合某個概率分布的函數(shù)，并用統(tǒng)計方法對參數(shù)進行估計，效果都十分有限。本文的RBM算法是一種非參數(shù)背景建模算法，它并不試圖去估計背景像素的概率分布，而是直接采用一組樣本值對當前像素進行建模。參數(shù)化背景建模另一個缺點就是在初始化的時候，往往需要先累積一段時間的視頻幀，然后統(tǒng)計出模型初始化參數(shù)(比如GMM算法)，這使得系統(tǒng)在初始化的時候需要用戶等待。而且，如果場景發(fā)生了突變，比如突然開燈，那么參數(shù)估計就不會準確，這會造成目標檢測性能下降。而RBM算法由于不需要估計模型參數(shù)，因此可以從單幀圖像就建立背景模型，在后續(xù)幀中再不停地更新模型樣本值，能夠快速地適應場景各種變化。RBM算法基于以下2個假設：

假設1) 圖像中相同位置的像素值在時間軸上的變化規(guī)律具有重復性，即已經(jīng)出現(xiàn)過的像素值，在后續(xù)觀測中會有較高的概率再次出現(xiàn)。

假設2) 由于相鄰背景像素之間的空間相關(guān)性，鄰域像素模型中的樣本值也有比較大的概率出現(xiàn)當前像素中。

這2個假設分別利用了像素在時間和空間上分布具有較強相關(guān)性的客觀事實。RBM算法在初始化背景模型建立時，就是在以當前像素x及其8鄰域像素集合內(nèi)隨機采樣N次，獲得當前像素的初始模型樣本集合S(x)={g1,g2, …,gN}。N取一個比較大的值N=16，目的是能保證背景模型適應更復雜的場景環(huán)境。在初始化時，背景模型中會有較多的重復采樣值，但隨著時間推移，會有新的被判斷為背景的樣本值插入到模型集合中，更新掉舊的模型樣本。一般來說，場景越復雜，背景模型中樣本取值會呈現(xiàn)多樣性；反之，場景越簡單，背景模型中樣本取值會呈現(xiàn)單一性。因此，N的設定偏大可以使模型更好地適應場景變化。RMB背景模型初始化算法如圖1所示。

對于當前位置x處的像素亮度值g(x)，計算g(x)與背景模型S(x)中每個元素的歐式距離di=|g(x)-gi|，并統(tǒng)計距離小于閾值Td的個數(shù)Cnt=#{di|di

2.2 背景模型的更新策略

背景模型的更新是背景建模算法中最重要的環(huán)節(jié)，通過新的觀測值不斷更新背景模型，以使得模型能夠自適應場景的動態(tài)變化，從而使系統(tǒng)真正具備智能化的自動目標檢測功能。因此必須精心設計一個好的更新策略。

另外，更新策略還要考慮到對鬼影噪聲的快速抑制，鬼影指的是本來在場景中靜止的物體，突然運動起來(比如停車場的汽車，或者風吹過的樹葉)，而留下的虛假前景。由于RBM算法建模是從系統(tǒng)工作的第1幀就開始的，因此必須提供一個有效地快速抑制鬼影的更新策略，否則在實際應用中會產(chǎn)生大量虛警。為此RBM設計了一種稱為背景傳播的更新策略，即每次判斷為背景的像素，不但隨機更新當前像素的背景模型，還在其周圍8鄰域中隨機挑選一個像素，更新其背景模型。這樣設計的思想是以真實背景去滲透周圍像素，并逐漸傳播到更遠的位置，這樣就可以快速有效抑制掉鬼影噪聲。整個RBM的更新方法見圖2。

2.3 基于積分圖的前景濾波優(yōu)化

經(jīng)過背景更新步驟后，系統(tǒng)可以輸出前景為白，背景為黑的二值圖像了，但是由于復雜外部環(huán)境造成的影響，使得前景二值圖中還存在一些孤立的噪聲干擾和目標空洞。常用的解決辦法是使用形態(tài)學濾波算法，先對二值圖像進行腐蝕運算消除孤立噪聲點，再進行膨脹運算填充目標空洞。這種串行的做法最明顯的缺點就是，前面的腐蝕運算雖然能去掉孤立噪聲點，但同時會將完整的目標割裂成幾個部分，而后續(xù)的膨脹操作不一定會將分裂的目標給連接起來，這就必然會影響檢測效果。RBM算法給出一種基于積分圖的前景濾波優(yōu)化算法，第1次遍歷圖像計算積分圖，第2次遍歷圖像就可以很小的計算量(每個像素點僅做3個加法，1次判斷)同時完成孤立點去除和空洞填充這2種濾波功能。圖3給出了具體的RBM濾波優(yōu)化方法。

輸入：圖像高H，圖像寬W，包含前景和噪聲的二值圖像seg＿img＿old[H][W]，鄰域半徑R=7，判斷閾值Tc=0．1輸出：完成濾波的二值圖像seg＿img＿new[H][W]1 計算二值圖像seg＿img＿old的積分圖itg＿img：對于某一點(x，y)處的積分itg＿img[x][y]定義為該點上邊和左邊的像素和，即itg＿img[y][x]=∑xi≤x，y1≤yseg＿img＿old[y1][x1]，采用如下遞推公式計算積分圖： s[y][x]=s[y-1][x]+seg＿img＿old[y][x]itg＿img[y][x]=itg＿img[y][x-1]+s[y][x]{，且s[-1][x]=0，itg＿img[y][-1]=02 for(i=1，2，…，H){3 for(j=1，2，…，W){ D[i][j]=∑i+Ry=i-R∑j+Rx=j-Rseg＿img＿old[y][x]4 =itg＿img[i-R][j-R]+itg＿img[i+R][j+R] -itg＿img[i-R][j+R]-itg＿img[i+R][j-R]5 if(D[i][j]≥(2R+1)2Tc)6 seg＿img＿new[i][j]=1；7 else8 seg＿img＿new[i][j]=0；9 }10 }。

圖3 RBM前景濾波優(yōu)化算法

Fig.3 Foreground filtering optimized algorithm of RBM

3 實驗結(jié)果與分析

本實驗使用的測試數(shù)據(jù)來自標準數(shù)據(jù)庫[14]和自拍攝的一段馬路監(jiān)控視頻。為了客觀評價RBM算法性能，我們還實現(xiàn)了經(jīng)典的參數(shù)化背景建模GMM[5]算法，2種非參數(shù)化建模IMBS[12]算法和VIBE算法[13]。實驗在普通PC機環(huán)境上運行，其配置是Intel雙核CPU E6750@2.66GHZ和2G內(nèi)存。算法程序采用VC++編寫。

3.1 背景噪聲抑制結(jié)果比較

我們挑選了標準測試數(shù)據(jù)庫中的2個視頻序列：highway和boats。highway是高速公路上的一段監(jiān)控視頻，圖像分辨率是320×240像素，場景中主要目標是來往車輛，背景干擾主要是樹葉的晃動和光照變化，圖4給出了在highway測試序列上的輸入圖像、GMM算法檢測結(jié)果、IMBS算法檢測結(jié)果、VIBE算法檢測結(jié)果以及本文提出的RBM算法在未開啟濾波優(yōu)化和開啟濾波優(yōu)化功能的目標檢測結(jié)果?？梢钥闯霰疚奶岢龅腞BM算法要明顯優(yōu)于另外3種算法，即使沒有開啟前景濾波優(yōu)化功能，RBM也能夠有效抑制掉絕大多數(shù)背景噪聲，得到比較干凈的前景目標，在加入前景濾波優(yōu)化功能后，RBM算法可以進一步去除孤立噪聲點，同時填充前景目標中的空洞。

圖4 4種算法在標準測試序列highway上的目標檢測結(jié)果比較Fig.4 Object detection results comparison of 4 algorithms on highway test sequence

boats標準測試序列是河岸邊上的一段監(jiān)控視頻，圖像分辨率是320×240像素，場景比較復雜，最大的噪聲干擾是來自河水的波紋干擾，其次是岸上樹葉的晃動，主要目標是岸上來往行人和車輛，圖5給出了在boats測試序列上的輸入圖像，GMM算法檢測結(jié)果、IMBS算法檢測結(jié)果、VIBE算法檢測結(jié)果以及本文提出的RBM算法在未開啟濾波優(yōu)化和開啟濾波優(yōu)化的目標檢測結(jié)果?？梢钥闯霰疚奶岢龅腞BM算法性能是最優(yōu)的，在沒有開啟前景濾波優(yōu)化功能時，RBM比其它3種算法在濾除背景噪聲方面更加有效，但還是留下了不少水波噪聲沒有抑制掉。當開啟前景濾波優(yōu)化功能后，RBM算法就可以非常好地抑制掉水波噪聲了，大幅度降低了虛警率。

圖5 4種算法在標準測試序列boats上的目標檢測結(jié)果比較Fig.5 Object detection results comparison of 4 algorithms on boats test sequence

3.2 目標檢測系統(tǒng)中的效果驗證

為了驗證RBM算法在實際監(jiān)控系統(tǒng)中的性能，我們還拍攝了一段馬路監(jiān)控視頻。視頻背景是室外的街道，人流量和車流量都比較大，而且人

和車經(jīng)常邊走邊停，視頻分辨率是360×288像素。圖6給出了在這段實際監(jiān)控視頻上，本文RBM算法在幾個圖像幀上的運動目標檢測效果截圖。最左邊一列是原始視頻圖像，中間一列是檢測出的前景目標的二值圖，最右邊一列是提取運動目標外接矩形的檢測結(jié)果。從給出的實驗結(jié)果可以看出，RBM算法可以給出非常令人滿意的目標檢測結(jié)果，無論是大型目標(如公共汽車)和微小目標(如遠處的行人)，還是快速目標(疾馳的小汽車)和慢速目標(行走緩慢的行人)，RBM算法都可以準確檢測出來。此外，在這段視頻序列上，RBM的目標檢測速度達到了120 fps，完全可以滿足智能監(jiān)控系統(tǒng)對實時性應用的要求。

圖6 在馬路監(jiān)控視頻序列上RBM算法的運動目標檢測結(jié)果Fig.6 Moving object detection results of RBM algorithm on real surveillance video sequence

4 結(jié)論

基于背景建模的運動目標檢測算法由于其檢測效果好且計算速度快的優(yōu)點，在實際智能視頻監(jiān)控系統(tǒng)中得到廣泛應用。本文針對實際復雜環(huán)境下，背景很難用參數(shù)化模型進行準確描述的問題，提出了一種隨機背景建模的非參數(shù)化算法。在建模初始化階段，從當前像素及其鄰域中隨機抽取像素樣本作為背景模型，充分利用了像素的時空相關(guān)性；在模型更新階段，隨機更新當前像素的模型樣本，并隨機選取鄰域點的背景模型進行更新，這樣既保證了每個樣本的衰減周期的一致性，又能夠快速抑制鬼影和噪聲；在后處理階段，本文還給出一個基于積分圖的前景濾波優(yōu)化方法，可以快速抑制掉孤立噪聲，同時填充前景空洞。實驗結(jié)果表明本文提出的算法在室外比較復雜的環(huán)境條件下，具有比較好的目標檢測性能。

[1] Kim I S, Choi H S, Yi K M, et al. Intelligent visual surveillance—a survey[J]. International Journal of Control, Automation, and Systems, 2010,8(5): 926-939.

[2] Elgammal A. Background subtraction: theory and practice[J]. Augmented Vision and Reality, 2014,6: 1-21.

[3] Haritaoglu I, Harwood D, Davis L. W4: real-time surveillance of people and their activities[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000, 22(8):809-830.

[4] Forsyth D A, Ponce J. Computer vision a modern approach [M]. Upper Saddle River:Prentice Hall, 2002.

[5] Shah M, Deng J, Woodford B J. Localized adaptive learning of mixture of Gaussians models for background extraction[C]. USA：IEEE, 2010:1-8.

[6] Varcheie P, Sills-Lavoie M, Bilodeau G A. A multiscale region-based motion detection and background subtraction algorithm[J].Sensors, 2010, 10(2): 1041-1061.

[7] Dong Xiaoshu,Chen Gang,Bian Zhiguo.Improved moving object detection method based on Gaussian mixture mode[J].Journal of Applied Optics,2012,33(5):877-883. 董小舒, 陳崗, 卞志國. 一種改進的基于混合高斯模型的運動目標檢測方法[J]. 應用光學, 2012,33(5):877-883.

[8] Wu Mingjun, Peng Xianrong. Spatio-temporal context for codebook-based dynamic background subtraction[J]. International Journal of Electronics and Communications, 2010,64(8):739-747.

[9] Noh S J, Jeon M. A new framework for background subtraction using multiple cues[J].Proceedings of the 11th Asian Conference on Computer Vision, 2013:493-506.

[10]Chiu C C,Ku M Y, Liang L W. A robust object segmentation system using a probability-based background extraction algorithm[J].IEEE Transactions on Circuits and Systems for Video Technology, 2010,20(4): 518-528.

[11]Godbehere A B, Matsukawa A, Goldberg K. Visual tracking of human visitors under variable-lighting conditions for a responsive audio art installation[J]. IEEE, 2012: 4305-4312.

[12]Bloisi D, Iocchi L. Independent multimodal background subtraction[C].Berlin:Springer, 2012:39-44.

[13]Barnich O, Droogenbroeck M V. VIBE: a powerful random technique to estimate the background in video sequences[C]. USA：IEEE, 2009: 945-948.

[14]Goyette N, Jodoin P M, Porikli F, et al. Changedetection.net: a new change detection benchmark dataset[C]. USA：IEEE,2012: 16-21.

Object detection based on randomized background modeling algorithm

Yang Heng, Wang Chao, Jiang Wentao, Liu Peizhen, Sun Xiaowei, Ji Ming

(Xi’an Institute of Applied Optics, Xi’an 710065, China)

Moving object detection is a key step in the system of intelligent visual surveillance. A randomized background nonparametric modeling algorithm was proposed for object fast detection application. In the initialization stage, a set of values were randomly taken in the neighborhood of the current pixel. In the update stage, a reasonable randomized updating and background samples propagation mechanism were introduced, which could restrain the scene noise effectively. In the post-processing stage, a foreground optimized filter based on the integral image was designed to further remove the noises and fill the holes of the objects. Experimental results show that the performance of the proposed algorithm is significantly superior to other similar algorithms. It can further restrain noise and has high detection precision. In addition, for 320×240 pixel format video stream, the computing of the proposed detection algorith can reach up to 120 fps, which can fully meet the requirement of the real-time application system.

randomized background modeling; object detection; intelligent visual surveillance; integral image

1002-2082(2015)06-0880-08

2014-04-16；

2015-05-17

陜西省青年科技新星基金(2015KJXX-62)

楊恒(1980-)，男，河南鄭州人，博士，高工，主要從事圖像處理和機器學習領(lǐng)域研究。E-mail：yh3191@sina.com

TN911.4；TP391

A

10.5768/JAO201536.0602001