閆　碩　陳科山

(北京交通大學(xué)機(jī)械與電子控制工程學(xué)院　北京 100080)

?

基于雙背景模型的鬼影抑制方法研究

閆碩陳科山

(北京交通大學(xué)機(jī)械與電子控制工程學(xué)院北京 100080)

摘要針對(duì)雙背景模型下的鬼影檢測(cè)及抑制問題，提出預(yù)處理操作、基于區(qū)域生長(zhǎng)的鬼影檢測(cè)方法和背景更新抑制鬼影。首先預(yù)處理，為了抑制第一幀出現(xiàn)的鬼影，同時(shí)建立準(zhǔn)確的背景；其次，利用鬼影在當(dāng)前幀和背景幀的區(qū)域生長(zhǎng)大小不一致來檢測(cè)鬼影；最后針對(duì)包含鬼影目標(biāo)的背景圖像進(jìn)行背景更新，快速還原背景，抑制鬼影再現(xiàn)。實(shí)驗(yàn)結(jié)果證明，該方法適應(yīng)環(huán)境能力強(qiáng)，能準(zhǔn)確檢測(cè)出鬼影，并且背景更新效果好，能快速抑制鬼影。

關(guān)鍵詞鬼影檢測(cè)區(qū)域生長(zhǎng)背景更新

0引言

智能視頻監(jiān)控系統(tǒng)的安防領(lǐng)域中，目標(biāo)檢測(cè)扮演了一個(gè)非常重要的角色。基于背景差法[1-3]的運(yùn)動(dòng)目標(biāo)檢測(cè)過程中，處于背景中的物體突然離開(如停駛車輛的突然離開)，背景未能及時(shí)更新，也會(huì)被檢測(cè)為運(yùn)動(dòng)目標(biāo)，本文將在這種情況下被檢測(cè)為運(yùn)動(dòng)目標(biāo)的像素點(diǎn)成為鬼影。根據(jù)上述信息可知，基于背景差分法的運(yùn)動(dòng)目標(biāo)檢測(cè)得到的前景目標(biāo)中不僅包含運(yùn)動(dòng)目標(biāo)，也會(huì)包含鬼影，針對(duì)這個(gè)問題，就需對(duì)鬼影進(jìn)行檢測(cè)抑制，避免對(duì)運(yùn)動(dòng)目標(biāo)的誤檢測(cè)行為。

目前，已有的鬼影檢測(cè)方法主要有以下幾種：文獻(xiàn)[4]中提出了利用三幀差預(yù)處理法來抑制鬼影出現(xiàn)并更新背景圖像。幀間差分法好處是不會(huì)產(chǎn)生鬼影，只需對(duì)背景圖像進(jìn)行更新，但是此預(yù)處理方法中的背景更新是針對(duì)一個(gè)背景模型，通過獲得運(yùn)動(dòng)目標(biāo)的位置，填充背景圖像中此位置的像素信息更新背景?；趲罘ǖ倪\(yùn)動(dòng)目標(biāo)檢測(cè)得到的是目標(biāo)輪廓，且輪廓效果不是很好，尤其是當(dāng)目標(biāo)輪廓較復(fù)雜時(shí)，更不利于后期的填充工作。文獻(xiàn)[5]提出了基于顏色特征的檢測(cè)方法，通過比較背景圖像和當(dāng)前幀的鬼影區(qū)域的顏色直方圖相似性來檢測(cè)鬼影，該方法比較簡(jiǎn)單，要求背景和靜態(tài)物體的顏色都比較純粹，適用范圍小。文獻(xiàn)[6]提出了基于輪廓特征的檢測(cè)方法，對(duì)當(dāng)前幀和背景幀區(qū)域進(jìn)行輪廓形狀匹配來檢測(cè)鬼影，該方法不適應(yīng)背景輪廓復(fù)雜的場(chǎng)景，易誤檢。

圖1　算法流程圖

另外，上述文獻(xiàn)主要是針對(duì)單個(gè)背景模型的鬼影檢測(cè)，且未區(qū)別對(duì)待視頻第一幀時(shí)物體移動(dòng)產(chǎn)生的鬼影和視頻中間出現(xiàn)的鬼影，當(dāng)環(huán)境較復(fù)雜時(shí)，如視頻開始時(shí)，突然移動(dòng)的物體較多，且會(huì)與其他目標(biāo)之前的位置重疊，這兩種鬼影抑制方法效率低。本文主要研究雙背景模型下的鬼影檢測(cè)及抑制，針對(duì)視頻開始出現(xiàn)的鬼影，主要是通過背景初始化來抑制鬼影出現(xiàn)；對(duì)視頻中間出現(xiàn)的鬼影提出了一種基于雙背景模型的鬼影抑制法，主要是根據(jù)鬼影和遺留物在快慢背景模型得到的前景像素上表現(xiàn)一致，因此提出基于區(qū)域生長(zhǎng)的方法對(duì)鬼影和遺留物進(jìn)行分類，不僅能準(zhǔn)確檢測(cè)到鬼影，且可處理遮擋情況。同時(shí)對(duì)背景及時(shí)更新消除背景圖像中的假目標(biāo)，避免持續(xù)檢測(cè)到鬼影。具體算法流程見圖1所示，并對(duì)這兩種基于顏色特征分類方法進(jìn)行對(duì)比分析，基于區(qū)域生長(zhǎng)的方法檢測(cè)準(zhǔn)確率更高。

1預(yù)處理

本文主要是研究固定攝像機(jī)的視頻監(jiān)控，一般情況下是直接采用第一幀作為背景，但是這種方法不僅受光照變化的影響，且當(dāng)?shù)谝粠写罅窟\(yùn)動(dòng)物體存在時(shí)，會(huì)產(chǎn)生鬼影，且鬼影檢測(cè)及消除的難度較大，因此不能用于復(fù)雜環(huán)境及光照變化的環(huán)境。圖2為直接采用第一幀作為背景進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)的結(jié)果，其中(a)為當(dāng)前幀圖像，(b)為以第一幀作為背景圖像，(c)為運(yùn)動(dòng)目標(biāo)檢測(cè)得到的前景圖像，其中灰色橢圓框標(biāo)示運(yùn)動(dòng)目標(biāo)，灰色矩形框標(biāo)示鬼影?？梢姰?dāng)視頻第一幀有物體運(yùn)動(dòng)，會(huì)產(chǎn)生鬼影。

為了盡量減少由于第一幀而產(chǎn)生的鬼影對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)的影響，本文提出預(yù)處理操作——背景初始化，能有效抑制鬼影并建立背景圖像。背景初始化的主要步驟如下：

1) 以第一幀作為背景圖像建立混合高斯模型。

2) 設(shè)置較大的學(xué)習(xí)率α及訓(xùn)練樣本數(shù)N，根據(jù)混合高斯背景更新對(duì)前N幀進(jìn)行快速背景更新，得到背景圖像。

圖2　第一幀鬼影檢測(cè)結(jié)果圖

本文預(yù)處理是以犧牲前N幀來構(gòu)造一個(gè)較逼真的背景圖像，避免了視頻第一幀出現(xiàn)鬼影現(xiàn)象，也為后續(xù)目標(biāo)檢測(cè)及鬼影檢測(cè)提供了更精確的背景圖像，提高運(yùn)動(dòng)目標(biāo)檢測(cè)準(zhǔn)確率。

2雙背景目標(biāo)檢測(cè)

2.1混合高斯背景建模

采用背景減除法來獲得運(yùn)動(dòng)目標(biāo)，其中背景模型的建立采用由Stauffer和Grimson提出的混合高斯建模方法。某一時(shí)刻t的像素點(diǎn)X的概率可根據(jù)下式求得：

(1)

其中，K為高斯分布的個(gè)數(shù)；W(i,t)為第i個(gè)高斯模型的權(quán)重值；μ(i,t)為第i個(gè)高斯模型的均值；σ(i,t)為第i個(gè)高斯模型的方差；η為為第i個(gè)高斯模型的概率分布函數(shù)，可表示為下式：

(2)

其中，n為像素點(diǎn)的色度維數(shù)。

建立好模型后，對(duì)相關(guān)參數(shù)進(jìn)行初始化，主要的參數(shù)是W、μ、σ。下面進(jìn)行重要的一步更新背景模型。背景模型的更新主要是更新各個(gè)高斯函數(shù)的參數(shù)和各高斯分布的權(quán)重值，并按照權(quán)重值各高斯分布進(jìn)行重新排序。當(dāng)新的一幀圖像到來時(shí)，就要將當(dāng)前幀的各個(gè)像素值與已建立的K個(gè)高斯分布分別進(jìn)行匹配，公式如下：

(I(x,y,t)-μk(x,y,t-1))2

(3)

如果像素點(diǎn)滿足此公式則該像素點(diǎn)與第k個(gè)高斯模型匹配，否則則不屬于高斯模型，這就相當(dāng)于出現(xiàn)了野點(diǎn)(即必為前景點(diǎn))。分別對(duì)這兩種情況進(jìn)行參數(shù)更新。

對(duì)于匹配的情況，需根據(jù)下面的公式進(jìn)行前景點(diǎn)各背景點(diǎn)的判定，公式如下：

(4)

2.2像素點(diǎn)分類

本文主要是研究基于雙周期背景模型[7-9]的鬼影檢測(cè)及抑制方法，因此采用雙周期混合高斯背景建模檢測(cè)運(yùn)動(dòng)目標(biāo)，其中雙周期背景建模主要是指一個(gè)快速更新的高斯背景模型和一個(gè)慢速更新的高斯背景模型。分別得到快速更新高斯模型的前景模板FL和慢速更新高斯模型的前景模板FS，再根據(jù)表1所示，將兩個(gè)前景模板像素點(diǎn)進(jìn)行分類，做與操作，得到靜態(tài)前景模板，其中靜態(tài)前景模板中包括運(yùn)動(dòng)后滯留的物體(即遺留物)和鬼影。因此后續(xù)研究只需對(duì)遺留物和鬼影分類即可檢測(cè)到鬼影。

表1　根據(jù)FL和FS判斷某像素類型

3鬼影檢測(cè)

3.1基于區(qū)域生長(zhǎng)的分類檢測(cè)

鬼影來源與最初的背景，最后與背景分離而導(dǎo)致的；而遺留物則因運(yùn)動(dòng)目標(biāo)滯留而融入背景，最終成為背景的一部分。基于上述考慮，在獲取了靜態(tài)前景模板的基礎(chǔ)上，若以靜態(tài)前景模板為基礎(chǔ)，分別在當(dāng)前幀和背景幀進(jìn)行模板收縮后的再生長(zhǎng)，模板在不同層的再生程度愈大，就意味著靜態(tài)前景區(qū)與該層的相容程度愈大。所以，根據(jù)此相容程度構(gòu)建鬼影檢測(cè)準(zhǔn)則：如果某靜態(tài)前景區(qū)域與背景圖像的相容程度大于它與當(dāng)前幀的相容程度，則將該靜態(tài)前景物決策為滯留目標(biāo)；反之，如果其與背景圖像上的相容程度小于它和當(dāng)前幀的相容程度，則將此靜態(tài)前景物體決策為移走目標(biāo)。

本文根據(jù)區(qū)域生長(zhǎng)算法，針對(duì)雙背景模型的特性，長(zhǎng)周期背景模型更新速率慢，短周期背景更新速率快，鬼影在長(zhǎng)周期背景圖像和短周期背景圖像的區(qū)域生長(zhǎng)大小不同，來檢測(cè)鬼影，見圖3，具體思路如下：

(1) 基于腐蝕運(yùn)算的前景模板收縮。使各區(qū)域目標(biāo)邊界向內(nèi)收縮，同時(shí)可以去掉尺寸小于結(jié)構(gòu)算子的小型目標(biāo)。

(2) 區(qū)域生長(zhǎng)。選取暫時(shí)靜止區(qū)域?yàn)榉N子點(diǎn)，設(shè)定生長(zhǎng)準(zhǔn)則，不斷判斷8鄰域的像素點(diǎn)是否滿足生長(zhǎng)準(zhǔn)則，不滿足則停止生長(zhǎng)。

(3) 鬼影檢測(cè)判決。根據(jù)靜止區(qū)域在長(zhǎng)周期背景圖像和短周期背景圖像中的區(qū)域生長(zhǎng)大小來判定鬼影和遺留物。如果此暫時(shí)靜止區(qū)域在長(zhǎng)周期背景圖像中再生長(zhǎng)的區(qū)域小于此區(qū)域在短周期背景圖像中再生長(zhǎng)部分，則判定此靜態(tài)前景區(qū)域?yàn)楣碛?；反之，則此靜態(tài)前景區(qū)域?yàn)檫z留物。

圖3　基于區(qū)域生長(zhǎng)的鬼影檢測(cè)流程圖

圖4為區(qū)域生長(zhǎng)方法分類的具體過程示意圖。(a)和(b)分別為第2143幀物體被移動(dòng)圖像和當(dāng)前幀，(c)是長(zhǎng)周期背景圖像，(d)是短周期背景圖像，(e)是獲得的暫時(shí)靜止區(qū)域二值圖，(f)和(g)分別是對(duì)(e)在長(zhǎng)周期背景圖像和短周期背景圖像進(jìn)行區(qū)域生長(zhǎng)后的效果二值圖。我們可以清楚的從圖3中看到(f)的區(qū)域面積明顯小于(g)中的區(qū)域面積，因此判定區(qū)域?yàn)楣碛?。反之，則為遺留物。

圖4　區(qū)域生長(zhǎng)方法分類例子

3.2鬼影背景更新

慢速更新的混合高斯背景學(xué)習(xí)率低(即長(zhǎng)周期背景模型)，以至于突然離開的物體不能及時(shí)更新，造成鬼影會(huì)被持續(xù)檢測(cè)到，從而影響整個(gè)監(jiān)控系統(tǒng)的處理效率，且當(dāng)有新目標(biāo)經(jīng)過未更新區(qū)域時(shí)將無法檢測(cè)到目標(biāo)。因此，檢測(cè)到鬼影要及時(shí)更新背景圖像，進(jìn)行鬼影抑制。本文采用中值濾波背景更新法，主要步驟如下：

1) 建立一個(gè)緩沖器存放連續(xù)K幀視頻圖像。

2) 對(duì)緩沖器中圖像的每個(gè)像素點(diǎn)顏色值按從大到小排序，取每一個(gè)像素點(diǎn)在緩沖器中的中值。

3) 鬼影區(qū)域用得到的像素中值填充，對(duì)于非鬼影區(qū)域則根據(jù)背景更新公式漸變更新。更新公式如下：

Bt(x,y)=(1-α)Bt-1(x,y)+αM(x,y)

(5)

當(dāng)檢測(cè)到鬼影時(shí)，用存儲(chǔ)的連續(xù)樣本圖像快速填充鬼影區(qū)域；對(duì)于非鬼影區(qū)域，中值濾波更新方法實(shí)現(xiàn)背景更新。

4實(shí)驗(yàn)結(jié)果與分析

4.1實(shí)驗(yàn)結(jié)果

根據(jù)本文算法，在VS2010編程環(huán)境下，內(nèi)存為2 GB，主頻為2.0 GHz的PC機(jī)上，對(duì)PETS2007數(shù)據(jù)集和采集的實(shí)驗(yàn)監(jiān)控視頻做測(cè)試。圖5采用PETS2007中的視頻，視頻中由于作為背景的包裹被移動(dòng)后，背景的未及時(shí)更新會(huì)持續(xù)檢測(cè)到鬼影,使用本文方法檢測(cè)鬼影及背景更新結(jié)果，其中(a)為長(zhǎng)周期背景圖像，黑色包裹在背景中，包裹移動(dòng)后由于未及時(shí)更新則為錯(cuò)誤的背景，(b)為短周期背景圖像，(c)為第2143幀，黑色包裹被移動(dòng)，(d)是根據(jù)本文鬼影檢測(cè)算法，在第2351幀檢測(cè)到的鬼影(黑色方框內(nèi)的區(qū)域)，(e)采用本文提出的背景更新法得到的正確長(zhǎng)周期背景圖像。實(shí)驗(yàn)2是室內(nèi)監(jiān)控視頻，同實(shí)驗(yàn)1對(duì)作為背景的包裹移動(dòng)產(chǎn)生的鬼影做檢測(cè)和抑制，結(jié)果見圖6所示。

圖5　實(shí)驗(yàn)1結(jié)果圖

圖6　實(shí)驗(yàn)2結(jié)果圖

4.2對(duì)比分析

本文研究了文獻(xiàn)[4]基于三幀差法的鬼影抑制方法，該方法處理速度快，但得到的運(yùn)動(dòng)目標(biāo)輪廓效果不好，且當(dāng)運(yùn)動(dòng)物體輪廓復(fù)雜時(shí)，得到目標(biāo)輪廓不是封閉的，背景填充效果不好，不利于背景更新，因此背景更新后的效果并不好。圖7為兩種方法的更新效果對(duì)比，視頻是一名男子突然走動(dòng)，導(dǎo)致出現(xiàn)鬼影，(a)是初始幀，(b)是三幀差法得到的運(yùn)動(dòng)目標(biāo)輪廓，可見輪廓沒閉合，且部分輪廓沒檢測(cè)到，背景無法填充，(c)是三幀差法更新后的背景圖，其中黑色方框內(nèi)為更新部分，其他部分無法更新，(d)是本文預(yù)處理后得到的背景圖，可見更新效果好。

圖7　三幀差法效果圖

本文也研究了文獻(xiàn)[5]基于顏色直方圖相似性鬼影檢測(cè)方法，該方法主要是通過比較背景圖像和當(dāng)前幀的鬼影區(qū)域的顏色直方圖相似性來檢測(cè)鬼影。圖8中采集的視頻光照環(huán)境較暗且包裹顏色也較暗，情況較復(fù)雜不易檢測(cè)，分別采用文獻(xiàn)[5]方法與本文算法進(jìn)行對(duì)比分析，基于顏色直方圖相似性的方法，得到的直方圖相似度僅為0.578，漏檢，標(biāo)記為白色，而本文算法則可以準(zhǔn)確地檢測(cè)出鬼影，標(biāo)記為黑色，如圖8所示。由此可見，基于顏色直方圖相似性方法鬼影受環(huán)境影響較大，檢測(cè)準(zhǔn)確率不高。

圖8　直方圖相似性法與本文方法鬼影檢測(cè)結(jié)果對(duì)比圖

文獻(xiàn)[6]為基于輪廓匹配的鬼影檢測(cè)法，在簡(jiǎn)單場(chǎng)景中，檢測(cè)效果較好，但在背景輪廓也較復(fù)雜的場(chǎng)景下會(huì)誤檢。如圖9所示，輪廓較復(fù)雜的場(chǎng)景，其中(a)為初始背景幀，(b)是第517幀將包裹拿走，(c)為基于輪廓匹配方法檢測(cè)結(jié)果，輪廓匹配相似度小于設(shè)定閾值，產(chǎn)生誤檢，(d)為本文方法檢測(cè)結(jié)果。

圖9　輪廓匹配法與本文方法檢測(cè)結(jié)果對(duì)比圖

同時(shí)，基于顏色相似性方法和基于輪廓匹配的方法，不能處理遮擋情況，但本文方法可不受遮擋影響。如圖10所示，(a)為單背景模型采用的背景圖像，也為雙背景模型中的短周期背景圖像，(b)為第2143幀物體被移走，第2673幀人遮擋了移動(dòng)物體位置，(c)和(d)表明基于顏色直方圖法和基于輪廓匹配法都檢測(cè)錯(cuò)誤，而本文方法利用長(zhǎng)短周期背景圖像，未與當(dāng)前幀匹配，因此可正確檢測(cè)，如(f)所示。

圖10　遮擋情況下三種方法的效果對(duì)比圖

5結(jié)語

從上面的分析比較中可以看出，三幀差法的背景更新效果受幀處理步長(zhǎng)及輪廓復(fù)雜度的影響，更新效果并不好。基于顏色直方圖相似性分類法受光照等環(huán)境影響較大，適用于背景顏色效果好的場(chǎng)景?；谳喞ヅ浞椒ㄊ鼙尘靶畔⒂绊戄^大，適用于背景輪廓較簡(jiǎn)單的場(chǎng)景。且兩種方法均不能處理遮擋問題。而本文提出的基于區(qū)域生長(zhǎng)的分類方法針對(duì)雙背景模型鬼影檢測(cè)，檢測(cè)準(zhǔn)確率高，環(huán)境適應(yīng)性強(qiáng)，能處理遮擋問題，背景更新效果好。

參考文獻(xiàn)

[1] Avidan S.Support vector tracking[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2004,26(8):1064-1072.

[2] Learnedmiller E G,Sevillalara L.Distribution fields for tracking[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition,2012:1910-1917.

[3] Oron S,Barhillel A,Levi D,et al.Locally orderless tracking[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition,2012:1940-1947.

[4] 胡小冉,孫涵.一種新的基于ViBe的運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J].計(jì)算機(jī)科學(xué),2014,41(2):149-151.

[5] 李曉娟,李佳田,何育楓.目標(biāo)相似度量的鬼影抑制方法[J].計(jì)算機(jī)應(yīng)用研究,2014,31(3):926-928.

[6] 王偉嘉,劉輝,莎莉,等.滯留與偷竊物體實(shí)時(shí)檢測(cè)與分類算法[J].計(jì)算機(jī)應(yīng)用,2007,27(10):2591-2594.

[7] Stauffer C,Grimson W E L.Adaptive background mixture models for real-time tracking[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,1999:246-252.

[8] Tian Y L,Lu M,Hampspur A.Robust and Efficient Foreground Analysis for Real-time Video Surveillance[C]//Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.CVPR 2005,2005:1182-1187.

[9] Li X,Zhang C,Zhang D.Abandoned objects detection using double illumination invariant foreground masks[C]//20thinternational Conference on Pattern Recognition,2010:241-250.

GHOSTING SUPPRESSION METHOD BASED ON DUAL BACKGROUND MODEL

Yan ShuoChen Keshan

(SchoolofMechanical,ElectronicandControlEngineering,BeijingJiaotongUniversity,Beijing100080,China)

AbstractAiming at the problem of ghosting detection and suppression under dual background model, we propose following methods: preprocessing, ghosting detection based on regional growing and ghosting suppression based on background update. Preprocessing is our first step so that we can restrain the ghosting occurring in first frame and build an accurate background. Then, we detect the ghosting by using different sizes of regional growing of the ghosting in current frame and in background frame. Finally, we update the background for the background image containing the ghosting object, and rapidly restore the background to restrain the recurrence of it. Results of experiment show that these methods can accurately detect ghosting with good effect of background update, and can fast suppress ghosting.

KeywordsGhosting detectionRegional growingBackground update

收稿日期：2014-12-03。閆碩，碩士，主研領(lǐng)域：目標(biāo)檢測(cè)，目標(biāo)識(shí)別。陳科山，教授。

中圖分類號(hào)TP391.41

文獻(xiàn)標(biāo)識(shí)碼A

DOI:10.3969/j.issn.1000-386x.2016.05.040