張國家，左敦穩(wěn)，黎向鋒，史晨紅

(南京航空航天大學(xué) 機(jī)電學(xué)院，江蘇 南京 210016)

0 引言

手勢(shì)識(shí)別技術(shù)作為一種新型人機(jī)交互技術(shù)，已在軍事、智能交通等多個(gè)領(lǐng)域取得應(yīng)用。前景提取技術(shù)是手勢(shì)識(shí)別技術(shù)的基礎(chǔ)，前景分割的品質(zhì)直接影響手勢(shì)特征的提取和識(shí)別精度。目前，前景提取技術(shù)多采用背景建模的方法，其中以平均背景模型、高斯背景模型、CodeBook背景模型以及非參數(shù)化估計(jì)背景模型研究較多，并取得了一系列成果。王傳旭等[1]采用基于鄰域相關(guān)性和幀間連續(xù)性的運(yùn)動(dòng)目標(biāo)分割算法。Ariel Amato等[2]提出一種以色彩和亮度為依據(jù)的分割算法。這兩種算法受噪聲的影響大，為此，Elgammal等人提出一種非參數(shù)核密度估計(jì)背景建模方法，前景提取效果好，但其單幀處理時(shí)間長(zhǎng)，實(shí)時(shí)性較差[3]。為了提高實(shí)時(shí)性，Darrnn E Butler和Michael V提出一種在時(shí)域上對(duì)像素進(jìn)行聚類的方法[4]。Kedar A.Patwardhan等[5]使用最大概似法進(jìn)行背景或者前景判斷。相對(duì)于非參數(shù)密度函數(shù)估計(jì)，混合高斯背景模型(GMM)是一種典型的參數(shù)化模型，其對(duì)多類別和復(fù)雜背景下的前景提取具有比較好的效果。并已有眾多學(xué)者對(duì)其進(jìn)行了改進(jìn)，AGMM[6]，TLGMM[7]，STGMM[8]，SKMGM[9]，SEMGMM[10]， ADGMM[11]，旨在改善高斯混合模型的檢測(cè)效果，提高算法實(shí)時(shí)性，降低算法空間復(fù)雜程度。但其實(shí)時(shí)性和空間復(fù)雜度等仍然難以滿足廣泛的應(yīng)用要求?？梢姡咚够旌夏Ｐ?、核密度估計(jì)等基于數(shù)據(jù)聚類分析的算法具有優(yōu)越的檢測(cè)效果，但時(shí)間和內(nèi)存消耗大等問題極大地限制了其應(yīng)用。而基于簡(jiǎn)單的單幀和幀間信息的背景模型，因?yàn)楸尘斑m應(yīng)能力和魯棒性差等問題同樣沒能得到廣泛應(yīng)用。本文針對(duì)復(fù)雜單模背景提出了一種運(yùn)用背景差分構(gòu)建輔助背景濾除噪聲，以色彩相似度為評(píng)價(jià)標(biāo)準(zhǔn)的前景有效提取算法。在保證檢測(cè)效果的同時(shí)，減小空間復(fù)雜度，提高算法的實(shí)時(shí)性。

1 算法的總體流程

該算法主要包括五個(gè)流程：1) 均值背景建模；2) 提取輔助背景；3) 用輔助背景對(duì)背景差分圖進(jìn)行空域?yàn)V波；4) 構(gòu)建像素色彩相似度評(píng)價(jià)標(biāo)準(zhǔn)并進(jìn)行前景區(qū)域檢測(cè)；5) 更新背景和輔助背景。算法流程如圖1所示。本文解決的關(guān)鍵技術(shù)包括基于輔助背景的圖像濾波技術(shù)和基于色彩相似度的前景檢測(cè)技術(shù)。

圖1 算法總體流程

2 算法的設(shè)計(jì)與實(shí)現(xiàn)

2.1 基于輔助背景的圖像濾波

背景建模完成后，首先用背景差法進(jìn)行背景減除，獲得背景差分圖像：

outt(x,y)=ft(x,y)-ubft(x,y)

(1)

背景差圖像outt(x,y)中包含前景目標(biāo)和大量的噪聲點(diǎn)，如果直接對(duì)差分圖像進(jìn)行前景目標(biāo)提取，將使前景區(qū)域出現(xiàn)大量的空洞和殘缺，所以，在前景區(qū)域檢測(cè)前必須對(duì)背景差分圖像進(jìn)行濾波，以減小環(huán)境噪聲的影響。ubf0(x,y)是在沒有前景目標(biāo)時(shí)訓(xùn)練的輔助背景，其描述了背景圖像中噪聲的分布。用ubf0(x,y)對(duì)outt(x,y)進(jìn)行空域?yàn)V波，去除大部分的環(huán)境噪聲，獲得不含環(huán)境噪聲的背景差分圖像out_st(x,y)，再對(duì)out_st(x,y)進(jìn)行前景目標(biāo)提取可以抑制前景區(qū)域中的空洞和殘缺現(xiàn)象的產(chǎn)生。

2.2 基于相似度理論的前景提取技術(shù)

在RGB色彩模型中，將每個(gè)像素值理解為一個(gè)三維向量，本文以像素向量之間的相似程度作為判斷像素隸屬前景或背景區(qū)域的標(biāo)準(zhǔn)。在向量相似度中，常用兩個(gè)向量夾角的余弦值來衡量?jī)烧叩南嗨瞥潭?，但?duì)于像素色彩相似度，該方法常出現(xiàn)誤檢測(cè)。誤檢測(cè)包含兩種，1) 將前景區(qū)域誤判為背景，這常是由于噪聲引起的；2) 將背景區(qū)域誤判為前景，這不僅是由于噪聲的影響還有陰影的影響。如圖2所示，向量A和B的夾角θ值比較小，可以將二者歸為一類，但由于光照的影響，將使A出現(xiàn)偏離，θ角變大而出現(xiàn)誤檢測(cè)。有學(xué)者采用亮度歸一化的方法進(jìn)行光照抑制，但光照對(duì)R,G,B值的影響并不是成比例變化的，亮度不僅改變了向量的模值，也改變了向量之間的夾角。因?yàn)榱炼茸兓瘯r(shí)，雖然色彩的色調(diào)沒有變化，但飽和度出現(xiàn)了變化，視覺上會(huì)出現(xiàn)色彩偏差，也即R,G,B值的比例發(fā)生了改變。經(jīng)過對(duì)像素色彩信息的研究，本文提出如下的色彩相似度理論。設(shè)F(x,y)和B(x,y)分別表示像素位置(x,y)處的當(dāng)前像素值和背景像素值，則：

(2)

圖2 像素向量空間關(guān)系

表示(x,y)位置處背景和前景的色彩相似度，其中d為數(shù)據(jù)維數(shù)，在RGB色彩模型中d=3。fi，bi為像素的各維度值，ni=|fi+bi|/2用于抑制數(shù)據(jù)基數(shù)對(duì)相似度的影響，即亮度變化對(duì)相似度的影響。由式(2)可知，只有在像素向量的各維度值都很接近時(shí)，其相似度值才會(huì)很大，有一者出現(xiàn)偏差都將導(dǎo)致相似度大幅度偏離。其從本質(zhì)上描述了兩種色彩的色調(diào)關(guān)系，對(duì)光照和陰影的影響具有很強(qiáng)的魯棒性。

利用式(2)對(duì)空域?yàn)V波后的背景差分圖像out_st(x,y)進(jìn)行前景檢測(cè)，按下式進(jìn)行

(3)

式中TH為分割閾值，當(dāng)相似度小于TH時(shí)，判斷該像素與背景不相似，把該像素判為前景，標(biāo)記為1，否則判為背景。試驗(yàn)表明，TH取值在0.5～0.7范圍比較合適。前景提取后獲得t時(shí)刻的前景區(qū)域，因?yàn)榍熬皺z測(cè)前已使用輔助背景對(duì)環(huán)境噪聲進(jìn)行濾除，且本文的像素相似度評(píng)價(jià)標(biāo)準(zhǔn)對(duì)陰影和光照變化具有較強(qiáng)的抑制能力，因此，所獲得的前景區(qū)域內(nèi)部空洞比較少，無陰影現(xiàn)象。對(duì)前景檢測(cè)后的圖像進(jìn)行適當(dāng)?shù)男螒B(tài)學(xué)開閉操作，輸出完整的前景目標(biāo)區(qū)域output_st(x,y)。

2.3 背景與輔助背景更新

前景檢測(cè)完后需要對(duì)背景模型和輔助背景進(jìn)行更新，以適應(yīng)背景變化。對(duì)所有像素，令ubft(x,y)更新后為ubft+1(x,y)，并按下式進(jìn)行更新：

ubft+1(x,y)=(1-α)ubft(x,y)+αft(x,y)

(4)

其中α為背景學(xué)習(xí)率(0～1)，α的選取要根據(jù)背景狀態(tài)的變化情況進(jìn)行，背景變化快時(shí)，α取值較大，背景變化慢時(shí)，α取值較小。一般取α=0.002 ，較大的α將使前景目標(biāo)融入背景。另外，為了避免將先運(yùn)動(dòng)后禁止的前景目標(biāo)誤檢為背景，對(duì)前景目標(biāo)區(qū)域不進(jìn)行更新，只對(duì)判斷為背景的區(qū)域進(jìn)行更新。試驗(yàn)表明，該更新方法能有效改善靜止目標(biāo)被融入背景的現(xiàn)象。

輔助背景的更新需要不包含前景目標(biāo)區(qū)域的背景差分圖，在輔助背景更新前先用output_st(x,y)濾除背景差分圖像outt(x,y)中的前景區(qū)域，獲得只包含環(huán)境噪聲的背景差分圖像Poutt(x,y)。

poutt(x,y)=outt(x,y)-outputt(x,y)

(5)

輔助背景更新的方式與背景模型更新方式相似，按下式進(jìn)行：

abft+1(x,y)=(1-β)abft(x,y)+βpoutt(x,y)

(6)

其中abft+1(x,y)為更新后的輔助背景，β與α的意義相同，也為背景學(xué)習(xí)率(0～1)，但β的取值應(yīng)比α大，一般取β=0.1。

3 實(shí)驗(yàn)結(jié)果與分析

為了測(cè)試本文算法的有效性，對(duì)大量的標(biāo)準(zhǔn)視頻和實(shí)際視頻進(jìn)行了測(cè)試，并與高斯混合模型和CodBook算法進(jìn)行了比較。測(cè)試環(huán)境是一臺(tái)2.3GHz，2G內(nèi)存的PC，在VC6.0下實(shí)現(xiàn)。圖3為對(duì)IBM人類視覺研究中心監(jiān)視系統(tǒng)性能評(píng)價(jià)提供的視頻PetsD1TeC1的測(cè)試結(jié)果，分別是第530幀和940幀時(shí)的效果。由圖3可以看出，與混合高斯模型算法相比，本文算法對(duì)前景目標(biāo)具有比較完整的檢測(cè)效果，而且當(dāng)前景目標(biāo)靜止時(shí)，不會(huì)因?yàn)楸尘案露徽`認(rèn)為是背景。在第940幀原圖中紅圈標(biāo)出的是第530幀中運(yùn)動(dòng)的汽車靜止在停車場(chǎng)的情形；GMM算法把靜止的前景目標(biāo)誤認(rèn)為是背景，產(chǎn)生誤檢測(cè)；而本文算法則有效地解決了這個(gè)問題。與CodeBook算法相比，本文算法具有較強(qiáng)的抗干擾能力。針對(duì)視頻PetsD1TeC1，其單幀大小為384×288，經(jīng)測(cè)試本文算法的平均單幀處理時(shí)間為42ms，內(nèi)存消耗為21.6MB，可見本文算法具有良好的實(shí)時(shí)性和優(yōu)越的空間復(fù)雜度。圖4為對(duì)IBM人類視覺研究中心監(jiān)視系統(tǒng)性能評(píng)價(jià)提供的視頻IndoorGTTest1的測(cè)試結(jié)果，由第515幀和第778幀均可以看出本文算法對(duì)前景目標(biāo)具有比較完整的檢測(cè)結(jié)果。第778幀中紅圈標(biāo)出的是前景目標(biāo)的陰影區(qū)域；可以看出，本文算法和GMM算法對(duì)陰影均具有比較好的抑制作用，而CodeBook算法則出現(xiàn)了明顯的陰影。

圖3 室外場(chǎng)景測(cè)試對(duì)比圖

圖4 室內(nèi)場(chǎng)景測(cè)試對(duì)比圖

4 結(jié)論

本文提出了一種基于RGB色彩相似度的前景有效提取算法。該算法主要解決了兩個(gè)問題：1) 提出了一種基于輔助背景的圖像濾波技術(shù)，解決了復(fù)雜單模背景下的圖像濾波問題；2) 構(gòu)建像素色彩相似度作為前景區(qū)域檢測(cè)標(biāo)準(zhǔn)，該相似度理論對(duì)光照變化和陰影具有較強(qiáng)的抑制作用，為前景分割技術(shù)提供了新的思路。由于該算法中的背景模型簡(jiǎn)單，且只對(duì)疑似前景區(qū)域進(jìn)行多次操作，從而降低了算法的內(nèi)存消耗和計(jì)算時(shí)間，檢測(cè)效率有較大提高。多場(chǎng)景試驗(yàn)表明，該算法對(duì)復(fù)雜單模背景保持了較好的前景檢測(cè)效果和檢測(cè)效率，在手勢(shì)識(shí)別和視頻監(jiān)控等領(lǐng)域中具有廣闊的應(yīng)用前景。

[1] 王傳旭，張祥光，原春鋒,等.基于鄰域相關(guān)性和幀間連續(xù)性的前景目標(biāo)分割[J].數(shù)據(jù)采集與處理，2007，22(3)：288-291.

[2] Ariel Amato，Mikhail Mozerov， Iván Huerta.et al.Background subtraction technique based on chromaticity and intensity patterns[C].Tampa, Florida, USA：IEEE Conference Publications,2008.

[3] Elgammal A，Dura swami R，Harwood D，et a1.Background and foreground modeling using nonparametric kernel density estimation for visual surveillance[J].Proceedings of IEEE，2002.90(7)：1151-1163.

[4] Darrnn E Butler，Michael V.Real-time adaptive foreground background segmentation[J].Real-Time Imaging，2005，6(11)：172-185.

[5] Kedar A.Patwardhan，Guillermo Sapiro，Vassilios Morellas.Robust Foreground Detection In Video Layers[C].IEEE Computer Society：Los Alamitos USA，2008.

[6] Zivkovic Z.Vail der Heijden F.Efficient adaptive density estimation per image pixel for the task of background subtraction[J].Pattern Recognition Letters，2006，27(7)：773-780.

[7] Yang H, Tan Y, Tian J, Liu J.Accurate dynamic scene model for moving object detection[A], In Proc.Int Conf on Image Processing (ICIP)[C], San Antonio, TX, 2007, 6: 157 -160.

[8] Zhang W, Fang X, Yang X, Wu Q.Spatiotemporal Gaussian mixture model to detect moving objects in dynamic scenes[J], Electronic.Imaging, 2007; 16(2):023013.

[9] Tang P, Gao L, Liu Z.Salient moving object detection using stochastic approach filtering[A].Fourth Int Conf on Image and Graphics (ICIG)[C], Sichuan, China, 2007; 530-535.

[10] B.A.S.Hasan, and Q.J.Gan, Sequential EM for unsupervised adaptive Gaussian mixture model based classifier[A], In Proc.6th Int.Conf.Machine Learning and Data Mining in Pattern Recognition[C], Leipzig, Germany, 2009: 96-106.

[11] 齊玉娟，王延江，索鵬.一種基于混合高斯的雙空間自適應(yīng)背景建模方法[J].中國石油大學(xué)學(xué)報(bào)(自然科學(xué)版)，2012, 36(05)：175-183.