薛 茹，黃 操

(1.西藏民族學(xué)院 信息工程學(xué)院，陜西 咸陽712082;2.長安大學(xué) 信息工程學(xué)院，陜西 西安710064)

責(zé)任編輯:時 雯

1 背景建模

背景減法是視頻監(jiān)控中常用的運(yùn)動目標(biāo)檢測方法，它通過當(dāng)前幀的像素和背景模型中的相應(yīng)像素比較，將視頻圖像中的運(yùn)動目標(biāo)提取出來，由此可見背景模型直接影響背景減法獲得運(yùn)動目標(biāo)的質(zhì)量[1]。最簡單的背景模型是為每個像素做高斯分布[2]，然而，單高斯分布對于擺動的樹木、光線變化等動態(tài)背景并不得心應(yīng)手。因此，Stauffer和Grimson用高斯混合模型[3]表達(dá)動態(tài)背景的變化，并用參數(shù)估計(jì)技術(shù)更新背景模型，由于外界環(huán)境變化的不確定性，用高斯分布建立精確的背景模型是不可能的。為了克服因快速變化的背景引起的參數(shù)估計(jì)錯誤而導(dǎo)致的背景模型的不精確性，Elgammal和Harwood等人提出了非參數(shù)模型[4]方法，通過像素的觀測值用核密度估計(jì)技術(shù)預(yù)測當(dāng)前像素的概率密度函數(shù)，這種方法能適應(yīng)背景的迅速變化，使其迅速檢測運(yùn)動目標(biāo)。但是，在光線變化和樹木擺動的情況下，這種方法需要長時間紀(jì)錄觀測像素，占用大量內(nèi)存。為了克服該問題，文獻(xiàn)[5]提出用碼本的方法建立基于像素統(tǒng)計(jì)的模型，該方法用壓縮的方式在內(nèi)存有限的情況下表示圖像序列，通過比較當(dāng)前幀和背景幀的顏色和亮度差進(jìn)行檢測，該方法用聚類分析構(gòu)建背景模型，為每個像素建立包含一個或多個碼元的碼本。以上都是針對單個像素建立背景模型，而基于像素區(qū)域的背景建模也受到了關(guān)注。局部二值模式(LBP)[6]是一種檢測區(qū)域紋理變化的方法。在給定像素為中心的圓形區(qū)域內(nèi)，用中心像素與相鄰像素的差值確定編碼，所得的二進(jìn)制值分布在中心像素的環(huán)形區(qū)域，用于對該像素建立模型。如果檢測像素的區(qū)域和得到的二值模式相同，那么該像素為前景，否則為背景像素。然而，由于中心像素作為參考來計(jì)算二值模式，該像素的穩(wěn)定性直接影響檢測的準(zhǔn)確性。文獻(xiàn)[7-8]同樣提到了該方法，文獻(xiàn)[7]用視頻序列中相應(yīng)塊之間的相關(guān)性檢測前景，該方法對于處理動態(tài)場景和塊內(nèi)部的固定干擾還有困難，另外，對于運(yùn)動目標(biāo)與塊的大小、干擾等都需綜合考慮。文獻(xiàn)[8]利用了固定塊大小和邊緣直方圖的方法，但使用固定塊大小很難平衡噪音魯棒性和檢測準(zhǔn)確性。邊緣直方圖不能過濾諸如擺動的樹枝這樣小范圍運(yùn)動的干擾。Bourezak等人[9]采用在不同大小的塊上使用顏色直方圖的方法。文獻(xiàn)[10]在經(jīng)典碼本[5]算法的基礎(chǔ)上，從像素塊和像素兩個級別對圖像進(jìn)行編碼，提取運(yùn)動目標(biāo)，但是該方法由于采用兩個級別進(jìn)行編碼，其編碼和更新過程過于復(fù)雜，影響了前景檢測的實(shí)時性。

本文方法對塊向量進(jìn)行聚類分析，考慮組成圖像的相鄰像素之間的相關(guān)性，用三維矩陣表示塊向量的聚集范圍，并通過聚集后的部分矩陣向量分割前景和背景。

2 動態(tài)背景建模

視頻中灰度圖像用一維表示，彩色圖像用R，G，B空間三維表示。盡管通過顏色的變化可以將圖像前景或背景分割[11]，但是實(shí)際中顏色的變化是隨著時間而不斷變化的，要更清楚地檢測運(yùn)動目標(biāo)，并降低運(yùn)算量，有必要增加空間維度。為了充分表達(dá)出空間顏色隨時間變化的關(guān)系，本文運(yùn)用三維立體矩陣?yán)碚揫12-13]將彩色圖像的變化表示在一個數(shù)學(xué)模型里，運(yùn)用動態(tài)的建模方法進(jìn)行目標(biāo)檢測。

2.1 視頻的三維矩陣表示

彩色視頻圖像中，像素塊的R，G，B值分別用塊中像素的R，G，B均值來表示，即R—，G—，B—。像素塊的R，G，B向量是從原點(diǎn)到那一點(diǎn)的向量v(如圖1所示)。RGB空間中向量的夾角、距離都可表征像素間顏色的差異。

圖1 RGB向量空間示意圖

v1(R1，G1，B1)與v2(R2，G2，B2)分別表示兩個塊向量，v1，v2的夾角α定義為

v1，v2的距離L定義為

對視頻圖像序列進(jìn)行分塊，如圖2a所示。對于一幀視頻的每個塊都有自己的位置;對于視頻序列，要明確表示像素塊的位置，除了行、列外，還需要表示時間的變量。因此將圖2a中的視頻序列擴(kuò)展到三維矩陣中，如圖2b所示。用v表示像素塊向量的大小，下標(biāo)i和j表示在一幀圖像中像素塊的位置，t表示圖像序列的時間，那么vijt就可以表示第t幀中、第i行、第j列像素塊的向量，即在三維矩陣中i，j，t軸分別表示視頻中像素塊所在的行、列、時間軸縱向序列。

圖2 視頻的三維矩陣表示

2.2 動態(tài)背景建模方法

動態(tài)背景建模方法的思想是:將視頻圖像分塊，求其塊向量的值。通過計(jì)算同一塊向量在連續(xù)視頻序列中的最小歐氏距離，根據(jù)歐氏距離對塊向量進(jìn)行聚類分析。根據(jù)檢測過程中塊向量在聚心的聚集范圍內(nèi)出現(xiàn)的次數(shù)，移動該聚心的位置，再根據(jù)視頻圖像塊與出現(xiàn)頻率較高的聚心進(jìn)行比較，判斷該塊屬于前景或背景，并動態(tài)對聚心進(jìn)行更新。

三維塊向量矩陣中各元素分別用vijd表示，i和j值由視頻圖像大小決定，d為經(jīng)驗(yàn)值。將該矩陣從縱向深度為d/2的位置，分為深度為1～d/2和d/2～d的兩部分。其中，深度為1～d/2的向量是檢測過程中可能的塊向量的聚心，用來分割視頻的前景和背景。而深度為d/2～d的部分是曾經(jīng)出現(xiàn)過，但出現(xiàn)頻次不多，后面可能還會出現(xiàn)或者不會再出現(xiàn)的塊向量。由此可見，d的大小決定聚心的精確度。

檢測過程中像素塊先與縱深在1～d/2范圍的向量進(jìn)行比較，通過式(3)求得歐氏距離最小值

式中:xij為當(dāng)前視頻圖像中第i行、第j列像素塊的向量值;vijk為V矩陣中第i行、第j列像素塊在縱向值為1～d/2的像素塊向量;disij為歐氏距離的最小值。如果disij小于閾值TSij，那么這個塊判斷為背景。這樣在第一幀圖像到達(dá)后就可以粗略地將背景與前景分隔，為背景建立初步模型。

再將當(dāng)前像素塊與縱深在d/2～d范圍內(nèi)的向量比較。在檢測過程中將3d/4作為新的候選聚心添加的地方，縱深從3d/4～d的向量是長時間沒有出現(xiàn)塊。判斷添加聚心的條件是，若歐氏距離disij大于閾值TPij，則將該向量添加到縱深為3d/4處，其后面的向量依次后移，縱深超過d則刪除。對于disij小于等于閾值TPij的向量，將當(dāng)前的像素塊拋棄，在矩陣中找到對應(yīng)的(假設(shè)該塊為vijn)像素塊向量，將其在縱向上提升s，也就是在該塊的縱深減少s，即塊向量為vij(n-s)(其目的在于對在聚心范圍內(nèi)出現(xiàn)的塊，將其塊向量位置向縱深為1～d/2的范圍內(nèi)提升，使其能代表該塊的聚心)。原來位置的向量則依次下移。對于提升距離s則根據(jù)實(shí)驗(yàn)確定。依次類推，最終使出現(xiàn)頻次最高的向量出現(xiàn)在深度為1的平面矩陣中，那么vij1更能代表當(dāng)前視頻的背景。為了確保檢測的準(zhǔn)確性，將縱深在1～d/2范圍內(nèi)的向量作為分隔前景背景的基本模型。具體過程如圖3所示。

圖3 動態(tài)背景建模方法

對于在檢測過程中出現(xiàn)的閾值需要實(shí)時掌握視頻變化情況，因此對于閾值TSij和TPij，根據(jù)計(jì)算過程中得到的歐氏距離的最小值βTS和βTP倍和時間常量TC來表示

式中:t代表視頻的時間間隔;βTS，βTP，TC為經(jīng)驗(yàn)值;α=。這樣閾值根據(jù)像素塊的變化實(shí)時更新聚類的聚心，并改變聚心的優(yōu)先級別。

總之，將重復(fù)出現(xiàn)的像素塊的縱深提升到矩陣縱度的前一半范圍內(nèi)，是為了讓這部分像素塊能實(shí)時代表像素塊的聚心，將聚心范圍縮小，提高用縱深為1～d/2范圍內(nèi)的塊向量進(jìn)行前景和背景分割的精確性。將出現(xiàn)頻度較低的像素塊向量剔除，減少矩陣的冗余提高有效度。

算法描述如下:

1)初始化矩陣V，使其初始值為0;正規(guī)化當(dāng)前幀中各像素塊xij。

2)計(jì)算當(dāng)前幀中各塊與矩陣中縱深為1～d/2的相應(yīng)塊的歐氏距離，并分別求其最小值disij。

3)繼續(xù)計(jì)算當(dāng)前幀中各塊矩陣中剩余像素塊的歐氏距離，并分別求其最小值disij

如果當(dāng)前圖像中的某像素塊向量和矩陣中相應(yīng)的像素塊向量歐氏距離接近，即小于閾值TPij，則丟棄當(dāng)前塊，矩陣中相應(yīng)的塊(假設(shè)該塊為vijq)縱向提升s，也就是在該塊的縱深減少s，則該塊為vij(q-s)。那么矩陣中原來vij(q-s)～vijq及其后面的像素塊依次改變。若s=1，即t=vijq，vijq=vij(q-s)，vij(q-s)=t，也就是兩個向量交換位置。

如果disij大于閾值TPij，則用當(dāng)前塊向量值代替矩陣中深度為p=3d/4的塊向量，而矩陣中原來的塊向量值從3d/4到d，依次后移一位。最后一個向量vijd直接從矩陣中刪除。

4)返回第一步。

用該方法提取前景，由于采用塊大小的不同會直接影響前景的分辨力。因此，為了提高檢測的效果可以采用重疊塊的辦法，但是這樣會影響計(jì)算速度和存儲容量。

3 實(shí)驗(yàn)結(jié)果

本文方法是對圖像在水平、垂直、縱向時間上進(jìn)行塊劃分，并根據(jù)平面上塊的大小和時間序列來設(shè)計(jì)矩陣的大小。實(shí)驗(yàn)中，平面中塊的大小根據(jù)圖像分辨率設(shè)定，同時要考慮得到背景模型和提取前景分辨率的要求;也就是說，用大塊去分割圖像會導(dǎo)致提取的前景不平滑、失真率變大。因此，在實(shí)驗(yàn)中針對不同的圖像，采用了不同大小的塊。時間序列的大小根據(jù)經(jīng)驗(yàn)，盡量提取清晰干凈的背景為宜，同時還需考慮系統(tǒng)的存儲容量和計(jì)算速度。

3.1 實(shí)驗(yàn)對比分析

實(shí)驗(yàn)中提取的視頻圖像的分辨率為640×480，測試了1 000幀，采用25 f/s(幀/s)。將本文的算法應(yīng)用于一個三維矩陣中，塊大小是4×3像素。矩陣中，行i=640/4=160;列j=480/3=160;縱向深度d=200。時間常數(shù)為500，βTS=1.5，βTP=2。通過MATLAB 2007運(yùn)行。選取兩個視頻，視頻1為湖邊的視頻，在有風(fēng)的情況下樹木擺動，湖里水波反光，且湖岸上有行人通過;視頻2為公園中一房子旁邊，有微風(fēng)、行人較多，這兩個視頻的場景都比較復(fù)雜。

文獻(xiàn)[9]采用像素塊的碼本聚類方法，根據(jù)像素塊出現(xiàn)頻率對其進(jìn)行編碼來提取前景。該方法中塊大小是4×3，學(xué)習(xí)幀為100;像素塊距離閾值為10，碼元沒出現(xiàn)的時間間隔閾值為50。將文獻(xiàn)[9]方法與本文方法進(jìn)行比較，如圖4所示。在圖4的視頻1中，風(fēng)較大、湖面水波反光，本文和文獻(xiàn)[9]的方法都能有效剔除水波的干擾，但是不能完全剔除擺動樹木的影響。然而，從圖中可以看到，本文方法對擺動樹木的抗干擾能力比文獻(xiàn)[9]好。視頻2中本文和文獻(xiàn)[9]方法提取的前景能有效減去固定房屋，對于樹木的干擾本文方法更好;對于人體中出現(xiàn)空洞的現(xiàn)象本文方法效果不明顯。

3.2 性能對比分析

圖4 本文方法與文獻(xiàn)[9]提取前景比較

為了進(jìn)一步對該算法進(jìn)行分析，采用操作特征曲線(Receiver Operating Characteristic，ROC)來分析評估該算法的性能。ROC曲線通過Y軸的真陽性率(True Positive Rate，TPR)與X軸的假陽性率(False Positive Rate，F(xiàn)PR)形成曲線，是一種評估算法質(zhì)量或性能的有效方法。AUC(ROC曲線下的面積)是衡量算法的總體性能，算法的AUC值越接近1，說明該算法的性能越好。圖5顯示了本文實(shí)驗(yàn)中的ROC曲線。

圖5 ROC曲線

式中:TP為檢測到的正確前景像素個數(shù);FN為檢測到的錯誤前景個數(shù);FP為檢測到的錯誤背景像素個數(shù);TN為正確檢測的到背景像素個數(shù)。從圖5可以看出，本文方法的值比文獻(xiàn)[9]更接近1。

4 結(jié)論

提出針對圖像在三維空間建立背景模型，在平面上進(jìn)行塊的劃分，在縱向上進(jìn)行塊向量的存儲，并根據(jù)塊向量在一定變化范圍內(nèi)出現(xiàn)的次數(shù)，調(diào)整塊向量在縱向上的位置，使得出現(xiàn)次數(shù)高的向量集中在縱深為1～d/2的范圍內(nèi)，有效地進(jìn)行聚類分析。并將該方法和碼本塊聚類分析方法(文獻(xiàn)[9])進(jìn)行比較，實(shí)驗(yàn)證明該方法能動態(tài)更新背景模型，不需要花費(fèi)時間學(xué)習(xí)，能有效提取運(yùn)動目標(biāo)，降低外界干擾。

[1]薛茹，宋煥生，張環(huán).基于像素的背景建模方法綜述[J].電視技術(shù)，2012，36(13):39-43.

[2]WREN C，AZARBAYEJANI A，DARRELL T，et al.Pfinder:Real-time tracking of the human body[J].IEEE Trans.Pattern Analysis and Machine Intelligence，1997，19(7):780-785.

[3]STAUFFER C，GRIMSON W.Adaptive background mixture models for realtime tracking[C]//Proc.CVPR 1999.Fort Collins，Colorado:IEEE Press，1999:246-252.

[4]ELGAMMAL A，HARWOOD D，DAVIS L.Non-parametric model for background subtraction[C]//Proc.ECCV 2000.Dublin，Ireland:IEEE Press，2000:751-767.

[5]KIM K，CHALIDABHONGSE T，HARWOOD D，et al.Real-time foreground-background segmentation using code book model[J].Real-Time Imaging，2005(11):172-185.

[6]OJALA T，PIETIKINEN M.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2002，24(7):971-987.

[7]MASON M，DURIC Z.Using histograms to detect and track objects in color video[C]//Proc.AIPR 2001.Washington，DC，USA:IEEE Press，2001:154-159.

[8]MATSUYAMA T，OHYA T，HABE H.Background subtraction for nonstationary scenes[C]//Proc.ACCV 2000.Taipei，Taiwan:IEEE Press，2000:622-667.

[9]BOUREZAK R，BILODEAU G.Iterative division and correlograms for detection and tracking of moving objects[C]//Proc.IWICPAS 2006.Xi’an，China:IEEE Press，2006:45-56.

[10]GUO J，HSU C.Hierarchical method for foreground detevtion using codebook model[C]//Proc.2010 IEEE 17th International Conference on Image Processing.Hong Kong:IEEE Press，2010:26-29.

[11]沈盼盼，樊豐，伍瑞卿.基于RGB三通道分離的運(yùn)動目標(biāo)檢測方法[J].電視技術(shù)，2012，36(3):137-140.

[12]桑愛軍，陳賀新.三維矩陣彩色圖像WDCT壓縮編碼[J].電子學(xué)報，2002，30(4):594-597.

[13]朱艷秋，陳賀新，戴逸松.彩色圖像三維矩陣變換壓縮編碼[J].電子學(xué)報，1997，25(7):16-21.