許國梁，周航，袁良友

（北京交通大學(xué) 電子信息工程學(xué)院，北京 100044）

監(jiān)控視頻中的人體檢測和跟蹤一直是研究的熱點，在人工智能、安全監(jiān)控和人機交互等領(lǐng)域有廣泛的應(yīng)用[1-4]。通過建立背景模型，利用背景差分法檢測目標(biāo)具有檢測速度快、準(zhǔn)確度高和易實現(xiàn)的特點，得到了廣泛的研究[5-9]。但缺點是會因為背景模型中包含目標(biāo)像素而在檢測中產(chǎn)生“鬼影”。背景差分法包括GMM (Gaussian mixture model)、Vibe、CodeBook、Color (基于顏色信息的背景建模檢測方法) 等算法[10-15]。Shahbaz等[16]將檢測算法分為了三類，并利用大型真實標(biāo)準(zhǔn)數(shù)據(jù)集對算法進行定量和定性比較。Wren等[17]首次提出使用單高斯模型對簡單背景建模，對單一背景有較好的效果。為了提高算法的魯棒性，算法需要適應(yīng)在復(fù)雜背景情況下的建模[18]。Stauffer等[19]提出利用K個高斯分布對背景的每一個像素建模，實現(xiàn)了對汽車和行人的分類和跟蹤。Zivkovic等[20]提出將混合高斯模型中的K值根據(jù)背景的復(fù)雜度自適應(yīng)調(diào)整，提高了算法的執(zhí)行效率。以上提出的高斯背景建模算法建模速度快，對運動目標(biāo)有較好的檢測效果，但是對緩慢運動或靜止的目標(biāo)會檢測不完整。Kim等[21]利用CodeBook算法對動態(tài)目標(biāo)進行檢測，算法在室內(nèi)外的效果都比較好并且適應(yīng)小范圍周期運動的背景。Barnich等[22-23]提出一種有效的ViBe目標(biāo)檢測算法，該算法實現(xiàn)簡單并且運行效率高。針對ViBe不足，國內(nèi)外學(xué)者也對其進行了許多改進[24-26]。文獻[24]利用多幀平均法改進Vibe的建模過程并給出自適應(yīng)半徑閾值的計算方法。文獻[25]通過利用時空梯度改進ViBe算法。文獻[26]通過灰度空間信息構(gòu)建像素生命長度字典改進ViBe。文獻[21-26]算法雖然可以檢測出較為完整的目標(biāo)，但是依然無法準(zhǔn)確剔除目標(biāo)像素，會使檢測結(jié)果可能產(chǎn)生“鬼影”?，F(xiàn)階段抑制 “鬼影”的方法分為兩類:1) 在建模階段通過剔除目標(biāo)像素去除“鬼影”；2) 目標(biāo)檢測階段將“鬼影” 檢測為背景并且更新進背景內(nèi)。Codebook通過過濾初始化碼本中的目標(biāo)像素削弱“鬼影”的影響。ViBe采用首幀建模思想，若首幀存在目標(biāo)，則會產(chǎn)生嚴重“鬼影”。文獻[24-26]產(chǎn)生的“鬼影”都需要利用背景模型的更新消除。St-Charles P L等[27-28]利用背景的快速更新去除“鬼影”，但過快的更新容易將目標(biāo)更新進背景內(nèi)，會使目標(biāo)檢測不完整。由上述算法看出，在建模階段有效地從背景模型中剔除目標(biāo)像素是一個關(guān)鍵問題，否則 “鬼影”會影響檢測結(jié)果。

為了有效解決建模階段包含目標(biāo)像素造成的“鬼影”問題，本文結(jié)合混合高斯模型和拓撲結(jié)構(gòu)提出GMMT算法，在背景建模階段剔除目標(biāo)像素，在目標(biāo)檢測階段利用鄰域相關(guān)性實現(xiàn)目標(biāo)分割，有效地抑制了“鬼影”。

1 算法概述

本文提出的GMMT算法需要先進行背景建模，然后利用背景模型實現(xiàn)目標(biāo)檢測。在背景建模階段采用雙通道建模方式，通道一利用混合高斯模型進行預(yù)檢測，接著利用Meanshift確定分散區(qū)域之間的聯(lián)系，在區(qū)域之間生成網(wǎng)狀拓撲結(jié)構(gòu)[29]，形成統(tǒng)一的整體并計算整體區(qū)域的外接矩形。最后將矩形外的像素加入背景模型中，利用多幀平均法計算空背景; 通道二保留背景建模階段的輸入幀，直接利用多幀平均法計算空背景。通過設(shè)置建模幀數(shù)閾值T判斷建模方式，若建模幀數(shù)小于T，則使用通道一建模，否則使用雙通道聯(lián)合建模。在目標(biāo)檢測階段，利用改進的背景差分法考慮鄰域像素的相關(guān)性檢測目標(biāo)并且進一步消除背景建模階段由于抑制不徹底而遺留的“鬼影”。GMMT算法通過這兩個階段的處理，可以有效地抑制“鬼影”，實現(xiàn)目標(biāo)分割。圖1中為GMMT的框圖結(jié)構(gòu)。

圖 1 GMMT算法框圖Fig. 1 Block diagram of GMMT

2 背景建模

首先，對人體靜止、緩慢運動和快速運動加以定義。本文中人體靜止是指人體不走動，但是上肢或者 下 肢在擺動角區(qū)間 [10°,90°] 范圍內(nèi)擺動；運動緩慢和運動快速區(qū)分是通過視頻序列前后兩幀圖像中人體目標(biāo)運動是否相差半個身位：相差小于半個身位則為緩慢運動，大于半個身位則為快速運動。

“鬼影”即為虛假目標(biāo)，通常是由于背景模型中包含目標(biāo)像素造成的。當(dāng)利用背景模型進行背景差分時，若背景模型中包含目標(biāo)像素，而待檢測幀的對應(yīng)位置不包含真正的目標(biāo)時，依然會檢測出目標(biāo)，此時就形成了“鬼影”。背景建模的難點就在于目標(biāo)像素會進入背景模型中。其中，在目標(biāo)靜止或運動緩慢時“鬼影”問題尤為嚴重。因為背景像素會被目標(biāo)像素長期遮擋，無法采集到真實的背景像素，這樣會在檢測過程中產(chǎn)生 “鬼影”。GMMT通過利用混合高斯模型和拓撲結(jié)構(gòu)剔 除目標(biāo)1像素，建立有效的背景模型。

2.1 混合高斯模型

混合高斯模型由于更新速度快，所以可以有效地檢測目標(biāo)的運動信息?；旌细咚鼓Ｐ偷母怕屎瘮?shù)可表達為

式中：wj表示每個高斯分布所占的權(quán)重；η(xN,θj)表示標(biāo)準(zhǔn)K高斯分布的概率密度函數(shù)。

GMMT利用混合高斯模型檢測目標(biāo)的運動信息。圖2為混合高斯模型對目標(biāo)運動信息的檢測結(jié)果。由圖2可看出，運動快速的目標(biāo)檢測完整，運動緩慢和靜止的目標(biāo)檢測不完整。圖2中(b)和(d)可看出，目標(biāo)靜止或運動緩慢時，變化最明顯的位置是目標(biāo)邊緣。

圖 2 混合高斯模型對不同運動狀態(tài)目標(biāo)的檢測結(jié)果Fig. 2 Detection results of Gaussian mixture model for ob- jects in different moving states

為了建立有效的背景模型，需要將檢測到的目標(biāo)像素和未檢測到目標(biāo)像素全部剔除，GMMT將混合高斯模型檢測得到的運動目標(biāo)信息作為先驗信息，然后利用拓撲結(jié)構(gòu)估計未檢測到的目標(biāo)像素。

2.2 利用拓撲估計目標(biāo)完整區(qū)域

受到網(wǎng)狀拓撲結(jié)構(gòu)在計算機網(wǎng)絡(luò)中應(yīng)用的啟發(fā)，本文將網(wǎng)狀拓撲結(jié)構(gòu)應(yīng)用于目標(biāo)區(qū)域的估計。圖3為網(wǎng)狀拓撲結(jié)構(gòu)1示意圖，圖中身體各部分表示節(jié)點，直線表示連接關(guān)系。從圖中可以看出利用網(wǎng)狀拓撲結(jié)構(gòu)可以充分將分散的身體運動區(qū)域連接為一個整體。GMMT就是利用拓撲結(jié)構(gòu)這種將所有分散個體連接成統(tǒng)一整體的思想。由圖2可知，不易檢測的像素容易出現(xiàn)在目標(biāo)內(nèi)部，而易檢測像素出現(xiàn)在目標(biāo)邊緣，所以GMMT充分利用目標(biāo)邊緣的變化信息，用網(wǎng)狀拓撲結(jié)構(gòu)將邊緣所有的運動像素連接。在GMMT中將已檢測到的目標(biāo)區(qū)域抽象節(jié)點，然后使用Meanshift算法確定節(jié)點之間的連接關(guān)系。

圖 3 網(wǎng)狀拓撲結(jié)構(gòu)Fig. 3 Mesh topology

2.2.1 Meanshift

Meanshift聚類采用歐式距離判斷點是否為當(dāng)前聚類的興趣點。為了使算法更好地適應(yīng)對人體區(qū)域的聚類，GMMT中利用更符合人體長寬比的矩形框代替歐式距離判斷。下面是Meanshift的具體步驟：

1)首先隨機選取一個未被標(biāo)記的點作為聚類中心center；

2)找出以center為中心長寬比為2的矩形框區(qū)域內(nèi)所有的數(shù)據(jù)點集合N，認為集合N屬于同一聚類C，并記錄數(shù)據(jù)點在該類出現(xiàn)的次數(shù)加1；

3)計算以center為起始到集合N中每一個元素的向量，將向量相加得到shift向量；

4)使center沿著shift向量移動，即 center=center+shift；

5)重復(fù)步驟2)～4)，直至shift向量很小，GMMT設(shè)置shift為0時迭代停止，該過程遇到的全部點屬于聚類C；

6)重復(fù)步驟1)～5)，直至所有的點都被訪問；

7)若一個聚類中心在另一個聚類中心的長寬比為2的矩形框區(qū)域內(nèi)，則合并兩個聚類并將數(shù)據(jù)點出現(xiàn)的次數(shù)也合并;

8)按照每個點不同類的訪問頻率進行分類，將點分配給訪問頻率最大的聚類。

通過Meanshift將混合高斯模型檢測后圖像中的區(qū)域聚類，同一目標(biāo)或相鄰很近目標(biāo)分離的區(qū)域被聚類為一類。通過在多個場景進行測試，Meanshift采用長寬為200×100的矩形框。在利用Meanshift聚類前，利用混合高斯模型預(yù)檢測得到的圖像需要進行形態(tài)學(xué)運算去除過小的噪聲點。圖4為利用Meanshift得到的聚類結(jié)果，彩圖表示原圖，二值圖表示對原圖預(yù)檢測后聚類的結(jié)果，不同的顏色表示不同的類別。從(b)、(d)、(f)、(h)和(j)可以看出，Meanshift將同一目標(biāo)或相鄰目標(biāo)分散的區(qū)域聚為一類。需要注意的是圖(h)中紅色聚類為目標(biāo)造成的陰影區(qū)域，GMMT算法在背景建模階段會將目標(biāo)造成的陰影像素當(dāng)作目標(biāo)像素處理。

圖 4 Meanshift聚類結(jié)果Fig. 4 Results of Meanshift clustering

2.2.2 估計目標(biāo)區(qū)域

由Meanshift確定點之間的聯(lián)系后，在同一類點內(nèi)生成網(wǎng)狀拓撲結(jié)構(gòu)，將分散的區(qū)域連接成一個整體并得到整體區(qū)域的外接矩形。圖5為利用網(wǎng)狀拓撲結(jié)構(gòu)將分散區(qū)域連接的流程圖，聚類過程的介紹以圖4(h)中藍色聚類為例。圖5(d)為利用網(wǎng)狀拓撲結(jié)構(gòu)思想將分散的目標(biāo)區(qū)域連接在一起，然后在圖5(e)中取整體區(qū)域的外接矩形，最后圖5(f)為將外接矩形在原圖中標(biāo)記。網(wǎng)狀拓撲會在每個節(jié)點連接多條邊，目的是將同一類的區(qū)域全部連接在一起。通過估計目標(biāo)區(qū)域得到的外接矩形內(nèi)包含已檢測的目標(biāo)像素(白色區(qū)域)和未檢測到的目標(biāo)像素。背景建模時將矩形框內(nèi)的像素全部剔除，這樣可以盡可能剔除所有的目標(biāo)像素，達到有效抑制“鬼影”的目的。

圖 5 估計目標(biāo)區(qū)域流程Fig. 5 Process of estimate target area

2.3 計算空背景

得到背景像素后需要計算空背景，利用背景差分法實現(xiàn)目標(biāo)檢測。在計算空背景時考慮到部分背景像素可能由于目標(biāo)長期遮擋背景或背景長期劇烈變化(如樹枝劇烈晃動)不能采集到穩(wěn)定的背景像素，所以GMMT算法如圖6所示采用雙通道的方式計算背景模型。

圖 6 雙通道計算背景流程Fig. 6 Process of two channel computing background

通道1 根據(jù)2.2節(jié)和2.3節(jié)介紹的方法剔除目標(biāo)像素，當(dāng)所有的背景像素出現(xiàn)至少一次后就計算空背景。計算背景公式為

式中：Bg(x,y) 表示計算得到的空背景；Modeli(x,y)表示背景模型，存儲每一幀剔除目標(biāo)像素后留下的背景像素； c ou(x,y) 表示每一個像素位置背景像素的采集次數(shù)；N表示建模用的幀數(shù)。

通道2 存儲每一幀輸入的圖像 F ramei(x,y)，當(dāng)建模幀數(shù)N＞T時，利用多幀平均法計算輸入圖像的均值圖像 M ean(x,y)。

如圖6所示為GMMT算法利用雙通道計算空背景，輸入圖像中示例場景建模幀數(shù)大于200，圖(b)中矩形框內(nèi)為通道一無法采集的背景像素，圖(c)中矩形框為使用聯(lián)合建模采集的背景像素。閾值T可以按照實驗時所能接受的建模幀數(shù)上限設(shè)置，本文設(shè)置建模所用幀數(shù)閾值T=200幀。若建模幀數(shù)小于T時，則只用通道一完成背景建模；否則采用通道一與通道二聯(lián)合建模。因為建模幀數(shù)不小于T說明通道一存在無法采集的背景像素。如圖6中示例場景由于人群密集導(dǎo)致在建模幀數(shù)上限內(nèi)存在無法采集的背景像素(圖(b)矩形框內(nèi)的黑色像素)，所以將無法采集的背景像素利用通道二多幀平均法填補。通過通道一建模和雙通道聯(lián)合建模對比可發(fā)現(xiàn)，雙通道聯(lián)合建模填補了缺失的背景像素。

3 目標(biāo)分割

GMMT使用背景差分法將人體與背景分離，這樣可以使算法快速地實現(xiàn)目標(biāo)檢測。傳統(tǒng)的背景差分法只考慮了單個像素，沒有考慮像素鄰域的相關(guān)性。像素鄰域的分布是比較相似的，可以借助像素鄰域之間的相似性提高算法的魯棒性。如圖7所示為像素f(x,y) 與背景相同位置的像素Bg(x,y) 及其8鄰域像素，箭頭表示f(x,y) 需要和Bg(x,y) 像素運算。

圖 7 當(dāng)前像素和與其對應(yīng)的空背景8鄰域像素Fig. 7 Current pixel and its corresponding empty background 8 neighborhood pixels

改進的背景差分法計算方法為

改進的背景差分法使像素f(x,y) 與其對應(yīng)的背 景像素及其8鄰域像素作差并取絕對值，形成差值序列，然后取序列的最小值賦值給 dif(x,y)。這樣可以改善目標(biāo)像素偏移造成的誤檢測。經(jīng)實驗發(fā)現(xiàn)，改進后的背景差分法可以適應(yīng)動態(tài)的背景，比如風(fēng)吹動樹葉、橫幅等小幅擺動并且還可以快速地消除“鬼影”。圖8(a)～(c)為改進的背景差分法處理動態(tài)背景，可以發(fā)現(xiàn)改進后的背景差分法的檢測結(jié)果中無條幅出現(xiàn)，提高了算法的魯棒性。由于改進的背景差分法考慮了像素的鄰域信息，所以“鬼影”區(qū)域會由外到內(nèi)逐漸更新為背景。圖8(d)～(f)為改進的差分法消除“鬼影”，經(jīng)過114幀“鬼影”區(qū)域就完全消除。

圖 8 改進的背景差分法處理動態(tài)背景和消除“鬼影”Fig. 8 Improved background difference method deals with dynamic background and eliminates “ghosts”

4 實驗結(jié)果及分析

為了驗證GMMT可以在建模時準(zhǔn)確地剔除目標(biāo)像素，本文與文獻[21] CodeBook算法、文獻[23]Vibe算法、文獻[27]Subsense算法和文獻[28]Pawcs算法在Dataset2012數(shù)據(jù)庫、Camera- Parameter數(shù)據(jù)庫和LightSwitch數(shù)據(jù)庫進行比較。由于建模階段經(jīng)常在場景中出現(xiàn)目標(biāo)，為了驗證算法可以有效剔除背景模型中的目標(biāo)像素，所用場景背景建模時的每一幀都存在目標(biāo)。表1中為測試用的場景起始幀和測試幀在數(shù)據(jù)庫中的幀位置。

表 1 測試場景信息Table 1 The information of test scenes

從圖9中每種算法在不同場景下的建模效果對比可以看出，Codebook、Vibe、Subsense和Pawcs背景模型中包含了大量的目標(biāo)像素，而GMMT建立的背景模型剔除了目標(biāo)像素，建立的背景更符合真實場景。

圖 9 算法在不同場景下的建模效果Fig. 9 Modeling effect of the algorithm in different scenes

圖10為算法在各場景中的檢測結(jié)果，從圖10中可以看出Codebook和Vibe算法在檢測結(jié)果中產(chǎn)生了較多的“鬼影”，Subsense產(chǎn)生了較少的“鬼影”，Pawcs和GMMT沒有產(chǎn)生“鬼影”。因為Subsense和Pawcs算法背景更新速度快，所以經(jīng)過一段時間更新后可以消除“鬼影”，但是過快的更新會使運動緩慢或靜止的目標(biāo)更新進背景內(nèi)，會使目標(biāo)檢測不完整。GMMT在背景建模階段就消除了目標(biāo)像素，使檢測結(jié)果沒產(chǎn)生“鬼影”。

圖 10 算法在不同場景中的檢測結(jié)果Fig. 10 Result of algorithms in each scene

“鬼影”像素為FP像素(背景像素誤劃分為目標(biāo)像素的個數(shù))，從表2中可以看出，Codebook和Vibe算法由于“鬼影”的影響FP像素數(shù)量很高，而Subsense、Pawcs和GMMT算法的FP像素數(shù)量一直保持在較低水平。Subsense和Pawcs算法利用快速更新的方法降低了FP像素的數(shù)量。為了進一步驗證GMMT消除“鬼影”時不會使目標(biāo)檢測不完整，本文利用召回率(R)將GMMT與Sub-sense和Pawcs算法進行對比。召回率可以衡量算 法對真實目標(biāo)像素的檢測能力，R=TP/(TP+FN)。通過計算得到Subsense、Pawcs和GMMT的在數(shù)據(jù)集上的平均召回率分別為0.781 1、0.720 2和0.821 9。從召回率中可看出GMMT在抑制“鬼影”的同時召回率高于Subsense和Pawcs算法。

最后，本文對各算法的運行效率進行分析。本文所用的實驗環(huán)境為WIN7 64位、Inter Core i5-3230M CPU、VS2017搭配OpenCV2.4.9。如表3所示為各算法在數(shù)據(jù)庫上的平均運行時間，可以看出GMMT在保證檢測效果的基礎(chǔ)上有較高的運行效率，算法復(fù)雜度較低。

表 2 算法在各場景的檢測結(jié)果中 F P 像素數(shù)量Table 2 Number of F P pixels detected by the algorithm in each scene

表 3 在數(shù)據(jù)集上不同算法處理的圖像數(shù)量Table 3 Average number of images processed by the algorithm per second on the dataset 幀/s

5 結(jié)束語

GMMT算法使用雙通道建模方式和改進的背景差分法實現(xiàn)背景建模和目標(biāo)分割。通道一利用混合高斯模型預(yù)檢測和拓撲結(jié)構(gòu)連接分散區(qū)域的方式剔除目標(biāo)像素，通道二采用多幀平均法。雙通道建模保證了算法在復(fù)雜背景下完成建模并且有效地剔除目標(biāo)像素抑制“鬼影”。改進的背景差分法可快速分割目標(biāo)并利用鄰域信息消除“鬼影”。通過與Codebook、Vibe、Subsense和Pawcs的對比，證明了GMMT算法的有效性。算法有效地抑制了 “鬼影”并且保持了較高召回率。

背景建模會受多種因素的影響，現(xiàn)階段主要可以概括為4個方面：1)光照的緩慢變化和突然變化問題；2)背景會不斷發(fā)生變化的動態(tài)背景問題；3)背景中物體、運動目標(biāo)等形成的陰影問題；4)由視頻采集設(shè)備造成的噪聲問題。這些問題都會影響背景建模和目標(biāo)檢測的效果，所以算法需要適應(yīng)多模態(tài)的背景、相機抖動和PTZ相機等復(fù)雜環(huán)境，這是以后需要努力的方向。