■賈永華 張文聰 浦世亮

基于紋理特征和顏色特征相融合的背景建模方法

■賈永華 張文聰 浦世亮

針對當(dāng)前大多數(shù)背景建模算法僅僅采用單一特征存在的問題，本文提出一種基于中心對稱局部二值模式紋理特征和顏色特征相結(jié)合的背景建模方法，并應(yīng)用于運(yùn)動目標(biāo)檢測。實(shí)驗(yàn)結(jié)果表明，這一算法相比之前采用單一特征的背景建模算法在檢測性能上有明顯的提高，而且在速度上也能達(dá)到實(shí)時，能夠很好地滿足實(shí)際應(yīng)用的要求。

引言

背景差方法是一種重要的運(yùn)動目標(biāo)分割方法，被廣泛用于智能化視頻監(jiān)控，其基本思想是通過輸入圖像與背景模型進(jìn)行比較，檢測出運(yùn)動目標(biāo)。背景差方法的核心是背景建模，目前的背景建模方法大致分為兩類：基于預(yù)測的方法和基于統(tǒng)計(jì)的方法。

基于預(yù)測的方法將視頻序列看成一個時間序列，根據(jù)過去的觀測值建立一個動態(tài)模型來預(yù)測當(dāng)前輸入幀，將預(yù)測結(jié)果作為背景并將其與輸入幀進(jìn)行比較從而分割出前景。典型的方法有卡爾曼濾波、粒子濾波方法等，這些方法的主要缺點(diǎn)在于不能對背景的突然變化（比如光線的突然變化）進(jìn)行準(zhǔn)確的建模。

而基于統(tǒng)計(jì)的方法是對背景建立一個統(tǒng)計(jì)概率模型，主要方法可以分為兩類：參數(shù)化方法和非參數(shù)化方法。其中參數(shù)化方法中的典型代表就是高斯混合模型，該方法假設(shè)視頻幀中每一個象素的亮度分布是一個高斯混合模型，并以此建立背景模型，但是這個假設(shè)并非總是成立。針對這個問題，有學(xué)者提出了非參數(shù)化方法，該方法無需對象素亮度的分布做任何假設(shè)，而是通過概率密度估計(jì)的方法或者聚類的方法來建立統(tǒng)計(jì)模型。代表性工作主要有A.Elgammal提出的使用核概率密度估計(jì)進(jìn)行背景建模，以及K.Kim使用Codebook進(jìn)行背景建模。

不論是基于預(yù)測還是基于統(tǒng)計(jì)，所有建模方法都要對所建模的對象進(jìn)行特征提取。目前大部分方法僅使用的是顏色特征，比如灰度或者RGB特征。而顏色特征存在一個非常明顯的缺點(diǎn)，即對光線突變和陰影敏感，例如基于顏色特征的高斯混合模型背景建模算法，該算法雖然對于擾動背景有較好的抑制效果，但是對于光線突變還是存在明顯的缺陷，如圖1中的中間兩幅圖所示，由于此視頻中的光線在短時間存在突變，基于顏色特征的高斯混合模型算法不能很好的適應(yīng)這種光線突變，因此導(dǎo)致大量的前景誤檢。針對這個缺點(diǎn)，Heikkila等人提出基于LBP紋理特征的背景建模方法，取得了較好的效果。其主要優(yōu)點(diǎn)就是對于光線變化和陰影不敏感。但是，利用LBP紋理特征進(jìn)行背景建模時，在檢測過程中對于紋理不豐富的前景目標(biāo)常常會出現(xiàn)檢測空洞，導(dǎo)致檢測出的前景目標(biāo)不完整，如圖1中的右側(cè)兩幅圖所示，從該圖中可以看出，基于LBP紋理特征的建模算法能夠有效的抑制光影突變帶來的誤檢，但是由于圖中行人的衣著紋理過于單一，因此在檢測出的行人目標(biāo)中間會出現(xiàn)大量的空洞。此外，更為嚴(yán)重的是由于描述背景的LBP紋理特征直方圖維數(shù)過高，導(dǎo)致檢測速度很慢，無法進(jìn)行實(shí)時處理。

■ 圖1：基于顏色特征的GMM方法和基于紋理特征建模方法的檢測結(jié)果示意

因此針對當(dāng)前背景建模算法中存在的缺陷，本文提出一種基于CSLBP（中心對稱局部二值模式）紋理特征和顏色特征的建模方法，其中利用CSLBP特征建立一個混合紋理模型，同時利用顏色特征建立一個單高斯模型。由于利用基于CSLBP特征的紋理模型只對紋理較為豐富的前景目標(biāo)進(jìn)行檢測，因此可以有效的去除光線變化及陰影產(chǎn)生的虛假前景，因?yàn)檫@些虛假前景是沒有紋理的或者說其內(nèi)部紋理與背景紋理相一致的，而利用基于顏色特征的高斯模型能夠彌補(bǔ)紋理模型在檢測過程中存在的檢測空洞，保持前景的完整性。因此二者結(jié)合，可以在保證真實(shí)前景目標(biāo)檢測完整的情況下能夠去除由于光影變化帶來的虛假前景目標(biāo)，而且通過大量的實(shí)驗(yàn)測試表明，本文提出的背景建模算法是切實(shí)有效可行的。

CSLBP紋理特征

■ 圖2：LBP/CSLBP特征示意圖

CSLBP特征是由Heikkila等人提出的，是對LBP（Local Binary Pattern局部二值模式）特征的改進(jìn)。由于LBP特征具有很強(qiáng)的圖像局部紋理描述性，而且對于光線變化魯棒，因此被廣泛應(yīng)用于目標(biāo)的特征提取當(dāng)中。如圖2所示，對于圖像中任意一點(diǎn)（圖2中標(biāo)記為nc），將其鄰域內(nèi)的點(diǎn)（圖2中標(biāo)記為n0～n7，是以點(diǎn)nc為圓心，半徑為R的圓上的8個相互等距的點(diǎn)，對于不是正好處于某一像素上的點(diǎn)，需采用雙線性插值法來得到其像素值），與nc進(jìn)行比較來計(jì)算LBP值，具體計(jì)算方法如式（1）所示：

其中，N為nc的鄰域個數(shù)，在圖2中N為8，R為鄰域半徑（單位像素），而T(≥0)為一個閾值。

但是，使用LBP直方圖進(jìn)行區(qū)域描述時，產(chǎn)生的直方圖維數(shù)很高，會帶來維數(shù)災(zāi)難問題。而CSLBP由于僅比較關(guān)于中心nc對稱的鄰域點(diǎn)（如n0和n4，n1和n5等），因此其直方圖維數(shù)大大降低，由原先的2N，降到2N/2，相應(yīng)地，在算法計(jì)算復(fù)雜度上也會有較大地下降。具體計(jì)算方法如式（2）所示：

對于任一像素，本文采用其鄰域內(nèi)CSLBP值的統(tǒng)計(jì)直方圖作為對此像素的描述，設(shè)像素點(diǎn)位置為（x，y），該像素點(diǎn)處的直方圖描述的第i位按下式計(jì)算：

其中，R表示所取鄰域大小，V（x'，y'）表示點(diǎn)（x，y）的CSLBP值。

背景建模：紋理模型和顏色模型

背景建模是運(yùn)動目標(biāo)檢測的關(guān)鍵，一個好的背景模型不但要能完整地檢測出前景目標(biāo)，而且還要能夠適應(yīng)背景自身的變化，如場景中的光線變化、重復(fù)運(yùn)動的物體（搖動的樹葉、灌木叢、顯示器的抖動、海面上的波濤）等等，防止將它們誤檢為前景目標(biāo)。雖然紋理特征和顏色特征存在明顯的互補(bǔ)性，但是如何進(jìn)行合理融合這二者特征才能滿足背景建模的最終要求是至關(guān)重要的。本文中主要是在Li等人提出的線性組合方式的基礎(chǔ)上進(jìn)行改進(jìn)，引入組合權(quán)重的自適應(yīng)性，計(jì)算方式如公式（4）:

其中dtc（p）為背景模型和當(dāng)前幀圖像在相同像素位置p處的總體相似度；dt（p）為紋理上相似度；dc（p）為顏色上的相似度；wt（p）為紋理信息貢獻(xiàn)權(quán)重；wc（p）為顏色信息貢獻(xiàn)權(quán)重，且有wc（p）=1-wt（p）；而k為比例因子，用于控制顏色信息的貢獻(xiàn)權(quán)重。

背景的具體描述、模型相似度計(jì)算、模型的更新及前景點(diǎn)的檢測如下：

（1）模型概述：

對于每一個象素，背景模型主要是由K個基于CSLBP直方圖的混合紋理模型和一個基于顏色特征的單高斯模型組成。

每個像素點(diǎn)處的紋理模型是對以該像素為中心的一塊局部區(qū)域內(nèi)的直方圖的統(tǒng)計(jì)描述，具體表示為：｛（h1,w1）,（h2,w2）,…,（hk,wk）｝，其中wi為第i個紋理模型的權(quán)重，hi為第i個模型的一個紋理描述向量，具體是指以該像素為中心、長寬皆為R的一個正方形鄰域內(nèi)的CSLBP直方圖。單高斯顏色模型是對該像素點(diǎn)顏色的歷史分布的描述，具體表示為：，其中為該像素點(diǎn)的顏色均值向量，為顏色變化協(xié)方差矩陣，。

（2）模型相似度計(jì)算：

CSLBP紋理模型：對于當(dāng)前幀中一個象素點(diǎn)p，首先計(jì)算象素點(diǎn)p局部區(qū)域內(nèi)的CSLBP紋理直方圖描述Hn，然后計(jì)算其與每個紋理模型中直方圖Ho間的相似度，即得出與每個模型的紋理相似度。紋理相似度的計(jì)算采用巴氏距離衡量法：

其中N為直方圖的長度，H，Hci分別為直方圖的第i位。

根據(jù)公式（4）可以計(jì)算出當(dāng)前CSLBP直方圖與各個紋理直方圖模型間的相似度。將相似度按從小打到排序，如果相似度中的最大值小于設(shè)定的閾值Th，則認(rèn)為沒有一個紋理模型與當(dāng)前的直方圖匹配，那么此時該像素在紋理特征上與紋理模型的匹配程度就置為0；如果相似度中的最大值大于設(shè)定閾值，則認(rèn)為存在于當(dāng)前直方圖相匹配的紋理模型，那么該相似度就是當(dāng)前像素點(diǎn)在紋理特征上紋理模型的匹配程度。

單高斯顏色模型：當(dāng)前像素點(diǎn)在顏色特征上的相似度計(jì)算采用高斯概率密度進(jìn)行衡量：

其中，c(p)為當(dāng)前幀中像素點(diǎn)p處的顏色向量。

（3）模型更新：

模型更新包括紋理模型的更新和單高斯顏色模型的更新。

CSLBP紋理模型：當(dāng)所有相似度都小于閾值時，則認(rèn)為紋理模型中沒有一個模型與當(dāng)前像素點(diǎn)的紋理相匹配，那么需重新生成一個新的紋理模型來記錄當(dāng)前像素點(diǎn)的紋理特性，因此本文中就用當(dāng)前直方圖代替具有最低權(quán)重的那個紋理模型的直方圖，同時初始化該模型權(quán)重。如果有匹配，即有至少一個模型的相似度大于此閾值，則將最佳匹配（相似度最大）的紋理模型的直方圖進(jìn)行更新，更新方式如下：

然后對于所有紋理模型的權(quán)重進(jìn)行如下更新[6]：

wk為第k個模型權(quán)重，aw為可調(diào)節(jié)的權(quán)重學(xué)習(xí)因子，對于具有最佳匹配的紋理模型，mk為1，否則為0。

單高斯顏色模型：單高斯模型的更新主要是更新高斯模型的均值和方差，更新方式如下：

（4）前景檢測：

前景檢測是在模型相似度計(jì)算完成的基礎(chǔ)上進(jìn)行的。根據(jù)公式（4）計(jì)算出當(dāng)前像素與背景模型之間的最終相似度，如果相似度大于閾值，則當(dāng)前象素為一個背景象素，否則判定其為前景象素。

實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)選用的視頻為VSSN06競賽的部分測試視頻，其中每段視頻都是幀率為25fps，分辨率為320×240或者384×240。

所有的視頻按照不同的測試目的大致可以分為三種類型：

變化的背景，代表視頻為video4（搖動的灌木），video7_long（搖動的樹葉），測試背景模型對多模態(tài)背景的建模能力；

光照的突然變化，代表視頻為video8_vlong，測試背景模型對光照突然變化的處理能力和適應(yīng)速度；

自舉（在訓(xùn)練視頻中就有前景物體存在），代表視頻為video6_long，測試背景模型對初始訓(xùn)練數(shù)據(jù)的依賴性。

圖3是從上述部分代表視頻中截取的圖像幀（括號中的數(shù)字表示視頻幀號）：

本實(shí)驗(yàn)主要從漏檢的前景像素個數(shù)的平均值和最大值，誤檢的背景像素個數(shù)的平均值和最大值這四個方面進(jìn)行評估。為了允許少許的邊緣誤差，前景與背景邊緣處兩個像素以內(nèi)的錯誤將被忽略。實(shí)驗(yàn)采用VC6.0編程，運(yùn)行在Intel Core2 Duo 2.37G，內(nèi)存2G的個人計(jì)算機(jī)上。

具體實(shí)驗(yàn)結(jié)果如表1所示：

其中ave fa為average false alarm的簡寫，表示平均的誤檢的象素點(diǎn)數(shù)

ave fm為average false missing的簡寫，表示平均的漏檢的象素點(diǎn)數(shù)

max fa和max fm則分別表示最大的誤檢的象素點(diǎn)數(shù)和最大的漏檢的象素點(diǎn)數(shù)

從表1可以看出，使用本文算法進(jìn)行背景建模時，在誤檢率方面明顯要比僅使用基于單一顏色特征的高斯混合模型的檢測效果好很多，基本上繼承成了LBP紋理模型對于光線變化魯棒的優(yōu)點(diǎn)；而在漏檢方面明顯低于僅使用基于單一LBP特征的紋理模型檢測結(jié)果，具有顏色模型能夠較完整檢測出前景目標(biāo)的優(yōu)勢。此外，由于本文中的紋理描述選用CSLBP特征，相比LBP特征，其特征維數(shù)要小很多，因此在速度有很大的提升，處理速度為25ms/幀，每秒可處理40幀左右，完全達(dá)到實(shí)時要求。

■ 圖3：部分代表實(shí)驗(yàn)視頻截圖

■ 表1：實(shí)驗(yàn)結(jié)果對比

■ 圖4：video4的實(shí)驗(yàn)結(jié)果對比

圖4是在video4上的部分實(shí)驗(yàn)對比結(jié)果，第一行的第一幅圖是視頻video4中的第970幀，第二幅圖是video4的第991幀，groundtruth為第991幀的真實(shí)前景數(shù)據(jù)，其中第一幅圖主要是用作參照，可以從視頻中看出在短時間內(nèi)屋內(nèi)的光線發(fā)生了突變；第二行是基于顏色特征的高斯混合模型算法檢測的結(jié)果，其中foreground為檢測到前景，false missing為漏檢的前景，false alarm為誤檢的背景；第三行為基于LBP特征的紋理模型算法檢測的結(jié)果；第四行為本文算法檢測的結(jié)果。從圖4中可以看出，本文算法融合了顏色特征模型和紋理特征模型的優(yōu)點(diǎn)，具備能夠在抑制光影突變的情況下完整地檢測出前景目標(biāo)。

總結(jié)

本文提出了一種基于CSLBP特征和顏色特征相融合的背景建模的方法。相比于基于采用單一顏色特征的背景建模方法，該方法能夠去除由于光影變化帶來的誤檢；相比基于單一LBP紋理特征的背景建模方法，本文方法在保持LBP對陰影和光照變化不敏感的優(yōu)點(diǎn)的情況下減少前景目標(biāo)中的空洞和漏檢，而且計(jì)算代價大幅度降低。實(shí)驗(yàn)結(jié)果驗(yàn)證了上述結(jié)論。

杭州?？低晹?shù)字技術(shù)股份有限公司。本文工作得到上海市數(shù)字媒體處理與傳輸重點(diǎn)實(shí)驗(yàn)室開放課題資助