史東承,閆 李
(長春工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,長春130012)
隨著計(jì)算機(jī)視覺領(lǐng)域的發(fā)展,視頻監(jiān)控對智能化的要求也越來越高,而作為視頻監(jiān)控核心技術(shù)之一的移動目標(biāo)檢測所面臨的問題也越來越復(fù)雜。目前應(yīng)用最多的目標(biāo)檢測算法是背景差法:背景差法的實(shí)質(zhì)就是區(qū)分圖像中目標(biāo)的類別,即區(qū)分目標(biāo)是前景還是背景,其關(guān)鍵在于對背景的建模和實(shí)時更新。已有許多文章對背景差法進(jìn)行了改進(jìn),并取得較好的效果[1-3],但是這些算法仍不能從根本上解決由光照變化、陰影等外部環(huán)境因素和場景目標(biāo)的移動、相互遮擋、形變、與背景顏色相似等場景內(nèi)部因素所帶來的干擾,從而影響算法的檢測效果。
筆者算法依據(jù)背景建模的思想,從提取場景知識的角度出發(fā),建立場景知識庫,提出一種基于場景知識的移動目標(biāo)檢測算法。算法在提取特征時,選取對光照、形變等不敏感的顏色和紋理等目標(biāo)特征建立場景知識庫,從而在一定程度上削弱了這些噪聲對目標(biāo)檢測效果的影響。
區(qū)域是有效地表示場景內(nèi)容的基本單位[4],所以首先要把場景分割成獨(dú)立的目標(biāo)區(qū)域。筆者選用mean shift算法對場景進(jìn)行初始分割。mean shift算法是一種魯棒性較強(qiáng)的特征空間聚類方法,且在場景中景物的邊緣因?yàn)楣庹栈蛘趽醯脑蜃兊帽容^模糊時也能夠得到高質(zhì)量的目標(biāo)邊緣。
分割算法分兩部分:1)使用改進(jìn)的mean shift算法對場景進(jìn)行初始分割;2)對得到的初始分割區(qū)域進(jìn)行合并,并加入自動停止合并準(zhǔn)則,完成分割。
mean shift算法通過尋求核函數(shù)概率密度估計(jì)▽f(x)的梯度為0的點(diǎn),即f(x)的局部極大值,得到數(shù)據(jù)集的模值點(diǎn)。
對于圖像中的n個像素點(diǎn){xi,i=1,2,…,n},x點(diǎn)的概率密度的核函數(shù)估計(jì)為
其中K(x)是一個核函數(shù)。x點(diǎn)處的mean shift向量為
其中K(x)=k(‖x‖2),g(x)=-k(x),G(x)= g(‖x‖2)。h為對核函數(shù)進(jìn)行密度估計(jì)時所使用的窗口寬度,h的選擇對最終的分割結(jié)果起著決定性的作用。
在Comaniciu等[5]所提出的基于 mean shift彩色圖像分割方法的基礎(chǔ)上進(jìn)行了改進(jìn)。mean shift實(shí)際上是一種特征空間聚類方法,所以顏色空間的選擇必然會影響分割結(jié)果。在RGB顏色空間中,由于3個顏色分量存在著較強(qiáng)的關(guān)聯(lián)性,故選取均勻的顏色空間CIE L*,u*,v*。從視覺角度來說,該空間更符合人眼視覺特性。圖像中兩個像素點(diǎn)i,j在該空間中的色彩差異可用歐氏距離表示:
用C替換式(2)中的項(xiàng),即
依次遍歷圖像中的每一個像素點(diǎn),通過反復(fù)迭代,概率密度函數(shù)達(dá)到收斂,同時局部區(qū)域像素點(diǎn)都漂移該收斂點(diǎn),即函數(shù)的局部極大值點(diǎn)。把收斂點(diǎn)的色彩值賦給當(dāng)前像素點(diǎn),就使得圖像中空間相鄰、色彩一致的像素點(diǎn)都?xì)w為一類,完成圖像的初始分割。
在區(qū)域合并時,兩個進(jìn)行區(qū)域合并的區(qū)域必須滿足:顏色相近、空間相鄰,區(qū)域鄰接出無明顯邊緣。故給出區(qū)域間的顏色距離和邊緣距離的定義。
在區(qū)域合并過程中,何時停止合并直接決定著圖像分割的效果。使用葉齊祥等[6]提出的自動停止合并的準(zhǔn)則,當(dāng)合并后剩余區(qū)域數(shù)目和區(qū)域顏色散度之和達(dá)到最小值時,停止合并,可得到較好的分割效果。
圖1比較了筆者分割算法和傳統(tǒng)均值移動算法的分割效果。圖1(b)使用傳統(tǒng)均值移動算法得到的分割區(qū)域?yàn)?0個,分割區(qū)域過多過細(xì),造成過分割,干擾筆者算法后續(xù)的目標(biāo)征提取并且加大了算法計(jì)算量。圖1(c)是筆者算法分割后區(qū)域數(shù)目僅為5個,能夠避免過分割,且可以滿足后續(xù)算法對場景各目標(biāo)區(qū)域的區(qū)分,效果較好。
圖1 分割效果比較Fig.1 Com parison of the segmentation results
分割完成后,對每個場景目標(biāo)區(qū)域進(jìn)行標(biāo)記編號。選取了場景區(qū)域的統(tǒng)計(jì)特征表達(dá)場景知識。特征選取的好壞直接影響著整個算法的性能,且由于場景景物的變化性較大,故筆者算法采用符合視覺屬性且魯棒性較強(qiáng)的統(tǒng)計(jì)特征進(jìn)行區(qū)域知識表達(dá)。
相對于其他的顏色特征來說,顏色矩簡潔有效,故區(qū)域的顏色特征使用Stricker等[7]提出的顏色矩表示。紋理是一種不依賴顏色、亮度的視覺特征,且對場景的光照等變化具有較強(qiáng)的魯棒性。用Gabor濾波器提取各區(qū)域的紋理特征[8]。給定一副圖像A(x,y),它其Gabor小波變換定義如下
其中*表示復(fù)共軛,函數(shù)t(x,y)為Gabor小波函數(shù)。以Gabor小波變換系數(shù)的均值μmn和標(biāo)準(zhǔn)差σmn作為區(qū)域的紋理特征
使用μmn和σmn構(gòu)建紋理特征向量,采用3級尺度,4個方向的Gabor濾波器,得到了24維的紋理特征向量:
區(qū)域的形狀特征選取Hu[9]提出的7個不變矩和區(qū)域重心來描述。不變矩對于圖像平移、旋轉(zhuǎn)和尺度變換均保持不變,受目標(biāo)形變遮擋的影響相對較小,故用不變矩可有效地表達(dá)目標(biāo)的形狀特征;使用區(qū)域重心描述目標(biāo)的位置信息。
對提取的數(shù)據(jù)進(jìn)行歸一化處理,為每個區(qū)域構(gòu)建一個36維的特征向量(如表1所示),并把所有目標(biāo)的特征向量構(gòu)建為一個特征向量集,即可得到場景知識庫。
表1 區(qū)域特征向量Table 1 Feature vector of the region
對待檢測的幀圖像進(jìn)行分割和特征提取后,根據(jù)相似性度量準(zhǔn)則,用該幀圖像中目標(biāo)的特征向量和原場景知識庫中各目標(biāo)區(qū)域的特征向量進(jìn)行相似性匹配。
若待檢測目標(biāo)與知識庫中某目標(biāo)的顏色、紋理、不變矩特征均滿足給出的度量準(zhǔn)則,而區(qū)域重心不滿足相似性準(zhǔn)則,則判定該移動目標(biāo)為場景內(nèi)原有目標(biāo);除上述情況外,若待檢測目標(biāo)的顏色、紋理、不變矩特征至少有一個不滿足準(zhǔn)則,則可判定該目標(biāo)為新進(jìn)入場景的移動目標(biāo)。
根據(jù)分割區(qū)域標(biāo)記和區(qū)域重心可以得到移動目標(biāo)的移動信息和位置信息,完成移動目標(biāo)檢測。
各個特征進(jìn)行相似性匹配的度量準(zhǔn)則如下:
1)顏色矩的相似性度量準(zhǔn)則
其中wμ、wσ、ws分別表示各顏色矩的權(quán)值。
2)不變矩的相似性度量準(zhǔn)則
3)區(qū)域重心的相似性度量
其中τ1和τ2可設(shè)定為圖像長和寬的1/20~1/ 10,當(dāng)式(3)和式(4)同時成立時,兩個目標(biāo)滿足相似性匹配準(zhǔn)則。
4)紋理特征的相似性度量
μ和σ分別為Gabor小波變換系數(shù)的均值和標(biāo)準(zhǔn)差。
實(shí)驗(yàn)拍攝了簡單的教室場景和街道交通場景圖片,在Matlab平臺上進(jìn)行仿真,并對筆者算法和基于混合高斯建模的背景差法的檢測結(jié)果進(jìn)行比較。
圖2 室內(nèi)場景檢測Fig.2 Detection of an indoor scene
圖2為教室場景的移動目標(biāo)檢測:圖2(a)為無移動目標(biāo)的場景原圖像;圖2(b)為待檢測圖像,其中移動目標(biāo)為教室后門(場景原有目標(biāo))和人(新進(jìn)入場景目標(biāo));圖2(c)為使用筆者分割算法進(jìn)行分割得到的結(jié)果圖,算法基本上單獨(dú)分割出場景內(nèi)各目標(biāo)區(qū)域,且各區(qū)域輪廓清晰,區(qū)分度較好;圖2(d)、(e)為檢測結(jié)果圖,打開的教室后門和新進(jìn)入場景中的人都被成功的檢測出來,且檢測出的目標(biāo)獨(dú)立,粘連較少,得到了較好的檢測效果。
圖3為室外交通場景的移動目標(biāo)檢測:圖3 (a)為待檢測圖像,移動目標(biāo)為車輛;圖3(b)為使用基于混合高斯建模的背景差法得到的檢測結(jié)果。雖然該方法檢測出了移動目標(biāo),但是檢測結(jié)果受到了車輛陰影的影響,導(dǎo)致檢測到的目標(biāo)形狀失真,直接影響下一步的識別、跟蹤;并且陰影也可能會被判定為新的移動目標(biāo),從而影響檢測的準(zhǔn)確性。而用筆者算法在對場景進(jìn)行區(qū)域分割后,選取對光照陰影有較強(qiáng)魯棒性的顏色紋理特征進(jìn)行目標(biāo)表達(dá),得到的檢測結(jié)果并沒有受到陰影的干擾,而且得到的車輛輪廓也較為完整,見圖3(c)。
圖3 算法比較Fig.3 Com parison of the two algorithm s
從場景知識的角度出發(fā),選取對外部環(huán)境變化和內(nèi)部干擾魯邦性都較強(qiáng)的顏色、形狀、紋理特征組成目標(biāo)特征向量,建立起場景知識庫。用特征向量來代替各個目標(biāo)區(qū)域不僅可減少系統(tǒng)的存儲成本,而且可通過所選取特征對陰影形變等噪聲的魯棒性,提升整個算法的檢測性能。最后,在用待檢測目標(biāo)的特征向量與場景知識庫中特征向量進(jìn)行相似性匹配時,可通過匹配準(zhǔn)則的調(diào)整得到較好的檢測效果。
由于算法中知識特征的抽取和匹配所需要的計(jì)算量較大,故算法的實(shí)時性需要進(jìn)一步改進(jìn);筆者中所選取的實(shí)驗(yàn)場景都較為簡單,故為了適應(yīng)較復(fù)雜的監(jiān)控場景,算法中加入場景知識庫的實(shí)時更新就成為我們下一步工作的重點(diǎn)。
[1]Stauffer C,GrimsonW.Adaptive backgroundmixturemodels for real-time tracking[J].Proceeding of IEEEComputer Society Conference on Computer Vision and Pattern Recognition,1999,2(6):248-252.
[2]Elgammal A,Harwood D,Davis L.Non-parametricmodel for background subtraction[C]//Proceedings of International Conference on Computer Vision.1999:751-767.
[3]Rittscher J,Kato J,Joga S.A probabilistic background model for tracking[C]//Proceedings of European Conference on Computer Vision.2000:336-350.
[4]Luo Jie-bo,Guo Chen-gen.Perceptual grouping of segmented regions in color images[J].Pattern Recognition,2003,36(12):2781-2792.
[5]Comaniciu D,Meer P.Mean shift:A robust approach toward feature space analysis[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2002,24(5):603-619.
[6]葉齊祥,高文,王偉強(qiáng).一種融合顏色和空間信息的彩色圖像分割算法[J].軟件學(xué)報(bào),2004,15(4):522-530.
Ye Qi-xiang,Gao Wen,Wang Wei-qiang.A fusion of color and spatial information for color image segmentation algorithm[J].Journal of Software,2004,15(4): 522-530.
[7]Sticker M,Orengo M.Similarity of color image[C]// Proceedings of SPIE Storage and Retrieval for Image and Video Database.1995:381-392.
[8]Manjunath B S,Ma W Y.Texture features for browsing and retrieval of image data[J].IEEE Transactions on Pattern Analysis Machine Intelligence,1996,18(8): 837-842.
[9]Hu M K.Visual pattern recognition bymoment invariant[J].IEEE Transactions on Information Theory,1962,8 (2):179-187.