李戰(zhàn)明 譚向陽
(蘭州理工大學電氣工程與信息工程學院 蘭州 730050)
目標檢測是計算機圖像處理的基礎(chǔ),是視頻處理和編碼的關(guān)鍵,根據(jù)應(yīng)用范圍分為靜態(tài)目標檢測和運動目標檢測[1],同時目標檢測也是目標行為理解、目標識別與跟蹤的基礎(chǔ)。在圖像中運動目標在當前幀中所覆蓋的區(qū)域稱為前景,其余的部分為背景,許多時候我們感興趣的目標只是前景部分,如目標行為理解、目標分類和目標計數(shù)中只對前景分析可以減少許多工作量,因此一套高效且準確的目標檢測算法是目標分析技術(shù)的關(guān)鍵之一。目前常用的檢測算法有三種:幀差法[2]、光流法[3]以及背景減除法[4~5]。幀差法的原理是將相鄰兩幀圖像中像素值存在巨大差異的像素視為前景目標,因為在較短時間內(nèi)環(huán)境中光線和環(huán)境變化較小,所以相鄰兩幀圖像差分就能提取出前景。雖然幀差法實現(xiàn)簡單、速度快,但是提取到的目標常常不完整,因此該方法常用于初步提取工作;光流法易受噪聲和陰影影響,不僅計算復雜而且對硬件設(shè)備要求較高,否則得不到實時的檢測結(jié)果;背景減除法中以STAUFFER C等提出的混合高斯模型方法[5]最為常見,混合高斯模型對一段時間序列內(nèi)的像素點用一個或多個高斯模型描述,特別地,對一段時間內(nèi)像素值波動范圍大的多模態(tài)區(qū)域用多個高斯分布建模。對于變化的場景混合高斯模型通過模型的自動更新能得到相對于其它普通背景模型更可靠穩(wěn)定的結(jié)果,但是該方法還存在一些問題:不能很好地解決因光線突變導致背景模型跟不上場景的變化等問題;提取到的運動目標內(nèi)部存在大量空洞,輪廓不連續(xù);采用統(tǒng)一的模型更新率,場景中背景顯露區(qū)域——因運動目標移動而露出的區(qū)域的背景模型不能得到及時更新從而導致背景顯露區(qū)域被誤分割為前景。針對以上問題,本文利用幀差法對光照不敏感的特性結(jié)合改進的混合高斯模型對場景中不同區(qū)域賦予不同更新率的辦法最后得到了很好的檢測結(jié)果。
Stauffer[6]等提出一個特定像素的值隨著時間的推移形成一個“像素序列”:
I(x0,y0,i)表示圖像序列中像素點 (x0,y0)的像素值,并將這一系列像素點用K(3≤K≤5)混合高斯函數(shù)的加權(quán)和來建模,當前觀測像素值Xt的概率表示為
式中 K 為高斯分布的個數(shù);ωi,t,η(Xt,μi,t,Σi,t),μi,t,Σi,t分別為 t時刻第 i個高斯分布的權(quán)重、均值和協(xié)方差。η表示高斯概率密度函數(shù):
K由計算機的可用內(nèi)存和計算能力決定,為了計算簡便假設(shè)協(xié)方差矩陣為。
具體假設(shè)為:彩色圖像的RGB分量相互獨立且有相同的方差,Ι為單位矩陣。本文采用灰度圖像進行研究,則協(xié)方差矩陣就是當前分布的方差。K個高斯分布按優(yōu)先級從高到低排列。
如果t時刻一個像素值為 Xt的像素點滿足|Xt-μi,t|≤2.5σi,t,則稱該像素點與混合高斯模型的第i個高斯分布匹配。并按照以下方式更新背景模型參數(shù):
如果像素點和高斯分布匹配,則Mt為1,否則為0。僅對匹配的高斯分布更新均值和方差,而不匹配的分布則不更新;α,ρ為背景更新率,反映背景模型更新的快慢。如果像素點和背景模型中的任一分布都不匹配,那么當前總的分布個數(shù)小于K時增加一個新的高斯分布,當分布個數(shù)為K時,用一個新的分布替代優(yōu)先級最小的分布,新的分布的均值為Xt,并用一個大的方差初始化該分布且該分布權(quán)重較小。
隨著背景模型的更新,和Xt匹配的分布權(quán)重增加、方差減小、優(yōu)先級變大。則匹配次數(shù)最多的分布擁有最大的優(yōu)先級,說明該分布最接近背景。將分布按優(yōu)先級從大到小排列表示將最接近背景的分布放在前面,那么越后面的分布越不可能表示背景。因此用前B個分布來表示背景:
T3表示構(gòu)成背景所需要的最小權(quán)重比例,T3取小的值表示背景用一個高斯分布表示,T3取較大的值表示背景用多個分布描述。若上述B個分布中至少有一個分布和像素點Xt匹配,則該像素點為背景點;否則為前景點,完成完成像素分割。背景圖像中像素值 Xb,t表示為
五幀差分法采用較短時間內(nèi)的幾幀圖像提取前景,不會因光線發(fā)生突變而得到比實際大很多的變化區(qū)域即不會將背景區(qū)域誤分為前景區(qū)域,并且能快速將圖像分為背景區(qū)域和變化區(qū)域兩部分,且變化區(qū)域內(nèi)部含有較少空洞,結(jié)合混合高斯模型能將圖像變化區(qū)域進一步劃分為背景顯露區(qū)域和前景區(qū)域,然后實行不同區(qū)域采用不同背景模型更新率的策略,最后采用改進的前景分割算法提取出運動目標。
本文檢測流程如下:
圖1 本文算法流程
幀差法的思想是將連續(xù)的兩幀圖像 ft-1,ft相減得到圖像差分圖像dt,dt包含了相鄰兩張圖像的相對變化信息,因此能檢測出運動目標。用d(i,j)表示兩幀差分結(jié)果,兩幀差分法可表示為
但是幀差法檢測到的目標輪廓比實際的尺寸大,運動目標會出現(xiàn)“雙影”現(xiàn)象。在幀差法基礎(chǔ)上提出的三幀差分法[7],雖然能快速提取出運動目標的大致輪廓,但是得到的運動目標輪廓不連續(xù)而且內(nèi)部含有較多空洞。因此將幀差法進行改進[8],思想如下:
用 ft-2(i,j),ft-1(i,j),ft(i,j),ft+1(i,j),ft+2(i,j) 表示一個圖像序列中的連續(xù)五幀圖像,d12,d23,d34,d45表示通過改進的幀差法得到的差分結(jié)果。Diff1表示第二幀圖像與第三幀圖像差分結(jié)果,Diff2表示第三幀圖像與第四幀圖像差分結(jié)果,通過式(4)、式(5)中的先做或運算再做與運算可以得到有更少空洞的Diff1和Diff2;Dfg表示第三幀圖像中的運動目標;Dubg表示由五幀差分法得到的背景顯露區(qū)域。
由于在前景提取過程中部分前景點被誤檢為前景,導致提取到的運動目標含有大量空洞。對于混合高斯模型,式(9)是提取前景出現(xiàn)空洞的主要原因,T3是一個閾值,表示背景像素值出現(xiàn)的時間占總體時間的比重。對于每一個密集活動區(qū)域的像素,代表真實背景模型的ωbackground= 是不穩(wěn)定的,它會隨著時間不斷地變小或增大。當ωbackground>T3時像素可以正常地更新背景模型;當ωbackground<T3時,為了滿足公式只能將表示前景的分布納入背景。這樣前景的像素值被誤判為背景,運動目標內(nèi)部就會出現(xiàn)空洞現(xiàn)象[9]。本文采用如下分割方法:
如果像素值 Xt與任一權(quán)值ωi,t>1/K的分布匹配,那么該像素點為背景,否則為前景:
這樣能減少權(quán)值較小的分布和新加入的分布對模型的影響,能有效減少運動目標內(nèi)部空洞。
傳統(tǒng)的混合高斯模型所有像素點都采用統(tǒng)一的更新率α,如果α過大的話對于背景區(qū)域需要很長時間才能建立穩(wěn)定的模型,且容易引入噪聲;當α過小,模型更新速度太慢,從而不能反映真實背景,比如會把運動目標經(jīng)過后顯露出的部分誤分為前景,移動緩慢的物體且顏色一致的的大型物體,在進行前景檢測時,可能會出現(xiàn)內(nèi)部空洞的現(xiàn)象[10]。靜止的目標開始運動后會在原地留下“影子”。因此將一幀圖像分為三部分,對不同部分采用不同的更新率[9]。
3.3.1 圖像區(qū)域劃分
3.1中五幀差分法得到的Diff1包含了圖像的背景部分Abg和相鄰兩幀發(fā)生了變化的區(qū)域Ac,其中 Ac包含運動目標 Afg以及背景顯露區(qū)域Aubg。如果Diff1區(qū)域中像素值Xt與背景模型中任一權(quán)值ωi,t-1>1/K的分布匹配,那么該像素點為Aubg,否則為Afg。但是此種方法區(qū)分出的區(qū)域由于受到光照等影響會存在一定幾率將背景顯露區(qū)域判別為Afg區(qū)域,因此結(jié)合前文中的五幀差分法提取更精確的背景顯露區(qū)域:
3.3.2 不同區(qū)域更新率α的選取
賦予背景區(qū)域Abg中像素點對應(yīng)的多維混合高斯分布模型小的更新率,保持背景區(qū)域的穩(wěn)定性,避免引入噪聲[11];賦予前景區(qū)域Fg較小的更新率α,避免噪聲的影響;賦予背景顯露區(qū)域Ubg較大的更新率α,因為背景顯露區(qū)域Ubg至少有一個分布與像素值匹配,則背景模型參數(shù)更新后匹配的高斯分布將擁有較大權(quán)值ωt,由混合高斯模型的前景分割原則可知,Aubg區(qū)域?qū)⒈慌袆e為背景,背景顯露區(qū)域得到快速恢復。
實驗條件為:Intel Core I3-4160 CPU 3.6GHz,4G內(nèi)存,Visual Studio 2013開發(fā)平臺,運用OpenCV2.4.11進行編程實現(xiàn)。為了驗證本文算法的有效性,選取了三段視頻來檢測算法的靈敏度。
圖2中圖(a)(d)是測試序列中的連續(xù)兩幀圖像,圖(b)和(e)是使用經(jīng)典混合高斯模型提取到的前景,圖(c)和(f)是本文算法得到的結(jié)果。通過比較可以看出改進之前的高斯混合模型算法,不能提取目標的完整輪廓,只能提取部分目標,而且目標內(nèi)部存在大量空洞;對于非目標運動區(qū)域存在一些偽前景點(將背景像素點區(qū)分為前景像素點)。本文算法提取到的前景目標對像能提取出完整的目標對象,且有效減少了運動目標內(nèi)部空洞。
圖2 算法改進前后效果比較
如圖3所示,圖(a)(b)選取的是車輛由靜止開始運動的圖像,圖(c)和(d)分別是使用混合高斯模型和本文算法提取的前景結(jié)果??梢钥闯龈倪M之前的結(jié)果部分背景顯露區(qū)域被誤檢測為背景,而利用本文算法較好地解決了該誤檢測問題。
圖3 算法改進前后效果比較
圖4 算法改進前后效果比較
如圖4所示,圖(a)(d)選取的是光線變化強烈兩幀圖像,圖(b)和(e)、(c)和(f)分別是使用混合高斯模型和本文算法提取的前景結(jié)果。可以看出改進之前的混合高斯模型算法由于受到光照突變的影響,檢測效果不理想。而利用本文算法較好地提取了前景目標。
本文提出基于混合高斯模型的運動目標檢測算法,通過基于改進幀差法提出的五幀差分法,能有效減少前景內(nèi)部空洞并初步將圖像分為背景和變化區(qū)域,通過像素點和已有模型匹配,進一步將變化區(qū)域分為背景顯露區(qū)域和運動目標區(qū)域,賦予各個區(qū)域不同的更新率,保證背景穩(wěn)定的同時對目標顯露區(qū)域賦予較大更新率保證了目標從靜止開始緩慢運動形成的“雙影”被消除。此外,在前景分割階段只對權(quán)值大于平均權(quán)值1 K的分布進行匹配判斷,進一步減少了目標內(nèi)部空洞。結(jié)合利用幀差法對光照變化不敏感的特性,能有效解決傳統(tǒng)混合高斯模型對于場景中光照變化強烈時,不能較好提取運動目標的問題。實驗表明本文算法能有效地檢測運動目標,可用于對目標的跟蹤和分析。
[1]夏永泉,李衛(wèi)麗,甘勇,等.智能視頻監(jiān)控中的運動目標檢測技術(shù)研究[J].通信技術(shù),2009,42(6):185-187.
XIA Yongquan,LI Weili,GAN Yong,et al.Studies on Moving Objects Detection Technology in Intelligent Video Surveillance[J].Communications Technology,2009,42(6):185-187.
[2]陸海亭,張寧,黃衛(wèi),等.短時交通流預(yù)測方法研究進展[J].交通運輸工程與信息學報,2009,7(4):84-91.
LU Haiting,ZHANG Ning,HUANG Wei,et al.Research Progress of Short Term Traffic Flow Prediction Methods[J].Journal of Transportation Engineering and Informa?tion,2009,7(4):84-91.
[3]Chen P H,Lin C J,Sch?lkopf B.A tutorial on ν-support vector machines[J].Applied Stochastic Models in Busi?ness and Industry,2005,21(2):111-136.
[4]Breiman L.Random Forests[J].Machine Learning,2001,45(1):5-32.
[5]Lee D S.Effective Gaussian Mixture Learning for Video Background Subtraction[J].Pattern Analysis&Machine Intelligence IEEE Transactions on,2005,27(5):827-832.
[6] Chris Stauffer,W.E.L.Grimson.Adaptive Background Mixture Models for Real-Time Tracking[C]//cvpr.IEEE Computer Society,1999:2246.
[7]劉靜,王玲.混合高斯模型背景法的一種改進算法[J].計算機工程與應(yīng)用,2010,46(13):168-170.
LIU Jing,WANG Ling.Improved algorithm of Gaussian mixture model for background subtraction[J].Computer Engineering and Application,2010,46(13):168-170.
[8]華媛蕾,劉萬軍.改進混合高斯模型的運動目標檢測算法[J].計算機應(yīng)用,2014,34(02):580-584.
HUA Yuanlei,LIU Wanjun.Moving object detection algo?rithm of improved Gaussian mixture model[J].Journal of Computer Applications,2014,34(2):580-584.
[9]鄧若曦,楊當福,劉圣軍,等.基于像素狀態(tài)的背景建模方法[C]//全國計算機輔助設(shè)計與圖形學會會議,2014.
DENG Ruoxi,YANG Dangfu,LIU Shengjun,et al.A back?ground subtraction algorithm based on pixel status[C]//Chinagraph,2014.
[10]羅鐵鎮(zhèn).基于混合高斯模型的運動檢測及陰影消除算法研究[D].長沙湖南大學,2010.
LUO Tiezhen.The research of motion detection based on Gaussion mixture model and shadow elimination algo?rithm[D].Changsha:Hunan University,2010.
[11]劉鑫,劉輝,強振平,等.混合高斯模型和幀間差分相融合的自適應(yīng)背景模型[J].中國圖象圖形學報,2008,13(4):729-734.
LIU Xin,LIU Hui,QIANG Zhenping,et al.Adaptive Background Modeling Based on Mixture Gaussian Model and Frame Subtraction[J].Journal of Image and Graph?ics,2008,13(4):729-734.