孫 濤,陳瑞平
(煙臺(tái)大學(xué),山東 煙臺(tái) 264005)
運(yùn)動(dòng)目標(biāo)的檢測是指從序列圖像中將運(yùn)動(dòng)目標(biāo)從背景圖像中分割出來。運(yùn)動(dòng)目標(biāo)的檢測和跟蹤是計(jì)算機(jī)視覺研究的主要問題之一,它融合了自動(dòng)控制、圖像處理、模式識(shí)別、計(jì)算機(jī)及人工智能等領(lǐng)域的先進(jìn)技術(shù),在智能交通、視頻監(jiān)控、醫(yī)療診斷等方面都有廣泛的運(yùn)用[1]。常見的運(yùn)動(dòng)目標(biāo)檢測方法主要有背景圖像差分法、幀間差分法、光流法和邊緣檢測。背景差分法是采用當(dāng)前圖像與背景圖像同位置的像素相減的方式進(jìn)行前景目標(biāo)檢測。它實(shí)現(xiàn)簡單,能完整地分割出運(yùn)動(dòng)目標(biāo);缺點(diǎn)是容易受光照等外在環(huán)境條件的影響。幀間差分法是相鄰幀的圖像對(duì)應(yīng)像素點(diǎn)的灰度值相減,對(duì)差分圖像進(jìn)行二值化處理來確定運(yùn)動(dòng)目標(biāo)。幀間差分法自適應(yīng)性強(qiáng),穩(wěn)健性好,可適用于運(yùn)動(dòng)場景,但一般不能完整的檢測出運(yùn)動(dòng)目標(biāo),容易產(chǎn)生空洞現(xiàn)象。光流法是對(duì)序列圖像的光流長分析,來檢測出運(yùn)動(dòng)的目標(biāo),但計(jì)算量大,實(shí)時(shí)性差,對(duì)硬件要求高。邊緣檢測法的原理是圖像的邊緣為圖像中灰度發(fā)生變化明顯的區(qū)域。邊緣檢測方法有利于鄰近運(yùn)動(dòng)目標(biāo)的區(qū)分和運(yùn)動(dòng)目標(biāo)特征的提取,穩(wěn)健性好,但運(yùn)算復(fù)雜度也相對(duì)較大[2-5]。
通過總結(jié)、分析各種運(yùn)動(dòng)目標(biāo)檢測算法的優(yōu)缺點(diǎn),本文提出了一種基于背景查分法和三幀差分法相結(jié)合的運(yùn)動(dòng)目標(biāo)檢測算法,該算法能有效地分割出視頻中的運(yùn)動(dòng)目標(biāo)。由于背景圖像的動(dòng)態(tài)變化,如光照、天氣、影子等干擾因素,是運(yùn)動(dòng)檢測成為一個(gè)相當(dāng)困難的工作。在此,只研究在背景靜止情況下的目標(biāo)檢測。
運(yùn)動(dòng)目標(biāo)的檢測過程包括運(yùn)動(dòng)目標(biāo)檢測的預(yù)處理、運(yùn)動(dòng)目標(biāo)的分割、運(yùn)動(dòng)目標(biāo)的跟蹤。背景差分法的關(guān)鍵是背景圖像的提取。獲取背景圖像的簡單方法是在場景沒有運(yùn)動(dòng)目標(biāo)的情況下進(jìn)行,但在大部分的場合是無法實(shí)現(xiàn)的。一個(gè)有效的背景的提取應(yīng)該解決幾種常見的現(xiàn)實(shí)中存在的問題:1)背景中存在運(yùn)動(dòng)物體。初始化背景圖像時(shí)存在運(yùn)動(dòng)的物體,容易把物體變成背景圖像的一部分。2)陰影問題。無論是白天還是夜晚都存在光照,物體就存在影子,影子的像素和背景的像素不同就被判為背景圖像的一部分。3)背景的變化。背景中的物體可能在一段時(shí)間后發(fā)生位置的變化,差分圖像就會(huì)出現(xiàn)錯(cuò)誤[6]。
算法流程圖如圖1所示。
圖像預(yù)處理中最重要的問題就是噪聲的存在,去除噪聲是首要任務(wù)。消除噪聲可以增強(qiáng)圖像對(duì)比度,從而改善圖像質(zhì)量,提高圖像的對(duì)比度,以便于后期處理。攝像機(jī)拍攝的圖片可能因?yàn)橐恍┩庠谠虮黄渌碾S機(jī)信號(hào)(即噪聲)污染,考慮到此噪聲的特性,可采用中值濾波法,中值濾波法對(duì)很多隨機(jī)噪聲都有良好的去噪能力。
圖1 算法流程圖
背景初始化常見的一種方法是在室內(nèi)、走廊等一些場景變化不大的地方,直接采用靜態(tài)的沒有運(yùn)動(dòng)物體的背景圖像,將不同時(shí)間段的背景圖像儲(chǔ)存到數(shù)據(jù)庫中,然后根據(jù)時(shí)間提取相對(duì)應(yīng)的背景圖片。但前期數(shù)據(jù)采集麻煩,穩(wěn)健性也不好。另一種常見的方法就是對(duì)一段時(shí)間內(nèi)的視頻圖像用累加求平均值的方法獲得背景圖像。此方法雖然計(jì)算簡單,但是很容易把前景目標(biāo)混入到背景圖像中,使背景圖像模糊。還有一種較高級(jí)的方法是混合高斯模型法,對(duì)于緩慢變化的背景,可以用正態(tài)分布來表征像素灰度值的變化,每一種背景圖像的像素都可以通過多個(gè)高斯分布的加權(quán)和來描述?;旌细咚鼓P头ㄓ?jì)算量大、實(shí)時(shí)性差、對(duì)硬件設(shè)備的要求高[6]。
最常見的方法為累加求平均值的方法,公式為
式中:F(x,y)為所求的背景圖像,F(xiàn)i(x,y)為第i幀圖像。這種方法有很大的缺點(diǎn),當(dāng)初始化時(shí)圖像序列中存在運(yùn)動(dòng)物體時(shí),容易在背景圖像中產(chǎn)生模糊的影子,影響背景圖像的質(zhì)量。
改進(jìn)方法為:取一段視頻的圖像求平均值,然后用平均圖像的灰度值與每一幀圖像的灰度值相減所得絕對(duì)值,利用絕對(duì)值最小的對(duì)應(yīng)圖像的部分區(qū)域組成的圖像就是當(dāng)前的背景圖像。
求3幀圖像灰度值的平均值,公式為
每幀圖像的灰度值與平均值相減的絕對(duì)值,公式為
判斷其中的最小值,最小值對(duì)應(yīng)的圖像部分可以認(rèn)為背景圖像,公式為
式中:i≤3。
平均法與改進(jìn)法的比較如圖2所示。背景初始化時(shí),視頻中存在運(yùn)動(dòng)目標(biāo)的情況下,使用多幀圖像取平均值的效果很差,而改進(jìn)法就明顯得到改進(jìn)。平均法得到的背景圖片存在模糊的人影,而改進(jìn)法存在些物體邊緣上的點(diǎn),這些噪聲可以通過中值濾波去除,通過直方圖均衡化,增加圖像的對(duì)比度。
圖2 平均法與改進(jìn)法的比較
監(jiān)控視頻中的背景并不是一成不變的。最常見的影響背景變化的就是光照,隨著時(shí)間的推移、光照的強(qiáng)度和方向的改變,使陰影的灰度值和位置發(fā)生改變,例如白天到黑夜的變化,物體陰影的灰度值就會(huì)發(fā)生明顯的變化。其次就是背景區(qū)域內(nèi)的變化,例如停車場內(nèi)新停放的車輛,它們是長時(shí)間不移動(dòng)的,可以視為背景物體,或者是停車場原來的車輛開走,背景圖像中原有的物體消失。如果背景圖像沒有實(shí)時(shí)更新,會(huì)影響運(yùn)動(dòng)物體的檢測,把背景中的新增物體當(dāng)成運(yùn)動(dòng)物體檢測出來,或者是在運(yùn)動(dòng)實(shí)體內(nèi)部容易產(chǎn)生空洞現(xiàn)象,所以背景圖像需要更新[7]。
常用的背景圖像更新方法是:每隔一段時(shí)間提取新的背景圖像,新取的圖像可以是連續(xù)幀的視頻圖像的平均值,新取圖像與之前的背景圖像按照一定的比例綜合,就是新的背景圖像。此方法取得的背景還是受到運(yùn)動(dòng)物體的影響,仍需改進(jìn)。數(shù)學(xué)表達(dá)式如下
F(x,y)=αFi+1(x,y)+(1 - α)Fi(x,y),0 < α < 1 (6)式中:F(x,y)為最新的背景圖像,F(xiàn)i(x,y)為上次的背景圖像,F(xiàn)i+1(x,y)為當(dāng)前新取的背景圖像,F(xiàn)j(x,y)和Fj+1(x,y)為連續(xù)的幾幀圖像,α為權(quán)值,α的取值盡量取大一些,約為0.8~0.95,如果取值太小,背景更新效果不佳。
取幾幀圖像按照背景初始化時(shí)的改進(jìn)算法處理,然后與上次的背景圖像取綜合。計(jì)算量有所增加,但背景圖像的準(zhǔn)確度高,不宜受運(yùn)動(dòng)物體及陰影等影響。取當(dāng)前幾幀連續(xù)的圖像,按照初始化的算法求的新的背景圖像Fi+1(x,y)
式中:F(x,y)為最新的背景圖像,F(xiàn)i(x,y)為上次的背景圖像,F(xiàn)i+1(x,y)為當(dāng)前新取的背景圖像,F(xiàn)j(x,y)和Fj+1(x,y)為連續(xù)的幾幀圖像,α為權(quán)值,表達(dá)式為
在二值化的處理過程中,閾值的選擇是圖像二值化的關(guān)鍵。單一閾值對(duì)差分圖像進(jìn)行二值化操作存在很大的弊端。閾值過小,就得不到完整的運(yùn)動(dòng)目標(biāo);閾值過大,就會(huì)出現(xiàn)太多噪聲。
單一閾值二值化圖像的獲取,其數(shù)學(xué)表達(dá)式為
式中:F(x,y)為背景圖像,F(xiàn)i(x,y)為當(dāng)前幀,Di為二值化后的差值圖像。
對(duì)單一閾值的改進(jìn)方法一般有2種:1)動(dòng)態(tài)閾值法,根據(jù)不同的圖像確定不同的閾值,基本思想是不同時(shí)間段使用不同的閾值,使圖像進(jìn)行二值化處理以后,使得目標(biāo)與背景2個(gè)像素的類間方差取最大值時(shí)的閾值為最佳閾值;2)雙閾值法,取2個(gè)閾值,設(shè)雙閾值中的高閾值為YH,此時(shí)得到的差值圖像為圖YH,圖YH由于閾值過大,提取的運(yùn)動(dòng)目標(biāo)不完整。雙閾值中的低閾值為YL,此時(shí)得到的差值圖像為圖YL,由于閾值過小,圖YL中不僅提取了運(yùn)動(dòng)目標(biāo),同時(shí)也包含大量的噪聲。圖YH和圖YL取與,可以得到較完整的運(yùn)動(dòng)目標(biāo),并很好地去除噪聲[8]。其數(shù)學(xué)表達(dá)式如下
式中:F(x,y)為背景圖像,F(xiàn)i(x,y)為當(dāng)前幀,Di(x,y)為大閾值二值化后的差值圖像,(x,y)為小閾值二值化后的差值圖像。
本文使用動(dòng)態(tài)閾值法。動(dòng)態(tài)閾值的取值隨時(shí)間變化的,當(dāng)光照變化、背景中的物體發(fā)生改變時(shí),閾值也改變?;诟倪M(jìn)迭代的閾值計(jì)算方法,初始閾值選取為圖像灰度的中值F0,然后以F0為圖像的像素點(diǎn)分界點(diǎn)分成2個(gè)部分,計(jì)算出2個(gè)部分的平均灰度,分別為FA和FB,計(jì)算F1=,用F1代替F0,重復(fù)以上過程,如此迭代,直至FK收斂,即FK+1=FK。此時(shí)FK是基數(shù),閾值是基數(shù)的0.3~0.6倍。
三幀差分法獲得的二值化圖像,將兩種方法獲得的運(yùn)動(dòng)區(qū)域相或,便可以獲得比較完整的運(yùn)動(dòng)區(qū)域。二值化圖像和運(yùn)動(dòng)區(qū)域如圖3所示。
圖3 二值化圖像和運(yùn)動(dòng)區(qū)域
二值化的圖像仍然存在一些小的噪聲干擾點(diǎn),影響運(yùn)動(dòng)目標(biāo)的檢測的質(zhì)量,因此還需對(duì)二值化圖像進(jìn)行后期處理。首先,對(duì)二值化圖像進(jìn)行中值濾波,消除小噪聲;然后,采用數(shù)學(xué)形態(tài)學(xué)圖像處理中的腐蝕、膨脹、開啟和閉合算法對(duì)二值化圖像處理,去除前景點(diǎn)等噪聲,從而得到相對(duì)完整的運(yùn)動(dòng)目標(biāo)的輪廓。
在視頻圖像中運(yùn)動(dòng)目標(biāo)的檢測過程中,背景的選取和閾值是關(guān)鍵。本文提出的背景差分法和幀差分法相結(jié)合的算法,很好地解決了背景選取的問題,動(dòng)態(tài)閾值法改善了固定單一閾值的弊端。本文提出的運(yùn)動(dòng)目標(biāo)檢測與識(shí)別的原理存在一定的缺點(diǎn),只能適用于固定攝像機(jī),但此算法的實(shí)時(shí)性好、計(jì)算量小,完全滿足室內(nèi)和一些固定場合的監(jiān)控。
[1]劉桂喜,邵明禮,劉先紅,等.真實(shí)場景下視頻運(yùn)動(dòng)目標(biāo)自動(dòng)提取的方法[J]. 光學(xué)學(xué)報(bào),2006,28(8):1150-1155.
[2]LI Gang,ZENG Ruili,LI Ling.Moving target detection in video monitoring system[C]//Proc.the 6th World Congress on Intelligent Control.Dalian,China:[s.n.],2006:9778-9781.
[3]楊長生,李志舜.水下高速運(yùn)動(dòng)目標(biāo)檢測及其DSP實(shí)現(xiàn)[J].電聲技術(shù),2004,28(7):30-36.
[4]楊冬冬,常丹華,韓夏.運(yùn)動(dòng)目標(biāo)檢測與跟蹤算法的改進(jìn)與實(shí)現(xiàn)[J].激光與紅外,2010,40(2):205-209.
[5]XIAO Benxian,LU Cheng,CHEN Hao,et al.Moving object detection and recognition based on the frame difference algorithm and moment invariant features[C]//Proc.the 27th Chinese Control Conference.Kunming,China:[s.n.],2008:578-581.
[6]萬衛(wèi)兵,霍宏,趙宇明.智能視頻監(jiān)控中目標(biāo)檢測與識(shí)別[M].上海:上海交通大學(xué)出版社,2009:43-49.
[7]胡彪,龔曉峰.基于改進(jìn)背景差法的運(yùn)動(dòng)目標(biāo)檢測[J].計(jì)算機(jī)工程與設(shè)計(jì),2010,31(17):3841-3844.
[8]陳明潔.智能視頻監(jiān)控系統(tǒng)目標(biāo)檢測和跟蹤技術(shù)分析[J].電視技術(shù),2008,32(10):85-87.