蔣秀蓉,朱 林,郝元宏,杜海燕
(北方自動控制技術(shù)研究所,太原 030006)
運動目標檢測就是在圖像處理的基礎(chǔ)上,將運動區(qū)域從圖像背景區(qū)域中提取出來,為目標識別、目標跟蹤、目標行為分析提供可靠而準確的基本數(shù)據(jù),完成相應(yīng)的目標跟蹤和目標分析等任務(wù)[1]。運動目標檢測具有廣闊的應(yīng)用前景和巨大的應(yīng)用價值,然而現(xiàn)有算法仍不能完全處理實際復(fù)雜背景下運動目標檢測中背景雜波、噪聲、光照變化、場景中存在陰影等影響因素[2]。常見的運動目標檢測算法有幀間差分法、光流法、背景差分法等。幀間差分法是將兩幅圖像對應(yīng)位置相減,差值小于閾值的地方是背景,否則為目標,這種算法的計算速度快,但是當背景變化較大時,會產(chǎn)生大量的虛假目標且魯棒性差。光流法是利用多幀來計算每個像素的運動方向以及大小,利用運動特征來判斷目標與背景,這種方法在大部分場景下能夠檢測出具有獨立運動的對象,但算法計算復(fù)雜,實時性不強且抗噪性能較差。背景差分法是利用某些幀來建立背景模型,再將待檢測的一幀圖像與模型相比較,與模型有差別的點就被認定為目標區(qū)域點,這種算法檢測效果較好,但是對所建立模型的質(zhì)量依賴性很強?;旌细咚鼓P头椒ㄔ谝欢ǔ潭壬峡朔吮尘暗臄_動,但運算復(fù)雜且對背景的更新要求很高。而基于背景減除模型的ViBe算法[3]檢測速度快,但同樣對光照敏感,容易產(chǎn)生“鬼影”現(xiàn)象,對復(fù)雜環(huán)境魯棒性較差。
2009年Candes等人提出了基于魯棒主成分分析(RPCA)[4-5]的背景差分方法,與傳統(tǒng)方法相比在檢測準確性和魯棒性上有十分明顯的優(yōu)勢。RPCA模型能夠同時估計背景與分離運動目標,且該方法無需輸入背景干凈的視頻作為背景訓(xùn)練樣本,即可直接從包含運動目標的視頻中進行背景估計。低秩模型能夠?qū)υ肼?、?shù)據(jù)缺失、緩慢的光照變化等退化因素保持魯棒性,對于前景目標的運動方式無特殊要求,能夠處理非剛體對象,并且需要調(diào)節(jié)的參數(shù)較少,有利于模型在工程實踐中的應(yīng)用與推廣。
然而,傳統(tǒng)的RPCA模型是從壓縮感知的低秩矩陣模型延伸而來的[6-7],僅僅從視頻序列組成的矩陣元素方面考慮低秩和稀疏的特性,并未考慮到矩陣元素之間內(nèi)在的時空相關(guān)聯(lián)系。對于很多復(fù)雜的運動目標,L1范數(shù)往往不能很好地逼近真實的前景區(qū)域。如果能夠利用顯著運動目標的時空分布特征,排除與運動目標特征不一致的部分,就可以魯棒地檢測出運動目標。從以上動機出發(fā),本文使用TV正則化結(jié)合L1正則化對前景目標進行建模,同時對前景目標的稀疏性和空間連續(xù)性進行約束。在矩陣低秩稀疏分解的框架下,使用核范數(shù)對背景建模,得到新的目標函數(shù)式。使用基于交替迭代思想的增廣拉格朗日乘子法對目標函數(shù)式進行求解,得到目標檢測結(jié)果。大量實驗證明,本文算法的準確性和魯棒性與傳統(tǒng)算法相比均有很大提高。
魯棒主成分分析算法(RPCA)也常被稱為稀疏矩陣和低秩矩陣分解(SLMD)。其核心思想在于將視頻矩陣分解為一個低秩矩陣和一個稀疏矩陣。
式(1)所表示的矩陣分解為一個NP問題,故需要在此基礎(chǔ)上對模型進行修正。現(xiàn)有可行的方法是用核范數(shù)來逼近矩陣的秩,用矩陣的L1范數(shù)來逼近矩陣的L0范數(shù),進而可以得到一個凸優(yōu)化問題的求解模型:
通過求解此模型,可以分解出低秩背景矩陣A和稀疏前景矩陣E。
視頻序列圖像本身包含時空信息,背景擾動(波紋、樹葉和晃動)通常是非結(jié)構(gòu)化的,在時空域分布上呈現(xiàn)為類似噪聲特性。前景目標具有很強的空間相關(guān)性,即使視頻圖像受到影響或干擾,相近像素之間的灰度值通常不會有很大變化,整體呈現(xiàn)線性關(guān)系。如果能夠利用此先驗信息對前景模型進行重建,結(jié)合RPCA方法進行求解,把矩陣求解與前景像素空間相關(guān)性結(jié)合起來,就可以彌補RPCA方法的不足之處,大幅度提升檢測效果。
全變差正則化最早由Rudin-Osher和Fatemi(ROF)提出,其在圖像處理中得到了廣泛應(yīng)用,如Zhou[8]等人利用全變差范數(shù)分析 aCGH 數(shù)據(jù)、Wu[9]等人加入TV空間約束條件實現(xiàn)HSI圖像去噪、He[10]等人利用TV約束對HSI圖像進行重建,上述方法均取得了良好的效果。受到以上應(yīng)用的啟發(fā),如果能夠把全變差正則化引入到運動目標監(jiān)測中,結(jié)合TV范數(shù)對空間相關(guān)先驗信息建立更為精確的模型,目標檢測算法適應(yīng)復(fù)雜環(huán)境的能力也會得到提升。
本文對前景的空間連續(xù)性約束進行如下定義:
Mkh和Mkv分別表示從水平方向和豎直方向?qū)γ恳粠械那熬跋袼刈霾罘诌\算。
通過結(jié)合前景空間連續(xù)性約束與L1正則化,得到新的前景模型:
其中第1項為空間約束項,約束前景空間的連續(xù)性;第2項為稀疏約束項,控制前景空間的稀疏性。
結(jié)合矩陣低秩稀疏分解的思想與新的前景模型,可以得到如下目標函數(shù):
其中,α是用來調(diào)節(jié)前景空間相似約束強度的參數(shù),β是用來限制前景元素稀疏程度的參數(shù)。當α=0時,本模型退化為傳統(tǒng)的RPCA模型。
目標函數(shù)式(6)是一個凸優(yōu)化問題,可以通過一系列凸優(yōu)化算法求解。本文使用增廣拉格朗日乘子法利用交替迭代的策略求解該問題[11]。首先把式(6)轉(zhuǎn)化為等價最優(yōu)化問題式(7):
式(7)的增廣拉格朗日函數(shù)為:
其中,μ1和 μ2是懲罰參數(shù),Y1和 Y2是拉格朗日乘子。
通過交替迭代的策略,依次更新變量A,E,F(xiàn),Y1,Y2。變量更新過程可以表示如下:在第k+1次迭代中,依次迭代求解各個變量。
顯然,優(yōu)化問題被分解為3個主要的子問題。
對于變量A,可以得到:
式(9)有唯一解,可以通過軟閾值算子與SVD分解來求解該優(yōu)化問題[7],得到式(9)的最優(yōu)解:
對于求解變量E,有如下函數(shù)式:
優(yōu)化問題(11)可以使用閾值收縮算法求解
其中,x∈R,Δ>0,式(11)可以由下式求解:
對于子問題F,有如下函數(shù)式:
通過快速梯度算法可以求解此子問題。
綜合以上各個變量優(yōu)化流程,本文算法總結(jié)如下(見下頁表1)。
在 Wallflower[12]和 BMC[13]視頻測試集上對本文所提出的算法進行了測試,所有的測試視頻均使用24~48幀,這些視頻均具有不同程度的動態(tài)背景。同時,引入了4種常用算法作比較,分別是:DECOLOR[14]、PCP[7]、ViBe[3]、MoG。在實驗中,本文方法的參數(shù)設(shè)置為其他4種算法均設(shè)置為原算法作者推薦的參數(shù)。
表1 本文算法流程
實驗結(jié)果如圖1所示,測試了8個具有復(fù)雜背景的視頻序列。序列(a)、序列(b)、序列(e)描述了具有復(fù)雜動態(tài)背景(水面波紋、樹木搖曳)的場景;序列(c)、序列(d)、序列(f)描述了具有噪聲干擾的多目標場景;序列(g)、序列(h)描述了具有地面反光和物體遮擋干擾的室內(nèi)場景。
通過分析實驗結(jié)果發(fā)現(xiàn),由于本文方法引入了基于TV范數(shù)的空間連續(xù)性約束,DECOLOR方法引入的圖割法中包含的空間平滑約束,這兩種方法均可以去除大部分動態(tài)背景的干擾;但是DECOLOR方法為了得到更小的能量函數(shù)使其傾向于檢測大的連續(xù)區(qū)域而忽略小的目標,所以在序列(c)的結(jié)果中相近的目標被檢測為同一個目標,在序列(d)、序列(f)中較小的目標則被漏檢;相比較而言,本文算法更為穩(wěn)定。PCP算法使用L1范數(shù)約束前景,沒有考慮到像素之間的聯(lián)系,在動態(tài)背景的場景下,會把動態(tài)背景檢測為前景。ViBe算法是一種基于像素的背景建模方法,變化小的動態(tài)背景具有一定的魯棒性,但是會導(dǎo)致空洞點的產(chǎn)生使目標不完整。與ViBe方法不同,MoG方法用若干高斯模型對背景區(qū)域進行建模,該方法對噪聲和動態(tài)背景比較敏感,在實驗結(jié)果中產(chǎn)生了大量虛警。
為了定量分析以上5種算法的性能,把檢測看作前景和背景的分類問題,引入準確率(precision)和召回率(recall)來衡量算法的優(yōu)劣:
圖2表示各個測試視頻的準確率和召回率,圖2(a)~ 圖 2(h)對應(yīng)圖 1 中每段測試視頻,圖 2(i)為實驗結(jié)果的平均值。不難看出,DECOLOR的Precision值最高,本文算法和PCP方法次之;而本文算法的Recall值比其他算法都高。由于DECOLOR方法趨向于提取比較大的區(qū)域,但同時又會使檢測區(qū)域過于平滑,造成大量虛警,故其檢測率較高而召回率較低。本文方法和PCP方法都是基于RPCA的方法,在召回率方面相差不大,但由于本文方法引入了空間相似約束,可以大量降低虛警,所以本文方法的準確率高于DECOLOR和PCP,這也證明了本文所提出的空間相似約束的優(yōu)越性。
下頁表2給出了圖2中各個算法檢測結(jié)果的F-measure,其中F-measure值最高的算法用加粗來標記,第二高的加下劃線標記??梢钥闯?,本文方法的F-measure值要高出其他4種方法。
表2 各算法性能仿真分析
本文提出了一種基于RPCA和空間相關(guān)約束的運動目標檢測方法,在矩陣低秩稀疏正則化框架下,利用前景目標具有的空間相似性先驗,結(jié)合TV正則化提出了新的前景模型,通過ALM方法對模型進行求解。在不同視頻數(shù)據(jù)集上的實驗結(jié)果證明,在復(fù)雜背景的條件下,本文方法的準確性和魯棒性與傳統(tǒng)方法相比具有很大的優(yōu)越性。