齊建文 戴德輝

（陸軍軍官學(xué)院 合肥 230031）

1 引言

當(dāng)前，運(yùn)動(dòng)目標(biāo)檢測已經(jīng)廣泛運(yùn)用在軍事偵察，智能交通，視頻監(jiān)控，視頻檢索等領(lǐng)域。但在惡劣天氣條件下，運(yùn)動(dòng)目標(biāo)檢測依然是一個(gè)難題，特別是在下雪天的情況下，運(yùn)動(dòng)目標(biāo)檢測面臨著挑戰(zhàn)。第一，雪花的飄動(dòng)會(huì)在視場中形成不規(guī)律的動(dòng)態(tài)背景噪聲，會(huì)對運(yùn)動(dòng)目標(biāo)的檢測造成一定的干擾；第二，當(dāng)運(yùn)動(dòng)目標(biāo)長時(shí)間的暴露在室外時(shí)，目標(biāo)表面可能會(huì)被雪覆蓋，與背景顏色一致，難以區(qū)分，導(dǎo)致檢測出的對象存在空洞，難以檢測出完整的運(yùn)動(dòng)目標(biāo)；第三，大雪天氣情況下，雪花會(huì)形成較大的運(yùn)動(dòng)背景噪聲，尤其是當(dāng)場景中存在緩慢運(yùn)動(dòng)目標(biāo)時(shí)，僅通過運(yùn)動(dòng)特征難以檢測完整目標(biāo)。因此，分析雪天對運(yùn)動(dòng)目標(biāo)檢測的干擾因素，并研究雪天中運(yùn)動(dòng)前景目標(biāo)和背景的靜態(tài)和動(dòng)態(tài)特征，設(shè)計(jì)出可適用于雪天運(yùn)動(dòng)目標(biāo)檢測方法，具有十分重要的研究意義。

當(dāng)前，主流的運(yùn)動(dòng)目標(biāo)檢測方法包括，幀間差分法［1］，背景建模法［2］和光流法［3］。但上述方法都有或多或少的一些缺陷，光流法計(jì)算復(fù)雜，難以得到實(shí)際的應(yīng)用；幀間差分法在檢測緩慢運(yùn)動(dòng)目標(biāo)時(shí)，難以檢測出完整的運(yùn)動(dòng)目標(biāo)，會(huì)產(chǎn)生內(nèi)部空洞；背景建模法容易將背景與前景目標(biāo)混淆。這些算法都主要依賴于運(yùn)動(dòng)特征進(jìn)行運(yùn)動(dòng)目標(biāo)檢測，而下雪天由于存在雪花的動(dòng)態(tài)背景噪聲的干擾，僅依靠于運(yùn)動(dòng)特征難以檢測出完整的運(yùn)動(dòng)目標(biāo)。然而，雪天情況下大部分的背景區(qū)域都被雪花覆蓋，背景相對單一，且空間中的顏色、紋理和對比度等特征較為明顯，因而利用好空間特征，將空間信息引入到運(yùn)動(dòng)目標(biāo)檢測中，可以提高檢測的精度。

針對上述特點(diǎn)，本文將視覺顯著性檢測方法引入到雪天運(yùn)動(dòng)目標(biāo)檢測中，提出了一種融合空時(shí)顯著性的雪天運(yùn)動(dòng)目標(biāo)檢測方法。在空間上，采用基于視覺注意機(jī)制的顯著性目標(biāo)檢測方法，對運(yùn)動(dòng)目標(biāo)的空間靜態(tài)特征進(jìn)行提取，得到空間顯著圖；在時(shí)間上，通過對運(yùn)動(dòng)特征進(jìn)行提取，得到時(shí)間顯著圖，最后采用動(dòng)態(tài)融合方法對空時(shí)顯著圖進(jìn)行融合，從而檢測出運(yùn)動(dòng)目標(biāo)。

2 融合空時(shí)的運(yùn)動(dòng)目標(biāo)檢測

本文采用基于結(jié)構(gòu)化矩陣分解的方法來對雪天運(yùn)動(dòng)目標(biāo)進(jìn)行空間顯著性檢測，得到空間顯著圖，經(jīng)三幀差分法得到時(shí)間顯著圖，并通過空時(shí)動(dòng)態(tài)融合得到運(yùn)動(dòng)目標(biāo)的區(qū)域位置信息，最后，對空時(shí)融合后檢測到的目標(biāo)區(qū)域進(jìn)行連通性檢測分析，對內(nèi)部存在空洞現(xiàn)象的目標(biāo)進(jìn)行空洞填充，從而提取出最終的運(yùn)動(dòng)目標(biāo)區(qū)域，具體過程如圖1所示。

圖1 本方法的檢測過程

2.1 空間顯著性檢測

近年來，視覺顯著性檢測成為了一個(gè)研究的熱點(diǎn)，并在視頻檢索，目標(biāo)檢測，數(shù)據(jù)壓縮等領(lǐng)域得到了廣泛的應(yīng)用。顯著性檢測是指通過模擬人眼的視覺注意機(jī)制，提取圖像中的顯著性區(qū)域，從而得到最符合人眼觀測的感興趣目標(biāo)，顯著性檢測關(guān)鍵在于視覺注意模型，視覺注意模型主要分為兩類：一類是自頂而下的慢速、任務(wù)驅(qū)動(dòng)的視覺分析模型，通常是利用人類大腦中已有的先驗(yàn)信息，但該類方法缺少生物生理學(xué)依據(jù)，且建模實(shí)現(xiàn)復(fù)雜，因而研究較少；另一類是自底而上的快速、特征驅(qū)動(dòng)的視覺分析模型，這類模型是當(dāng)前顯著性檢測的一個(gè)重要基礎(chǔ)。當(dāng)前，顯著性檢測領(lǐng)域發(fā)展快速，研究成果明顯，其發(fā)展主要是基于ITTI于1998年提出的視覺注意模型［4］。針對雪天背景相對單一的，前景特征對比明顯的特點(diǎn)，并在經(jīng)過大量的實(shí)驗(yàn)和方法分析的基礎(chǔ)上，本文采用 SMD［5］（Structured Matrix Decompositi-on）方法進(jìn)行空間顯著性檢測。SMD方法主要基于低秩復(fù)原模型，低秩復(fù)原模型是指將一副圖像的特征觀測矩陣進(jìn)行結(jié)構(gòu)化分解得到一個(gè)低秩矩陣和稀疏矩陣，其中分解得到的低秩部分代表的是場景中非顯著的部分，即空間的背景；稀疏部分代表的是顯著部分，即前景的目標(biāo)。最后對經(jīng)結(jié)構(gòu)化分解后的稀疏矩陣進(jìn)行復(fù)原即可得到場景中的顯著性目標(biāo)。

SMD方法主要利用的是空間的靜態(tài)特征如顏色，邊緣，紋理等特征。若給定一副視頻幀，先將其分割成N個(gè)圖像塊，每個(gè)圖像塊抽取D維特征組成一個(gè)特征矩陣F，可表示為：

其中L表示特征矩陣的低秩部分，S表示稀疏部分。結(jié)構(gòu)化分解模型基本形式如下：

其中Ψ(L)是低秩約束，用來識(shí)別冗余的背景碎片的內(nèi)在特征子空間，對背景區(qū)域進(jìn)行約束；Ω(S)是結(jié)構(gòu)化稀疏約束，采用樹形結(jié)構(gòu)稀疏誘導(dǎo)范數(shù)來約束前景矩陣S，從而將顯著圖像塊空間上的聯(lián)系和特征上的相似性考慮進(jìn)矩陣問題中，用來解決了傳統(tǒng)的低秩模型分離難、分離出來的前景不完整問題；Θ(L，S)是引入的拉普拉斯正則法則，具體表示如式（3）所示。

Θ(L，S)拉普拉斯正則化項(xiàng)根據(jù)特征矩陣（F）的局部不變性來平滑S中的向量從而增大稀疏矩陣和低秩矩陣之間的距離，降低低秩矩陣和結(jié)構(gòu)化稀疏矩陣之間的相似性，使得在進(jìn)行結(jié)構(gòu)化分解時(shí)可以更好地將稀疏部分分解出來。通過上述模型，恢復(fù)出顯著性目標(biāo)，并得到空間顯著圖。

2.2 時(shí)間顯著性檢測

根據(jù)人眼的視覺特點(diǎn)，運(yùn)動(dòng)的物體往往更加容易引起人眼的注意力，對運(yùn)動(dòng)目標(biāo)進(jìn)行檢測需要得到目標(biāo)的運(yùn)動(dòng)特征。經(jīng)過實(shí)驗(yàn)分析，針對雪天存在動(dòng)態(tài)背景噪聲干擾的情況，本文采用改進(jìn)的相鄰三幀差分法來提取運(yùn)動(dòng)特征，三幀差分［6］是基于兩幀差分基礎(chǔ)上的改進(jìn)，計(jì)算簡單，滿足實(shí)時(shí)性要求，且可以避免兩幀差分帶來的“鬼影”現(xiàn)象，能減少雪花飄動(dòng)對運(yùn)動(dòng)特征提取的干擾。具體原理如下：

其中 Dm，i，t和 Dm，i，t+1分別為第 t幀和第 t-1幀的差分結(jié)果以及第t幀和第t+1幀的差分結(jié)果。 Sm，i，t代表兩個(gè)差分結(jié)果進(jìn)行與操作后得到的差分圖像，再將 Sm，i，t經(jīng)過閾值分割后得到二值圖像 BSm，i，t：

其中T為進(jìn)行二值化的閾值。當(dāng) BSm，i，t=1時(shí)，則表示為運(yùn)動(dòng)目標(biāo)區(qū)域，BSm，i，t=0則表示為背景區(qū)域。

2.3 空時(shí)顯著性融合

依據(jù)得到的空間顯著圖和時(shí)間顯著圖，采用動(dòng)態(tài)融合的方法進(jìn)行空時(shí)顯著性融合，得到目標(biāo)的位置區(qū)域信息，從而將運(yùn)動(dòng)目標(biāo)檢測處理。其原理如下：

其中ks和kt分別代表的是空間顯著圖和時(shí)間顯著圖的權(quán)重。St為時(shí)間顯著圖，Ss為空間顯著圖。

其中Const是一個(gè)常數(shù)。

動(dòng)態(tài)融合方法的主要策略：

1）當(dāng)視頻序列中存在強(qiáng)烈的運(yùn)動(dòng)對比時(shí)，在進(jìn)行空時(shí)顯著性融合時(shí)，要給時(shí)間顯著圖較大的比重。

2）當(dāng)視頻序列中運(yùn)動(dòng)對比比較微弱時(shí)，在進(jìn)行空時(shí)顯著性融合時(shí)，要給空間顯著圖較大的比重。

2.4 后處理

在雪天情況下，由于目標(biāo)可能被雪部分覆蓋，導(dǎo)致目標(biāo)的部分內(nèi)部區(qū)域與雪天背景相似，采用上述方法提取出的運(yùn)動(dòng)目標(biāo)的內(nèi)部可能會(huì)存在空洞，出現(xiàn)漏檢的情況。因此，本文對經(jīng)空時(shí)融合后的檢測目標(biāo)區(qū)域進(jìn)行進(jìn)一步的空洞檢測與填充，得到完整的運(yùn)動(dòng)目標(biāo)區(qū)域。采用檢測結(jié)果進(jìn)行8連通檢測方法對檢測的目標(biāo)區(qū)域進(jìn)行連通性分析，判斷是否需要進(jìn)行空洞填充，當(dāng)檢測目標(biāo)區(qū)域存在空洞現(xiàn)象，對上述檢測的目標(biāo)區(qū)域進(jìn)行形態(tài)學(xué)處理，并進(jìn)行空洞填充操作，最終提取出完整的運(yùn)動(dòng)目標(biāo)。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)仿真

本文的實(shí)驗(yàn)環(huán)境如下：CPU為Intel Core i5-6200U 2.30GHZ，內(nèi)存4.00GB，操作系統(tǒng)為Win?dows 7（64位），編程開發(fā)環(huán)境為Matlab 2013。

針對引言中分析的下雪天對運(yùn)動(dòng)目標(biāo)檢測的影響，本文選取了幾組下雪天視頻進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)視頻來源于公共視頻集網(wǎng)站CDW［7］和優(yōu)酷網(wǎng)。為驗(yàn)證本文方法的有效性，選擇GMM算法［8］和幀間差分法來與本文算法進(jìn)行了對比分析。

圖2為幾種方法在4種場景中的實(shí)驗(yàn)效果對比，其中（a）為幾種不同場景的視頻幀，由上至下分別為場景1～4，場景1為正常下雪天氣，場景亮度較暗，背景相對簡單，為常見的下雪天；場景2為在下雪天行駛的汽車，該場景中光照變化較為明顯；場景3為大雪天氣，目標(biāo)存在陰影且車身被雪部分覆蓋。前3種場景均為相機(jī)靜止的情況，除此之外，本文還嘗試了針對相機(jī)移動(dòng)的情況進(jìn)行實(shí)驗(yàn)，場景4是存在相機(jī)移動(dòng)情況，且存在緩慢運(yùn)動(dòng)目標(biāo)。（b），（c）分別為幀間差分法和GMM算法在4種場景中的檢測結(jié)果，（d）為本文方法的檢測結(jié)果，（e）為手工標(biāo)定的真實(shí)目標(biāo)區(qū)域。圖中白色區(qū)域?yàn)楦黝惙椒z測的目標(biāo)區(qū)域，黑色為背景區(qū)域。為客觀對比各方法的性能，實(shí)驗(yàn)中采用的實(shí)驗(yàn)參數(shù)均與原文獻(xiàn)相同，且都未經(jīng)過形態(tài)學(xué)濾波處理。

由圖2中實(shí)驗(yàn)結(jié)果可以看出，在場景1中，幾類方法都可以較好排除雪花飄動(dòng)的動(dòng)態(tài)場景干擾，其中GMM算法和本文算法都能較為完整地檢測出運(yùn)動(dòng)目標(biāo)，幀間差分法可以得到目標(biāo)的邊緣輪廓，但檢測出的結(jié)果存在空洞且邊緣存在部分缺失，檢測效果不佳；對于場景2存在光照變化明顯情況時(shí)，GMM算法和幀間差分法都受到了背景噪聲的干擾，將一部分的背景區(qū)域也視為了檢測目標(biāo)，且檢測的目標(biāo)內(nèi)部存在大量的空洞。而本文方法對于此類光照變化明顯的情況有著較好檢測效果，可以準(zhǔn)確定位到目標(biāo)位置，受光照干擾程度相對較??；在場景3中，由于是大雪天氣，背景噪聲干擾較強(qiáng)，幀間差分法和GMM算法都將部分雪花背景噪聲檢測為運(yùn)動(dòng)目標(biāo)，GMM算法對陰影部分的區(qū)分不明顯，本文方法對大雪飄動(dòng)的干擾影響較小，但同時(shí)也存在丟失車輪等不明顯區(qū)域的現(xiàn)象。場景4由于相機(jī)發(fā)生了移動(dòng)，幀間差分法和GMM算法由于其檢測原理限制，檢測結(jié)果中存在大量的背景區(qū)域，未能將目標(biāo)與背景區(qū)域區(qū)分開來，而本文算法較好的利用了空間顯著性檢測的優(yōu)勢，在進(jìn)行空時(shí)融合時(shí)，加大了空間的權(quán)重，得到了較好的檢測結(jié)果。

圖2 不同方法檢測效果對比

3.2 定量分析

為全面分析本文方法的準(zhǔn)確性，采用Precision（查準(zhǔn)率）和Recall（召回率）［9～10］作為實(shí)驗(yàn)定量分析的評價(jià)標(biāo)準(zhǔn)。Precision反映的是算法檢測的準(zhǔn)確性，Recall反映的是算法檢測目標(biāo)的全面性，通常二者的數(shù)值越高表示算法的檢測效果越好。其原理如下：

其中TP（true positives）是被正確檢測的前景像素?cái)?shù)量，F(xiàn)P（false positives）是背景誤判為前景的像素?cái)?shù)量，F(xiàn)N（false negatives）是前景誤判為背景的像素?cái)?shù)量。

表1 定量對比結(jié)果

在進(jìn)行定量分析時(shí)，由于場景4為相機(jī)移動(dòng)的動(dòng)態(tài)場景目標(biāo)檢測，幀間差分法和GMM算法本身不太適應(yīng)于動(dòng)態(tài)背景的檢測，大量的背景區(qū)域被檢測為目標(biāo)區(qū)域，導(dǎo)致結(jié)果偏差較大。因而場景4的檢測結(jié)果僅作為和本文算法的一個(gè)主觀評價(jià)，不計(jì)入定量分析的計(jì)算。定量分析中僅對比在前3種場景下各算法的Precision和Recall值，計(jì)算結(jié)果如表1所示。

從表1中可以看出，依據(jù)各算法在三種場景下檢測結(jié)果的Precision和Recall平均值，本算法在Precision和Recall值上均優(yōu)于其他兩種算法，表明本算法在對下雪天場景下運(yùn)動(dòng)目標(biāo)檢測的效果要好于其他兩種算法。

4 結(jié)語

本文針對下雪天運(yùn)動(dòng)目標(biāo)檢測出現(xiàn)的難點(diǎn)問題，將視覺顯著性檢測方法融入到運(yùn)動(dòng)目標(biāo)檢測中來，分別對視頻幀進(jìn)行空間和時(shí)間顯著性檢測，并對其進(jìn)行空時(shí)顯著性的動(dòng)態(tài)融合，較好實(shí)現(xiàn)了下雪天動(dòng)態(tài)背景噪聲干擾下的運(yùn)動(dòng)目標(biāo)檢測。并且在相機(jī)發(fā)生移動(dòng)的情況下，表現(xiàn)出一定的檢測潛力。

同時(shí)，由于本文利用了空間和時(shí)間特征，計(jì)算復(fù)雜度高，因而在檢測速度上要慢于現(xiàn)有的一些運(yùn)動(dòng)目標(biāo)檢測算法，還無法實(shí)現(xiàn)實(shí)時(shí)性的檢測處理；此外受限于空間顯著性的檢測特性，算法的魯棒性還不高，對于背景復(fù)雜，多目標(biāo)場景的檢測表現(xiàn)還不好。在下一步的研究方向中，一方面需要提高算法的檢測速度，達(dá)到實(shí)時(shí)性的檢測要求；另一方面要提高算法的魯棒性，提高適應(yīng)復(fù)雜場景的能力。

［1］Archetti F，Manfredotti C E，Messina V，et al.Fore?ground-to-GhostDiscrimination in Single-Difference Pre-proc-essing［C］//Advanced Concepts for Intelligent Vision Systems，International Conference，Acivs 2006，Antwerp，Belgium，Proceedings.DBLP，2006（9）：263-274.

［2］Barnich O，Van Droogenbroeck M.Vi-Be：a universal background subtraction algorithm for video sequences［J］.IEEE Transactions on Image Processing，2011，20（6）：1709-1724.

［3］Kim J，Ye G，Kim D.Moving object detection under free-moving camera［C］//International Conference on Im?age Processing，Hong Kong，China.DBLP，2010（9）：4669-4672.

［4］Itti L，Koch C，Niebur E.A Model of Saliency-Based Vi?sual Attention for Rapid Scene Analysis［J］.IEEE Trans?actions on Pattern Analysis& Machine Intelligence，1998，20（11）：1254-1259.

［5］Peng H，Bing L，Ling H，et al.Salient Object Detection via Structured Matrix Decomposition［J］.IEEE Transac?tions on Pattern Analysis&Machine Intelligence，2016，99：1-1.

［6］Liu G，Ning S，You Y，et al.An improved moving objects detection algorithm［C］//International Conference on Wavelet Analysis and Pattern Recognition.IEEE，2013：96-102.

［7］Wang Y，Jodoin P M，Porikli F，et al.CDnet 2014：An Expanded Change Detection Benchmark Dataset［C］//Computer Vision and Pattern Recognition Workshops.IEEE，2014：393-400.

［8］Zivkovic Z.Improved Adaptive Gaussian Mixture Model for Background Subtraction［C］//International Conference on Pattern Recognition.IEEE，2004：28-31 Vol.2.

［9］Estrada F J，Jepson A D.Benchmarking Image Segmenta?tion Algorithms［J］.International Journal of Computer Vi?sion，2009，85（2）：167-181.

［10］Borji A，Sihite D N，Itti L.Salient Object Detection：A Benchmark［M］//Computer Vision-ECCV，Springer Ber?lin Heidelberg，2012：5706-5722.