何偉　齊琦　張國云　吳健輝

摘要：針對基于視覺顯著性的運動目標檢測算法存在時空信息簡單融合及忽略運動信息的問題，提出一種動態(tài)融合視覺顯著性信息和運動信息的運動目標檢測方法。該方法首先計算每個像素的局部顯著度和全局顯著度，并通過貝葉斯準則生成空間顯著圖；然后，利用結構隨機森林算法預測運動邊界，生成運動邊界圖；其次，根據(jù)空間顯著圖和運動邊界圖屬性的變化，動態(tài)確定最佳融合權值；最后，根據(jù)動態(tài)融合權值計算并標記運動目標。該方法既發(fā)揮了顯著性算法和運動邊界算法的優(yōu)勢，又克服了各自的不足，與傳統(tǒng)背景差分法和三幀差分法相比，檢出率和誤檢率的最大優(yōu)化幅度超過40%。實驗結果表明，該方法能夠準確、完整地檢測出運動目標，提升了對場景的適應性。

關鍵詞：運動目標檢測；視覺顯著性；結構隨機森林；運動邊界；動態(tài)融合

中圖分類號：TP391.41

文獻標志碼：A

0引言

運動目標檢測是視頻分析的基礎，在智能監(jiān)控、自動導航、高級人機交互、軍事偵察等領域有著廣泛的應用前景，國內外學者對其進行了深入研究，提出了許多算法[1-4]。目前，常用的運動目標檢測算法主要有背景差分法[5]、幀間差分法[6]和光流法[7]。背景差分法定位準確，可以提取相對完整的運動目標，算法復雜度較低，但很難快速準確地獲得合理的背景模型，導致該類方法檢測效果并不理想；幀間差分法實時性強，對于動態(tài)環(huán)境具有較好的適應性，但該類方法抗干擾能力差，其前景內部易出現(xiàn)空洞；光流法能夠在不需要背景知識的情況下檢測出運動目標，檢測精度高，但該類方法計算復雜，實時性較差。因此，如何快速、準確、完整地檢測出運動目標，仍然是一個具有挑戰(zhàn)性的研究課題。近年來，視覺顯著性檢測受到關注[8-10]，并被廣泛地學習和應用到運動目標檢測系統(tǒng)中。文獻 [11] 提出四元數(shù)傅里葉變換相位譜 （Phase spectrum of Quaternion Fourier Transform， PQFT）的空時顯著性模型，利用傅氏變換將圖像的亮度、顏色、運動等融合特征進行變換；此方法計算簡單，但當受到背景紋理干擾時，檢測效果不理想。文獻 [12] 提出紅外圖像小運動目標檢測的空時顯著性模型，利用三維差分高斯濾波器檢測紅外小運動目標；此方法具有較好的檢測精確度和魯棒性，但僅限于檢測紅外圖像的單個小運動目標，適用范圍受到很大的限制。文獻[13] 利用最大熵法自適應計算幀差法的閾值，獲得顯著性圖，得到運動目標的候選區(qū)域和生長種子，然后通過模糊生長法檢測出運動目標；此方法實時性和魯棒性較好，但沒有考慮運動信息，檢測出的運動目標位置不準確。文獻 [14] 利用超復數(shù)傅氏變換和改進的三幀差分法分別獲取靜態(tài)顯著區(qū)域和動態(tài)顯著區(qū)域，然后利用動態(tài)融合算法將兩個區(qū)域進行融合；此方法易受光照和干擾的影響。

根據(jù)上述情況可以看出，如何充分利用運動信息并將其和顯著性信息進行有效融合是運動目標檢測方法的重要研究內容。本文將顯著信息和運動信息進行動態(tài)融合，提出一種新的空時顯著性的運動目標檢測方法。該方法通過改進的顯著性檢測算法獲得圖像的視覺顯著性圖，又通過結構隨機森林算法獲取圖像的運動邊界圖[15]；然后將視覺顯著性圖和運動邊界圖進行動態(tài)融合，從而有效地檢測出完整的運動目標。

1視覺顯著性圖

視覺顯著性通過模擬人類視覺注意機制對圖像信息進行處理，顯著性檢測結果是一幅灰度圖，圖中每個像素的灰度值代表該像素在原圖像中的顯著度。文獻 [16] 利用圖像的顏色、方向信息，通過主成分分析法建立低維多尺度融合特征，計算每個像素的局部和全局顯著性，并通過貝葉斯準則將其結合，得到顯著圖。本文在此基礎上進行如下改進：增加圖像的紋理特征，以反映圖像的區(qū)域結構信息，提高算法克服背景紋理的影響及抗干擾能力；由于在運動信息計算中充分利用了圖像的方向信息，故不再計算方向特征，以提高計算效率。

1.1特征提取與融合

由于人類視覺系統(tǒng)具有多尺度特征，算法為輸入圖像構建了具有Q個尺度的尺度空間。在每個尺度中均提取顏色和紋理特征，并利用主成分分析法（Principal Component Analysis， PCA）對提取的特征向量降維。

1.3顯著性檢測

在計算顯著性時，取Q=3，即在三個尺度上分別提取像素i的顏色和紋理特征，對聯(lián)合特征利用PCA降維，計算每個像素的局部顯著性和全局顯著性，通過貝葉斯準則對其進行結合，其顯著圖效果如圖1所示。由圖1可以看出，算法在摒棄大量冗余信息干擾的同時，較好地保持了顯著目標的整體特征。

2運動邊界圖

運動邊界對運動目標的顏色、紋理和形狀等特征變化較為魯棒。本文運動邊界檢測算法主要是在文獻 [15] 工作的基礎上，對其模型進行了改進，綜合考慮了運動目標的顏色、梯度、邊緣和光流等信息，以更準確地定位運動目標區(qū)域。

2.2運動邊界檢測

隨機森林具有快速的訓練能力和很強的多分類能力，而結構學習的輸入和輸出空間可以是任意復雜的表示。本文利用結構隨機森林對標準數(shù)據(jù)集Bootstrap視頻序列的第451、453、455及457幀圖像的運動邊界進行檢測，其結果如圖2所示。從圖2中可以看出，運動邊界可以較好地定位出運動目標，但由于受到目標相互遮擋及光照等因素的影響，其結果并不能清晰完整地將運動目標分離，還需進一步處理。

3多信息動態(tài)融合算法

人類視覺系統(tǒng)對運動信息的感知要比其他信息更敏感，然而，當運動信息具有相對一致性時，視覺系統(tǒng)則更容易被顏色、紋理等其他主要視覺特征所吸引。因此，本文利用動態(tài)融合方法[18]對視覺顯著性圖和運動邊界圖進行融合：

當圖像的運動信息增強時，λM迅速增大， λS則相應減小；但當運動達到一定強度后，λM的增加速度會變得較為緩慢。多信息動態(tài)融合的運動目標檢測方法具體步驟描述如下：

步驟1輸入第k幀圖像，分別提取顏色特征和紋理特征，并利用主成分分析法對其進行降維，對低維多尺度顏色特征和紋理特征進行融合；

步驟2分別計算每個像素低維多尺度融合特征的局部和全局顯著性，通過式 （12） 得到每個像素的顯著性，獲得視覺顯著性圖SSi；

步驟3利用訓練集生成決策樹，并構造隨機森林，對每一個輸入向量x∈RkN2，計算每個節(jié)點相關聯(lián)的二元分割函數(shù)h（x，θi）∈{0，1}，以決定x轉向左孩子或右孩子，直到葉子節(jié)點；

步驟4在隨機森林中的每一棵決策樹上進行分類，并將所有樹的分類結果通過投票選舉的方式，輸出對應的二值運動邊界圖MSi；

步驟5根據(jù)式（14）對視覺顯著圖SSi 和運動邊界圖MSi進行動態(tài)融合，獲得并標記出運動目標。

4實驗結果與分析

為驗證本文方法的有效性，實驗采用changedetection.net視頻庫中的標準數(shù)據(jù)集pedestrians和highway兩組圖像序列進行測試：視頻pedestrains是一組室外均勻光照下背景單一的行人圖像序列；視頻highway是一組室外含有快速運動車輛的高速公路交通視頻，其背景較為復雜。實驗采用的計算機配置為Intel Xeon E5-1607 V3 3.1GHz CPU，8GB內存，采用Matlab 2015a編程實現(xiàn)相關算法。

實驗1

從測試視頻中選取第318幀、第328幀，第360幀和第392幀圖像進行測試。從圖3中可以明顯看出，背景差分法和三幀差分法檢測到的前景目標破碎較為嚴重，目標完整性較差，無法準確地表征運動目標的幾何外形，且三幀差分法的檢測前景中含有較多的非目標噪聲。文獻[14] 方法和本文方法均充分利用了圖像的顯著性信息和運動信息，且進行了有效的融合，使得其檢測效果要明顯優(yōu)于以上兩種方法。由于本文方法在計算顯著性時綜合考慮了每個像素的局部顯著度和全局顯著度，且運動邊界能準確定位運動目標區(qū)域，使得其檢測結果在精確性方面要優(yōu)于文獻[14]的方法。

實驗2

從測試視頻中提取第66幀、第111幀，第126幀和第156幀圖像進行測試。由圖4可以看出，背景差分法和三幀差分法對于環(huán)境適應性較差，由于視頻中有樹枝及其陰影的干擾，導致近景的運動目標檢測結果中含有較多的非目標噪聲，目標缺失嚴重；遠景中的運動目標基本檢測不出，說明這兩類方法對于復雜背景下多運動目標檢測效果較差。文獻[14]方法雖然對于近景目標檢測效果較好，但由于該方法是利用三幀差分法獲取運動區(qū)域，抗干擾能力差，加上遠景中有部分目標被遮擋，導致遠景中的運動目標漏檢嚴重。雖然本文方法提取的運動邊界圖中能檢測出遠景中的運動目標，但其輪廓并不清晰，而對顯著性圖和運動邊界圖按不同的權值進行動態(tài)融合使得本文算法最終能準確完整地檢測出所有的運動目標，其檢測效果要明顯優(yōu)于文獻[14]的方法。

實驗從數(shù)據(jù)庫中隨機抽取60幀圖像進行計算，求其平均值，結果如表1所示。從表1中可以看出，背景差分法和三幀差分法的平均檢出率在70%左右；文獻[14]的方法平均檢出率在90%左右，明顯要高于前兩種方法，但其誤檢率也要高出前兩種方法；本文方法在保證低誤檢率的同時，提高了檢出率，其平均檢出率約為94%，算法總體性能要優(yōu)于其他三種方法。

5結語

本文提出一種融合視覺顯著性圖和運動邊界圖的運動目標檢測方法。該方法在提取顯著性特征時利用圖像的點特征和局部結構特征構成低維多尺度融合特征，并通過貝葉斯準則對每個像素的局部顯著性和全局顯著性進行有效結合；在提取運動邊界圖時，充分利用結構隨機森林快速、準確分析數(shù)據(jù)的能力實現(xiàn)對運動目標的準確定位，減少圖像中的冗余信息；最后通過動態(tài)融合策略將顯著性圖和運動邊界圖按動態(tài)權值進行融合，從而檢測出運動目標。在公開測試集上的多次實驗結果表明，本文方法在檢測的準確性和完整性方面具有較好的效果，能夠實現(xiàn)較復雜場景下的運動目標檢測。但是，本文方法對于一些遮擋很嚴重、動態(tài)背景變化劇烈的運動目標檢測仍存在著一定程度的漏檢現(xiàn)象。未來的工作中將繼續(xù)研究如何從特征選擇上進行改進，尋找更加有效的運動特征，提高算法的有效性。

參考文獻：

[1]李偉生，汪釗.基于時空背景模型的自適應運動目標檢測方法[J].計算機應用，2014，34（12）：3515-3520. （LI W S， WANG Z. Adaptive moving object detection method based on spatial-temporal background model [J]. Journal of Computer Applications， 2014， 34（12）： 3515-3520.）

[2]HAN H， ZHU J， LIAO S， et al. Moving object detection revisited： speed and robustness [J]. IEEE Transactions on Circuits and Systems for Video Technology， 2015， 25（6）： 910-921.

[3]YUAN G-W， GONG J， DENG M-N， et al. A moving objects detection algorithm based on three-frame difference and sparse optical flow [J]. Information Technology Journal， 2014， 13（11）： 1863-1867.

[4]LEE G， MALLIPEDDI R， JANG G-J， et al. A genetic algorithm-based moving object detection for real-time traffic surveillance [J]. IEEE Signal Processing Letters， 2015， 22（10）： 1619-1622.

[5]LIU W， YU H， YUAN H，et al. Effective background modelling and subtraction approach for moving object detection [J]. IET Computer Vision， 2015， 9（1）： 13-24.

[6]WANG Z H， LIAO K， XIONG J L， et al. Moving object detection based on temporal information [J]. IEEE Signal Processing Letters， 2014， 21（11）： 1403-1407.

[7]LIANG C-W， JUANG C-F. Moving object classification using a combination of static appearance features and spatial and temporal entropy values of optical flows [J]. IEEE Transactions on Intelligent Transportation Systems， 2015， 16（6）： 3453-3464.

[8]WANG Q， YUAN Y， YAN P. Visual saliency by selective contrast [J]. IEEE Transactions on Circuits and Systems for Video Technology， 2013， 23（7）： 1150-1155.

[9]GU K， ZHAI G， LIN W， et al. Visual saliency detection with free energy theory [J]. IEEE Signal Processing Letters， 2015， 22（10）： 1552-1555.

[10]SOULY N， SHAH M. Visual saliency detection using group lasso regularization in videos of natural scenes [J]. International Journal of Computer Vision， 2016， 117（1）： 93-110.

[11]GUO C L， ZHANG L M. A novel multiresolution spatio-temporal saliency detection model and its applications in image and video compression [J]. IEEE Transaction on Image Processing， 2010， 19（1）： 185-198.

[12]WANG X， NING C， XU L. Spatiotemporal saliency model for small moving object detection in infrared videos [J]. Infrared Physics & Technology， 2015， 69： 111-117.

[13]WANG Z， LIAO K， XIONG J， et al. Moving object detection based on temporal information [J]. IEEE Signal Processing Letters， 2014， 21（11）： 1403-1407.

[14]LI H， WANG Y， LIU W. Moving Object detection based on HFT and dynamic fusion [C]// ICSP 2014： Proceedings of the 12th International Conference on Signal Processing. Piscataway， NJ： IEEE， 2014： 895-899.

[15]WEINZAEPFEL P， REVAUD J， HARCHAOUI Z， et al. Learning to detection motion boundaries [C]// CVPR 2015： Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2015： 2578-2586.

[16]景慧昀.視覺顯著性檢測關鍵技術研究[D].哈爾濱：哈爾濱工業(yè)大學，2014：33-37. （JING H Y. Research on key techniques of visual saliency detection [D]. Harbin： Harbin Institute of Technology， 2014： 33-37.）

[17]雷琴，施朝健，陳婷婷.可見光海面目標檢測的結構隨機森林方法[J].光電工程，2015，42（7）：31-35. （LEI Q， SHI C J， CHEN T T. Structured random forests for target detection in sea images [J]. Opto-Electronic Engineering， 2015， 42（7）： 31-35.）

[18]ZHAI Y， SHAH M. Visual attention detection in video sequences using spatiotemporal cues [C]// MM 06： Proceedings of the 14th Annual ACM International Conference on Multimedia. New York： ACM， 2006： 815-824.

[19]FAKHARIAN A， HOSSEINI S， GUSTAFSSON T. Hybrid object detection using improved Gaussian mixture model [C]// ICCAS 2011： Proceedings of the 11th International Conference on Control， Automation and Systems. Piscataway， NJ： IEEE， 2011： 1475-1479.