劉 龍 孫 強(qiáng) 宋琦軍

?

面向目標(biāo)檢測的多尺度運(yùn)動注意力融合算法研究

劉 龍*①孫 強(qiáng)①宋琦軍②

①(西安理工大學(xué)自動化學(xué)院 西安 710048)②(北京郵電大學(xué)信息與通信工程學(xué)院 北京 100876)

運(yùn)動目標(biāo)檢測是視頻分析領(lǐng)域的關(guān)鍵技術(shù)之一，針對目前全局運(yùn)動場景下目標(biāo)檢測算法的局限性，該文提出一種多尺度運(yùn)動注意力融合的目標(biāo)檢測算法，為目標(biāo)檢測問題提供了新思路。該算法通過時-空濾波去除運(yùn)動矢量場噪聲，根據(jù)運(yùn)動注意力形成機(jī)理定義運(yùn)動注意力模型；為提高注意力計(jì)算的準(zhǔn)確性，定義了目標(biāo)像素塊的測度公式，采用D-S證據(jù)理論對多尺度空間運(yùn)動注意力進(jìn)行決策融合，最終獲取運(yùn)動目標(biāo)區(qū)域位置。多個不同高清視頻序列的測試結(jié)果表明，該文算法在全局運(yùn)動場景中能準(zhǔn)確對目標(biāo)進(jìn)行檢測定位，從而有效克服了現(xiàn)有算法的局限性。

目標(biāo)檢測；運(yùn)動注意力；融合；全局運(yùn)動場景

1 引言

運(yùn)動目標(biāo)檢測非常具有實(shí)用價值，它是視覺目標(biāo)識別、目標(biāo)行為理解、視頻內(nèi)容分析等技術(shù)的必要環(huán)節(jié)，同時在社會和軍事領(lǐng)域有著廣泛的應(yīng)用，因此成為視頻處理領(lǐng)域研究的熱點(diǎn)問題之一。

運(yùn)動目標(biāo)檢測按照鏡頭靜止和運(yùn)動兩種情況可分為局部運(yùn)動場景檢測和全局運(yùn)動場景檢測。局部運(yùn)動場景的運(yùn)動目標(biāo)檢測方法有背景差分法和幀間差分法[1]等。對于全局運(yùn)動場景，采用的主要方法是全局運(yùn)動補(bǔ)償策略[2,3]，全局運(yùn)動估計(jì)的準(zhǔn)確性要受目標(biāo)大小和運(yùn)動強(qiáng)度的影響，當(dāng)目標(biāo)所占圖像面積較大或運(yùn)動較強(qiáng)烈時，場景內(nèi)運(yùn)動信息受目標(biāo)影響較大，使全局運(yùn)動估算的準(zhǔn)確性下降，大大限制了全局運(yùn)動估計(jì)補(bǔ)償策略的目標(biāo)檢測適用范圍。

2002年，文獻(xiàn)[4]提出了注意力區(qū)域的概念，并建立了視覺注意力模型，之后衍生出各種視覺注意力計(jì)算方法及應(yīng)用。文獻(xiàn)[5]提出了一個新的視覺計(jì)算模型，該模型為了檢測場景中的人造目標(biāo)將自上而下和自下而上的機(jī)制結(jié)合起來，可以在自然場景中確定顯著對象的位置。文獻(xiàn)[6]提出的一個基于粒子濾波器的新穎的視覺注意力模型，具有獨(dú)立高級過程的精簡模型，是一個使自上而下的注意機(jī)制和自下而上的過程自然結(jié)合的單一模型。

目前，有少量研究涉及了采用運(yùn)動注意力模型應(yīng)用于視頻檢索、目標(biāo)檢測等問題。文獻(xiàn)[7]根據(jù)從MPEG碼流中解壓所得到的運(yùn)動矢量場的運(yùn)動矢量能量、空間相關(guān)性和時間相關(guān)性綜合定義了運(yùn)動注意力模型，通過該模型可以得到運(yùn)動顯著性區(qū)域，應(yīng)用于視頻檢索。文獻(xiàn)[8]將注意力分為靜態(tài)注意力和動態(tài)注意力兩種，靜態(tài)注意力主要由圖像的亮度、顏色等信息引起，動態(tài)注意力是在全局運(yùn)動補(bǔ)償?shù)幕A(chǔ)上計(jì)算區(qū)域的變化像素的比例進(jìn)行定義的，注意力模型最終由靜態(tài)注意力和動態(tài)注意力融合得到主要應(yīng)用于運(yùn)動目標(biāo)檢測。

上述有關(guān)運(yùn)動注意力的研究工作還存在以下問題：(1)由于光流估算本身缺陷以及噪聲影響，運(yùn)動估計(jì)不夠準(zhǔn)確，造成注意力計(jì)算不準(zhǔn)確；(2)在文獻(xiàn)[7]中，運(yùn)動注意力模型構(gòu)建采用了熵的概念，從統(tǒng)計(jì)特性上反映運(yùn)動反差，但未考慮到運(yùn)動矢量局部時-空分布的反差，與注意力形成機(jī)理不符；(3)文獻(xiàn)[8]中的方法依然需要全局運(yùn)動補(bǔ)償作為目標(biāo)檢測的基礎(chǔ)，受到全局運(yùn)動補(bǔ)償缺陷的限制。

基于上述考慮，本文提出一種基于多尺度運(yùn)動注意力融合算法，該方法避免了全局運(yùn)動估計(jì)，克服了當(dāng)前運(yùn)動注意力計(jì)算方法的不足，為全局運(yùn)動場景下的目標(biāo)檢測問題提供了新思路。

2 運(yùn)動注意力模型

在視頻場景中，根據(jù)運(yùn)動反差構(gòu)建合理的運(yùn)動注意力模型，從而有利于目標(biāo)檢測。

2.1 運(yùn)動矢量場的時-空濾波

2.2 運(yùn)動注意力模型

在時間維度上，鄰域內(nèi)定義運(yùn)動矢量差值描述時間注意力因子，定義的時間注意力因子為

運(yùn)動注意力由時間注意力與空間注意力兩方面的融合構(gòu)成，定義運(yùn)動注意力模型為時間和空間注意力因子的線性融合模型，其公式為

如式(6)所示，線性運(yùn)算具備了簡潔和高效的模型構(gòu)成，但從時間和空間對注意力影響的角度看，其不足以合理反映出時間與空間注意力的影響對比的變化，時間和空間注意力在不同時刻對注意力的影響偏重是不同的，這取決于這兩方面運(yùn)動反差大小的變化，因此在運(yùn)動注意力模型中，應(yīng)加入對注意力的影響力變化的部分，這樣才能真正有效反映客觀變化，借鑒文獻(xiàn)[8]中的對靜態(tài)和動態(tài)注意力融合的模型定義時-空運(yùn)動注意力融合，其公式為

3 多尺度運(yùn)動注意力融合

鑒于視覺觀測對空間尺度的依賴性，本節(jié)討論在上述運(yùn)動注意力計(jì)算的基礎(chǔ)上，通過D-S (Dempster-Shafer)證據(jù)理論對多個尺度空間的運(yùn)動注意力進(jìn)行融合，以此提高注意力計(jì)算的準(zhǔn)確性，并最終獲取目標(biāo)區(qū)域的方法。

3.1 運(yùn)動矢量估算的信任度

根據(jù)上述分析，在圖像某個方向上的方向?qū)?shù)越接近于梯度值，則其估計(jì)結(jié)果越真實(shí)可靠，可信度越高，因此可采用方向?qū)?shù)衡量光流估算得到的運(yùn)動矢量可信度。設(shè)圖像亮度分布的方向?qū)?shù)(directional derivative)為

3.2 多尺度空間運(yùn)動注意力決策融合

由于視覺對觀測尺度具有依賴性，對多個尺度空間的運(yùn)動注意力進(jìn)行融合使注意力顯著圖逼近真實(shí)，突出鏡頭與目標(biāo)之間形成的運(yùn)動反差，為獲取目標(biāo)區(qū)域創(chuàng)造條件。

3.2.1定義置信函數(shù) 采用D-S證據(jù)理論的辨識框架，將目標(biāo)像素塊的測度值作為證據(jù)體，采用雙向指數(shù)函數(shù)來構(gòu)造概率信任函數(shù)(Bel)。

定義目標(biāo)像素塊的測度函數(shù)為

目標(biāo)像素塊的Bel函數(shù)需要服從的原則為：

圖1 運(yùn)動矢量的信任度計(jì)算

根據(jù)上述原則，本文采用雙向指數(shù)函數(shù)來構(gòu)造目標(biāo)像素塊的基本置信函數(shù)，具體定義如下：

對上述的Bel函數(shù)進(jìn)行歸一化處理，以滿足對mass函數(shù)的定義。

3.2.2決策融合 在空間維度上采用Haar小波基來構(gòu)造濾波器進(jìn)行多分辨率分解，并在不同尺度低頻空間中進(jìn)行運(yùn)動估計(jì)，得到不同尺度下的運(yùn)動矢量場，根據(jù)式(12)、式(13)和式(14)計(jì)算每個尺度的置信函數(shù)值。

4 實(shí)驗(yàn)分析

表1 GMC-VA方法的參數(shù)配置

表2 MSMAF方法的參數(shù)配置

圖2空間多尺度運(yùn)動注意力融合

從圖3所顯示的測試結(jié)果顯示GMC算法、GMC-VA算法在全局運(yùn)動場景對運(yùn)動目標(biāo)的檢測結(jié)果都不如MSMAF算法效果好，MA算法對運(yùn)動注意力的計(jì)算結(jié)果不能準(zhǔn)確反映場景中的真實(shí)運(yùn)動顯著性特征。在全局運(yùn)動強(qiáng)烈，或背景復(fù)雜時，GMC算法很難有效保留目標(biāo)剔除背景，但在鏡頭運(yùn)動緩慢，目標(biāo)劇烈運(yùn)動時，GMC算法通過設(shè)定閾值可以取得一定的目標(biāo)檢測效果；在同等條件下，GMA-VA算法融合了全局運(yùn)動補(bǔ)償和靜態(tài)注意力，相對GMC算法有更好的效果，但是對于運(yùn)動目標(biāo)的檢測在有些情況下效果較差，不能準(zhǔn)確定位目標(biāo)區(qū)域；MA算法不能正確計(jì)算全局運(yùn)動場景的運(yùn)動顯著性，顯然不適于檢測運(yùn)動目標(biāo)。上述算法主要受到以下兩方面因素的影響：(1)全局運(yùn)動估計(jì)不準(zhǔn)確導(dǎo)致目標(biāo)檢測效果不理想；(2)噪聲干擾和光流估算的導(dǎo)致錯誤的運(yùn)動注意力計(jì)算不準(zhǔn)確。實(shí)驗(yàn)結(jié)果顯示，本文提出的MSMAF算法通過對運(yùn)動注意力模型的合理定義以及空間多尺度的融合，能夠較準(zhǔn)確地獲取全局運(yùn)動場景中的運(yùn)動目標(biāo)區(qū)域，具有更好測試效果。另外，從表3中看出，在算法的運(yùn)行效率方面，MSMAF算法具有比同類算法較少的時間損耗。

圖3實(shí)驗(yàn)結(jié)果

表3計(jì)算時間對比(s/次)

序列平均每次消耗時間 GMCMAGMC-VAMSMAF 蜂鳥-1143.9685.68161.37123.46 蜂鳥-2150.8491.88160.91112.58 豹子140.1285.87168.78126.75 飛行器148.4985.36159.90118.27 馬160.7886.29157.60116.59 女孩139.9084.02156.77108.42 游船150.8083.88159.53109.87 斗牛士142.7386.41158.28112.40

5 結(jié)論

本文針對目前全局運(yùn)動場景下目標(biāo)檢測算法的局限性，提出一種多尺度運(yùn)動注意力融合的目標(biāo)檢測算法，為目標(biāo)檢測問題提供了有價值的新思路。本文算法根據(jù)運(yùn)動注意力形成機(jī)理定義了運(yùn)動注意力模型，并通過D-S證據(jù)理論融合多尺度空間運(yùn)動注意力，最終獲取目標(biāo)區(qū)域。本文算法不僅突破了傳統(tǒng)算法的局限，而且實(shí)驗(yàn)結(jié)果顯示其在全局運(yùn)動場景下對運(yùn)動目標(biāo)的檢測具有魯棒性高、適用范圍廣等優(yōu)勢。

[1] Stauffer C and Grimson W E L. Adaptive background mixture models for real-time tracking[C]. Proceedings IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Fort Collins , America 1999, 2: 246-252.

[2] Qi Bin, Ghazal Mohammed, and Amer Aishy. Robust global motion estimation oriented to video object segmentation[J]., 2008, 17(6): 958-967.

[3] Chen Yue-meng. A joint approach to global motion estimation and motion segmentation from a coarsely sampled motion vector field[J]., 2011, 21(9): 1316-1328.

[4] Itti L and Koch C. Computational modeling of visual attention[J]., 2001, 2(3): 193-203.

[5] Fang Yu-ming, Lin Wei-si, Lau Chiew Tong,.. A visual attention model combining top-down and bottom-up mechanisms for salient object detection[C]. Proceedings IEEE International Conference on Acoustics, Speech and Signal Processing, Prague, Czech Republic, 2011: 1293-1296.

[6] Ozkei Motoyuki, Kashiwagi Yasuhiro, Inoue Mariko,.. Top-down visual attention control based on a particle filter for human-interactive robots[C]. Proceedings International Conference on Human System Interactions, Yokohama, Japan, 2011: 188-194.

[7] Ma Yu-Fei, Hua Xian-Sheng, and Lu Lie. A generic framework of user attention model and its application in video summarization[J]., 2005, 7(5): 907-919.

[8] Han Jun-wei. Object segmentation from consumer video: a unified framework based on visual attention[J]., 2009, 55(3): 1597-1605.

[9] Verri A and Pggio T. Motion field and optical flow: qualitative Properties[J]., 1989, 11(5): 490-498.

劉 龍： 男，1976年生，博士，副教授，研究方向?yàn)橹悄苄畔⒓夹g(shù)與嵌入式系統(tǒng).

孫 強(qiáng)： 男，1979年生，博士，副教授，研究方向?yàn)閳D像處理.

宋琦軍： 男，1978年生，博士，教授，研究方向?yàn)橥ㄐ判盘柼幚?

Research on Multi-scale Motion Attention Fusion Algorithm for Video Target Detection

Liu Long①Sun Qiang①Song Qi-jun②

①(,’,’710048,)②(,,100876,)

The detection to target in motion is a key technology in video analysis. This paper proposes a target detection algorithm based on a multi-scale motion attention analysis, which provides a new method for motion target detection under a global motion scene. Firstly, the noise of motion vector field is removed by filter, and according to the mechanism of visual attention, spatial-temporal motion attention model is built; then the trust degree of motion vector is suggested on the basis of validity analysis of motion vector, and decision fusion of multi-scale motion attention is accomplished by D-S theory for detecting the region of motion target. The test results of different videos show that the algorithm is able to detect precisely targets under a global motion scene, thus effectively overcoming the limitations of the traditional algorithms.

Target detection; Motion attention; Fusion; Global motion scene

TP391

A

1009-5896(2014)05-1133-06

10.3724/SP.J.1146.2013.00477

劉龍 Liulong@xaut.edu.cn

2013-04-11收到，2014-01-10改回

國家自然科學(xué)基金(61001140)，陜西省教育廳產(chǎn)業(yè)化培育項(xiàng)目(2012JC19)和西安市技術(shù)轉(zhuǎn)移促進(jìn)工程重大項(xiàng)目(CX12166)資助課題