韓　冬　田　翔　陳耀武

(浙江大學(xué)數(shù)字技術(shù)與儀器研究所　浙江 杭州 310027) (浙江省網(wǎng)絡(luò)多媒體技術(shù)重點(diǎn)實(shí)驗(yàn)室　浙江 杭州 310027)

?

基于運(yùn)動(dòng)和空間方向一致性的視頻顯著性檢測(cè)

韓冬田翔陳耀武

(浙江大學(xué)數(shù)字技術(shù)與儀器研究所浙江 杭州 310027) (浙江省網(wǎng)絡(luò)多媒體技術(shù)重點(diǎn)實(shí)驗(yàn)室浙江 杭州 310027)

摘要根據(jù)人眼的視覺特點(diǎn)，提出一種基于對(duì)比運(yùn)動(dòng)和空間方向一致性的算法，用來檢測(cè)視頻序列的顯著性區(qū)域。在該算法中，首先針對(duì)每一幀圖像利用sobel算子計(jì)算其水平梯度、垂直梯度，然后用光流法計(jì)算運(yùn)動(dòng)矢量；接著構(gòu)建三維張量結(jié)構(gòu)，得到每個(gè)像素點(diǎn)與周圍點(diǎn)的水平、垂直梯度和運(yùn)動(dòng)矢量一致性，并對(duì)比每個(gè)像素點(diǎn)與周邊點(diǎn)的一致性；最后把對(duì)比結(jié)果轉(zhuǎn)化為視頻顯著圖。將該方法與已經(jīng)存在的方法進(jìn)行比較，實(shí)驗(yàn)結(jié)果表明，該方法可以很好地排除背景紋理區(qū)域的運(yùn)動(dòng)所帶來的影響，能夠準(zhǔn)確地檢測(cè)出各種運(yùn)動(dòng)場(chǎng)景的顯著性區(qū)域。

關(guān)鍵詞視頻顯著性空間方向梯度運(yùn)動(dòng)矢量三維張量結(jié)構(gòu)一致性對(duì)比

0引言

視頻顯著性與人體視覺系統(tǒng)密切相關(guān)。它使得人們能夠在一個(gè)視頻場(chǎng)景中快速地找到所關(guān)注的區(qū)域，有助于我們對(duì)視頻圖像的理解，可以用于感興趣區(qū)域檢測(cè)、目標(biāo)分割、識(shí)別與跟蹤等[1]。目前，視頻顯著性分析已經(jīng)成為了圖像處理和計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究課題。

在過去的十幾年里，研究者發(fā)明了許多應(yīng)用于靜止圖像的顯著性檢測(cè)算法。Itti等人[2]于1998年提出了一種基于多尺度圖像特征融合的顯著性檢測(cè)方法。Harel等人[3]于2006年提出了一種基于圖的抖動(dòng)的自底向上的視覺顯著性模型。2007年Hou等人[4]通過計(jì)算傅里葉譜殘差，得到了顯著性圖。2009年Achanta等人[5]結(jié)合顏色與亮度等信息來進(jìn)行顯著性檢測(cè)。Cheng等人[6]在2011年提出了一種基于區(qū)域?qū)Ρ榷鹊姆椒?，利用直方圖與空間信息得到了視頻顯著圖。Perazzi等人[7]在2012年提出了一種基于對(duì)比的顯著性模型，它抽取了圖像的超像素成分，并通過對(duì)比其獨(dú)特性和空間分布性來得到顯著性圖。

根據(jù)人體視覺系統(tǒng)的特性，人眼對(duì)正在運(yùn)動(dòng)的物體更加敏感，使得視頻序列的顯著性與靜止圖像的顯著性有著一定的不同。對(duì)于視頻序列來說，一個(gè)好的顯著性檢測(cè)算法應(yīng)該更加關(guān)注于正在運(yùn)動(dòng)的物體。最早的方法是通過混合高斯模型[8]來得到顯著性圖。它用多個(gè)高斯模型來表征圖像中各個(gè)像素點(diǎn)，在每一幀圖像更新高斯模型，通過像素點(diǎn)與模型匹配得到視頻顯著圖。Zhai等人[9]提出了一種基于時(shí)空信息的顯著性檢測(cè)方法。它通過圖像的顏色距離差來計(jì)算空域顯著性，通過SIFT點(diǎn)對(duì)來計(jì)算時(shí)域顯著性，并將二者動(dòng)態(tài)融合成為最后的視頻顯著圖。Guo等人[10]計(jì)算每個(gè)像素點(diǎn)的灰度、顏色和運(yùn)動(dòng)特征，組成四元組，通過四維傅里葉變換的相位譜來得到視頻顯著圖。Fang等人[11]于2014年提出了一種融合時(shí)空信息與統(tǒng)計(jì)學(xué)不確定性的顯著性檢測(cè)方法。它首先提取運(yùn)動(dòng)特征進(jìn)行時(shí)間顯著性評(píng)估，提取光照、顏色和紋理特征進(jìn)行空間顯著性評(píng)估；然后分別進(jìn)行時(shí)間、空間不確定性評(píng)估；最終將時(shí)空的顯著性、不確定性進(jìn)行加權(quán)融合得到視頻顯著圖。

本文提出一種基于對(duì)比運(yùn)動(dòng)和空間方向一致性的算法，計(jì)算每一幀圖像的水平梯度、垂直梯度和運(yùn)動(dòng)矢量，并將每個(gè)像素點(diǎn)與周圍像素點(diǎn)進(jìn)行對(duì)比，把對(duì)比圖轉(zhuǎn)換成為視頻顯著圖。實(shí)驗(yàn)表明，該算法能夠很好地克服背景紋理區(qū)域的運(yùn)動(dòng)所帶來的影響，準(zhǔn)確地檢測(cè)出各種運(yùn)動(dòng)場(chǎng)景的顯著性區(qū)域。

1顯著性檢測(cè)

本文中視頻顯著性檢測(cè)算法分為以下四個(gè)步驟：光流法計(jì)算運(yùn)動(dòng)矢量；利用Sobel算子計(jì)算圖像水平、垂直梯度；利用三維結(jié)構(gòu)張量模型計(jì)算每個(gè)像素點(diǎn)與周圍像素點(diǎn)的水平、垂直梯度與運(yùn)動(dòng)矢量的一致性；通過對(duì)比一致性獲得視頻顯著圖。算法框架如圖1所示。

圖1　算法流程圖

1.1計(jì)算運(yùn)動(dòng)矢量與空間梯度

通過光流法[12]計(jì)算輸入視頻每幀圖像的運(yùn)動(dòng)矢量矩陣MVx、MVy，得到的運(yùn)動(dòng)矢量場(chǎng)與輸入視頻有著相同的分辨率。其中MVx表示水平方向運(yùn)動(dòng)矢量矩陣，MVy表示垂直方向運(yùn)動(dòng)矢量矩陣。計(jì)算運(yùn)動(dòng)矢量幅值，得到幅值矩陣，如式(1)所示：

(1)

為了方便后續(xù)處理，將運(yùn)動(dòng)矢量矩陣歸一化，得到歸一化后的運(yùn)動(dòng)矢量矩陣gt，如式(2)所示：

(2)

利用sobel算子[13]對(duì)輸入視頻灰度圖像進(jìn)行掩膜濾波，得到與輸入視頻有著相同分辨率的水平梯度矩陣gx和垂直梯度矩陣gy，同樣進(jìn)行歸一化處理。用于水平、垂直濾波的sobel算子分別為：

(3)

(4)

1.2構(gòu)建三維結(jié)構(gòu)張量

基于Laptev等人[14]時(shí)空域中感興趣區(qū)域點(diǎn)的特征的啟發(fā)，對(duì)每一幀圖像k中的每個(gè)像素點(diǎn)i，構(gòu)建三維結(jié)構(gòu)張量Sk(i)，用來表示視頻圖像中的點(diǎn)在時(shí)空域的特征，如式(5)所示：

(5)

本文中使用三維結(jié)構(gòu)張量矩陣Sk(i)的原因是：計(jì)算矩陣Sk(i)的最大特征值λ1和另外2個(gè)特征值λ2、λ3的差值，其差值可以表示局部區(qū)域中的像素點(diǎn)沿著三維時(shí)空方向(三個(gè)坐標(biāo)軸分別為空間水平梯度、空間垂直梯度、運(yùn)動(dòng)矢量)分布的密集程度。差值越大，表示密集程度就越大，時(shí)空方向的一致性就越高。

因此，如式(6)所示，我們定義每個(gè)像素點(diǎn)的時(shí)空方向一致性c為：

c=(λ1-(λ2+λ3))2

(6)

如圖2所示，在輸入視頻灰度圖像中選取兩個(gè)矩形區(qū)域，船代表顯著性運(yùn)動(dòng)區(qū)域，水波代表非顯著性干擾區(qū)域。

圖2　coastguard視頻中選取的船和背景水波矩形區(qū)域

將所選取的兩個(gè)矩形區(qū)域中各個(gè)點(diǎn)繪制在三維時(shí)空方向圖中，三個(gè)坐標(biāo)軸分別為空間水平梯度、空間垂直梯度、運(yùn)動(dòng)矢量。如圖3所示，在顯著性運(yùn)動(dòng)區(qū)域(船)中的像素點(diǎn)密集程度高，時(shí)空域方向的一致性高，而非顯著性干擾區(qū)域(水波)像素點(diǎn)密集程度低，一致性低。

圖3　船和背景水波中的點(diǎn)的分布以及一致性c的值

1.3一致性對(duì)比

為了減少背景局部區(qū)域動(dòng)態(tài)變化帶來的噪聲，體現(xiàn)出局部區(qū)域的一致性，我們將每個(gè)像素點(diǎn)的時(shí)空域方向一致性與其周圍像素點(diǎn)進(jìn)行對(duì)比，得到對(duì)比值：

其中ck(i)、ck(j)分別為第k幀像素點(diǎn)i、j的時(shí)空方向一致性，Wi為以像素點(diǎn)i為中心的圖像矩陣，在本文中取7×7矩陣。計(jì)算可得，圖2中船的矩形區(qū)域V值為573.31，水波的矩形區(qū)域V值為145.38，二者的V值差異比一致性c差異更大一些。

2實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的有效性，將本文算法(MSC)與以下方法進(jìn)行比較：基于譜殘差的顯著性模型(SR)[4]、基于空間區(qū)域?qū)Ρ榷扰c顏色信息的顯著性模型(RC)[6]、混合高斯模型(GMM)[8]?；谧V殘差的顯著性模型(SR)[4]是靜態(tài)空間信息模型；基于空間區(qū)域?qū)Ρ榷扰c顏色信息的顯著性模型(RC)[6]是結(jié)合顏色信息的顯著性模型；混合高斯模型(GMM)[8]是結(jié)合了時(shí)空信息的顯著性模型。在本文實(shí)驗(yàn)中，選取5類不同場(chǎng)景的視頻進(jìn)行測(cè)試：(1)有單個(gè)運(yùn)動(dòng)的物體，背景不動(dòng)，且背景包含大塊平坦信息和紋理區(qū)域；(2)有2個(gè)運(yùn)動(dòng)的物體，背景不動(dòng)，且背景紋理比較復(fù)雜；(3)有2個(gè)運(yùn)動(dòng)的物體，背景在運(yùn)動(dòng)，且背景紋理比較復(fù)雜；(4)有1個(gè)運(yùn)動(dòng)的物體，背景在運(yùn)動(dòng)，且背景紋理比較復(fù)雜；(5)鏡頭在運(yùn)動(dòng)，體現(xiàn)為背景在運(yùn)動(dòng)。實(shí)驗(yàn)結(jié)果如圖4所示。

圖4　實(shí)驗(yàn)結(jié)果

由圖4可以看出，本文算法與其他方法相比，能夠準(zhǔn)確地檢測(cè)出顯著性區(qū)域，并能夠很好地克服背景區(qū)域運(yùn)動(dòng)帶來的影響。具體來看，由于背景紋理區(qū)域運(yùn)動(dòng)的影響，SR模型算法并不能很好地區(qū)分顯著性運(yùn)動(dòng)的物體與背景；RC算法能夠很好地區(qū)分顏色信息，但是對(duì)運(yùn)動(dòng)的物體并不敏感，也不能很好地將運(yùn)動(dòng)的物體分離出來；GMM算法結(jié)合了時(shí)間信息，相對(duì)SR和RC要好一些，能夠檢測(cè)出顯著運(yùn)動(dòng)的物體，但是仍不能完全排除背景信息的干擾。這些算法并不能很好地排除背景區(qū)域運(yùn)動(dòng)帶來的噪聲，如水波和觀眾等。而本文算法結(jié)合了運(yùn)動(dòng)矢量和空間梯度，利用三維結(jié)構(gòu)張量模型，對(duì)比運(yùn)動(dòng)與空間方向的一致性，能夠很好地排除背景噪聲。

為了更加直觀地評(píng)價(jià)本文提出的方法，我們通過準(zhǔn)確率(precision)、召回率(recall)、加權(quán)調(diào)和均值指標(biāo)(F值)來比較本文算法與上述方法。其中準(zhǔn)確率(precision)定義為檢測(cè)到正確顯著點(diǎn)的數(shù)目與檢測(cè)到所有顯著點(diǎn)的數(shù)目之比，召回率(recall)定義為檢測(cè)到正確顯著點(diǎn)的數(shù)目與實(shí)際顯著點(diǎn)的數(shù)目之比。加權(quán)調(diào)和均值指標(biāo)(F值)的定義如式(8)所示。

(8)

一般而言，準(zhǔn)確率和召回率通常是矛盾的，所以采用F值來綜合表示顯著性檢測(cè)結(jié)果。在本文中，與文獻(xiàn)[6]相同，取λ2為0.3。檢測(cè)結(jié)果如圖5所示。我們可以看出，本文算法要好于其他方法。

圖5　顯著性檢測(cè)結(jié)果

利用coastguard視頻序列將本文算法的耗時(shí)與SR、RC、GMM算法進(jìn)行比較，通過MATLAB 7.0計(jì)算各算法所耗時(shí)間。結(jié)果如圖6所示。我們可以看出本文算法(MSC)比其他算法耗時(shí)都要長(zhǎng)，這是因?yàn)獒槍?duì)每個(gè)像素點(diǎn)都要計(jì)算三維張量結(jié)構(gòu)、三維矩陣特征值，并對(duì)比每個(gè)像素點(diǎn)與周圍像素點(diǎn)的一致性，耗時(shí)較多。

圖6　各算法耗時(shí)結(jié)果

3結(jié)語

本文提出了一種基于對(duì)比運(yùn)動(dòng)和空間梯度一致性的視頻顯著性檢測(cè)算法。該算法首先用光流法計(jì)算運(yùn)動(dòng)矢量，接著計(jì)算每幀輸入圖像的水平、垂直梯度，通過構(gòu)建三維張量結(jié)構(gòu)，計(jì)算每個(gè)像素點(diǎn)水平梯度、垂直梯度和運(yùn)動(dòng)矢量三者與周圍點(diǎn)的一致性，并通過對(duì)比一致性構(gòu)建出顯著性模型。實(shí)驗(yàn)結(jié)果表明，本文算法能夠很好地排除背景紋理區(qū)域的運(yùn)動(dòng)帶來的噪聲，準(zhǔn)確地檢測(cè)出視頻顯著性區(qū)域，優(yōu)于其他方法。本文算法中計(jì)算三維張量結(jié)構(gòu)耗時(shí)比較多，如何改善該算法是后續(xù)的研究方向。

參考文獻(xiàn)

[1] Liu T, Yuan Z, Sun J, et al. Learning to detect a salient object[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(2):353-367.

[2] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11):1254-1259.

[3] Harel J, Koch C, Perona P. Graph-based visual saliency[C]// Proceedings of Neural Information Processing Systems. Vancouver: MIT Press, 2006:545-552.

[4] Hou X, Zhang L. Saliency detection: a spectral residual approach[C]// IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis: IEEE, 2007:1-7.

[5] Achanta R, Estrada E, Wils P, et al. Salient region detection and segmentation[C]// International Conference in Computer Vision System. Santorini: Springer, 2008:66-75.

[6] Cheng M, Zhang G, Mitra N J, et al. Global contrast based salient region detection[C]// IEEE Conference on Computer Vision and Pattern Recognition. Colorado Springs: IEEE, 2011:409-416.

[7] Perazzi F, Krahenbuhl P, Pritch Y, et al. Saliency filters: contrast based filtering for salient region detection[C]// IEEE Conference on Computer Vision and Pattern Recognition. Providence: IEEE, 2012:733-740.

[8] Zivkovic Z. Improved adaptive Gaussian mixture model for background subtraction[C]// IEEE Conference on Pattern Recognition. Cambridge: IEEE, 2004:28-31.

[9] Zhai Y, Shan M. Visual attention detection in video sequences using spatiotemporal cues[C]// International Conference on Multimedia. Santa Barbara: ACM, 2006:815-824.

[10] Guo C, Ma Q, Zhang L. Spatiotemporal saliency detection using phase spectrum of quaternion Fourier transform[C]// IEEE Conference on Computer Vision and Pattern Recognition. Anchorage: IEEE, 2008:1-8.

[11] Fang Y, Wang Z, Lin W, et al. Video saliency incorporating spatiotemporal cues and uncertainty weighting[J]. IEEE Transaction on Image Processing, 2014, 23(9):3910-3921.

[12] Sun D, Roth S, Black M J. Secrets of optical flow estimation and their principles[C]// IEEE Conference on Computer Vision and Pattern Recognition. San Francisco: IEEE, 2010:2432-2439.

[13] Rafael C Gonzalez, Richard E Woods. 數(shù)字圖像處理[M]. 阮秋琦,阮宇智,等譯. 3版. 北京:電子工業(yè)出版社, 2011.

[14] Laptev I, Lindeberg T. On space-time interest points[J]. International Journal of Computer Vision, 2005, 64(2):107-123.

收稿日期：2015-02-10。浙江省重點(diǎn)科技創(chuàng)新團(tuán)隊(duì)項(xiàng)目(2011R0 9021)。韓冬，碩士生，主研領(lǐng)域：網(wǎng)絡(luò)視頻編解碼。田翔，副教授。陳耀武，教授。

中圖分類號(hào)TP391.4

文獻(xiàn)標(biāo)識(shí)碼A

DOI:10.3969/j.issn.1000-386x.2016.07.037

VIDEO SALIENCY DETECTION BASED ON CONTRASTING COHERENCE OF MOTION AND SPATIAL DIRECTION

Han DongTian XiangChen Yaowu

(InstituteofAdvancedDigitalTechnologyandInstrumentation,ZhejiangUniversity,Hangzhou310027,Zhejiang,China) (ZhejiangProvincialKeyLaboratoryforNetworkMultimediaTechnologies,Hangzhou310027,Zhejiang,China)

AbstractAccording to the characteristics of human visual system (HVS), we proposed an algorithm to detect the salient region of video sequence, which is based on contrasting the coherence of motion and spatial direction. In this algorithm, it first uses Sobel operator to calculate the horizontal gradient and vertical gradient for each frame, and then calculates the motion vector by the method of optical flow. After that, it builds a 3D tensor structure to obtain the coherence of each pixel with its surrounding pixels in regard to the horizontal and vertical gradients and the motion vector, as well as contrasts the coherence of each pixel with its surrounding pixels. Finally it converts the contrasting results to video saliency map. Comparing this algorithm with existing methods, experimental result showed that it could well exclude the impact of motion in background texture region and accurately detect the salient regions of all kinds of motion scenes.

KeywordsVideo saliencySpatial directionGradientMotion vector3D tensor structureContrast of coherence