墨 潔, 魏 維

(成都信息工程學(xué)院計算機系,四川成都610225)

1 引言

隨著互聯(lián)網(wǎng)上多媒體信息的迅速膨脹,媒體數(shù)據(jù)的信息需求量迅速增長,視頻中關(guān)于動態(tài)和靜態(tài)的信息量也迅速增長。人們對于較復(fù)雜的場景鏡頭的提取技術(shù)一直都在探索中,在視頻技術(shù)中,靜態(tài)模型的提取技術(shù)已經(jīng)發(fā)展到成熟的地步,在20世紀(jì)初,由ITTI等人提出的基于顯著度(saliency-based)的注意計算模型,首先融合圖像的一些低層視覺特征生成顯著圖(saliency map),然后使用一個動態(tài)的神經(jīng)網(wǎng)絡(luò)按照顯著度遞減的順序依次發(fā)現(xiàn)圖像中的注意點。此方法比較適用于靜態(tài)的顯著計算,而20世紀(jì)中期,Stentiford等人[1-2]也在研究如何將由生物啟發(fā)的視覺注意力模型應(yīng)用到圖像檢索中,其圖像的顯著性用視覺注意力圖(visual attention map)表示。隨著復(fù)雜場景下圖像分析的進展,在動態(tài)圖像顯著性提取中的發(fā)展中以基于運動優(yōu)先的注意力模型為主線進行了探討,但是以上研究只是針對與鏡頭靜態(tài)模型和動態(tài)模型分開來進行研究,忽視了提取技術(shù)的整體性。研究目的就是針對這些復(fù)雜鏡頭下的圖像進行動態(tài)和靜態(tài)模型相融合的方式,采用動靜結(jié)合的提取技術(shù)來實現(xiàn)以上目的。

2 提取靜態(tài)圖像顯著性的視覺注意力模型

檢測技術(shù)發(fā)展到近階段,根據(jù)生物機制對視覺場景的特點提出了基于視覺注意機制提取的方法,方法[3]主要是以ITTI算法最具代表性,其框架圖如圖1所示。

ITTI框架模型描述[4]將在圖像中初始圖像通過高斯線性濾波提取出最底層特征：顏色特征、方向特征、亮度特征。通過高斯金子塔中央周圍操作算子[5](center-surround)形成了12張顏色特征圖,6張亮度特征圖,24張方向特征圖,將這些特征圖進行標(biāo)準(zhǔn)化操作N(),得到各特征值組成的關(guān)注圖,分別是顏色、亮度、方向關(guān)注圖。這3個特征圖經(jīng)過 S函數(shù)。S()=1/3*[(N(I)+N(O)+N(C)]合成顯著圖,通過兩層贏者取全神經(jīng)網(wǎng)絡(luò)[6](winner-take-all,WTA)得到顯著區(qū)域,最后通過返回抑制機制(inhabitation of return),抑制當(dāng)前的顯著區(qū)域,轉(zhuǎn)而尋找下一個顯著區(qū)域,得到相應(yīng)的顯著區(qū)域。選擇注意的注視點就是顯著圖中的極大值點,選擇注意區(qū)域就是以注視點為中心的固定半徑的圓形區(qū)域,顯著度值越大越先被注意。

圖1 模型ITTI的流程框架

3 基于運動特征的動態(tài)顯著圖提取

視覺機制是在對整個場景初步感知[7]的基礎(chǔ)上形成的,人們對視頻鏡頭的感知也分為空間上和時間上兩部分,有效地將時間和空間進行動態(tài)融合對于視頻注意區(qū)域的生成有著重要的影響。在已有的動態(tài)特征圖提取技術(shù)[8]方法中加入一個新的元素將方向上的反差也考慮其中,4個方向上視覺上的反差,更有益于動態(tài)特征圖的提取,采用加權(quán)思想在運動場景角度發(fā)生劇烈變化時,提高運動方向特征上的權(quán)重,縮小在運動速度上的權(quán)重,分別提取出運動方向上的4張?zhí)卣鲌D和1張速度特征圖,通過小波融合技術(shù),將運動速度和運動方向進行融合形成動態(tài)特征圖。

根據(jù)對視頻鏡頭中動態(tài)特征的分析,動態(tài)特征流程框架如圖2所示,首先根據(jù)塊匹配算法[9],在相鄰幀中一定范圍的搜索區(qū)域內(nèi),按照匹配準(zhǔn)則,尋找最為相似的塊作為預(yù)測塊。前后幀之間匹配塊位移的大小即可說明宏塊運動的劇烈程度。搜索范圍就可根據(jù)運動的劇烈程度進行調(diào)整以獲得精確的匹配,根據(jù)復(fù)雜度較小的絕對差和準(zhǔn)則(SAD)作為匹配準(zhǔn)則,其數(shù)學(xué)表達式定義為

同時將各像素的運動矢量在 0°,45°,90°,135°這 4個方向上投影 ,生成 4 個運動方向圖(x=0°,45°,90°,135°)來反映各個像素在運動方向上的位移。位移的變化越大,說明宏塊前后的差別越大,相鄰兩幀的宏塊的水平和垂直位移運動矢量變化越大。根據(jù)運動矢量的計算結(jié)果,可以得到相鄰兩幀圖像中每個像素點運動距離,生成一個運動速度圖來反映圖像中各像素的運動速度。對于提取出來的運動速度與運動方向特征圖,分別構(gòu)造高斯金字塔,得到不同分辨率下的特征圖,金字塔底部的圖像分辨率較高,而金字塔頂部的圖像分辨率較低,其中每個像素均可看作是與原圖位置相對應(yīng)的區(qū)域,中心點與其周圍區(qū)域的反差通過處于金字塔不同層的圖像差減來計算。

通過匹配算法[6],可以得到一個水平和垂直位移的運動矢量,根據(jù)運動矢量的運算結(jié)果,得到相鄰兩幀之間宏塊或每個像素點的運動位移,并得到各像素的運動速度,表達式為：

其中,MS是相鄰兩幀之間像素點的運動長度,u是指水平方向上即在0°方向上投影的位移,v是指垂直方向上即在90°方向上投影的位移。將各像素點在0°,45°,90°、135°這4個方向的投影,生成4個運動方向上的位移M00(i,j)、M045(i,j)、M090(i,j)、M0135(i,j),根據(jù)這4個方向上位移,通過高斯金字塔的低通濾波,然后進行中央-周圍算法操作,

其中c表示中央尺度,s表示邊緣尺度,c∈{2,3,4),其中運算符Θ表示金子塔不同層之間即尺度不一樣的圖像之間進行差值操作。

將上述操作得到的5張?zhí)卣鲌D進行標(biāo)準(zhǔn)化處理 N()進行融合,最后得到運動速度顯著圖和運動方向顯著圖,最后通過小波融合計算得到運動圖像的總體顯著圖。

圖2 動態(tài)特征提取的框架流程說明

引入運動方向這個元素,使得動態(tài)特征圖的提取效果更接近于對人眼反應(yīng)最刺激的區(qū)域的提取,可以采用如圖3所示的提取技術(shù)和流程,視頻鏡頭是在水面上勻速行駛的3艘船,提取出包含鏡頭信息量最多的關(guān)鍵幀,將此幀根據(jù)中央周圍算法提取在0°特征點上的圖像,可以明顯看出白色亮光所在是吸引人注意的區(qū)域,同樣,在其余3個方向分別按照相同的方法提取出來,因船行駛方向是水平的,因此在0°上的運動反差是最大的,垂直方向上沒有任何變化,因此圖像沒有亮光點所在,均為黑色背景。

4 動靜結(jié)合顯著性區(qū)域

利用人的視覺對場景感知的特點,在提取了以上動態(tài)顯著圖和靜態(tài)顯著圖后,提取出一種基于運動優(yōu)先時空混合思想并給出一種自適應(yīng)時空動態(tài)混合方法[10],這種方法的策略是：依靠運動反差來控制運動顯著圖和空間顯著圖的權(quán)重,當(dāng)檢測到運動方向上的反差加強并占據(jù)優(yōu)勢時,把運動顯著圖上的權(quán)重迅速加強,空間顯著圖上的權(quán)重迅速減小,當(dāng)運動反差達到一個平穩(wěn)的狀態(tài)時,提高空間上的權(quán)重時,它的混合表達式

其中,Wt、Ws分別為空間和時間顯著度權(quán)重,采用固定權(quán)重值無法自適應(yīng)根據(jù)視頻內(nèi)容變化調(diào)整運動和空間顯著度比例,其中F定義為關(guān)鍵幀的區(qū)域,Ii,j表示空間域上的亮度值,公式中重要的兩個參數(shù)Ws,Wt分別為動態(tài)特征顯著圖和靜態(tài)特征顯著圖的權(quán)重值。

圖3 引入運動方向元素的提取實驗效果

其中 w 取值 0.3,如圖 4曲線所示,Mt在取到 0.3時,Wt、Ws交匯到一個點上,兩個顯著圖上權(quán)重值是相同的,該方法的優(yōu)點是相比以前的技術(shù),較靈活的運用權(quán)重值的增減來控制動態(tài)和靜態(tài)特征圖在融合時占的比重范圍,在提取運動特征時不會受到低紋理、光流等因素影響,計算量比較小,速度較快,而且一般情況下,在光流場和像素域上直接分析運動特征時,會包含較多的隨機噪聲,這種提取方法可有效抑制噪聲,這是突出顯著的地方。

5 實驗驗證對比結(jié)果

圖4 基于運動優(yōu)先的動態(tài)顯著圖和靜態(tài)顯著圖的融合

根據(jù)運動特征中的運動速度和運動方向這兩個特點,結(jié)合中央周圍算法,將視頻鏡頭依據(jù)內(nèi)容分析方法提取出能代表圖像信息量最多的關(guān)鍵幀,將此關(guān)鍵幀通過線性濾波高斯金字塔提取出在0°,45°,90°,135°這4個方向上的關(guān)注圖,將這4個關(guān)注圖進行標(biāo)準(zhǔn)化融合生成圖像在運動方向上的特征圖并結(jié)合提取出的運動速度特征圖,最后生成動態(tài)情況下圖像的顯著區(qū)域,根據(jù)運動方向的特征圖并結(jié)合運動速度特征圖得到的實驗驗證對比圖如圖5所示。

截取第2節(jié)中海面上行駛的3條小船水平勻速向右行駛,可以發(fā)現(xiàn)在圖片最左邊的船速明顯高于中間船的速度,視頻鏡頭壓縮的第2幀中就超過了中間行駛的小船,根據(jù)前面探討的動態(tài)特征提取方法：以運動速度和運動方向作為兩條線索得到各自的顯著圖,通過小波融合分析算法最后得到動態(tài)上的顯著圖,通過贏者取全和返回抑制算法得到動態(tài)圖像中的FOA(Focus Of Attention),依次用圈標(biāo)注先后注意的次序,通過本文得到的FOA區(qū)域與通過ITTI模型得到的FOA相比較,可以發(fā)現(xiàn)最刺激人類注意的區(qū)域1是不相同的,而文中提出的模型方法更接近于人類視覺機制的選擇。

5個小球勻速向右運動,中間部位的小球相較周圍4個小球速度最快,通過視頻壓縮得到的一些關(guān)鍵幀去比較,實驗驗證對比結(jié)果如圖6所示。

圖5 實驗驗證對比圖一

圖6 實驗驗證結(jié)果對比圖二

實驗中處于中間位置的小球以較快的速度水平向右滾動,則根據(jù)文中提取的技術(shù)得到了運動方向顯著圖、運動速度顯著圖,最后通過返回抑制和贏著取全得到了圖像中的FOA區(qū)域,很明顯此區(qū)域最接近人類視覺上的刺激選擇。

6 結(jié)束語

借鑒了生物視覺機制的研究成果,引入了一種根據(jù)運動速度和運動方向融合提取的動態(tài)特征顯著圖,并結(jié)合現(xiàn)有的空間顯著圖提取技術(shù)IT TI模型中的算法,通過運動優(yōu)先時空混合思想的結(jié)合方法,將兩者緊密融合成視頻鏡頭的顯著性提取。

在視覺注意計算模型中,如何更好的去利用人類視覺生物機制去提取顯著區(qū)域,快速從海量的信息中得到用戶感興趣的信息,以及在各種不同的場景下都能穩(wěn)定提取出動態(tài)的顯著區(qū)域都是有待進一步研究的問題。

[1]Stentiford F W M.An Attention Based Similarity Measure with Application to Content Based Information Retrieval[C].In Proceedings of the Storage and Retrieval for Media Databases conference,SPIE Electronic Imaging,Santa Clara,CA,2003.

[2]Bamidele A,Stentiford F W M.An Attention Based Similarity Measure Used to Identify Image Clusters[C].In Proceedings of 2nd European Workshop on the Integration of Knowledge,Semantics&Digital Media Technology,London,2005.

[3]Itti L,Koch C,Niebur E.A model of saliency-based visual attention for rapid sceneanalysis[J].IEEE Trans on PAMI.1998,20(11)：1254-1259.

[4]Itti L,Koch C.Computational Modeling of Visual Attention[J].Nature Reviews Neuroscience,2001,2(3)：194-203.

[5]蔣鵬,秦小麟.基于視覺注意模型的自適應(yīng)視頻關(guān)鍵幀提取[J].中國圖像圖形學(xué)報,2009,14(8)：1650-1655.

[6]高靜靜,張菁.應(yīng)用于圖像檢索的視覺注意力模型的研究[J].測控技術(shù),2008,(2)：19-21.

[7]張菁,沈蘭蓀,高靜靜.基于視覺注意模型和進化規(guī)劃的感興趣區(qū)域檢測方法[J].電子與信息學(xué)報,2009,31(7)：1646-1652.

[8]Zhiwen Yu,Hausan Wong.A Rule Based Technique for Extraction of Visual Attention Regions Based on Real-Time Clustering[J].IEEE TRANSACTIONS ON MULTIMEDIA,2007,9(4)：766-784.

[9]L G Ungerleider,J V Haxby.What and where in the human brain[J].Current Opinion in Neurobiology,1994,4：157-165.

[10]Milancese R,G il S,et al.Attentive mechanisms for dynamic and static scene analysis[J].Op t Eng,1995,34(8)：2428-2434.

[11]Bulthoff H H,Lee S W,Poggio T,et al.Biologically Motivated Computer Vision[M].New York：Springer Publishing Company,2003：150-159.

[12]Huang L,Pashler H.Working memory and the guidance of visual attention：Consonance-driven orienting[J].Psychonomic Bulletin&Review,2007,14(1)：148-153.

[13]蔣鵬,秦小麟.一種動態(tài)場景中的視覺注意區(qū)域檢測方法[J].小型微型計算機系統(tǒng),2009,36(3)：494-499.

[14]F Liu,M Gleicher.Region enhanced scale-invariant saliency detection[J].In Proceedings of IEEE ICME,2006.

[15]Tie Liu,Jian Sun.Learning to detect a salient object[J].IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR2007),2007：1-8.

[16]Liansheng ZHUANG,Ketan TANG,Nenghai YU.Fast Salient Object Detection Based on Segments[J].International Conference on Measuring Technology and Mechatronics Automation of IEEE,2009：469-472.

[17]K RDobkins,T D Albright.What happens if changes color when it moves：The nature of chromatic import to visual Area MT[J].Journal of Neuroscience,1994,14(8)：4854-4870.

[18]Jiawei Chen,Kunhui Lin,Changle Zhou.A Visual Attention Model for Dynamic Scenes Based on Two-Pathway Processing in Brain[A].Fourth International Conference on Natural Computation[C],2008：128-132.

[19]M Kim,JG Chou,D Kim,et al.A VOP generation tool：automatic segmentation of moving objectsin image sequences based on spatial temporal information[J].IEEE Trans Circuits Syst.Video Technol,1999,9(8)：1216-1226.

[20]Y Tsaig,A Averbuch.Automatic segmentation of moving objects in video sequences：a region labeling approach[J].IEEE Trans.Circuits Syst.Video Technol.,2002,12(7)：597-612.

[21]V Mezaris,I Kompatsiaris,M G Strintzis.Video object segmentation using Bayes-based temporal tracking and Trajectory-based region merging[J].IEEE Trans.Circuits Syst.Video Technol,2004,14(6)：782-795.

[22]Junwei Han.Object Segmentation from Consumer Videos：A Unified Framework Based on Visual Attention[J].IEEE Transactions on Consumer Electronics,2009,55(3)：1597-1605.

[23]Ma YF,Hua X S1 A generic framework of user attention model and its application in video summarization[J].IEEE Transactions on Multimedia,2005,10(7)：907-919.

[24]Yun Zhai,Mubarak Shah Visual attention detection in video sequences using spatiotemporal cues[A].In Proceedings of 14th Annual ACM International Conference on Multimedia[C],Santa Barbara,CA,USA,2006：815-824.

[25]桑農(nóng),李正龍.人類視覺注意機制在目標(biāo)檢測中的應(yīng)用[J].紅外與激光工程,2004,33(1)：38-41.

[26]葉聰穎,李翠華.基于HIS的視覺注意力模型及其在船只檢測中的應(yīng)用[J].廈門大學(xué)學(xué)報：自然科學(xué)版,2005,44(4)：484-488.