阮若林，伍聃文，伍連啟

(湖北科技學(xué)院 電子與信息工程學(xué)院，湖北 咸寧 437100)

視覺關(guān)注度是計算機(jī)圖像分析領(lǐng)域中的一個熱門研究領(lǐng)域。在視頻圖像關(guān)注度提取研究中，圖像的亮度、顏色和方向等特征是圖像自身所具有的基本屬性，通常通過濾波等技術(shù)手段進(jìn)行分離;然而對于視頻圖像序列，由于其存在著時間上的連續(xù)性，因此除了可以利用濾波等技術(shù)手段提取其在空間上的亮度、顏色和方向等底層特性外，還可以利用連續(xù)圖像序列之間的時間相關(guān)性提取其閃爍和運動特征［1］。提取圖像或視頻序列的基本特征之后，利用Anne Treisman教授提出的圖像特征融合理論，將這些單個的圖像特征進(jìn)行融合，就可以得到圖像的關(guān)注度，進(jìn)而可以獲得其關(guān)注度圖(灰度圖)，這個關(guān)注度圖(Saliency Map，SM)所在區(qū)域通常就是最容易引起人眼視覺注意的區(qū)域［2］。因此，關(guān)注度的提取在感興趣區(qū)域提取、運動目標(biāo)檢測、視覺編碼、智能監(jiān)控等諸多領(lǐng)域具有重要的應(yīng)用價值。

一、國內(nèi)外研究現(xiàn)狀

1980年，美國普林斯頓大學(xué)心理學(xué)教授Anne Treisman［3］通過對人眼視覺系統(tǒng)進(jìn)行實驗得出顏色、方向和亮度是人類視覺系統(tǒng)最關(guān)注的特征，并在此基礎(chǔ)上提出了特征融合的理論，它是人類視覺系統(tǒng)的一個重要的理論基礎(chǔ)。近年來，對于視頻信號關(guān)注度模型的研究也逐步開展。1998年，Itti等人［4］對視覺注意中的選擇和轉(zhuǎn)移工作機(jī)制進(jìn)行了開創(chuàng)性的研究，提出了可計算的視覺注意模型框架，采用特征融合的方式計算關(guān)注度圖，并將其用于圖像的關(guān)注度提取。2010年，He等人［5］改進(jìn)Itti模型，針對不同特征子圖融合時，根據(jù)特征子圖的關(guān)注點數(shù)目不同給予不同的權(quán)重，獲得了較好的關(guān)注度圖，可以提高準(zhǔn)確率15－20%，但是，它也僅僅只是用來提取圖像的關(guān)注度。

2003年，Itti等人［6］通過考慮前后兩幀視頻信號的運動特征和閃爍特征，提出視頻信號的關(guān)注度模型。2004年，在Itti模型的框架上，Hu等人［7］采取動態(tài)融合的策略來決定每個特征子圖的權(quán)重，再將其融合成一幅關(guān)注度圖;而Simone等人［8］則通過統(tǒng)計每個特征子圖的關(guān)注點數(shù)，調(diào)整特征子圖權(quán)重進(jìn)行編碼。2005年，Wen－Huang Cheng等人［9］針對Itti模型對緩慢運動處理不佳的缺點，將視頻序列分段，利用中值濾波得到時間分段的關(guān)注度圖，但這種方法對于運動劇烈的序列效果不好。2006年，Zhai等人［10］根據(jù)圖像的活動亮度動態(tài)地改變時域關(guān)注度子圖和空域關(guān)注度子圖的權(quán)值，提升關(guān)注度模型的準(zhǔn)確性。2007年，Junyong You等［11］通過綜合考慮運動關(guān)注度、對比關(guān)注度、人臉識別、聲音識別及攝像機(jī)運動等多種高層語義要素，計算視頻序列的關(guān)注度。2008年，Chang Liu等人［12］利用基于信息熵的時空域關(guān)注度融合來彌補(bǔ)時域關(guān)注度模型對于緩慢運動處理不佳的缺陷，但其對于時域關(guān)注度本身沒有改進(jìn)。2010年，Xia Yang等人［13］針對現(xiàn)有的關(guān)注度模型不能同時在快速運動場景和慢速運動場景下均取得令人滿意的效果，并且其計算復(fù)雜度很高，不能滿足實時應(yīng)用的需求的問題，提出了基于場景分析的關(guān)注度模型，將視頻場景的運動特征參數(shù)引入到關(guān)注度的提取模型中，提升其關(guān)注度模型的精確性，運動關(guān)注度提取的準(zhǔn)確率達(dá)到了90%左右。同時，目前的視頻關(guān)注度模型是圖像關(guān)注度模型的時域擴(kuò)展，需要逐幀計算關(guān)注度，其計算復(fù)雜度也較高。

視覺關(guān)注度模型是為了從視頻場景中提取人眼重點關(guān)注的區(qū)域，為后續(xù)基于區(qū)域的編碼奠定基礎(chǔ)?，F(xiàn)有的視覺關(guān)注度模型不能同時在快速運動場景和慢速運動場景下均取得令人滿意的提取效果，并且需要逐幀計算每幀的關(guān)注度，其計算復(fù)雜度高，不能滿足實時應(yīng)用的需求。為此本文研究了視頻圖像特性對關(guān)注度提取的影響，提出了基于視頻場景運動特征的關(guān)注度提取模型，提升了關(guān)注度提取模型的精確性;同時，利用多參考幀的提取視頻圖像的運動特性，以降低關(guān)注度提取的計算復(fù)雜度。該成果應(yīng)用于視覺關(guān)注度圖的提取及預(yù)測，可以有效解決視頻幀關(guān)注度區(qū)域提取準(zhǔn)確性低和提取復(fù)雜度過高的問題。

二、Itti視覺關(guān)注度模型及改進(jìn)關(guān)注度模型

關(guān)注度模型是為了從視頻場景中提取人眼重點關(guān)注區(qū)域，為后續(xù)的基于區(qū)域的編碼奠定基礎(chǔ)。如何獲得一個精確度高而復(fù)雜度低的關(guān)注度模型，是人眼關(guān)注區(qū)域?qū)崟r提取以及實時高質(zhì)量視頻編碼的關(guān)鍵?，F(xiàn)有的關(guān)注度模型不能同時在快速運動場景和慢速運動場景下均取得令人滿意的效果，并且其計算復(fù)雜度很高，不能滿足實時應(yīng)用的需求。在本文研究基于場景分析的關(guān)注度模型，將視頻場景的運動特征參數(shù)引入到關(guān)注度的提取模型中，提升其關(guān)注度模型的精確性，考慮到人眼視覺系統(tǒng)具有的短時記憶效應(yīng)的特性，可以利用雙向預(yù)測技術(shù)來計算當(dāng)前幀的關(guān)注度圖，以降低計算復(fù)雜度。

本文對Itti等人提出的視覺關(guān)注度圖模型進(jìn)行修正，利用修正模型計算得到視頻圖像的關(guān)注度圖。在幀級的關(guān)注度計算中(單幀圖像關(guān)注度的提取)，將研究基于視頻場景分析的關(guān)注度模型，將視頻場景的運動特征參數(shù)引入到關(guān)注度的提取模型中，提升其關(guān)注度模型的精確性。在序列級的關(guān)注度計算中(利用參考幀的已知關(guān)注度預(yù)測當(dāng)前幀的關(guān)注度)，將研究基于場景分析和時域預(yù)測的關(guān)注度計算模型，以降低計算復(fù)雜度［13，14］。關(guān)注度建模主要步驟包括視頻圖像特征提取、關(guān)注度子圖生成、關(guān)注度子圖處理及融合成最終的關(guān)注度圖，如圖1所示。

圖1 視覺關(guān)注度建?？驁D

與傳統(tǒng)方法不同，本文在運動特征提取和運動關(guān)注度子圖處理都做了改進(jìn)。Itti模型僅用了前后2幀進(jìn)行運動參數(shù)的提取，能夠捕獲的物體速度范圍有限，容易造成漏判，本文利用基于多幀參考的運動特征提取方案(原理如圖2所示)，解決以上問題［15］。另外，基于幀差法的運動特征檢測，容易將活動物體的內(nèi)部標(biāo)識成低關(guān)注度區(qū)域，從而造成誤判;本文利用基于空域信息的運動關(guān)注度增強(qiáng)方法，解決以上問題。并主要通過視頻特征提取、關(guān)注度子圖生成、關(guān)注度子圖處理及融合成最終的關(guān)注度圖，并計算得到視頻圖像相對應(yīng)的關(guān)注度值，視頻圖像關(guān)注度區(qū)域提取過程如圖3所示，一般先計算得到關(guān)注度圖，然后確定關(guān)注度區(qū)域的邊界(為了簡化起見，通常把關(guān)注度區(qū)域確定為矩形)，最后通過邊界確定關(guān)注度區(qū)域及其大小。

圖2 基于多參考幀的關(guān)注度預(yù)測及關(guān)注度提取方法示意圖

圖3 視覺關(guān)注度區(qū)域的提取過程示意圖

對于YCbCr視頻流中的第i幀，分別提取底層特征亮度I、顏色C、方向O、閃爍F、運動M五類特征量。

1.基于時間序列的運動參數(shù)提?。?3］

亮度特征值I可直接對應(yīng)YCbCr顏色空間的Y分量，方向特征分量O由第i幀和第i－1幀中亮度特征值ci在0°，45°，90°，135°四個方向進(jìn)行Gabor濾波得到，閃爍特征值F由第i幀和第i－1幀對應(yīng)位置像素點的亮度值ci相減得到。

本文在運動特征提取上，對Itti的模型做了擴(kuò)展，利用對整個時間序列進(jìn)行運動參數(shù)的提取，從而能夠適應(yīng)更多的運動情況。Itti模型的運動特征M由第i幀和第i－1幀中的方向特征值co進(jìn)行一個像素大小的偏移S(θ)計算得到。

Itti模型利用高斯金字塔分解可以捕獲不同速率的運動，其可以捕獲物體的運動速率為:

其中，v是物體的運動捕獲速度，Level是高斯金字塔分解層數(shù)，dx、dy是提取運動特征時水平和垂直方向上的偏移量，f是幀率。

在視頻序列上，假定物體在短時間內(nèi)視為連續(xù)運動，利用高斯金字塔分解可以捕獲不同速率的運動，其可以捕獲物體的運動速率為:

其中，cur是當(dāng)前幀的幀號，prei是參考幀幀號，這意味著運動特征提取時，其可以有多個參考幀。

因此，運動特征參數(shù)M的提取方法為:

其中，cic(σ，θ)是當(dāng)前幀的亮度特征I在尺度σ上用方向θ的Gabor函數(shù)濾波的特征圖，Sc(σ，θ)是cic(σ，θ)在方向θ上的偏移。cip(σ，θ)是參考幀的亮度特征I在尺度σ上用方向 θ的Gabor函數(shù)濾波的特征圖，Sp(σ，θ)是cip(σ，θ)在方向θ上的偏移。

2.基于空域增強(qiáng)的特征關(guān)注度圖處理［16］

在得到了視頻信號的底層特征信息之后，利用空域關(guān)注度子圖對運動關(guān)注度子圖進(jìn)行增強(qiáng)處理，使得物體內(nèi)部的關(guān)注度值得以提升。具體過程如下:

(1)得到當(dāng)前幀的空域關(guān)注度圖SMspatial:

其中，SMI是亮度關(guān)注度子圖，SMC是顏色關(guān)注度子圖，SMO是方向關(guān)注度子圖，w1、w2和w3是加權(quán)系數(shù);

(2)根據(jù)一定的閾值T1，將運動關(guān)注度高的點標(biāo)明出來，設(shè)該高運動關(guān)注度值的點集為{ni}，同理，根據(jù)一定的閾值T2，將空域關(guān)注度高的點標(biāo)明出來，設(shè)此高空域關(guān)注度值的點集為{mi};

(3)找到運動前景物體的點集{qi}={ni}∩{mi};

(4)對每一個qi，設(shè)其鄰域為L，在其鄰域內(nèi)進(jìn)行搜索，并將屬于同一前景物體的點設(shè)為關(guān)注點:

(5)得到關(guān)注點的集合:{t|f(t)=1};

(6)得到運動關(guān)注點集:{TSi}={ti}∪{ni};

(7)將{TSi}－{ni}中點的關(guān)注度值設(shè)置為{ni}中關(guān)注度的平均值;

(8)最后，將得到空域關(guān)注度、運動關(guān)注度及閃爍關(guān)注度進(jìn)行加權(quán)合并，得到視頻底層特征關(guān)注度子圖:

其中，λ1、λ2和λ3是加權(quán)系數(shù)，SMspaital是空域關(guān)注度子圖，SMM是運動關(guān)注度子圖，SMF是閃爍關(guān)注度子圖。由于監(jiān)控視頻中人眼對運動及閃爍特征較為敏感，運動的物體較能吸引監(jiān)控人員的注意，因此在該式中，λ2＞λ3＞λ1。

視頻圖像底層特征提取的方法不同，得到的提取結(jié)果就會不一樣，導(dǎo)致融合后得到的顯著度差異很大，因此，本文后續(xù)將通過大量實驗來檢驗該方法的實際效果，并進(jìn)一步完善本文提出的方法。

三、結(jié) 語

本文主要介紹了視覺關(guān)注度的基本概念及對人眼視覺關(guān)注度模型的研究現(xiàn)狀，并對Itti提出的關(guān)注度模型進(jìn)行詳細(xì)分析，根據(jù)當(dāng)前關(guān)注度模型在提取視頻圖像關(guān)注度中存在的問題，提出了改進(jìn)的關(guān)注度模型，進(jìn)一步提高視頻圖像關(guān)注度提取的精確性。該模型應(yīng)用于視覺關(guān)注度圖的提取及預(yù)測，可以有效解決視頻幀關(guān)注度區(qū)域提取準(zhǔn)確性低和提取復(fù)雜度過高的問題。因此，在感興趣區(qū)域提取、運動目標(biāo)檢測、視覺編碼、智能監(jiān)控等諸多領(lǐng)域具有重要的應(yīng)用價值。

［1］桑農(nóng)，李正龍，張?zhí)煨?人類視覺注意機(jī)制在目標(biāo)檢測中的應(yīng)用［J］.紅外與激光工程，2004，33(1):38～42.

［2］賀俊.基于視覺注意機(jī)制的物體關(guān)注性研究［D］.上海:上海交通大學(xué)，2009.

［3］Treisman，A.M.and Gelade，G..A Feature－Integration Theory of Attention［J］.Cognitive Psychology，1980，12(1):97～136.

［4］L.Itti，C.Koch and E.Niebur.A Model of Saliency －Based Visual Attention for Rapid Scene Analysis［J］.IEEE Trans.Pattern Anal.Machine Intell.，1998，20(11):1254～1259.

［5］Dongjian He，Yongmei Zhang，Huaibo Song.A Novel Saliency Map Extraction Method Based on Improved Itti＇s Model［A］.CCTAE2010［C］.2010，pp:323 ～327.

［6］L.Itti，N.Dhavale，F(xiàn).Pighin.Realistic Avatar Eye and Head Animation Using a Neurobiological Model of Visual Attention［A］.Proceedings of SPIE 48th Annual International Symposium on Optical Science and Technology［C］.2003，5200:64～78.

［7］Yiqun Hu，Xing Xia，Wei－ Ying Ma，et al.Salient Region Detection Using Weighted Feature Maps Based on the Human Visual Attention Model［A］.In Proceedings of the Fifth IEEE Pacific－ Rim Conference on Multimedia［C］.Tokyo Waterfront City，Japan，November 2004.

［8］Simone Frintrop，Andreas Nuchter，et al.Saliency －Based Object Recognition in 3D Data［A］.IEEE/RSJ International Conference on Intelligent Robots and System［C］.Sendai，Japan.2004.

［9］Wen－Huang Cheng，Wei－Ta Chu and Ja－Ling Wu.A Visual Attention Based Region of Interest Determination Framework for Video Sequences［J］.IEICE Trans.Inf.＆Syst，2005，E88 －D(7):1578 ～1586.

［10］Yun Zhai，Mubarak Shah.Visual Attention Detection in Video Sequences Using Spatiotemporal Cues［A］.Proceedings of the 14th annual ACM international conference on Multimedia［C］.2006，pp:815 ～824.

［11］Junyong You，Guizhong Liu，Li Sun，et al.A Multiple Visual Models Based Perceptive Analysis Framework for Multilevel Video Summarization［J］.IEEE Transactions on Circuits and Systems for Video Technology，2007，17(3):273～285.

［12］Chang Liua，Pong C.Yuena and Guoping Qiu.Object Motion Detection Using Information Theoretic Spatio－temporal Saliency［J］.Pattern Recognition，2009，42(11):2897～2906.

［13］阮若林.基于視覺感知特性的無線視頻容錯編碼技術(shù)研究［D］.武漢:武漢大學(xué)，2011.

［14］Yang Xia，Ruimin Hu，Zhenkun Huang，Yin Su.A Novel Method for Generation of Motion Saliency［A］.Proceedings of 2010 IEEE 17th ICIP［C］.2010，pp:4685～4688.

［15］Ruan Ruolin，Hu Ruimin，Li Zhongming，Yin Liming.Rate Control Algorithm of Wireless Video Based on Saliency Map Model［J］.China Communications，2011，8(7):110～115.

［16］Ruan Ruolin，Xia Yang，Yin Liming.Research on Binocular Stereo Video Attention Model Based on Human Visual System［A］.ICCSE2013［C］.Colombo Sri Lanka，2013，4.