占善華,陳曉明

1(廣東司法警官職業(yè)學(xué)院 信息管理系,廣州 510520)

2(廣東工業(yè)大學(xué) 計算機學(xué)院,廣州 510006)

在一幅紋理復(fù)雜的圖像中,人們往往能夠清晰注意到重要的目標輪廓,而忽略掉不容易引起注意的次要部分.這是圖像視覺特征所決定的.顯著性區(qū)域是圖像中最能引起用戶興趣、最能表現(xiàn)圖像內(nèi)容的重要區(qū)域.常用的顯著性區(qū)域是基于人的注意力機制和對圖像的認知過程規(guī)律,這樣提取的顯著性區(qū)域符合人的主觀評價.

當前經(jīng)典的顯著性檢測的方法有很多：空間域上,最早期經(jīng)典的是Itti等人[1]在基于視覺注意機制上提出的顯著圖模型(簡稱IT方法),綜合了顏色、亮度、方向等多種特征的顯著性,包括3步：先特征抽取得到不同形式的特征圖,再利用特征顯著性計算得到各自相應(yīng)的顯著圖,最后特征顯著性融合成一張合成的顯著圖.其缺點是IT方法復(fù)雜,實現(xiàn)效率不高,檢測效果不明確,有時無法很好檢測出圖像的主要物體.MZ方法[2]基于顯著點、顯著區(qū)域、顯著視圖3種不同層次實現(xiàn)了基于局部對比度的顯著性測量方法.該方法缺點是強調(diào)了區(qū)域的邊緣部分,檢測不出物體內(nèi)部區(qū)域.Yun Zhai等人[3]在利用視頻序列時空線索的視覺注意力檢測中,基于視頻的顯著度檢測,考慮幀間運動的顯著性信息.Goferman等提出CA方法[4],基于上下文認知的方法把區(qū)域比較的方法擴展到多尺度上,由于全局對比,出現(xiàn)了過分強調(diào)邊緣的情況.隨后Goferman等對此進行改進[5],突出了目標的邊緣輪廓等特征,使其效果略有提升.Murray等提出的IM方法[6]依據(jù)顏色建立中心與周圍的對比能量模型得到顯著區(qū)域.Cheng等人[7]的RC方法是當前比較優(yōu)秀的空間域的顯著性檢測算法,采用基于圖像分塊和局部對比度計算顯著性,每個區(qū)域的顯著性值由它與其他所有區(qū)域的空間距離和區(qū)域像素數(shù)加權(quán)的顏色差異來確定.He等人[8]在Cheng的研究基礎(chǔ)上,提出了結(jié)合全局對比和顏色空間分布的顯著區(qū)域檢測方法.Bharath等人[9]提出的可擴展的場景理解的使用顯著性的引導(dǎo)下的目標定位,得到可擴展的,更容易適應(yīng)多物體和場景類型的顯著區(qū)域,本文中簡稱它為SSU方法.

頻率域上,SR方法[10]能計算出圖像上的關(guān)鍵部分和不重要區(qū)域,從而使得隨意改變一個圖像的高寬而不引起圖像內(nèi)容的扭曲.Achanta等人[11]提出的基于頻率調(diào)諧的高精度顯著區(qū)域檢測方法(簡稱AC方法),對彩色圖像的全分辨率顯著性計算顯著度.FT方法[12]是頻率域比較優(yōu)秀的顯著性檢測算法,FT實現(xiàn)將高頻部分舍去,使用CIELAB顏色特征,計算原圖像的平均特征與舍去高頻后的圖像的顏色特征的歐式距離作為顯著性.缺點：對紋理復(fù)雜或本身對比度不強的圖像的提取的效果較差,不能分析紋理區(qū)復(fù)雜的圖像,檢測區(qū)域與背景的對比度不強,難以分出目標與背景的明顯邊界,不利于后面的圖像分割處理.

針對圖像的顯著區(qū)域提取方法存在區(qū)域邊界模糊、顯著目標不準確、顯著圖對比度不明顯的問題.圖像目標應(yīng)該處于非紋理背景區(qū),并且圖像的顯著目標存在于最暗的,最亮的這種對比度較大的區(qū)域,因為這些是最顯著的,一般最能引起人們興趣的.因此提出一種基于特征點和聚類分割的顯著區(qū)域檢測算法,該算法的處理思路是先對目標彩色圖像利用高斯低通濾波和局部熵紋理分割去除紋理區(qū),得到R、G、B分量的濾波灰度圖,聚類分割自動劃分出每個分量的最亮區(qū)域、最暗區(qū)域和剩余區(qū)域這三個區(qū)域,每個顏色分量選擇最亮或最暗這兩個區(qū)域與剩余區(qū)域亮度差值最大的一個區(qū)域,對此選擇區(qū)域邊界進行角點、邊緣點檢測,將其角點和邊緣點作為顯著點,然后通過數(shù)學(xué)形態(tài)學(xué)將顯著點擴展到顯著區(qū)域.

1 基于聚類分割的彩色圖像顯著區(qū)域檢測算法

先對彩色圖像進行高斯低通濾波和局部熵紋理分割去除紋理區(qū),得到R、G、B分量的濾波灰度圖,聚類分割自動劃分出每個分量的最亮區(qū)域、最暗區(qū)域和剩余區(qū)域這三個區(qū)域,每個顏色分量選擇最亮或最暗這兩個區(qū)域與剩余區(qū)域亮度差值最大的一個區(qū)域,對此選擇區(qū)域邊界進行角點和邊緣點檢測,將這些特征點作為顯著點,再通過填充及膨脹使區(qū)域閉合,提取面積最大的連通區(qū)域,最終得到顯著區(qū)域,如圖1.

圖1 顯著區(qū)域檢測

1.1 確定顯著特征點局部熵紋理分割和聚類分割

為了檢測出圖像中顯著區(qū)域,需要圖像分成若干個特定的、具有獨特性質(zhì)的區(qū)域并提出顯著目標.考慮到圖像中某些紋理背景區(qū)域會檢測出很多冗余的角點和邊緣點,這些影響顯著目標區(qū)域的檢測,因此先采用紋理分割提取彩色圖像顏色分量,這一特性在R、G、B三個通道的灰度圖像上更加明顯.對彩色圖像采用高斯低通濾波模糊和局部熵紋理分割掉高頻紋理區(qū)背景信息后,提取R、G、B顏色分量,得到R、G、B分量的濾波灰度圖像,再采用K-means對圖像聚類分割自動劃分為多個亮度分類,然后將這多個分類概括劃分為最亮區(qū)域、最暗區(qū)域和剩余區(qū)域,分別設(shè)為R1、R2、R3,G1、G2、G3,B1、B2、B3.

1.2 確定顯著特征點

由于初期的研究對象為灰度圖像,因此當時大部分的顯著性特征檢測器都是基于亮度的,將圖像亮度變化劇烈的區(qū)域定義為顯著區(qū)域,將圖像的低階視覺特性比如邊緣、輪廓、角點等作為圖像的顯著點[13-18].

將圖像的區(qū)域細分后檢測每類區(qū)域之間邊界上的角點和邊緣點,稱為顯著特征點.本文采用Harris角點檢測[15]思想,創(chuàng)建一個新角點響應(yīng)函數(shù),在原有檢測角點的基礎(chǔ)上考慮到邊緣點,滿足我們對顯著特征點的需求.

原始Harris角點響應(yīng)公式為：

2011年劉瑩[19]等人優(yōu)化后公式為：

屈喜文[20]優(yōu)化后公式為：

設(shè)圖像像素點在水平和垂直方向上的梯度為Ix、Iy,得到自相關(guān)矩陣和λ2分別是自相關(guān)矩陣M的2個特征值,可以通過λ1,λ2的值判斷平滑區(qū)、角點和邊緣.當λ1,λ2都很大時,R1趨近于1,說明位于角點;當λ1,λ2一大一小時,R2 趨近于 0,此處為邊緣;當λ1,λ2都很小時,R3也趨近于0,此處為平滑區(qū).R1>R2>R3,R角點量越接近1越是角點和邊緣點的可能性越大.為避免2個特征值相等和不相等的時候,R值不同,通常在分母添加一個很小的參數(shù).

由于角點數(shù)量很多,提取出很多的偽角點,需要對這些角點進行篩選.本文先采用原始Harris算法中非極值抑制[15]進行初步篩選,設(shè)圖像中某一像素點的坐標為(i,j),其角點響應(yīng)函數(shù)為接近1并屬于局部極值,同時滿足條件和則標記為角點.假設(shè)經(jīng)過以上步驟,計算得到的角點為Corner={corner1,corner2,…,cornern},其中corneri坐標對應(yīng)為(xi,yi),其中1

(1) 計算角點的距離.假設(shè)cornerp和cornerq為Corner中兩個角點,其坐標為(xp,yp)和(xq,yq),Di為這兩個角點的距離.

(2) 計算距離Di出現(xiàn)在所有距離中的的頻率.將距離Di與其出現(xiàn)頻率的乘積設(shè)為s,Num(Di)表示距離Di出現(xiàn)的頻率,將s按由大到小排序后為其中將排序后的中間位置的值St作為參考值value,即

(3) 計算距離閾值.設(shè)任意兩個角點的距離Di與參考值value之間的差值為di,將差值di與其出現(xiàn)頻率的乘積的最小值作為距離閾值thresh.如果則認為是緊密的擁擠的角點,刪除這些角點,最終篩選出了均勻分布的角點,個數(shù)為N.

刪除條件：dl

(4) 檢測邊緣點.本文采用Canny邊緣檢測算子進行角點檢測.

1.3 確定顯著點

這些顯著特征點涵蓋了顯著目標的輪廓、目標內(nèi)部點以及少量非顯著區(qū)域的點,提取出了感興趣區(qū)域的定位.提取出了顯著區(qū)域的定位.為了縮小目標搜索范圍,精確定位到整個顯著區(qū)域,一幅圖像的顯著目標可以存在于最暗的或最亮的區(qū)域,彩色圖像分為R、G、B不同的顏色分量,因此彩色圖像的顯著區(qū)域應(yīng)該存在于不同分量的這兩個區(qū)域中其中一個,將與剩余區(qū)域?qū)Ρ容^大的最亮或最暗區(qū)域作為選擇區(qū)域.

對每個顏色分量的選擇區(qū)域之間的邊界上進行角點和邊緣點檢測,將這些特征點作為顯著點.將R分量選擇區(qū)域檢測到的特征點二值圖像記為RIsign,將G分量選擇區(qū)域檢測到的特征點二值圖像記為GIsign,將B分量選擇區(qū)域檢測到的特征點二值圖像記為BIsign,將這3個區(qū)域的特征點合并作為顯著點二值圖像記為RGBIsign.

1.4 提取顯著區(qū)域

找到顯著點二值圖像RGBIsign后,膨脹、填充使各個區(qū)域閉合后,再標記連通區(qū)域,L(i,j)=1,得到連通區(qū)域二值圖像L,連通區(qū)域的個數(shù)為n,計算每個連通區(qū)域的面積,提取面積較大的連通區(qū)域,最終獲得顯著區(qū)域二值圖像P.面積閾值是由不同的圖像中連通區(qū)域的面積和個數(shù)決定.

圖2 顯著特征檢測

2 實驗結(jié)果與討論

為了驗證本文算法的正確性和意義性,利用Matlab對采用Achanta等人所提供的公共數(shù)據(jù)庫中的多幅自然圖像做測試,這些圖像的背景復(fù)雜或簡單,目標是不同的人或動物等.本文算法中的顯著特征點檢測和顯著區(qū)域檢測算法實驗結(jié)果如圖2所示.

2.1 顯著特征點檢測實驗圖

本文所采用的這兩個改進方面后的算法與原Harris和文獻[19]及文獻[20]相比,效果提升明顯.檢測到的角點數(shù)目增多,花瓣邊緣和內(nèi)部陰影輪廓及細小的但同樣是亮度急劇變化的角點都能正確明確地被檢測出,而且如花瓣右上方減少一些冗余點.如果仔細看原始灰度圖像,可看的有很多是亮度變化的邊緣,而這不被原始Harris角點所檢測到,比如花中間的菱角、花瓣陰影部分及細小兩步變化不大的邊緣,這些邊緣點同樣是我們論文研究中所需要的顯著點.本文中把角點和邊緣點都認為是顯著點,需要提取出既是邊緣點又是角點的顯著特征點,在改進的角點檢測中,不僅檢測到了角點,也檢測到了角點附近的邊緣點.本文是在聚類分割后二值圖像上做Harris角點檢測并增加聚類分割后圖像區(qū)域邊界點的重合檢測,滿足顯著區(qū)域提取中的顯著點檢測.

2.3 本文算法的每一步對應(yīng)實驗圖

2.4 幾種顯著圖方法對比

從數(shù)字圖像處理標準測試圖中選擇了5幅圖像來做各種算法顯著圖,如圖4所示.

圖3 每一步對應(yīng)實驗圖

IT算法復(fù)雜,實現(xiàn)效率不高,檢測效果不明確,有時無法很好檢測出圖像的主要物體.IM的顯著圖范圍較大,模糊不精確,亮度及對比度不強,不利于后面的圖像分割處理.CA算法中邊緣部分被過度強調(diào),對于背景復(fù)雜或大目標的圖像檢測不完全和不準確.SR算法效果介于IT和CA算法之間.這些局部方法的結(jié)果通常在物體邊緣附近產(chǎn)生更高的顯著性值,而不是均勻地突出整個視覺顯著性物體.FT對紋理復(fù)雜或本身對比度不強的圖像的提取的效果較差,不能分析紋理區(qū)復(fù)雜的圖像,檢測區(qū)域與背景的對比度不強,難以分出目標與背景的明顯邊界.

2.5 顯著區(qū)域?qū)Ρ?/h3>

本文5幅圖像為例,經(jīng)過多次反復(fù)實驗,從中選擇最佳的閾值二值化顯著圖.把各種經(jīng)典算法中提取到的顯著區(qū)域與本文算法做對比,實驗結(jié)果如圖5所示.

圖4 各種方法顯著圖結(jié)果(從左到右為原圖像、IT、IM、SR、CA、FT)

由圖5的顯著對比結(jié)果可知,IT：雖然符合人的視覺關(guān)注模型,但是其計算復(fù)雜,并且除了顯著區(qū)域外還有冗余的非顯著背景區(qū)域.SR：檢測到的區(qū)域中的物體形狀過于簡單模糊,邊界不夠分明,可以檢測特征點,但是檢測區(qū)域準確度不夠,不能檢測到連續(xù)的顯著區(qū)域,從顯著區(qū)域看不出原圖像的大致內(nèi)容.IM：其顯著圖范圍較大不精確,模糊,亮度及對比度不強.CA：可檢測出物體的部分輪廓,邊緣部分被過度強調(diào),不是均勻地突出整個視覺顯著性物體.FT：雖對于有些圖像的提取效果較好,但是檢測的區(qū)域中還有不少背景中的紋理.而且對紋理復(fù)雜或本身對比度不強的圖像的提取的效果較差,不能分析紋理區(qū)復(fù)雜的圖像,檢測區(qū)域與背景的對比度不強,難以分出目標與背景的明顯邊界,不利于后面的圖像分割處理.

按照本文的步驟,由最終檢測的顯著區(qū)域和其它顯著圖快速二值化后得到的顯著區(qū)域?qū)Ρ瓤芍?本文計算簡單,能夠較精確地檢測出圖像中目標顯著區(qū)域,而且在檢測出圖像的目標物體的整體輪廓的同時又能檢測出一些顯著的內(nèi)部結(jié)構(gòu).

2.6 精確度和召回率對比

本文算法的結(jié)果和人工標注的顯著目標比較基于3中評估度量,分別是正確率(Precision)、召回率(Recall)、F-measure.

圖5 各種方法顯著區(qū)域檢測結(jié)果

將基準數(shù)據(jù)集中的二值圖記為G,二值圖像的對象面積將算法提取的顯著圖記為A,提取的顯著區(qū)域面積為我們用準確率和召回率來檢測算法的有效性.進一步,為了更準確地計算算法的平均正確率和召回率的性能,我們引入Fb測量.其中表示二值圖和提取的顯著圖的公共部分.該文取δ=0.3來使準確率的權(quán)重高于召回率.從MIT視覺顯著性圖片庫中隨機抽取的5幅圖像和圖3數(shù)字圖像處理標準測試圖中的5幅,總共10幅圖像做各種算法的數(shù)據(jù)對比,表1為這幾種方法與本文的查準率、查全率和F-measure的對比結(jié)果,可以看出綜合情況好于其他幾種,驗證了本文算法的合理性和正確有效性.

表1 對比各種算法的準確性

3 結(jié)束語

本文研究彩色圖像中的顯著區(qū)域檢測,從全局考慮,顯著區(qū)域一定是對比度較大的最亮區(qū)域或最暗區(qū)域.在采用高斯低通濾波和局部熵去掉紋理區(qū)域后,找到聚類分割中對比度最大的最亮或最暗區(qū)域的角點和邊緣點,通過數(shù)學(xué)形態(tài)學(xué)將這些顯著點擴展到顯著區(qū)域.實驗結(jié)果表明,利用本文算法進行顯著區(qū)域檢測,既能夠抑制復(fù)雜的背景影響,又能全面均勻檢測顯著區(qū)域.本文通過實驗對比,不僅提高了準確性,還簡化了計算,使得該算法在提取尤其是紋理復(fù)雜的圖像的顯著區(qū)域上有重要的作用.

1 Itti L,Koch C,Niebur E.A model of saliency-based visual attention for rapid scene analysis.IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11)：1254-1259.[doi：10.1109/34.730558]

2 Ma YF,Zhang HJ.Contrast-based image attention analysis by using fuzzy growing.Proceedings of the Eleventh ACM International Conference on Multimedia.Berkeley,CA,USA.2003.374-381.

3 Zhai Y,Shah M.Visual attention detection in video sequences using spatiotemporal cues.Proceedings of the 14th ACM International Conference on Multimedia.Santa Barbara,CA,USA.2006.815-824.

4 Goferman S,Zelnik-Manor L,Tal A.Context-aware saliency detection.IEEE Computer Society,2012,34(10)：1915-1926.

5 Goferman S,Zelnik-Manor L,Tal A.Context-aware saliency detection.IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(10)：1915-1926.[doi：10.1109/TPAMI.2011.272]

6 Murray N,Vanrell M,Otazu X,et al.Saliency estimation using a non-parametric low-level vision model.Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition.Colorado Springs,CO,USA.2011.433-440.

7 Cheng MM,Zhang GX,Mitra NJ,et al.Global contrast based salient region detection.Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition.Colorado Springs,CO,USA.2011.409-416.

8 He X,Jing HY,Han Q,et al.Salient region detection combining spatial distribution and global contrast.Optical Engineering,2012,51(4)：047007.[doi：10.1117/1.OE.51.4.047007]

9 Bharath R,Nicholas LZJ,Cheng X.Scalable scene understanding using saliency-guided object localization.Proceedings of the 10th IEEE International Conference on Control and Automation.Hangzhou,China.2013.1503-1508.

10 Deng H,Sun XP,Liu ML,et al.Image enhancement based on intuitionistic fuzzy sets theory.IET Image Processing,2016,10(10)：701-709.[doi：10.1049/iet-ipr.2016.0035]

11 Achanta R,Hemami S,Estrada F,et al.Frequency-tuned salient region detection.IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2009).IEEE.2009.1597-1604.

12 Deng H,Deng WK,Sun XP,et al.Mammogram enhancement using intuitionistic fuzzy sets.IEEE Transactions on Biomedical Engineering,2017,64(8)：1803-1814.[doi：10.1109/TBME.2016.2624306]

13 Deng H,Duan CH,Zhou X.A novel fuzzy enhancement of mammograms.Proceedings of 2015 IET International Conference on Biomedical Image and Signal Processing.Beijing,China.2015.1-5.

14 Avidan S,Shamir A.Seam carving for content-aware image resizing.ACM Transactions on Graphics,2008,26(3)：10.[doi：10.1145/1276377]

15 Harris C,Stephens M.A combined corner and edge detector.Proceedings of the Fourth Alvey Vision Conference.Manchester,UK.1988.147-151.

16 Lee MS,Medioni G.Grouping into regions,curves,and junctions.Computer Vision and Image Understanding,1999,76(1)：54-69.[doi：10.1006/cviu.1999.0787]

17 Reisfeld D,Wolfson H,Yeshurun Y.Context-free attentional operators：The generalized symmetry transform.International Journal of Computer Vision,1995,14(2)：119-130.[doi：10.1007/BF01418978]

18 Kadir T.Scale,Saliency and Scene Description[Master’s Thesis].Oxford：University of Oxford,2002.

19 劉瑩,張久東,周衛(wèi)紅.Harris角點檢測算法的優(yōu)化研究.云南民族大學(xué)學(xué)報(自然科學(xué)版),2011,20(2)：136-138.

20 屈喜文.一種改進的Harris角點檢測方法.機電技術(shù),2011,20(2)：136-138.