李　璐，溫　靜，王文劍

山西大學計算機與信息技術學院，太原030006

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology 1673-9418/2016/10(03)-0398-09

?

基于視覺顯著性的目標分割算法*

李璐，溫靜+，王文劍

山西大學計算機與信息技術學院，太原030006

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology 1673-9418/2016/10(03)-0398-09

E-mail: fcst@vip.163.com

http://www.ceaj.org

Tel: +86-10-89056056

* The National Natural Science Foundation of China under Grant Nos. 61201453, 61303091, 61273291,61401265 (國家自然科學基金); the Specialized Research Fund for the Doctoral Program of Higher Education of China under Grant No. 20121401120015 (高等學校博士學科點專項科研基金); the Basic Research Program of Shanxi Province under Grant No. 2014021022-2 (山西省基礎研究計劃項目); the Scientific and Technological Innovation Program of Higher Education Institutions in Shanxi Province under Grant No. 2015108 (山西省高等學校科技創(chuàng)新項目); the Research Project Supported by Shanxi Scholarship Council of China under Grant No. 2012-008 (山西省回國留學人員科研資助項目).

Received 2015-04,Accepted 2015-06.

CNKI網(wǎng)絡優(yōu)先出版: 2015-06-05, http://www.cnki.net/kcms/detail/11.5602.TP.20150605.1708.003.html

摘要：傳統(tǒng)的圖像分割算法在分割前需要輸入目標的先驗信息，因此不適應盲圖像的分割。為此，提出了一種基于顯著性的圖像分割算法，主要借鑒人的注意力機制將圖像中具有視覺顯著性的區(qū)域分割出來。首先，book=399,ebook=103利用Gist全局特征獲取目標圖像的相似圖像集；然后，結合尺度不變特征SURF（speeded up robust features）和Lab顏色模型空間特征對目標圖像內以及相似圖像集提取顯著性特征，并根據(jù)顯著性塊頻率低的原理進行顯著性分割；最后，結合圖分割獲得最終的顯著性區(qū)域分割結果。實驗結果表明該方法適用于具有顯著性視覺語義的盲圖像。

關鍵詞：顯著性；SURF；Gist；圖論

1　引言

隨著圖像數(shù)量的迅猛增長，圖像處理的應用越來越廣泛，而圖像處理中的許多問題都是以圖像分割為基礎的，圖像分割的好壞將直接影響后續(xù)的圖像處理。

圖像分割是將圖像中有意義的特征或區(qū)域提取出來的過程，傳統(tǒng)的圖像分割方法中有基于閾值的[1]、基于邊緣的[2]或者兩者結合的圖像分割方法；結合特定理論的圖像分割方法中有基于數(shù)學形態(tài)學的[3-4]、基于模糊理論的[5-6]、基于圖論的[7-8]以及基于支持向量機的[9-10]圖像分割方法，這些方法都會用到目標的先驗性信息，有些是圖像的原始特征，如像素的灰度值、物體輪廓、顏色、反射特征和紋理等，也有些是空間頻譜等，如直方圖特征。自從1985年，Koch和Ullman提出了顯著性區(qū)域本質上與它周圍的區(qū)域是明顯不同的這一特征，許多研究者都開始研究這一特征，進而產生了許多此類型的模型[11-14]。視覺系統(tǒng)可以快速而有效地獲取有用的視覺信息進行研究，而這項研究主要源于目標文本或圖像異常值會吸引人注意這一特點，可以在沒有先驗性信息的情況下進行圖像分割。為此本文提出了一種基于圖像顯著性的圖像分割算法，主要借鑒人的注意力機制對圖像中具有顯著性視覺語義的盲圖像進行分割。首先，利用Gist全局特征[15]獲取目標圖像的相似圖像集，它是一種紋理特征，可以根據(jù)圖像的輪廓找到與目標圖像場景最相似的圖像，有效地提高在圖像采樣后計算顯著度的準確率和效率。隨之，結合尺度不變特征SURF （speeded up robust features）[16-18]和Lab顏色模型空間特征對目標圖像內以及相似圖像集提取顯著性特征。由于SURF特征是一種圖像局部特征向量，并且這種特征具有尺度不變，圖像旋轉不變和視角不變性，以及良好的特征提取速度，本文采用該方法進行特征提取，之后與Lab色彩模型空間特征在紋理和色彩上，實現(xiàn)目標圖像內以及相似圖像集的特征提取。然后，根據(jù)顯著性塊頻率低的原理進行顯著性分割。最后，與圖分割[19]獲得的區(qū)域標注結果相結合，輸出最終的顯著性區(qū)域分割結果。

本文首先介紹了圖像分割的意義和研究現(xiàn)狀，闡述了本文的主要內容和框架；其次介紹了顯著性特征提取使用的方法；再次介紹了基于顯著性的圖像分割算法；最后給出了實驗結果與分析。

2　顯著性特征提取

2.1 Gist相似圖像集

人類能夠在短時間內完成圖像場景分類的關鍵在于其快速獲取場景要點語義的能力。Gist[15]體現(xiàn)了場景分類建模過程中圖像的全局意義，避開了對單個目標或區(qū)域的分割和處理，模擬人的視覺提取圖像中粗略但簡明扼要的上下文信息。

2.1.1圖像的全局Gist特征提取

對于一幅大小為r′c的灰度圖像f(x，y)，用m尺度n方向的Gabor濾波器組gmn(x，y)[20]進行濾波，即分別同nc個通道的濾波器進行卷積，其中nc=m′n，再級聯(lián)卷積的結果，稱為圖像Gis（tIG）特征，即：

其中，cat為級聯(lián)運算符；*為卷積運算符；GI的維數(shù)為nc′r′c。

本文采用Oliva和Torralba[15]的規(guī)則網(wǎng)格方法，將r′c的圖像f(x，y)劃分成np′np的規(guī)則網(wǎng)格，各網(wǎng)格塊按行依次記作Pi，其中i=1，2，...，ng；網(wǎng)格塊大小為r′′c′，其中r′=r/np，c′=c/np；并用nc個通道的Gabor濾波器對圖像進行濾波獲得圖像的全局Gist特征，則每個網(wǎng)格塊各通道濾波后級聯(lián)獲得塊Gist（PG）特征，即：其中，Gp的維數(shù)為nc′r′′c′，且Gp是GI的子集。通過Gabor濾波器組提取特征的過程圖和效果圖分別如圖1和圖2所示。

Fig.1　 Extraction process of global Gist features圖1　全局Gist特征的提取過程

Fig.2　 Division of 16 blocks and global Gist features extracted by Gabor filters圖2　將圖片劃分為16塊并經過Gabor濾波器得到的全局Gist特征

各通道濾波結果取均值后按行組合的結果稱為全局Gist（GG）特征，即：

GG的維數(shù)為nc′ng。

2.1.2 Gist相似圖像集搜索

通過計算圖像的Gist特征，并結合圖像的Lab顏色信息，對目標圖像進行相似圖集搜索的過程如圖3所示。

Fig.3　 Gist similar sets searching process圖3　獲得圖像相似圖像集DI的過程

步驟1對目標圖像I提取Gist特征和Lab顏色特征，結合后得到目標圖像的特征IGG+Lab。

步驟2對圖像集D中的每一張圖片分別提取Gist特征和Lab特征，得到每張圖像的特征DGG+Lab。

步驟3對目標圖像的特征和圖像集中每張圖片的特征計算歐式距離，取其中距離最近的N張圖片作為目標圖像的相似圖像DI。

2.2計算圖像顯著值

根據(jù)顯著性塊頻率低的原理分析可知，若目標圖像塊在相似圖像集中匹配頻率高，則該塊的顯著性低，反之，則顯著性高。因而，需要對圖像塊提取特征，計算目標圖像塊和相似圖像集中塊的匹配度，以獲得目標圖像塊的顯著性。

本文選用了具有尺度、旋轉不變性的SURF特征[16]與Lab色彩模型空間特征相結合的特征作為圖像塊特征，并使用了Kd-樹算法[21]進行特征點匹配。

給定一幅目標圖像I和一個圖像集D，希望找到目標圖像I的顯著圖SI，為此給出以下定義。

定義1（顯著性塊）圖像I中的顯著性塊在相似圖像集DI中存在的頻率px非常低。

這里的相似圖片集DI是包含目標圖像I和其他根據(jù)Gist全局特征和Lab特征得到的一類圖片。

為了有效計算px，它的計算公式為：

其中，d(x，y)為兩個塊之間的歐式距離；Nm(x，DI{I})是除了目標圖像本身外的m個最相似圖片中的塊；dI(x，y)是根據(jù)目標圖像本身得到的空間距離上的偏移：

其中，c是常數(shù)；l(×)為歸一化后圖片中塊的坐標。

px若為一個高的值，則表明該塊x在圖片中是不顯著的，塊x的顯著性值為：

Sx=1-px（6）

考慮到顯著性目標尺度上的變化，在幾種不同尺寸（本文采用4種尺寸：1.0，0.8，0.5，0.3）下，用n′n（本文采用7×7和16×16）大小，步長為4的塊進行遍歷，最后計算目標塊的顯著性值Sx，并平均這幾個值作為該塊的顯著性-Sx。

3　基于顯著性的圖像分割算法

基于顯著性的圖像分割算法的主要思想是將圖像顯著性問題轉化為采樣問題，在不同的尺寸下對待分割圖像和相似圖像集中的圖像進行采樣，然后提取圖像塊的SURF特征，并進行匹配獲得顯著性值，隨后將得到的顯著性值和得到的圖像區(qū)域標記進行加權平均，得到最終的顯著性圖。其中，為了指引顯著性區(qū)域的分割，借鑒圖分割的方法[19]來實現(xiàn)對圖像區(qū)域的標記。分割算法的步驟如圖4所示。

基于顯著性的圖像分割算法的步驟如下：

步驟1尋找相似圖像集DI。對圖像集D中的圖片進行預處理，使用Gist方法提取全局特征和色彩空間Lab特征，得到DGG+Lab，方便調用并加速程序運行。采用同樣的方法獲得待分割圖像I的Gist全局特征和Lab特征IGG+Lab，計算目標圖像I與圖片集D中每個圖像上述特征之間的歐氏距離，獲取前20張圖像作為目標圖像的相似圖像集DI。

步驟2標記超像素區(qū)域L。對目標圖像I進行基于圖的圖像分割，得到超像素塊L。

步驟3求待分割圖像的顯著性值SalAI。將待分割圖像I在4種不同尺寸（1.0，0.8，0.5，0.3）下，重復步驟4，完成后，將4個S進行平均，得到待分割圖像的顯著性值SalAI。

步驟4按尺寸為7′7的塊，步長為4進行遍歷，得到SURF特征和Lab特征相結合的塊特征集ISURF+Lab（每個塊的特征值表示為3×42+64）。對相似圖像集DI在3種不同的尺寸下，分別按尺寸為16×16的塊，步長為4進行遍歷，得到SURF特征和Lab特征相結合的塊特征集DI_SURF+Lab。最后，根據(jù)ISURF+Lab和DI_SURF+Lab對待分割圖像的每一個塊與DI中的每個塊計算相似度值px，獲得每塊的顯著性值Sx（式（6）），從而得到整幅圖像的顯著性值S。

步驟5求待分割圖像的顯著性值的偏移值SalWI。因為獲取顯著性值是在不同尺寸下進行的，會造成一定的偏移，所以需要求取偏移值。將待分割圖像I 在4種不同尺寸（1.0，0.8，0.5，0.3）下，重復步驟6，完成后，將4個S′進行平均，得到待分割圖像的顯著性值SalWI。

步驟6按尺寸為7×7的塊，步長為4進行遍歷，得到SURF特征和Lab特征相結合的塊特征集ISURF+Lab（每個塊的特征值表示為3×42+64）。對待分割圖像在3種不同的尺寸下，分別按尺寸為16×16的塊，步長為4進行遍歷，得到SURF特征和Lab特征相結合的塊特征集DI_SURF+Lab′。最后，根據(jù)ISURF+Lab和DI_SURF+Lab′對待分割圖像的每一個塊與不同尺寸下圖片中的每個塊計算相似度值px'，獲得每塊的顯著性值Sx'（式（6）），從而得到整幅圖像的顯著性值S′。

步驟7將SalAI和SalWI分別與L加權平均，得到初始顯著性圖SAI和顯著性偏差圖SWI。

步驟8將SWI和SAI以相加的方式結合，得到最終的顯著性圖SI。

Fig.4　 Object segmentation圖4　目標分割過程

4　實驗結果與分析

為了驗證本文算法的有效性，實驗采用PASCAL VOC 2012數(shù)據(jù)集[22]。該數(shù)據(jù)集主要用來實現(xiàn)圖像分類，因此數(shù)據(jù)集中的目標存在多視角、光照變化劇烈以及背景復雜等多種因素的干擾。

實驗1按照數(shù)據(jù)集中的類別，在20類圖像中選取部分實驗結果，如圖5所示。圖5展示了實驗結果中的45張圖片，分別為原圖、顯著性圖、分割結果圖。實驗結果顯示本文方法對具有顯著視覺語義的圖像具有很好的分割效果，然而對于視覺語義不明確的圖片無法獲得顯著性較強的結果。實驗結果證明本文方法可以成功地實現(xiàn)圖像分割。

實驗2為了驗證本文方法的有效性，對比了Zhang等人提出的SUNDAy方法[23]。分別將數(shù)據(jù)集中的圖片分為室內和室外場景，其中室外和室內實驗的部分分割結果分別如圖6和圖7所示。由圖中可以看出，本文方法得到的顯著性圖的輪廓更為清晰精確，沒有太多的噪音，而且得到的顯著性是區(qū)域性的，更有利于進行圖像分割。

由圖6可知，在室外場景中，以天空、大海等比較空曠的場景作為背景的，可以非常清楚準確地將圖中顯著性區(qū)域檢測出來；一些背景顯著性稍強的圖片，也可以檢測出易于區(qū)分的顯著性區(qū)域；一些前后景顯著性對比不是特別強的圖片會檢測出較多的背景區(qū)域；而在室外少見的復雜場景中，前后景顯著性區(qū)分不大，不能分割出想要的區(qū)域；在室外最少見的復雜場景中，背景對于目標顯著性很低，可以成功將目標分割出來。

Fig.5　 Part results of image segmentation圖5　圖像分割部分實驗結果

由圖7可知，在室內場景中，對于一些背景簡單的圖像，易于檢測圖像的顯著性區(qū)域，但是由于人影相對背景來說也表現(xiàn)為顯著性，導致人影部分也被分割出來；對于室內場景中經常出現(xiàn)的復雜場景，分割出來的部分并沒有清楚的邊界；但是在一些即使場景復雜但是前后景顯著性差別很大的圖像，可以清楚地分割出目標；由于環(huán)境比較復雜，一些在人眼看來并不是顯著的區(qū)域會被檢測出來，出現(xiàn)誤檢；或者由于光線等原因，人們想要得到的區(qū)域并沒有被檢測出來。

Fig.6　 Comparison result for indoor images圖6　提取室外場景顯著圖結果比較

Fig.7　 Comparison result for outdoor images圖7　提取室外場景顯著圖結果比較

5　結論

本文將視覺顯著性特征運用到圖像分割中，首先，利用Gist全局特征獲取目標圖像的相似圖像集；然后，結合尺度不變特征SURF和Lab顏色模型空間特征對目標圖像內以及相似圖像集提取顯著性特征，并根據(jù)顯著性塊頻率低的原理進行顯著性分割；最后，結合圖分割獲得最終的顯著性區(qū)域分割結果。實驗結果表明，本文算法根據(jù)人的視覺顯著性，在對圖像沒有任何先驗信息時，能獲得符合人視覺感知特性的顯著性區(qū)域分割，并且由于使用了SURF的特征提取方法，速度比較快。本文算法基本適應于具有顯著性視覺語義的盲圖像。

References:

[1] Sonka M, Hlavac V, Boyle R. Image processing, analysis, and machine vision[M]. [S.l.]: Cengage Learning, 2014.

[2] Xue Wenge, Kuang Tianfu. Research on image edge detec-tion[J]. Computer Knowledge and Technology, 2007, 16: 133.

[3] Serra J. Mathematical morphology[M]. London, UK:Academic Press, 1982.

[4] Serra J. Image analysis and mathematical morphology[M]. London, UK:Academic Press, 1982.

[5] Masooleh M G, Moosavi SAS.An improved fuzzy algorithm for image segmentation[J]. Proceedings of World Academy of Science, Engineering and Technology, 2008, 28(4): 400-404.

[6] Wang Yanchun, Liang Dequn, Wang Yan. The transition region extraction and segmentation based on image entropy neighborhood of fuzzy entropy[J]. Chinese Journal of Electronics, 2008, 36(12): 2245-2249.

[7] Hu Xuegang, Sun Huifen, Wang Shun.Anew image segmentation algorithm based on graph theory[J]. Journal of Sichuan University: Engineering Science Edition, 2010, 42 (1): 138-142.

[8] Liu Songtao, Yin Fuliang. Image segmentation based on graph cut and its new progress[J]. Journal of Automation, 2012, 38(6): 911-922.

[9] Yang Najuan, Wang Huiqin, Ma Zongfang. Fire detection in image type algorithm based on support vector machine[J]. Computer Application, 2010, 30(4): 1129-1131.

[10] Liu Ting, Wen Xianbin, Quan Jinjuan, et al. Multiscale SAR image segmentation using support vector mchines[C]//Congress on Image and Signal Processing, Sanya, China, May 27-30, 2008. Piscataway, USA：IEEE，2008: 706-709.

[11] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254-1259.

[12] Gao Dashan, Mahadevan V, Vasconcelos N. On the plausibility of the discriminant center-surround hypothesis for visual saliency[J]. Journal of Vision, 2008, 8(7): 13.

[13] Bruce N D B, Tsotsos J K. Saliency, attention, and visual search: an information theoretic approach[J]. Journal of Vision, 2009, 9(3): 5.

[14] Torralba A, Oliva A, Castelhano M S, et al. Contextual guidance of eye movements and attention in real-world scenes: the role of global features in object search[J]. Psychological Review, 2006, 113(4): 766-786.

[15] Oliva A, Torralba A. Modeling the shape of the scene: a holistic representation of the spatial envelope[J]. International Journal of Computer Vision, 2001, 42(3): 145-175.

[16] Bay H, Tuytelaars T, van Gool L. SURF: speeded up robust features[C]//LNCS 3951: Proceedings of the 9th European Conference on Computer Vision, Graz, Austria, May 7-13, 2006. Berlin, Heidelberg: Springer, 2006: 404-417.

[17] Lowe D G. Object recognition from local scale-invariant features[C]//Proceedings of the 7th IEEE International Conference on Computer Vision, Kerkyra, Greece, Sep 20-27, 1999. Piscataway, USA: IEEE, 1999: 1150-1157.

[18] Wang Yongming, Wang Guijin. Image local invariance features and description[M]. Beijing: National Defense Industry Press, 2010.

[19] Felzenszwalb P F, Huttenlocher D P. Efficient graph-based image segmentation[J]. International Journal of Computer Vision, 2004, 59(2): 167-181.

[20] Jain A K, Ratha N K, Lakshmanan S. Object detection using Gabor filters[J]. Pattern Recognition, 1997, 30(2): 295-309.

[21] Zhou Kun, Hou Qiming, Wang Rui, et al. Real-time KD-tree construction on graphics hardware[J]. ACM Transactions on Graphics, 2008, 27(5): 126-136.

[22] Everingham M, van Gool L, Williams C, et al. Pascal visual object classes challenge results[EB/OL]. (2005)[2015-02-05]. http://www.pascal-network.org/challenges/VOC/.

[23] Zhang Lingyun, Tong M H, Cottrell G W. SUNDAy: saliency using natural statistics for dynamic analysis of scenes[C]// Proceedings of the 31st Annual Cognitive Science Conference. Cambridge, USA:AAAI Press, 2009: 2944-2949.

附中文參考文獻：

[2]薛文格,鄺天福.圖像邊緣檢測方法研究[J].電腦知識與技術, 2007, 16: 133.

[6]王彥春,梁德群,王演.基于圖像模糊熵鄰域非一致性的過渡區(qū)提取與分割[J].電子學報, 2008, 36(12): 2245-2249.

[7]胡學剛,孫慧芬,王順.一種新的基于圖論的圖像分割算法[J].四川大學學報:工程科學版, 2010, 42(1): 138-142.

[8]劉松濤,殷福亮.基于圖割的圖像分割方法及其新進展[J].自動化學報, 2012, 38(6): 911-922.

[9]楊娜娟,王慧琴,馬宗方.基于支持向量機的圖像型火災探測算法[J].計算機應用, 2010, 30(4): 1129-1131.

[18]王永明,王貴錦.圖像局部不變性特征與描述[M].北京:國防工業(yè)出版社, 2010.

LI Lu was born in 1989. She is an M.S. candidate at School of Computer and Information Technology, Shanxi University. Her research interest is computer vision.李璐（1989—），女，山西晉中人，山西大學計算機與信息技術學院碩士研究生，主要研究領域為計算機視覺。

WEN Jing was born in 1982. She received the Ph.D. degree from School of Electronic Engineering, Xidian University in 2010. Now she is an assistant professor and M.S. supervisor at Shanxi University, and the member of CCF. Her research interests include computer vision, image processing and pattern recognition, etc.溫靜（1982—），女，山西晉中人，2010年于西安電子科技大學電子工程學院獲得博士學位，現(xiàn)為山西大學計算機與信息技術學院副教授、碩士生導師，CCF會員，主要研究領域為計算機視覺，圖像處理，模式識別等。主持和參與多項國家自然科學基金、教育部博士點基金、山西省自然科學基金等項目。

WANG Wenjian was born in 1968. She received the Ph.D. degree from Institute for Information and System Science, Xi’an Jiaotong University in 2004. Now she is a professor and Ph.D. supervisor at School of Computer and Information Technology, Shanxi University, and the senior member of CCF. Her research interests include neural networks, support vector machine, machine learning theory and environmental computations, etc.王文劍（1968—），女，山西太原人，2004年于西安交通大學信息與系統(tǒng)科學研究所獲得博士學位，現(xiàn)為山西大學計算機與信息技術學院教授、博士生導師，CCF高級會員，主要研究領域為神經網(wǎng)絡，支持向量機，機器學習理論，環(huán)境計算等。在國內外重要學術刊物和國際會議上發(fā)表論文70余篇，主持和參與多項國家自然科學基金、國家863計劃、教育部博士點基金、山西省自然科學基金等項目。

Image Segmentation Algorithm Based on Visual Saliency?

LI Lu, WEN Jing+, WANG Wenjian
School of Computer and Information Technology, Shanxi University, Taiyuan 030006, China
+ Corresponding author: E-mail: wjing@sxu.edu.cn

LI Lu, WEN Jing, WANG Wenjian. Image segmentation algorithm based on visual saliency. Journal of Frontiers of Computer Science and Technology, 2016, 10(3)：398-406.

Abstract:Because the traditional image segmentation algorithms need the prior information of the object of interest, they usually fail to segment satisfactorily in blind images. In order to obtain the salient regions without prior, this paper proposes a salient image segmentation algorithm based on the human visual attention mechanism. Firstly, the global Gist feature is extracted to collect the correlative image set of the target image. Secondly, the salient region of the target image is computed and extracted in both target image and correlative image set by combining scale invariant feature SURF (speeded up robust features) and Lab color model space feature. Finally, the salient object can be segmented with the assistance of the efficient graph-based image segmentation. The experimental results show that the proposed method is applicable to the blind image which is visual salient semantic.

Key words:saliency; speeded up robust features (SURF); Gist; graph theory

doi:10.3778/j.issn.1673-9418.1505016

文獻標志碼：A

中圖分類號：TP391