范 濤，朱 煜

(華東理工大學(xué) 信息科學(xué)與工程學(xué)院，上海 200237)

一種高效的圖像顯著性檢測算法

范 濤，朱 煜

(華東理工大學(xué) 信息科學(xué)與工程學(xué)院，上海 200237)

在人眼視覺特性的基礎(chǔ)上，提出了一種高效的圖像顯著性檢測方法。首先通過六邊形簡單線性可迭代聚類(HSLIC)對圖像進(jìn)行預(yù)處理，獲得六邊形的超像素塊；再利用馬氏距離定義顯著塊和背景種子塊之間的距離，生成基于距離加權(quán)的全局顏色對比(GCD)初始顯著圖；然后引入自動細(xì)胞機(jī)模型對顯著圖進(jìn)行優(yōu)化。為進(jìn)一步獲取精確的顯著性區(qū)域，提出一種改進(jìn)的粒子群優(yōu)化算法(NPSO)對顯著圖進(jìn)行分割。所提出的算法在MSRA-5000和ECSSD數(shù)據(jù)庫進(jìn)行測試及比對分析。實(shí)驗(yàn)的結(jié)果表明，提取的顯著圖效果優(yōu)異。

顯著性檢測； 超像素分割； 全局顏色對比； 自動細(xì)胞機(jī)； 改進(jìn)的粒子群優(yōu)化算法

0 引 言

隨著人工智能和計算機(jī)視覺的高速發(fā)展，圖像顯著性檢測受到了越來越多的學(xué)者和專家的關(guān)注和研究。對圖像和視頻顯著性檢測的研究始于上世紀(jì)90年代，經(jīng)過多年研究，已經(jīng)有了很大的進(jìn)展。目前顯著性檢測已經(jīng)被廣泛應(yīng)用在圖像處理領(lǐng)域。

1998年Itti等[1]提出了ITTI顯著性檢測模型，但是這種模型計算的復(fù)雜度高，檢測的效果不太理想。2007年Hou等[2]提出了剩余頻譜(Spectral Residual，SR)顯著性檢測算法，通過對圖像的頻域進(jìn)行分析得到圖像顯著圖。隨著研究的深入，學(xué)者們發(fā)現(xiàn)對比度計算是圖像顯著性檢測的核心?；谙袼氐娘@著性檢測模型計算復(fù)雜度高，而且檢測效果不理想，Cheng等[3]在超像素計算的基礎(chǔ)上提出了基于區(qū)域?qū)Ρ榷鹊乃惴ǎ撍惴ㄅc傳統(tǒng)基于像素計算的顯著性檢測模型相比較不但計算的復(fù)雜度減小，而且得到顯著圖的效果有了較大提高。但是，以上這些方法在對背景復(fù)雜圖像的顯著性檢測效果不理想，不能很好地去掉背景信息，Yang等[4]引入了MR(Manifold Ranking)模型，在計算圖像的顯著圖時考慮到圖像顯著區(qū)域塊和圖像邊緣塊的之間的相關(guān)性，得到效果不錯的顯著圖。文獻(xiàn)[5]中提出通過自動細(xì)胞機(jī)模型[6-7]對顯著圖進(jìn)行優(yōu)化，檢測效果得到了顯著的提高。文獻(xiàn)[8]中利用PSO(Particle Swarm Optimization)對圖像進(jìn)行分割，然而PSO有容易陷入局部最優(yōu)的缺點(diǎn)，文獻(xiàn)[9-10]中通過引入慣性權(quán)重w解決PSO容易陷入局部最優(yōu)的缺點(diǎn)，同時論證了w對PSO影響很大，w太大會削弱局部尋優(yōu)能力；w太小，全局尋優(yōu)能力就會下降，如何選取合適的w值成為研究熱點(diǎn)。

本文利用在簡單線性可迭代聚類(Simple Linear Iteration Clustering，SLIC)[11]基礎(chǔ)上改進(jìn)的六邊形可迭代聚類[12](Hexagon Simple Linear Iteration Clustering，HSLIC)算法對輸入圖像進(jìn)行預(yù)處理，獲得更加切合人眼特性的超像素塊。然后利用馬氏距離去定義圖像中超像素塊與圖像背景種子塊之間的相似度，再引入自動細(xì)胞機(jī)模型，優(yōu)化顯著圖。最后，提出一種Novel PSO(NPSO)算法，對顯著圖進(jìn)一步優(yōu)化。

1 顯著性檢測算法

1.1圖像與背景超像素對比計算初始顯著圖

圖像的前景和圖像的背景有著較大的對比度，如果能夠得到圖像的背景，就可以通過對比度的計算得到圖像的顯著圖。心理學(xué)家通過大量研究發(fā)現(xiàn)，人眼具有中心偏好的視覺特性，圖像的邊緣不容易引起人眼的關(guān)注，所以圖像的邊緣可以很好地作為圖像背景[13]。本文算法首先利用HSLIC算法對圖像進(jìn)行預(yù)處理，得到比SLIC更符合人眼特性的六邊形超像素塊，選取圖像的邊緣超像素塊作為圖像背景種子，為了得到更好的全局顏色對比圖(Global Color Distinction，GCD)，需要對圖像的背景種子進(jìn)行優(yōu)化。本文通過K-means把圖像的背景種子分為k個簇，每個簇里超像素的個數(shù)為nk，在得到的k個邊緣簇的基礎(chǔ)上，得到k個不同的全局的顏色對比圖。第k個GCD的元素Sk,i通過下式計算：

(1)

式中：Sk,i代表超像素i在第k個GCD矩陣中的顯著值；δ1、β是常數(shù)，為平衡權(quán)重因子[5]。本文設(shè)置δ1=0.2，β∈[7，15]；dis(ci,cj)通過下式計算，代表超像素i和超像素j在CIELAB空間顏色特征的馬氏距離，

(2)

一般認(rèn)為空間距離越遠(yuǎn)的2個超像素塊的相似度越小，因此很有必要通過構(gòu)建全局空間距離(Global Spacial Distance，GSD)矩陣W優(yōu)化GCD。優(yōu)化的過程可以通過下式來表達(dá)：

(3)

式中：Wk,i表示超像素i與圖像k個背景簇里面所有的背景種子空間距離，

(4)

(a)輸入圖像(b)HSLIC分割效果(c)基于背景的顯著圖(d)標(biāo)注圖

圖1 圖像與背景超像素對比計算得到的初始顯著圖

1.2自動細(xì)胞機(jī)優(yōu)化顯著圖

由圖1可見，顯著性檢測的結(jié)果會有背景殘留。為了進(jìn)一步去除背景信息，可以利用自動細(xì)胞機(jī)對之前得到的顯著性檢測結(jié)果進(jìn)一步優(yōu)化。本文以超像素為基本單元，通過影響因子矩陣和相關(guān)矩陣構(gòu)建自動細(xì)胞機(jī)模型。

1.2.1影響因子矩陣

以超像素塊為基本單元的自動細(xì)胞機(jī)模型中，某一細(xì)胞單元的下一個狀態(tài)受鄰域范圍內(nèi)顏色特征與其相似的細(xì)胞單元的影響更大。鄰域超像素之間的影響因子由下式定義：

(5)

式中：NB(i)表示超像素的鄰域集合；ci和cj分別表示超像素i和j在CIELAB空間的顏色特征信息；dis(ci,cj)為超像素i和j顏色特征的馬氏距離，設(shè)置δ3=0.3。通過式(5)計算出圖像中所有的影響因子，構(gòu)建影響因子矩陣。

1.2.2相關(guān)矩陣

考慮到每一個細(xì)胞的下一個狀態(tài)是由當(dāng)前狀態(tài)和它的鄰域細(xì)胞的狀態(tài)決定的，需要引入一個相關(guān)矩陣來平衡這兩個決定因素。如果一個細(xì)胞單元特征與鄰域細(xì)胞單元有很大的差別，那么這個細(xì)胞的下一個狀態(tài)就會主要由自己決定；相反，如果一個細(xì)胞的特征和鄰域細(xì)胞單元特征相似，那么它將會被自己的鄰域所同化。構(gòu)建相關(guān)矩陣，由下式表達(dá)：

ci=1/maxfij

(6)

為了控制ci∈[b,a+b]，通過下式對ci進(jìn)行歸一化：

(7)

1.2.3同步更新準(zhǔn)則

1.3改進(jìn)的粒子群算法獲取精確顯著性區(qū)域

從圖2可以看出，顯著性檢測的效果得到了很大提高，但是對于背景復(fù)雜、背景和前景的對比度不高的圖像，還是會出現(xiàn)背景殘留，而且得到的顯著圖的邊緣不夠清晰。本文利用一種改進(jìn)的PSO(NPSO)優(yōu)化前面獲得的顯著圖。NPSO引入慣性權(quán)重 解決PSO容易陷入局部最優(yōu)的缺點(diǎn)。NPSO通過下式更新粒子的位置和速率：

(8)

(9)

式中：c1、c2為加速因子；rand1,rand2為一個隨機(jī)數(shù)，范圍在[0,1]之間；Pbest為個體最優(yōu)值；gbest為整個群體的最優(yōu)值；t為當(dāng)前迭代的次數(shù)。

本文提出在圖像不同區(qū)域采用不同的讓PSO算法同時具有較好的局部尋優(yōu)能力和全局尋優(yōu)能力。首先，利用K-means將輸入圖像分為K個cluster，本文設(shè)置K=3，分別求每個簇上粒子的平均適應(yīng)值fitnessi(i=1,2,…,K)，如果fitness1gt;fitness2gt;fitness3，那么分別通過式(10)～(12)調(diào)整cluster 1～3中粒子的慣性權(quán)重w:

(10)

(11)

(12)

式中：wmax1∈[1.2，1.5]，wmax2∈[0.6，1.0]，wmax3∈[0.4，0.6]，k1∈[1，3]，k2∈[0，0.1]，k為fi的值小于2倍fgbest值的粒子的數(shù)目；fl為當(dāng)前粒子的適應(yīng)值；fgbest為全局最優(yōu)的適應(yīng)值。在尋優(yōu)過程中，如果當(dāng)前簇粒子平均適應(yīng)值較大，采用式(10)調(diào)整慣性系數(shù)w，降低尋優(yōu)速度，同樣如果當(dāng)前簇粒子平均適應(yīng)值過小，采用式(12)調(diào)整慣性系數(shù)，增尋優(yōu)速度。本文提出的NPSO采用自適應(yīng)調(diào)整慣性系數(shù)策略，在圖像的不同區(qū)域，根據(jù)當(dāng)前區(qū)域粒子的平均適應(yīng)值大小，自適應(yīng)調(diào)整尋優(yōu)的速度，有效避免了PSO容易陷入局部最優(yōu)的缺點(diǎn)，而且還能保持不錯的全局尋優(yōu)能力。由圖2可以發(fā)現(xiàn)，通過這種改進(jìn)的PSO對圖像進(jìn)行優(yōu)化，得到了更好的顯著圖。

(a)

(b)

(c)

(d)

(e)

(a) 輸入圖像，(b) 基于SLIC和細(xì)胞自動機(jī)得到的顯著圖，(c) 基于HSLIC和細(xì)胞自動機(jī)得到的顯著圖，(d) 在(c)的基礎(chǔ)上通過本文提出的改進(jìn)的PSO算法優(yōu)化后的顯著圖區(qū)域，(e) 標(biāo)注圖
圖2 通過自動細(xì)胞機(jī)和NPSO算法得到最終顯著圖

2 實(shí)驗(yàn)結(jié)果分析

本文在MSRA-5000和ECSSD兩個標(biāo)準(zhǔn)圖像顯著性檢測的數(shù)據(jù)庫中測試算法。MSRA-5000含有5 000幅背景復(fù)雜的圖像，ECSSD數(shù)據(jù)庫里面有1 000幅不同尺度的多目標(biāo)的圖像。本文用查準(zhǔn)率(Precision)、召回率(Recall)、PR曲線評價顯著性檢測的效果。圖3所示展示了不同算法在數(shù)據(jù)集上的PR曲線，通過比較可以發(fā)現(xiàn)，NPSO算法的顯著性檢測效果優(yōu)于其他的算法。圖4所示為NPSO算法得到的實(shí)驗(yàn)結(jié)果圖與其他算法得到的實(shí)驗(yàn)結(jié)果圖的比較。

(a) MSRA-5000

(b) ECSSD數(shù)據(jù)庫圖3 本文算法與其他算法的比較

(a)(b)(c)(d)(e)(f)(g)(h)

(a) 輸入圖像，(b) SR算法得到的顯著圖，(c) FT算法得到的顯著圖，(d) LC算法得到的顯著圖，(e) MR算法得到的顯著圖，(f) 基于HSLIC和自動細(xì)胞機(jī)得到的顯著圖，(g) 本文的算法得到的顯著圖，(h) 標(biāo)注圖
圖4 各種算法得到的實(shí)驗(yàn)結(jié)果圖

利用檢測出的顯著圖和標(biāo)注圖之間的相關(guān)系數(shù)進(jìn)一步評價顯著性檢測效果。圖像的相關(guān)性系數(shù)通過下式計算：

(13)

式中：S(i)是實(shí)驗(yàn)檢測出來的顯著圖；G(i)為標(biāo)注圖；Ug為實(shí)驗(yàn)檢測出來的顯著圖的灰度均值；Us為標(biāo)注圖的灰度均值。

NPSO算法得出的結(jié)果和SR[2]、FT[14]、LC[15]、MR[4]和BSCA[5]等算法的比較結(jié)果見表1?？梢姡琋PSO算法的檢測效果與其他的算法相比較有了明顯的提高。

表1 幾種不同算法得到的顯著圖和標(biāo)注圖之間相關(guān)系數(shù)

3 結(jié) 語

采用HSLIC對圖像進(jìn)行預(yù)處理，得到更加符合人眼特性的超像素塊，利用馬氏距離描述兩個超像素塊之間的相似度，獲得基于距離加權(quán)GCD的初始顯著圖并利用鄰域超像素塊之間相關(guān)性引入自動細(xì)胞機(jī)模型優(yōu)化顯著圖。最后提出一種改進(jìn)的PSO對顯著區(qū)域進(jìn)一步尋優(yōu)，得到更精確的顯著區(qū)域。實(shí)驗(yàn)結(jié)果分析表明，本文提出的顯著圖計算方法得到的顯著圖優(yōu)于其他算法。

[1] Itti L, Koch C, Niebur E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis amp; Machine Intelligence, 1998, 20(11):1254-1259.

[2] Hou Xiaodi, Zhang Liqing.Saliency detection: A spectral residual approach[J].2007 IEEE Conference on Computer Vision and Pattern Recognition, 2007(800):1-8.

[3] Cheng Ming-Ming, Zhang Guo-xin X, Mitra Niloy J,etal.Global contrast based Salient Region Detection[C]//In 2011 IEEE Conference On Computer Vision and Pattern Recognition.IEEE,2011: 409-416.

[4] Yang C, Zhang L, Lu H,etal.Saliency detection via graph-based manifold ranking[C]// Computer Vision and Pattern Recognition.IEEE, 2013:3166-3173.

[5] Qin Y, Lu H, Xu Y,etal.Saliency detection via cellular automata[C]// IEEE Conference on Computer Vision and Pattern Recognition.IEEE, 2015:110-119.

[6] Neumann J V A W.Theory of self-reproducing automata[M].NY: University of Illinois Press, 1966.

[7] Wolfram S.Statistical mechanics of cellular automata[J].Reviews of Modern Physics, 1983, 55(3):601-644.

[8] Su Q, Cheng H, Sun W,etal.A novel PSO algorithm based on the spatial distribution of fitness[C]//International Conference on Information Technology,Computer Engineering and Management Sciences.IEEE, 2011:308-311.

[9] Misra B B, Satapathy S C, Dash P K.Particle swarm optimized polynomials for data classification[C]// International Conference on Intelligent Systems Design and Applications.IEEE Computer Society, 2006:649-654.

[10] Liu J H, Fan X P, Zhi-Hua Q U.New particle swarm optimization algorithm with dynamic change of inertia weights[J].Computer Engineering amp; Applications,2006, 43(7): 68-70.

[11] Achanta R, Shaji A, Smith K,etal.SLIC superpixels compared to state-of-the-art superpixel methods.[J].IEEE Transactions on Pattern Analysis amp; Machine Intelligence, 2012, 34(11):2274-2282.

[12] 魏昱，張彩明.圖像顯著性區(qū)域檢測方法及應(yīng)用研究[D].濟(jì)南：山東大學(xué)，2012.

[13] Wei Y, Wen F, Zhu W,etal.Geodesic saliency using background priors[C]//Computer Vision-ECCV 2012.Springer Berlin Heidelberg, 2012:29-42.

[14] Achanta R, Hemami S, Estrada F,etal.Frequency-tuned salient region detection[C]// Computer Vision and Pattern Recognition, 2009.CVPR 2009.IEEE Conference on.IEEE, 2009:1597-1604.

[15] Zhai Y, Shah M.Visual attention detection in video sequences using spatiotemporal cues[C]// ACM International Conference on Multimedia.ACM, 2006:815-824.

AnEfficientAlgorithmforSaliencyDetection

FANTao,ZHUYu

(School of Information Science and Engineering, East China University of Science and Technology, Shanghai 200237, China)

Saliency detection is the process of simulating the human eye to obtain image information, and is widely used in the field of computer vision.Based on the characteristics of human visual system, this paper presents an efficient method for image saliency detection.Hexagon Simple Linear Iteration Clustering (HSLIC) was used for pre-processing to get hexagonal pixel blocks.Then, the distances between the salient patches and the background seeds were calculated by Mahalanob, and the rough saliency map of global color distinction was obtained based on distance weighting.Next, cellular automata model was applied to optimize the saliency map.To obtain more accurate saliency map, we proposed a method improved by novel PSO algorithm to segment rough saliency map and get a better saliency region.We tested the proposed method on two standard datasets, MSRA-5000 and ECSSD.Experimental results show that the effect of saliency map is better than the state-of-the-art methods.

saliency detection; superpixel segmentation; global color distinction; cellular automata; particle swarm optimization

TP 391.41

A

1006-7167(2017)10-0013-04

2017-03-02

國家自然科學(xué)基金資助項(xiàng)目(61370174)

范 濤(1988-)，男，安徽安慶人，碩士生，主要從事計算機(jī)視覺和圖像處理方面研究。E-mail:348967411@qq.com

朱 煜(1973-)，女，上海人，教授，博士生導(dǎo)師，主要研究興趣為：智能視頻分析與處理，模式識別，數(shù)字圖像處理等。E-mail:zhuyu@ecust.edu.cn