袁小艷 王安志 潘 剛 王明輝

1(四川大學(xué)計(jì)算機(jī)學(xué)院 四川 成都 610064) 2(四川文理學(xué)院智能制造學(xué)院 四川 達(dá)州 635000)

?

顯著性目標(biāo)檢測中的視覺特征及融合

袁小艷1,2王安志1潘 剛2王明輝1

1(四川大學(xué)計(jì)算機(jī)學(xué)院 四川 成都 610064)2(四川文理學(xué)院智能制造學(xué)院 四川 達(dá)州 635000)

顯著性目標(biāo)檢測，在包括圖像/視頻分割、目標(biāo)識別等在內(nèi)的許多計(jì)算機(jī)視覺問題中是極為重要的一步，有著十分廣泛的應(yīng)用前景。從顯著性檢測模型過去近10年的發(fā)展歷程可以清楚看到，多數(shù)檢測方法是采用視覺特征來檢測的，視覺特征決定了顯著性檢測模型的性能和效果。各類顯著性檢測模型的根本差異之一就是所選用的視覺特征不同。首次較為全面地回顧和總結(jié)常用的顏色、紋理、背景等視覺特征，對它們進(jìn)行了分類、比較和分析。先從各種顏色特征中挑選較好的特征進(jìn)行融合，然后將顏色特征與其他特征進(jìn)行比較，并從中選擇較優(yōu)的特征進(jìn)行融合。在具有挑戰(zhàn)性的公開數(shù)據(jù)集ESSCD、DUT-OMON上進(jìn)行了實(shí)驗(yàn)，從PR曲線、F-Measure方法、MAE絕對誤差三個(gè)方面進(jìn)行了定量比較，檢測出的綜合效果優(yōu)于其他算法。通過對不同視覺特征的比較和融合，表明顏色、紋理、邊框連接性、Objectness這四種特征在顯著性目標(biāo)檢測中是非常有效的。

顯著性檢測 視覺特征 特征融合 顯著圖

0 引 言

人類視覺系統(tǒng)可以快速準(zhǔn)確地定位目標(biāo)，顯著性目標(biāo)檢測就是通過模擬人類的這一行為提取較為完整的整體目標(biāo)，即顯著性區(qū)域。早期研究是基于生物刺激模型和評價(jià)人眼固定數(shù)據(jù), 現(xiàn)在研究則側(cè)重于視覺特征的研究，諸如各種顏色特征、紋理特征、形狀特征以及背景特征等, 并且這些特征也應(yīng)用于其他領(lǐng)域，如圖像分割[1]、目標(biāo)跟蹤[2]和行人檢測[3]等。每一種視覺特征都有其自身的特點(diǎn)，但卻無法完整地描述圖像的全部信息，因此多種特征融合的檢測方法勢在必行，能有效提高顯著性檢測的性能和效率，如李波等[4]融合了顏色對比度、分布與背景特征，姜霞霞等[5]融合了結(jié)構(gòu)特征和顏色特征。這些研究都僅僅局限于幾種視覺特征的融合，沒有對視覺特征做進(jìn)一步的研究。

我們該如何從眾多的圖像視覺特征中選擇出合適的特征組合?為了解決這個(gè)問題，文中對目前常用的視覺特征進(jìn)行分析研究，并進(jìn)一步探索這些特征的組合，從而得到顯著圖，其流程如圖1所示。將本文算法在2個(gè)較難的數(shù)據(jù)集ESSCD和DUT-OMON中共計(jì)6 000余張圖像上進(jìn)行測試，并與典型的7個(gè)算法進(jìn)行比較，實(shí)驗(yàn)驗(yàn)證了該算法的有效性，實(shí)驗(yàn)結(jié)果也優(yōu)于這7個(gè)算法。

圖1 本文算法流程圖

1 相關(guān)工作

由于顯著性目標(biāo)檢測的重要性, 越來越多的研究者投入到其中。Itti等[6]采用了顏色、亮度和方向特征融合, 在顯著性檢測方向開創(chuàng)了先河。程明明等[7]提出利用顏色直方圖、顏色對比度來計(jì)算全局特征的顯著性檢測算法。Kim等[8]使用了顏色對比度、顏色直方圖、顏色分布等多種顏色特征和HOG、形狀特征來計(jì)算顏色相似性、差異性, 并進(jìn)行高維顏色轉(zhuǎn)換以得到顯著圖。為了使灰度旋轉(zhuǎn)不變, Ojala等[9]提出了采用均勻LBP直方圖降低噪音, 提取圖像局部的紋理特征。MirmahdaviA等[10]采用Gabor濾波器提取全局紋理特征。針對已有的顯著檢測算法對背景復(fù)雜的圖像檢測效果較差的問題, Wang等[11]提出融合背景概率和Objectness特征的顯著目標(biāo)檢測算法。Jiang等[12]提取了Focusness、Uniqueness、Objectness三種高級特征, 并進(jìn)行融合。Achanta等[13]在頻率域使用顏色和亮度特征計(jì)算中心-環(huán)繞對比度, 計(jì)算非常高效。

2 視覺特征及其融合

2.1 視覺特征

圖像視覺特征是指圖像的屬性數(shù)據(jù), 包含了一定的語義, 可以用來表示圖像內(nèi)容。研究圖像必然會(huì)用到視覺特征, 如顏色、形狀、方向等。每種視覺特征所包含的信息是不同的, 對顯著性檢測的作用也是不同的。

2.1.1 顏色特征

相較于其他特征，人類更容易辨別的是顏色特征，因此顏色特征在圖像處理中被大量使用。顏色特征具有多種顏色空間, 如RGB、HIS、HSV、YIQ、CMY、CIELAB、YUV等。RGB主要描述基礎(chǔ)彩色(紅、綠、藍(lán))的亮度值；HIS和HSV描述顏色的色調(diào)、亮度和飽和度, 主要用于顏色的數(shù)字化處理, 比RGB更接近于人們的經(jīng)驗(yàn)和對彩色的感知。CIELAB是與設(shè)備無關(guān)、基于生理特征的顏色系統(tǒng), 描述顏色的亮度和色度, 其顏色比RGB更豐富。研究發(fā)現(xiàn), 顯著性檢測算法均用到了顏色特征, RGB、HSV、CIELAB是最常用的三種顏色空間, 不同的顏色空間可以相互轉(zhuǎn)換。顏色特征提取的常用方法有顏色對比度、顏色直方圖、顏色分布。

顏色對比度是常用的獲取顏色特征的方法, 用于計(jì)算局部區(qū)域或全局區(qū)域間的顏色相似性和差異性, 即局部顏色對比度和全局顏色對比度, 突出圖像中顯著區(qū)域，展示顯著對象的獨(dú)特性。Kim[8]和Li[14]等利用顏色特征計(jì)算了局部和全局顏色對比度。全局顏色對比度計(jì)算如下:

(1)

局部顏色對比度計(jì)算如下:

(2)

其中dis(ci,cj)是指區(qū)域i和j的顏色值的歐幾里得距離,n是區(qū)域數(shù)量。

loci是區(qū)域i的平均位置,ρi是標(biāo)準(zhǔn)化因子。

顏色直方圖是被廣泛使用的提取顏色特征的方法，用于描述顏色的基本色調(diào)和組成分布、不同色彩在圖像中所占的比例。Kim等[8]計(jì)算了RGB直方圖、LAB直方圖、色調(diào)直方圖和飽和度直方圖。全局直方圖計(jì)算公式如下:

(3)

局部直方圖計(jì)算公式如下:

(4)

其中dis(bi,bj)是指區(qū)域i和j的顏色直方圖bin的卡方距離,n是區(qū)域數(shù)量。

pi是區(qū)域i的平均位置,Zi是標(biāo)準(zhǔn)化因子。

雖然顯著性代表了獨(dú)特性，但非顯著性不一定就不獨(dú)特。前景顏色分布在緊湊區(qū)域，背景顏色卻分布在整張圖像，顏色分布便用于測量前景與背景對象的緊湊型差異。Perazzi[15]和Cheng[16]等提出的顏色分布能夠提高性能，并能更好地體現(xiàn)顯著性目標(biāo)的真實(shí)分布。顏色分布定義如下:

(5)

顏色局部對比度是將穩(wěn)定性較好、可區(qū)分的區(qū)域和周圍的像素、區(qū)域比較，僅在輪廓附近產(chǎn)生高顯著值，對局部差異較大的圖像效果較好。全局對比度是從整體圖像出發(fā), 和整張圖像的其他像素、區(qū)域比較，能夠從背景中突出大規(guī)模目標(biāo)，且較均勻，具有整體一致性。顏色直方圖是采用統(tǒng)計(jì)方法計(jì)算顏色的數(shù)量特征，反應(yīng)顏色的統(tǒng)計(jì)分布，具有計(jì)算方法簡單、平移旋轉(zhuǎn)不變等特性，但其失去了顏色的空間位置，導(dǎo)致不同的圖像可能有相同的顏色直方圖，適合于難以自動(dòng)分割的圖像。顏色對比度測量顏色的差異，但不能反映顏色的空間變化，因此顏色分布可以作為顏色對比度的一個(gè)重要補(bǔ)充。

2.1.2 上下文特征

根據(jù)完形形態(tài)法則, 視覺可能具有一個(gè)或多個(gè)重心, 這表明越接近焦點(diǎn)的區(qū)域越重要。當(dāng)焦點(diǎn)周圍的區(qū)域傳達(dá)上下文時(shí)，就會(huì)獲得我們的注意力，即顯著性。也就是說計(jì)算一個(gè)區(qū)域的顯著性，不需要計(jì)算它與圖形其他所有區(qū)域的差異，只需要計(jì)算與周圍K臨近區(qū)域的差異即可。Goferman等[17]將K取值為64，因此其顯著圖的定義為:

(6)

其中d(si,sk)是區(qū)域Si與它的K臨近區(qū)域Sk的距離。

2.1.3 紋理特征

紋理特征是圖像的一種重要特征，是整張圖像灰度值的分布規(guī)律。通過像素及周圍空間鄰域的灰度分布來實(shí)現(xiàn)的是局部紋理特征。局部紋理不同程度的重復(fù)性, 即全局紋理特征。提取紋理特征常用的方法有Gabor小波和LBP模式。

Gabor小波是一種重要的紋理特征提取方法，選用特定的Gabor函數(shù)，采用尺度伸縮和旋轉(zhuǎn)得到一組Gabor濾波器，實(shí)現(xiàn)圖像多尺度、多方向的特征提取。Riche等[18]在八個(gè)方向(0,22.5,45,67.5,90,112.5,135,157.5)和3個(gè)尺度上采用高斯Gabor濾波器計(jì)算, 產(chǎn)生24張結(jié)果圖, 其邊界衰減為:

(7)

其中φ是相位偏移,α是正弦因子的波長,β是方向(垂直于正弦曲線的角度),δ是空間縱橫比,σ是高斯包絡(luò)的sigma,x′=xcosβ+ysinβ,y′=-xsinβ+ycosβ。最后對這24張結(jié)果圖合并, 得到3個(gè)尺度的方向特征信息，其特征圖如圖2所示。Gabor濾波器還常用于提取形狀特征。

Gabor小波紋理特征是符合人類對頻率的感知機(jī)理的，在空域和頻域都有較好的分辨能力，具有多分辨率特性。LBP紋理特征的原理比較簡單，計(jì)算量小，具有灰度不變性和旋轉(zhuǎn)不變性的優(yōu)點(diǎn),且能在各種光照下工作，但其對圖像的平滑區(qū)域不敏感，需要結(jié)合其他算法。

2.1.4 HOG特征

HOG(方向梯度直方圖)特征是計(jì)算圖像中每個(gè)像素的梯度, 并統(tǒng)計(jì)每個(gè)單元的梯度值進(jìn)行累加。Dalal等[20]計(jì)算每個(gè)像素的梯度時(shí)采用梯度算子[-1,0,1]和[1,0,-1]T與原圖像做卷積運(yùn)算,分別得到x和y方向的梯度分量GDx(x,y)、GDy(x,y), 因此像素點(diǎn)(x,y)的梯度大小和方向?yàn)?

(8)

2.1.5 Objectness特征

Alexe等[21]提出了Objectness特征, 并以此測量一個(gè)像素或區(qū)域周圍存在完整物體的可能性。為了計(jì)算圖像區(qū)域的Objectness值, Jiang等[12]先計(jì)算了像素的Objectness值:

(9)

(10)

其中W是隨機(jī)樣本n個(gè)窗口的集合,wx是W集合中包含像素x的窗口,pro(wx)是窗口w覆蓋一個(gè)物體的概率值,Ψi是協(xié)方差矩陣,wi是窗口,z是歸一化算子。

因此圖像區(qū)域r的Objectness值如下定義:

(11)

2.1.6 邊框連接性特征

研究中發(fā)現(xiàn)顯著性區(qū)域與邊界的連接較少,因此可以用此特性來檢測背景,即邊框連接性。一個(gè)區(qū)域是否屬于背景, 取決于它所屬的圖像區(qū)域與圖像邊界的緊密相連度。一個(gè)圖像區(qū)域r的邊框連接性是指邊框塊周長與整個(gè)圖像區(qū)域周長或者面積開方的比例, 其定義如下:

(12)

其中,bnd是r區(qū)域中邊框塊的集合,block是r區(qū)域中的一塊。Zhu等[22]采用超像素s代替了圖像區(qū)域,邊框連接性為邊界長度Lenbd(s)和跨區(qū)域面積Area(s)的比例，如下所示：

(13)

(14)

顏色特征是顯著性檢測中最常用的視覺特征, 其與顯著目標(biāo)的相關(guān)度非常高, 有較高的魯棒性。紋理特征是一種反映圖像中同質(zhì)現(xiàn)象的視覺特征, 在空間上以一定的形式變化, 具有局部序列不斷重復(fù)、隨機(jī)排列、區(qū)域內(nèi)大致均勻的特點(diǎn)。HOG特征是在圖像的局部方格單元上操作, 所以它對圖像幾何和光學(xué)的形變都能保持很好的不變性, 常用于獲取形狀和紋理特征。Objectness是指從客觀物體出發(fā), 保證物體的完整性, 能提供物體位置的分布,常使用于各種視覺實(shí)驗(yàn)中。邊框連接性特征是背景特征的一種，采用的是圖像區(qū)域空間分布的特點(diǎn), 并有一個(gè)直觀的幾何定義, 所以它是健壯和穩(wěn)定的，并且還能處理純背景圖像。

2.2 視覺特征融合

視覺特征眾多, 需要進(jìn)行選擇。本文分別選擇顏色特征和其他特征，顏色特征選擇了LAB空間的局部和全局顏色對比度[8]、HSV空間的局部和全局顏色直方圖[8]、LAB空間的顏色分布[8]和上下文特征[23]，其他特征選擇了邊框連接性[22]、Objectness[12]和Gabor[18]紋理特征，如圖2所示。

圖2 特征圖

在顏色特征中, 本文選擇規(guī)則如下:

? 顏色對比度和顏色分布是互補(bǔ)的, 顏色直方圖是對顏色的統(tǒng)計(jì), 所以需要選擇這三種特征。

? 結(jié)合人眼視覺注意機(jī)制和圖像數(shù)字處理, 需要選擇HSV和LAB空間。

根據(jù)結(jié)果比較分析，最后顏色特征的融合公式如下:

C=(LC·GC+LH·GH+Con)·D

(15)

其中LC是局部對比度,GC是全局對比度,LH是局部直方圖,GH是全局直方圖,Con是上下文特征,D是顏色分布。

本文將融合后的顏色特征與其它特征進(jìn)行融合,根據(jù)結(jié)果比較分析,顏色與Objectness特征的融合優(yōu)于其他特征的融合, 所以將四個(gè)特征分為兩組：顏色、Objectness特征和Gabor紋理、邊框連接性特征, 融合公式為:

SalCO=C+O,SalGB=G·B

(16)

其中C是顏色特征,O是Objectness特征,G是Gabor紋理特征,B是邊框連接性。然后再采用貝葉斯方法[24]對SalCO和SalGB進(jìn)行融合,最后采用單層元胞自動(dòng)機(jī)[25]進(jìn)行優(yōu)化。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 測試數(shù)據(jù)集

為了驗(yàn)證各種特征和本文算法的性能, 我們在兩個(gè)較難的數(shù)據(jù)集上做了大量的實(shí)驗(yàn)。ESSCD數(shù)據(jù)集含有1 000張圖片, 包含了豐富的語義和復(fù)雜的結(jié)構(gòu), 對顯著性檢測來說挑戰(zhàn)性非常強(qiáng)。 DUT-OMRON數(shù)據(jù)集包含5 000余張圖片,包含了多個(gè)顯著物體,極具挑戰(zhàn)性。

3.2 性能評估方法

為了和其他較優(yōu)算法進(jìn)行比較,我們采用了三種常用方法來評估實(shí)驗(yàn)。PR曲線評估實(shí)驗(yàn)的精準(zhǔn)率P和召回率R,精準(zhǔn)率是指顯著像素正確檢測的比率,召回率是指檢測出來的顯著像素與真值圖中顯著像素的比率。F-measure方法用于檢測像素精準(zhǔn)率和召回率的平均數(shù)。但實(shí)驗(yàn)不能只從正確率上評估,還要從錯(cuò)誤率上評估,即MAE方法。 MAE方法是檢測平均絕對誤差,用于檢測非顯著區(qū)域。

3.3 實(shí)驗(yàn)對比與分析

本文的特征較多，因此實(shí)驗(yàn)分為了三組，即顏色特征比較實(shí)驗(yàn)、多種特征比較實(shí)驗(yàn)和各種顯著性檢測算法比較實(shí)驗(yàn)， 以ESSCD數(shù)據(jù)集為例。

3.3.1 顏色特征比較分析

顏色特征比較是對RGB、LAB和HSV空間上顏色局部對比度、全局對比度、局部直方圖、全局直方圖和顏色分布進(jìn)行比較。從圖3中可以看到, HSV空間局部顏色直方圖的精度、召回率、F-Measure、誤差均優(yōu)于LAB、RGB空間, 所以本文選擇HSV空間的局部直方圖, 但其平均精準(zhǔn)率、平均召回率、F-Measure相差太大, 不穩(wěn)定, 所以又選擇相同空間較穩(wěn)定的全局直方圖。HSV空間局部顏色對比度的精準(zhǔn)率、召回率、F-Measure優(yōu)于LAB、RGB空間, 但其誤差卻低于后兩者, 說明HSV空間的局部顏色對比度不穩(wěn)定, 又根據(jù)規(guī)則b, 本文選擇LAB空間的局部顏色對比度, 但它的誤差稍高, 所以同時(shí)選擇誤差稍低、相同空間的全局顏色對比度。HSV空間顏色分布的精準(zhǔn)率、召回率、F-Measure均優(yōu)于LAB、RGB空間, 但其誤差卻低于LAB空間, 所以本文選擇LAB空間的顏色分布。最后由于上下文特征的誤差是最小的, 所以將上下文特征也加入。

圖3 顏色特征比較

對局部、全局對比度，局部、全局直方圖進(jìn)行融合時(shí), 采用了多種方法，如圖4所示，對比度和直方圖不能直接融合，需要將對比度、直方圖分別進(jìn)行融合。局部、全局對比度融合的誤差比其單獨(dú)兩個(gè)特征降低了。局部、全局直方圖融合明顯優(yōu)于其單獨(dú)的兩個(gè)特征。顏色對比度、直方圖、分布和上下文特征的融合，如圖5所示，只有四種特征都融合才優(yōu)于前幾種融合

圖4 顏色對比度、直方圖融合比較

圖5 顏色對比度、直方圖、分布、上下文融合比較。Ctr:顏色對比度，Hist:顏色直方圖,D:顏色分布,Con:顏色上下文

3.3.2 多種特征比較分析

將融合的顏色特征與其他特征進(jìn)行比較,如圖6所示。由于LBP、Gabor紋理特征和HOG特征對噪音較敏感，而本文沒有對圖像進(jìn)行去噪處理，因此其曲線不盡人意。而邊框連接性、Objectness和顏色特征的精準(zhǔn)率和召回率都較好, 但這三個(gè)特征都沒有從細(xì)節(jié)上刻畫顯著性對象, 所以進(jìn)一步選擇了稍好的Gabor紋理特征。

圖6 所有特征比較

四種特征的融合,如圖7所示,BC、OC和BCO的PR曲線優(yōu)于其他幾種融合，在F-Measure中BC與BCO差不多，但其誤差高于BCO，所以舍棄BC。若選擇BCO，后加入Gabor特征進(jìn)行線性融合，便是此處的GBCO，而GBCO的PR曲線低于BCO融合，所以舍棄BCO，最終選擇OC，另一組自然就是GB。

圖7 所有特征融合比較。B:邊框連接性,C:融合的顏色特征,G:Gabor紋理特征,O:Objectness特征。將這四種特征分別進(jìn)行融合,如BO=B+O，即邊框連接性與Objectness特征線性融合，其他的同等道理

3.3.3 各種模型比較分析

本文將算法與其他7個(gè)算法進(jìn)行比較, FT[13]、HDCT[8]、GC[17]、HS[26]、RBD[22]、DSR[24]、UFO[12]。如圖8所示，在ESSCD數(shù)據(jù)集, 我們的算法明顯優(yōu)于其他算法,雖然其F-Measure比HS算法稍低, 但召回率明顯比其高, MAE也僅僅比RBD稍差一點(diǎn)。在DUT-OMON數(shù)據(jù)集, 雖然我們的精準(zhǔn)率、召回率在起始狀態(tài)略低于DSR算法, 但F-Measure高于DSR算法, 且誤差也較低, 這說明我們的算法是穩(wěn)定的。

圖8 兩種數(shù)據(jù)集上不同算法比較

圖9比較了不同方法的顯著圖,從圖中可以看到我們的顯著圖相比于其他算法來說,更接近于真值圖。

圖9 兩種數(shù)據(jù)集上不同方法的顯著圖

4 結(jié) 語

顯著性檢測通常是提取各種圖像特征，并在此基礎(chǔ)上進(jìn)行各種計(jì)算。不同特征的特性和使用都是不同的，本文對圖像的多種特征進(jìn)行了定性和定量的比較，從中找到了有效特征，并將這些特征進(jìn)行融合，取得了較好的顯著性目標(biāo)檢測效果。通過對實(shí)驗(yàn)結(jié)果的比較，在目前較難的兩個(gè)數(shù)據(jù)集上本算法的性能優(yōu)于其他算法，驗(yàn)證了該算法中提取特征的有效性。

[1] 司馬海峰,米愛中,王志衡,等.顯著特征融合的主顏色聚類分割算法[J].模式識別與人工智能,2016,29(6):492-503.

[2] 畢福昆,陳禾,師皓,等.機(jī)載復(fù)雜遙感場景下特定建筑區(qū)檢測跟蹤算法[J].電子學(xué)報(bào),2016,44(6):1394-1399.

[3] 肖德貴,辛晨,張婷,等.顯著性紋理結(jié)構(gòu)特征及車載環(huán)境下的行人檢測[J].軟件學(xué)報(bào),2014,25(3):675-689.

[4] 李波,金連寶,曹俊杰,等.分層信息融合的物體級顯著性檢測[J].中國圖象圖形學(xué)報(bào),2016,21(5):595-604.

[5] 姜霞霞,李宗民,匡振中,等.融合雙層信息的顯著性檢測[J].中國圖象圖形學(xué)報(bào),2015,20(3):340-348.

[6] Itti L,Koch C,Niebur E.A Model of Saliency-Based Visual Attention for Rapid Scene Analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1254-1259.

[7] Cheng M M,Zhang G X,Niloy J,et al.Global Contrast based Salient Region Detection[C]//IEEE Computer Vision and Pattern Recognition.USA Colorado,2011:409-416.

[8] Kim J,Han D,Tai Y W,et al.Salient Region Detection via High-Dimensional Color Transform[C]//IEEE Computer Vision and Pattern Recognition,2014:883-890.

[9] Ojala T,Pietikainen M,Maenpaa M.Multiresolution gray-scale and rotation invariant texture classification with local binary pattern[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987.

[10] Mirmahdavi A S A,Amirkhani B,Ahmadyfard A.Random Texture Defect Detection by Modeling the Extracted Features from the Optimal Gabor Filter[J].Journal of Advances in Computer Research,2015,8(6):65-85.

[11] Wang A,Wang M,Pan G,et al.Salient object detection with high-level prior based on Bayesian fusion[J].Iet Computer Vision,2017,11(3):199-206.

[12] Jiang P,Ling H B,Yu J Y,et al.Salient Region Detection by UFO:Uniqueness,Focusness and Objectness[C]//IEEE International Conference on Computer Vision,2013:1976-1983.

[13] Achanta R,Hemami S,Estrada F,et al.Frequency-tuned Salient Region Detection[C]//IEEE Computer Vision and Pattern Recognition,2009:1597-1604.

[14] Li Y,Hou X,Koch C,et al.The Secrets of Salient Object Segmentation[C]//Computer Vision and Pattern Recognition.IEEE,2014:280-287.

[15] Perazzi F,Krahenbuhl P,Pritch Y,et al.Saliency filters:Contrast based filtering for salient region detection[C]//IEEE Computer Vision and Pattern Recognition,2012:733-740.

[16] Cheng M M,Warrell J,Lin W Y,et al.Efficient Salient Region Detection with Soft Image Abstraction[C]//IEEE International Conference on Computer Vision,2013:1529-1536.

[17] Goferman S,Manor L Z,Tal A.Context-Aware Saliency Detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(10):1915-1926.

[18] Riche N,Mancas M,Duvinage M,et al.A study of parameters affecting visual saliency assessment[J].Signal Processing:Image Communication,2013(28):642-658.

[19] Wang X Y,Han T X,Yan S C.An HOG-LBP Human Detector with Partial Occlusion Handling[C]//IEEE International Conference on Computer Vision,2009:32-39.

[20] Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]//IEEE Computer Vision and Pattern Recognition,2005:886-893.

[21] Alexe B,Deselaers T,Ferrari V.What is an object?[C]//IEEE Computer Vision and Pattern Recognition,2010:73-80.

[22] Zhu W J,Liang S,Wei Y C,et al.Saliency Optimization from Robust Background Detection[C]//IEEE Computer Vision and Pattern Recognition,2014:2814-2821.

[23] Jiang H Z,Wang J D,Yuan Z J,et al.Automatic Salient Object Segmentation Based on Context and Shape[C]//British Machine Vision Conference,2011:1-12.

[24] Li X H,Lu H C,Zhang L H,et al.Saliency Detection via Dense and Sparse Reconstruction[C]//IEEE International Conference on Computer Vision,2013:2976-2983.

[25] Qin Y,Lu H,Xu Y,et al.Saliency detection via Cellular Automata[C]//IEEE Computer Vision and Pattern Recognition,2015:110-119.

[26] Yan Q,Xu L,Shi J,et al.Hierarchical Saliency Detection[C]//IEEE Conference on Computer Vision and Pattern Recognition,2013:1155-1162.

VISUALFEATUREANDFUSIONOFSALIENCYOBJECTDETECTION

Yuan Xiaoyan1,2Wang Anzhi1Pan Gang2Wang Minghui1
1(CollegeofComputerScience,SichuanUniversity,Chengdu610064,Sichuan,China)2(SchoolofIntelligentManufacturing,SichuanUniversityofArtsandScience,Dazhou635000,Sichuan,China)

The saliency object detection is a very important step in many computer vision problems, including video image segmentation, target recognition, and has a very broad application prospect. Over the past 10 years of development of the apparent test model, it can be clearly seen that most of the detection methods are detected by using visual features, and the visual characteristics determine the performance and effectiveness of the significance test model. One of the fundamental differences between the various saliency detection models is the chosen of visual features. We reviewed and summarized the common visual features for the first time, such as color, texture and background. We classified them, compared and analyzed them. Firstly, we selected the better features from all kinds of color features to fuse, and then compared the color features with other characteristics, and chosen the best features to fuse. On the challenging open datasets ESSCD and DUT-OMON, the quantitative comparison was made from three aspects: PR curve, F-measure method and MAE mean error, and the comprehensive effect was better than other algorithms. By comparing and merging different visual features, it is shown that the four characteristics of color, texture, border connectivity and Objectness are very effective in the saliency object detection.

Saliency detection Visual feature Feature fusion Saliency map

2017-01-10。國家重點(diǎn)研究與發(fā)展計(jì)劃項(xiàng)目(2016YFB0700802，2016YFB0800600)；國家海洋局海洋遙感工程技術(shù)研究中心創(chuàng)新青年項(xiàng)目(2015001)。袁小艷，講師，主研領(lǐng)域：計(jì)算機(jī)視覺，機(jī)器學(xué)習(xí)，個(gè)性化服務(wù)。王安志，講師。潘剛，講師。王明輝，教授。

TP301.6

A

10.3969/j.issn.1000-386x.2017.08.038