胡玉蘭 黃 梨 片兆宇

(沈陽(yáng)理工大學(xué)信息科學(xué)與工程學(xué)院 遼寧 沈陽(yáng) 110159)

?

基于整形特征的目標(biāo)顯著性檢測(cè)算法研究

胡玉蘭 黃 梨 片兆宇

(沈陽(yáng)理工大學(xué)信息科學(xué)與工程學(xué)院 遼寧 沈陽(yáng) 110159)

針對(duì)傳統(tǒng)目標(biāo)顯著性檢測(cè)算法存在顯著區(qū)域弱化、最顯著的中心點(diǎn)被抑制、背景差對(duì)比度低等問(wèn)題，提出一種新的整形目標(biāo)顯著性檢測(cè)算法。算法首先利用灰度不一致算子作為局部處理手段，刻畫(huà)圖像局部紋理的非均勻性，使得最顯著的中心點(diǎn)亮度提高；其次，利用改進(jìn)的FT算法，建立一種新的全局量化方法，使得顯著區(qū)域增強(qiáng)；再次，為了濾除孤立顯著區(qū)的影響，算法提出一種空間權(quán)重表達(dá)法，對(duì)所提顯著圖進(jìn)行線性處理，提高整體顯著區(qū)與背景間的對(duì)比差。最后的仿真實(shí)驗(yàn)中，與FT、Itti等6種典型的目標(biāo)顯著性檢測(cè)算法相比，該算法不僅具有更好的識(shí)別準(zhǔn)確性和穩(wěn)定性，而且所提算法的精確率和召回率等客觀指標(biāo)也具有較強(qiáng)的優(yōu)勢(shì)，從而表明該算法是切實(shí)可行的。

目標(biāo)顯著性檢測(cè) 灰度不一致算子 空間權(quán)重

0 引 言

近年來(lái)，目標(biāo)顯著性檢測(cè)已成為計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域新的研究熱點(diǎn)。其相關(guān)研究成果已被廣泛應(yīng)用于諸多領(lǐng)域，如圖像和視頻的壓縮和解碼、圖像分割、圖像檢索[1]和目標(biāo)識(shí)別[2]等領(lǐng)域。

目標(biāo)的顯著性源于視覺(jué)的獨(dú)特性和不可預(yù)測(cè)性，是由顏色、亮度、邊緣、紋理、對(duì)稱性等圖像固有屬性而致。而視覺(jué)注意機(jī)制是一種模擬人類視覺(jué)智能篩選的重要機(jī)制，該機(jī)制在大量的視覺(jué)信息中，可以將注意力快速聚焦于圖像中顯著目標(biāo)區(qū)域。經(jīng)過(guò)多年的發(fā)展，關(guān)于視覺(jué)注意機(jī)制的研究被分為兩種方法[3,4]：一種是快速的、下意識(shí)的、自底向上的數(shù)據(jù)驅(qū)動(dòng)的顯著性提??；另一種是慢速的、任務(wù)依賴的、自頂向下的目標(biāo)驅(qū)動(dòng)的顯著性提取。由于視覺(jué)內(nèi)容需要大量的先驗(yàn)知識(shí)，自頂向下的方法應(yīng)用不多。而自底向上的方法受圖像特征支配，不依賴任何先驗(yàn)知識(shí)，被廣泛研究和應(yīng)用。較經(jīng)典的自底向上的視覺(jué)注意模型是Itti[5]算法，Itti算法在特征整合理論的基礎(chǔ)上，在多特征和多尺度上，計(jì)算紋理和顏色特征的中央差算子，把各個(gè)特征的顯著圖合成一幅顯著圖。在此基礎(chǔ)上，目標(biāo)顯著性檢測(cè)算法大多是采用低層視覺(jué)特征，即通過(guò)圖像的亮度、顏色、方向和對(duì)稱性等計(jì)算中央周邊差對(duì)比度，得到顯著圖。其中比較具有代表性的有： GBVS[6]算法、 SR[7]算法、FT[8]算法、AIM[9]算法和CAS[10]算法等。Itti和GBVS算法采用局部特征的處理方法，GBVS算法是在Itti算法的基礎(chǔ)上，運(yùn)用馬爾可夫隨機(jī)場(chǎng)的特點(diǎn)構(gòu)建二維圖像的馬爾可夫鏈，由它的平衡分布得到顯著圖。而這兩種算法的顯著圖中部分顯著區(qū)域的顯著度較高，但是存在顯著目標(biāo)整體區(qū)域弱化和顯著區(qū)域的輪廓模糊等問(wèn)題。SR算法和FT算法均采用全局特征的處理方法，而且都是基于空間頻域處理的算法。其中SR算法是對(duì)剩余譜做傅里葉逆變換得到顯著圖；FT算法是通過(guò)顏色和亮度特征提取來(lái)計(jì)算中央周邊差對(duì)比多尺度方法得到全分辨率顯著圖，其中SR算法由于沒(méi)有保留足夠的高頻信息，導(dǎo)致顯著目標(biāo)的邊界模糊。這兩種算法的顯著圖中雖然保留了顯著區(qū)域的整體輪廓，但是均導(dǎo)致最顯著的像素點(diǎn)受到抑制以及背景差對(duì)比度低等問(wèn)題。AIM算法是采用香農(nóng)的自信息理論，將圖像的特征平面變換到對(duì)應(yīng)于視覺(jué)顯著性的維度，并利用該特征與相對(duì)于它周圍的其他特征的信息的差別度來(lái)計(jì)算顯著值。該算法存在顯著目標(biāo)弱化，非顯著區(qū)域突出的問(wèn)題。CAS算法是結(jié)合局部和全局考慮的處理方法，相對(duì)前面幾種算法來(lái)說(shuō)，顯著圖的處理效果較好，但是仍不完善，例如該算法耗時(shí)較長(zhǎng)、運(yùn)算效率低。綜上所述，這六種目標(biāo)顯著性檢測(cè)算法均存在顯著區(qū)域弱化，最顯著的中心像素點(diǎn)被抑制以及背景差對(duì)比度較低等問(wèn)題。

針對(duì)傳統(tǒng)目標(biāo)顯著性檢測(cè)算法的上述缺點(diǎn)，本文提出一種新的基于局部和全局處理的目標(biāo)顯著性檢測(cè)算法。首先，采用灰度不一致算子，計(jì)算各圖像塊內(nèi)每個(gè)像素的顯著值，作為局部處理手段，使得最顯著的中心點(diǎn)亮度增強(qiáng)；其次，在局部處理的基礎(chǔ)上，改進(jìn)傳統(tǒng)FT算法，引入圖像全局的紋理特征，與顏色和亮度特征整合處理，作為全局處理手段，增強(qiáng)圖像的顯著區(qū)域；再次，通過(guò)計(jì)算圖像的二維高斯函數(shù)，獲得空間權(quán)重圖，利用該權(quán)重圖對(duì)全局處理后得到的顯著圖進(jìn)行線性處理，來(lái)提高整體顯著區(qū)與背景間的對(duì)比差。最后，應(yīng)用所提的目標(biāo)顯著性算法與其他六種傳統(tǒng)算法進(jìn)行定性對(duì)比，并對(duì)所提算法進(jìn)行定量評(píng)估，證明了算法的穩(wěn)定性與有效性。

1 局部處理過(guò)程

局部處理先把自然圖像轉(zhuǎn)變成灰度圖像。在灰度圖像中，幾乎所有的感興趣目標(biāo)，其內(nèi)部像素都具有不同程度的灰度不一致度。對(duì)于顯著目標(biāo)而言，其內(nèi)部區(qū)域的像素不一致度趨于一致，背景區(qū)域的像素也趨于一致，而目標(biāo)和背景區(qū)域之間的不一致度存在差異。故選擇基于灰度不一致性算子進(jìn)行局部處理。局部處理將使得最顯著的中心像素點(diǎn)的亮度變亮。

(1) 灰度不一致性

2010年，Ding等人[11]通過(guò)統(tǒng)計(jì)圖像灰度的不一致性，提出了一種刻畫(huà)圖像紋理非均勻性的方法，即灰度不一致因子，簡(jiǎn)稱NIF。

定義一幅灰度圖像I，像素p=(px,py)∈I，I(p)表示像素p的灰度值，即亮度值，N(p)表示p的以κ(κ≥1)為邊長(zhǎng)的正方形領(lǐng)域。給定一個(gè)非負(fù)閾值(ε≥0)，則像素p的κ領(lǐng)域中的所有像素可以被分成以下兩個(gè)集合：

Ω(p)={q∈N(p):|I(p)-I(q)|>ε}Ω′(p)={q∈N(p):|I(p)-I(q)|≤ε}

(1)

像素不一致因子PIF(Pixel inhomogeneity factor)是用來(lái)描述任一個(gè)像素與其領(lǐng)域內(nèi)其它像素的亮度差異性，PIF[12]公式如下：

(2)

式中|Ω(p)|表示在集合Ω(p)內(nèi)的像素的個(gè)數(shù)，同理|N(p)|表示的是正方形領(lǐng)域內(nèi)所有像素的個(gè)數(shù)。顯然，0≤PIF(p)≤1,當(dāng)|Ω(p)|<|Ω′(p)|時(shí)，0≤PIF(p)<0.5，這表明像素點(diǎn)p與它鄰域內(nèi)其它像素點(diǎn)的灰度差異性比較??；相反，當(dāng)|Ω(p)|≥|Ω′(p)|時(shí)，0.5≤PIF(p)≤1，這表明像素點(diǎn)p與它鄰域內(nèi)其它像素點(diǎn)的灰度差異性比較大。

像素的灰度不一致因子NIF定義像素p的顯著值：

(3)

其中 InNeb(p)={q∈N(p):PIF(q)≥0.5,p∈I}表示像素p周圍的一個(gè)正方形鄰域內(nèi)的具有灰度不一致的像素?cái)?shù)的集合。

灰度不一致因子NIF得到的函數(shù)值即為像素的顯著值，任一像素點(diǎn)p的顯著值用SLP表示：

SLP(p)=NIF(p)

(4)

經(jīng)過(guò)大量的對(duì)比計(jì)算實(shí)驗(yàn)，取κ=3，非負(fù)閾值ε被設(shè)為ε=Ave(κ)，其中：

(5)

(2) 局部顯著圖

由式(4)得到局部處理的顯著圖，如圖1所示。

圖1 兩幅圖像的局部顯著圖

圖1中，(a)列是原圖像，(b)列是局部處理后得到的局部顯著圖。從局部處理得到的顯著圖看，最顯著的中心像素點(diǎn)亮度較高，但是顯著目標(biāo)內(nèi)部部分區(qū)域弱化。從第二幅圖像來(lái)看，部分非顯著目標(biāo)被突出，對(duì)于背景復(fù)雜的圖像，冗余信息依然存在，故采取全局處理來(lái)解決其缺點(diǎn)。

2 全局處理

在對(duì)原圖像局部處理的基礎(chǔ)上，進(jìn)行全局處理。全局處理采用改進(jìn)的FT算法得到，如圖2所示。

圖2 全局處理流程圖

基于改進(jìn)的FT算法的全局處理步驟如下：

第一步對(duì)原圖像進(jìn)行高斯模糊。為了消除紋理細(xì)節(jié)以及噪聲，選擇5×5的二項(xiàng)式濾波器與原圖像卷積，令原圖像表示為f(x,y)，其公式如下：

f1(x,y)=f(x,y)×G(x,y)

(6)

其中:

(7)

第二步顏色空間轉(zhuǎn)換。提取圖像的亮度、顏色和紋理特征，并把高斯模糊后的圖像XYZ由sRGB顏色空間轉(zhuǎn)換為CIELab顏色空間。Lab空間的設(shè)計(jì)接近人類視覺(jué)，其中的L表示亮度，與人對(duì)亮度的感知相匹配，a和b分量表示的是顏色。a,b用來(lái)調(diào)節(jié)顏色的平衡，L用于調(diào)整亮度。顏色空間轉(zhuǎn)換的過(guò)程是先從sRGB空間轉(zhuǎn)換到空間，再由XYZ空間轉(zhuǎn)到Lab空間。

設(shè)M是一個(gè)3×3的矩陣，那么RGB到XYZ的轉(zhuǎn)換關(guān)系為：

[X,Y,Z]=[M]×[R,G,B]

(8)

其中，M定義為：

(9)

rgb是RGB的原始的色彩分量，g是Gamma校正函數(shù)。

(10)

R=g(r)，G=g(g)，B=g(b)，RGB的取值范圍是[0,1)，由式(9)-式(11) 計(jì)算得出XYZ的取值范圍分別為[0,0.9506)，[0,1)，[0,1.0890)。

然后將XYZ空間轉(zhuǎn)換到L×a×b空間：

先定義一個(gè)與Gamma函數(shù)相似的校正函數(shù)f(x):

(11)

X1、Y1、Z1是XYZ線性歸一化的值，那么有XYZ到L*a*b的轉(zhuǎn)換為：

L=116×f(Y1)-16

a=500×(f(X1)-f(Y1))

b=200×(f(Y1)-f(Z1))

(12)

第三步計(jì)算改進(jìn)的FT算法的像素顯著值。公式如下：

S″(x,y)=‖Iu(x,y)-Iwhc(x,y)‖

(13)

式中，Iu是高斯模糊圖像在Lab空間的像素算術(shù)平均值，Iwhc是高斯模糊圖像在Lab空間的值，‖‖是歐式距離。

第四步全局顯著圖。利用改進(jìn)的FT算法，量化局部顯著圖，得到全局顯著圖S″。

3 空間權(quán)重

一般來(lái)說(shuō)，像素的中心分布常被用于定位和估計(jì)顯著區(qū)域，根據(jù)格式塔法則[13]，視覺(jué)形式可能具有一個(gè)或幾個(gè)中心圖形。這表明接近注意焦點(diǎn)的部分被認(rèn)為顯著，遠(yuǎn)離注意焦點(diǎn)的部分被認(rèn)為是背景。故提出中心優(yōu)先[14]的概念，命名為空間權(quán)重[15]，目的是濾除背景中的孤立顯著區(qū)，同時(shí)進(jìn)一步優(yōu)化顯著圖的評(píng)估結(jié)果。

使用一個(gè)二維的高斯函數(shù)確定圖像的中心，定義圖像的高度為H，寬度為W，高斯函數(shù)在二維空間定義為：

(14)

圖3 空間權(quán)重圖

圖像中任意像素p的最終顯著值是全局顯著圖與空間權(quán)重圖線性處理得到，公式如下：

S(p)=S″(p)G(p)

(15)

其中G(p)為像素p在空間權(quán)重圖中的像素值。經(jīng)空間權(quán)重處理后，去除了孤立顯著區(qū)域的影響，顯著圖效果較好。

4 新的目標(biāo)顯著性檢測(cè)算法

該算法首先采取基于灰度不一致算子的局部處理，得到局部的像素顯著值；然后，在局部處理的基礎(chǔ)上采用全局方法量化顯著圖，得到新的全局顯著值；最后，引入空間權(quán)重，去除孤立顯著區(qū)。算法流程如圖4所示。

圖4 新算法流程圖

第一步對(duì)原圖像進(jìn)行局部處理，利用灰度不一致因子(NIF)獲得局部方法的顯著圖。經(jīng)局部處理后，最顯著的像素點(diǎn)變得更亮。

第二步全局處理，提出改進(jìn)的FT算法作為全局量化方法，使得顯著區(qū)域增強(qiáng)。

第三步利用二維高斯函數(shù)得到空間權(quán)重圖，將其與全局顯著圖進(jìn)行加權(quán)處理，得到最終的顯著圖，使得顯著區(qū)與背景差對(duì)比度提高。

5 實(shí)驗(yàn)分析

本實(shí)驗(yàn)是從MSRA數(shù)據(jù)庫(kù)中選取1000幅圖像，這1000幅自然圖像均有所對(duì)應(yīng)的人工精確標(biāo)注的顯著性區(qū)域。本實(shí)驗(yàn)中，將新算法與傳統(tǒng)的顯著性檢測(cè)算法Itti、GBVS、SR、AIM、CAS和FT在這1000幅圖像上進(jìn)行仿真得到顯著圖。

5.1 顯著圖的比較

七種算法的顯著圖比較如圖5所示。其中，(a)列是原圖像，(b)列是Itti算法的顯著圖，(c)列是GBVS算法的顯著圖，(d)列是AIM算法的顯著圖，(e)列是SR算法的顯著圖，(f)列是CAS算法的顯著圖，(g)列是FT算法的顯著圖，(h)列是新的整性算法的顯著圖。

圖5 七種算法的顯著圖的比較

從圖5中看出，新算法的顯著圖最好，顯著目標(biāo)最突出，含有的背景冗余信息最少。而傳統(tǒng)的顯著性算法，例如Itti算法，GBVS算法和AIM算法只考慮局部對(duì)比度，顯著圖中的某些顯著區(qū)域的對(duì)比度較高，但是顯著區(qū)域的邊界并不清晰，對(duì)于背景較復(fù)雜的圖像，背景差對(duì)比度較差。基于頻域分析的SR算法因?yàn)闆](méi)有保留充足的高頻信息，致使顯著區(qū)域的邊界模糊?？紤]全局特征對(duì)比的CAS算法和FT算法的顯著區(qū)域盡管保留了較完整的輪廓，然而顯著區(qū)域弱化，最顯著的位置被抑制。新算法的顯著圖中，顯著區(qū)域與背景區(qū)域?qū)Ρ榷忍岣?，顯著區(qū)域整體顯著度較高，并且顯著區(qū)域的邊界清晰，顯著圖的效果最好。

5.2 顯著圖的性能評(píng)估

選用兩個(gè)指標(biāo)，即精確率和召回率來(lái)客觀評(píng)價(jià)新的目標(biāo)顯著性檢測(cè)算法與其他六種算法。這些算法均在這1 000幅圖像上計(jì)算精確率和召回率，并繪制P-R曲線如圖6所示。

圖6 六種算法和新算法的精確率和召回率曲線

圖6中的精確率和召回率曲線明確地展示出提出新的目標(biāo)顯著性檢測(cè)算法的性能明顯優(yōu)于其他的六種算法。新算法的最小召回值比其他算法高，說(shuō)明此算法得到的顯著圖最平滑，顯著圖中包含較多的顯著值為255的像素，表明背景差對(duì)比度較高。其中本數(shù)據(jù)庫(kù)中SR算法的顯著圖中顯示目標(biāo)的效率最低，其次是Itti和AIM算法。

6 結(jié) 語(yǔ)

新的整形目標(biāo)顯著性檢測(cè)算法，包括局部和全局處理，然后是空間權(quán)重作為補(bǔ)充手段。顯著區(qū)域得到了強(qiáng)化，最顯著中心像素的亮度得到了增強(qiáng)，背景差對(duì)比度得到了提高。最后空間權(quán)重對(duì)視覺(jué)顯著圖做線性處理，有效地去除了孤立顯著區(qū)的影響，得到最終的顯著圖，顯著區(qū)域的邊界更加清晰，顯著圖的性能得到了優(yōu)化。新的整性算法簡(jiǎn)單、高效，通過(guò)定量和定性實(shí)驗(yàn)分析，該算法是可行的，并且優(yōu)于其他六種顯著算法。

[1] Tao D,Tang X,Li X,et al.Asymmetric bagging and random subspace for support vector machines-based relevance feedback in image retrieval[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(7):1088-1099.

[2] Yeh Hsinho,Liu Kenghao,Chen Chusong.Salient object detection via local saliency estimation and global homogeneity refinement[J].Pattern Recognition,2014,47(4):1740-1750.

[3] Triesman A M,Gelade G.A feature-integration theory of attention[J].Cognitive Psychology,1980,12(1):97-136.

[4] Koch C,Ullman S.Shifts in selective visual attention: towards the underlying neural circuitry[J].Human Neurbiology,1985,4:219-227.

[5] Itti L,Koch C,Niebur E.A Model of Saliency-Based Visual Attention for Rapid Scene Analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1254-1259.

[6] Harel J,Koch C,Perona P.Graph-based visual saliency[J].Neural Information Processing Systems,2007,19(1):545-552.

[7] Hou Xiaodi,Zhang Liqing.Saliency detection:a spectral residual approach[C]//IEEE Conference on Computer Vision and Pattern Recognition,Shanghai Jiao Tong University,2007:1-8.

[8] Achanta R,Hemami S,Estrada F,et al.Frequency-tuned salient region detection [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Los Alamitos: IEEE Computer Society Press,2009:1597-1604.

[9] Bruce N D B.Features that draw visual attention: an information theoretic perspective[J].Neurocomputing,2005,65(3):125-133.

[10] Goferman S,Zelnik-Manor L,Tal A.Context-aware saliency detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.San Francisco:IEEE Computer Society Press,2010:2376-2383.

[11] Ding Jundi,Shen Jialie,Pang HweeHwa,et al.Exploiting intensity inhomogeneity to extract textured objects from natural scenes[C]//Asian Conference on Computer Vision.Springer-Verlag,2009:1-10.

[12] 郭東巖,趙春霞,李軍俠,等.結(jié)合圖像顯著與灰度不一致性的目標(biāo)自動(dòng)提取[J].南京理工大學(xué)學(xué)報(bào),2014,38(5):701-706.

[13] Koffka,Kurt,Koffka K.Principles of Gestalt Psychology[M].Routledge,1999.

[14] Yang Weibin,Tang Yuanyan,Fang Bin,et al.Visual saliency detection with center shift[J].Neurocomputing,2013,103:63-74.

[15] Zhang Yongdong,Mao Zhendong,Li Jintao,et al.Salient region detection for complex background images using integrated features[J].Information Sciences,2014,281(10):586-600.

ON OBJECT SALIENCY DETECTION ALGORITHM BASED ON INTEGRAL FORM CHARACTERISTICS

Hu Yulan Huang Li Pian Zhaoyu

(School of Information Science and Engineering,Shenyang Ligong University,Shenyang 110159,Liaoning,China)

Aiming at the problems in traditional object saliency detection algorithms that the salient region is weakened, the most salient pixels are suppressed, and the contrast of background difference is low, etc., we proposed a new integral form object saliency detection algorithm. First, the algorithm utilises the gray inconsistency operator as the means of local processing to depict the non-uniform of local texture, which makes the brightness of the most salient pixels be increased; Secondly, it uses the improved FT algorithm to set up a new global quantification approach, this makes the salient area be significantly enhanced; Thirdly, in order to filter out the influence of the isolated salient areas, the algorithm proposes a spatial weight expression method to carry out linear processing on the saliency map mentioned so as to improve the contrast between the integral salient area and the background. In final simulation experiments, compared with 6 typical object salient detection algorithms including FT, ITTI, etc., the proposed algorithm not only has better recognition accuracy and stability, but also has higher advantage in objective indicators of precision rate and recall rate, therefore indicates that the proposed algorithm is feasible.

Object saliency detection Gray inconsistent factor Space weight

2015-06-04。國(guó)家自然科學(xué)基金項(xiàng)目(61373089)。胡玉蘭，教授，主研領(lǐng)域：圖像信息處理，模式識(shí)別，人工智能。黃梨，碩士生。片兆宇，副教授。

TP391

A

10.3969/j.issn.1000-386x.2016.11.048