張 昆

(惠州工程職業(yè)學(xué)院，廣東 惠州 516001)

人類具有快速鎖定重要的視覺(jué)對(duì)象并進(jìn)行集中處理的視覺(jué)注意機(jī)制，將該機(jī)制引入到圖像處理過(guò)程中，能在降低計(jì)算機(jī)計(jì)算量的同時(shí)，有效提高計(jì)算機(jī)的選擇篩選能力，優(yōu)先分配資源給重要區(qū)域，最終提高整體圖像處理的效率。視覺(jué)注意機(jī)制包括自上而下和自下而上兩種，本文只研究自下而上的視覺(jué)注意機(jī)制[1]。

早期建立的自下而上的顯著性檢測(cè)模型均是基于空間域建立的。而近年來(lái)，部分研究人員開(kāi)始基于頻域著實(shí)建立顯著圖[2-6]。值得注意的是2007年[7-9]，Guo等基于仿射系數(shù)率先提出剪切波變換，并證明了該表示方法具有幾乎最優(yōu)的稀疏性[10]。對(duì)比剪切波變換和小波變換可知，前者可以最大化地使用原函數(shù)的幾何正則性，剪切波基具有近似長(zhǎng)條形的支撐區(qū)間，能夠僅使用較少的系數(shù)逼近奇異曲線。剪切波變化因此在圖像邊緣特征方面更具優(yōu)勢(shì)，且擁有更好的逼近精度和稀疏表達(dá)能力[11-15]。

基于多方向和多尺度的離散剪切波變換，本文建立了一個(gè)利用自下而上視覺(jué)注意機(jī)制進(jìn)行顯著性檢測(cè)的模型。該模型在各分解層重構(gòu)剪切波系數(shù)獲取各分解層圖像描述特征圖，并將各層細(xì)節(jié)信息匯總以實(shí)現(xiàn)多分辨率角度綜合衡量圖像的顯著性。此外，本文的模型除了效仿文獻(xiàn)[12]的思想獲取全局顯著性外，還加入熵計(jì)算概率密度分布，獲取并建立局部顯著圖。其局部顯著圖建立的核心思想是若局部區(qū)域和周邊分布一致性越高，熵值越大，相應(yīng)的顯著性越低；反之，一致性越低，獲得的熵值越小，相應(yīng)的顯著性越高。該局部顯著圖建立方式能夠較完善地反映中心和周邊差異，提高顯著性檢測(cè)效率和準(zhǔn)確度。最后，融合局部和全局顯著圖即可得到圖像的最終綜合顯著圖。

1 算法分析

基于剪切波系數(shù)，本模型使用了較為合理完善的顯著性檢測(cè)機(jī)制，獲得的顯著性邊緣質(zhì)量高。經(jīng)孔洞填充后即可獲得圖像的顯著圖，基本流程可見(jiàn)圖1。

圖1 模型綜合顯著圖獲取基本流程圖

1.1 特征圖獲取

首先，需要針對(duì)原始圖像描述并構(gòu)建特征圖。本文對(duì)原始圖像進(jìn)行剪切波分解(采用錐形自適應(yīng)離散剪切波系統(tǒng)，SH)。

(1)

其中，f表示二維離散信號(hào)，φm=φ(.-c1m)表示尺度函數(shù)

(2)

由于本文的特征圖需要經(jīng)過(guò)剪切波系數(shù)矩陣重構(gòu)得到，因此將式(1)簡(jiǎn)化為

SH(g)=LD∪Hd

(3)

式中的g，D，LD，Hd分別表示輸入的灰度圖像、分解次數(shù)、尺度系數(shù)矩陣和剪切波系數(shù)矩陣。

本文通過(guò)剪切波系數(shù)和VisuShrink閾值函數(shù)計(jì)算獲得δ值的對(duì)比來(lái)判斷該剪切波系數(shù)是否為有用信息，若是(剪切波系數(shù)大于該δ值)則將其以l倍放大，否則置零，進(jìn)而起到加強(qiáng)有用信號(hào)減少噪聲的作用。去噪策略可總結(jié)為

(4)

其中，H0和H分別表示了經(jīng)處理得到的系數(shù)和Hd的剪切波系數(shù)。

最后，將處理過(guò)的各分解層剪切波系數(shù)矩陣進(jìn)行逆變換(ISH)，得到相應(yīng)的各層特征圖fd，即為

(5)

式中的k∈(1，2，…，K)表示的是分解方向。

1.2 顯著圖構(gòu)建

1.2.1 全局顯著圖構(gòu)建

得到了各分解層的特征圖后，可借助全局概率密度分布構(gòu)建全局顯著圖，其過(guò)程分析如下：

第一步，針對(duì)各特征圖的點(diǎn)(x，y)獲取特征向量f0(x，y)=[f(x，y)，…，fD(x，y)]T描述該點(diǎn)(只針對(duì)非零矩陣的特征矩陣)。

第二步，選取任意點(diǎn)計(jì)算概率密度值p(x，y)(采用多維高斯概率密度函數(shù))，建立概率密度分布矩陣，如下式所示

(6)

式中，∑、Ed、μ分別為協(xié)方差矩陣、特征圖fd的期望和期望向量(衡量各特征圖各位置點(diǎn)的特征值和該圖的差異性)。由于∑和μ實(shí)際為全局統(tǒng)計(jì)值，因此得到的p(x，y)實(shí)際上也應(yīng)該是全局顯著性。

第三步，構(gòu)建全局顯著圖SG

SG(x,y)=H(-R(lgp(x,y))×Ik×k

(7)

式中的SG(x，y)表示點(diǎn)(x，y)位置處的全局顯著度；Ik×k代表的是二維高斯低通濾波器(文中k值取5)。

1.2.2 局部顯著圖構(gòu)建

構(gòu)建局部顯著圖流程分析如下：

第一步，計(jì)算并獲取各特征圖(表示為d)的所有點(diǎn)(x，y)的概率密度值pd(x，y)，建立概率密度分布矩陣

(8)

式中的σ=Dd和μ=Ed分別代表了特征圖fd的方差與期望，各特征圖對(duì)應(yīng)了不同的分解尺度，分別處理可獲得不同尺度下的顯著性；

第二步，在pd上計(jì)算獲取局部區(qū)域塊所對(duì)應(yīng)的信息熵，計(jì)算獲得信息熵矩陣φd；

(9)

第三步，將所有分解尺度上的信息熵矩陣綜合，構(gòu)建最終的局部顯著圖SL。

(10)

式中，Wd(x，y)為點(diǎn)(x，y)位置處信息熵矩陣的權(quán)重計(jì)算公式。

1.2.3 綜合顯著圖構(gòu)建

本文在融合全局以及局部顯著圖后，按照關(guān)注點(diǎn)附近區(qū)域顯著度優(yōu)先原則對(duì)圖像顯著度進(jìn)行調(diào)整。本文同時(shí)采用了形態(tài)學(xué)腐蝕(E(·))消除局部顯著圖構(gòu)建中以(2k+1)×(2k+1)為鄰域獲得區(qū)域熵值帶來(lái)的邊緣寬度放大的問(wèn)題，獲得的顯著圖如所示

S(x,y)=E(M(SL(x,y)eSG(x,y))(1-d(x,y)))

(2)

式中，非線性的歸一化函數(shù)為M(·)，d0(x，y)代表了(x，y)點(diǎn)和離它最近的關(guān)注點(diǎn)(x0，y0)的距離。

顯著性檢測(cè)即為二值化操作(B(·))，其最終目的是將圖像中各像素點(diǎn)標(biāo)注為顯著點(diǎn)或非顯著點(diǎn)。本文使用了Otsu自動(dòng)閾值獲取函數(shù)和直接使用顯著圖均值作為閾值的兩種獲取方法，最終得到了二值圖。本文的模型是基于剪切波系數(shù)建立的，在描述圖像的邊緣信息方面具有較好的效果。因此，本文在檢測(cè)到顯著性邊緣后，結(jié)合孔洞填充操作(F(·))得到所需的顯著性區(qū)域，進(jìn)而獲得綜合顯著圖ST(x,y)=F(B(S(x,y)))。

本文也給出了本模型進(jìn)行顯著性檢測(cè)的實(shí)例過(guò)程圖來(lái)幫助理解，如圖2所示。

圖2 顯著性檢測(cè)過(guò)程實(shí)例圖

2 實(shí)驗(yàn)和結(jié)果分析

本文使用Matlab環(huán)境進(jìn)行實(shí)驗(yàn)，選擇和文獻(xiàn)[12]的顯著性檢測(cè)模型進(jìn)行比較(代碼來(lái)自于Nevrez)。本文的仿真包括獲取兩種模型的P、R、Fa值(基于UserDataB和ImageB數(shù)據(jù)集)和ROC值[13]。

2.1 仿真實(shí)驗(yàn)1

仿真實(shí)驗(yàn)1包含兩個(gè)內(nèi)容，即驗(yàn)證孔洞填充操作的作用和與文獻(xiàn)[12]中的顯著性檢測(cè)模型進(jìn)行對(duì)比。

在ImageB數(shù)據(jù)集中用本文建立的模型進(jìn)行了仿真實(shí)驗(yàn)。其中，二值圖構(gòu)建操作如上節(jié)所述，獲得的孔洞填充操作前后的P、R、Fa值見(jiàn)表1。由表可以看到，孔洞填充操作后P、R、Fa均獲得了提升，可見(jiàn)孔洞填充操作效果良好，對(duì)于圖像顯著性檢測(cè)非常必要。

表1 孔洞填充前后的P、R、Fa值對(duì)比

在UserDataB和ImageB數(shù)據(jù)集中，分別使用本文建立的模型與文獻(xiàn)[12]的模型計(jì)算并對(duì)比了P、R、Fa值，驗(yàn)證了全局和局部顯著性對(duì)綜合顯著圖的必要性，結(jié)果如圖3所示，其中，Ls，Gs，Ts分別代表局部、全局和綜合顯著圖。

圖3 本文和文獻(xiàn)[12]的模型P、R、Fa值對(duì)比結(jié)果圖

從圖3(a)可以看到，全局顯著圖的P、R、Fa值更高，表明全局顯著圖對(duì)綜合顯著圖貢獻(xiàn)較高。此外，本文模型得到的綜合顯著圖相比于文獻(xiàn)[12]具有更高的P、R、Fa值，而全局顯著圖指標(biāo)實(shí)際處于劣勢(shì)低位，表明局部顯著圖在較大程度上能提升綜合顯著圖的質(zhì)量；文獻(xiàn)[12]的P、R值波動(dòng)較大，說(shuō)明該文獻(xiàn)在顯著性檢測(cè)過(guò)程中構(gòu)造了較多無(wú)關(guān)的顯著性區(qū)域，得到了較大的R值和較小的P值，可見(jiàn)本文的顯著性檢測(cè)模型更具有準(zhǔn)確性和合理性。從圖3(b)中可看到，無(wú)論使用了何種二值圖閾值獲取方式，本文的顯著性檢測(cè)模型均優(yōu)于文獻(xiàn)[12]。

2.2 仿真實(shí)驗(yàn)2

對(duì)原始圖像(C1～C6共235幅圖像)進(jìn)行顯著性檢測(cè)獲得的顯著圖可以劃分為顯著和非顯著區(qū)域。ROC是人工標(biāo)注圖(包括區(qū)域和點(diǎn)人工標(biāo)注圖)中以擊中概率(顯著區(qū)域正確檢測(cè)為顯著區(qū)域的概率)做分子，虛報(bào)概率(非顯著區(qū)域錯(cuò)誤檢測(cè)為顯著區(qū)域的概率)做分母的數(shù)值，該值能反映顯著性檢測(cè)模型的檢測(cè)準(zhǔn)確性和有效性。如表2和表3所示，使用本文模型得到的ROC值，除C3外所有值均優(yōu)于文獻(xiàn)[12]模型所得到的ROC值，可見(jiàn)本文的檢測(cè)性模型更準(zhǔn)確合理。表中的綜合ROC值由C1～C6的ROC值平均得到。

表2 兩種模型關(guān)注區(qū)域人工標(biāo)注圖計(jì)算獲得的ROC值對(duì)比結(jié)果

表3 兩種模型關(guān)注點(diǎn)人工標(biāo)注圖計(jì)算獲得的ROC值對(duì)比結(jié)果

3 結(jié)束語(yǔ)

剪切波變換具有多方向、多尺度和良好的稀疏描述性能，經(jīng)剪切波分解得到圖像的剪切波系數(shù)和尺度系數(shù)均能夠較好保留原始圖像的細(xì)節(jié)信息，這對(duì)圖像的顯著性描述意義重大?；谏鲜鲈?，本文提出了一個(gè)利用自下而上視覺(jué)注意機(jī)制進(jìn)行顯著性檢測(cè)的模型。并在多個(gè)彩色圖像數(shù)據(jù)集上對(duì)該模型和文獻(xiàn)模型進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果顯示，本文模型的性能指標(biāo)更優(yōu)，證明本模型更具有效性和準(zhǔn)確性。

參考文獻(xiàn)

[1] 陳再良.圖像感興趣區(qū)域提取方法研究[D].長(zhǎng)沙:中南大學(xué),2012.

[2] Itti L.Models of bottom-up and top-down visual attention[C].California:California Institute of Technology,2009.

[3] Liu Q,Han T,Sun Y,et al.A two step salient objects extraction framework based on image segmentation and saliency detection[J].Multimedia Tools & Applications,2013,67(1):231-247.

[4] Itti L,Koch C,Niebur E.A model of saliency-based visual attention for rapid scene analysis[M].CA,USA:IEEE Computer Society, 2008.

[5] Duncan K,Sarkar S.Relational entropy-based saliency detection in images and videos[C].MA,USA:IEEE International Conference on Image Processing,IEEE,2013.

[6] Guo C,Zhang L.A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression[J].Oncogene,2015,33(5):523-529.

[7] Li J,Levine M D,An X,et al.Visual saliency based on scale-space analysis in the frequency domain[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2013,35(4):996-1010.

[8] 陳召曦.位場(chǎng)數(shù)據(jù)的曲波變換與信息提取應(yīng)用[D].北京:中國(guó)地質(zhì)大學(xué),2012.

[9] Starck J L,Candes E J,Donoho D L.The curvelet transform for image denoising[J].IEEE Transactions on Image Processing,2002,11(6):670-84.

[10] Guo K,Labate D.Labate D:Optimally sparse multidimensional representation using shearlets[J].SIAM Journal Math Anal,2005,39(1):298-318.

[11] 孫晨.基于全變分和剪切波變換的圖像去噪方法研究[D].天津:天津大學(xué),2015.

[12] Imamoglu N,Lin W,Fang Y.A saliency detection model using low-level features based on wavelet transform[J].IEEE Transactions on Multimedia,2013,15(1):96-105.

[13] Liu T,Yuan Z,Sun J,et al.Learning to detect a salient object[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2011,33(2):353-67.

[14] 劉志民.基于小波變換的全變分模型的圖像去噪[D].合肥:安徽大學(xué),2013.

[15] 路雅寧,郭雷,李暉暉.帶限剪切波變換與全變差結(jié)合的圖像去噪[J].光子學(xué)報(bào),2013,42(12):1430-1435.