鄧 晨，謝林柏

江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無(wú)錫 214122

1 引言

人類(lèi)的視覺(jué)系統(tǒng)擁有迅速理解場(chǎng)景并從中抓取最感興趣區(qū)域的能力，顯著性檢測(cè)就是讓計(jì)算機(jī)模擬人類(lèi)的這種能力，降低計(jì)算機(jī)對(duì)圖像理解的復(fù)雜程度，從而讓計(jì)算機(jī)更加高效地工作。顯著性檢測(cè)作為圖像預(yù)處理的基礎(chǔ)研究在圖像分割[1]、圖像壓縮[2]、目標(biāo)識(shí)別[3]等方面都有廣泛的應(yīng)用。

基于局部和全局對(duì)比的顯著性檢測(cè)算法大都是直接計(jì)算顯著目標(biāo)（前景）的顯著性，故被稱(chēng)之為“前景優(yōu)先”。Itti[4]作為最早期的顯著性研究算法，在多個(gè)尺度上融合顏色、亮度、方向特征通過(guò)“中心-周?chē)睂?duì)比得到顯著圖，但是這種方法計(jì)算復(fù)雜度高，顯著區(qū)域容易產(chǎn)生空洞。文獻(xiàn)[5]對(duì)圖像進(jìn)行分塊處理，將像素塊與周?chē)噜徬袼貕K作對(duì)比得到局部顯著圖。文獻(xiàn)[6]在LAB空間計(jì)算每種顏色與其他顏色之間的空間距離之和表示顯著性值。文獻(xiàn)[7]分別以顏色差異、空間距離值進(jìn)行高斯濾波，最后綜合考慮顏色和空間信息得到顯著值。文獻(xiàn)[5-7]中的方法簡(jiǎn)單快速，但當(dāng)背景雜亂時(shí)，背景容易獲得高顯著值，對(duì)背景的抑制能力較弱。文獻(xiàn)[8]提出了背景先驗(yàn)的概念，首先假定所有的邊界點(diǎn)都為背景，然后計(jì)算像素塊與邊界像素塊的測(cè)地線(xiàn)距離作為顯著值。文獻(xiàn)[9]通過(guò)邊界顏色直方圖對(duì)比，將滿(mǎn)足閾值要求的兩條特定邊界作為背景。文獻(xiàn)[10]通過(guò)對(duì)比單個(gè)超像素與全體邊界超像素的顏色均值對(duì)比來(lái)篩選背景。文獻(xiàn)[11]通過(guò)對(duì)比每個(gè)邊界超像素和其他所有超像素之間的顏色差異大小來(lái)篩選背景。由于文獻(xiàn)[9-11]均為通過(guò)邊界內(nèi)部之間的對(duì)比來(lái)篩選屬于背景的邊界超像素，當(dāng)邊界顏色差異較大且雜亂時(shí)，容易將噪點(diǎn)當(dāng)成顯著目標(biāo)并排除在背景外，因此依然存在背景選擇不明確的問(wèn)題。

針對(duì)上述問(wèn)題，本文提出全局對(duì)比和背景先驗(yàn)驅(qū)動(dòng)的顯著目標(biāo)檢測(cè)方法。通過(guò)全局對(duì)比得到基于全局的顯著圖，并選擇其中顯著值較大的點(diǎn)作為前景種子點(diǎn)；以前景種子點(diǎn)為參照得到背景種子點(diǎn)，并進(jìn)一步得出基于背景的顯著圖；在融合全局和背景顯著圖的基礎(chǔ)上，選取其中顯著值較高的超像素作為興趣點(diǎn)集合，最終以每個(gè)超像素與興趣點(diǎn)之間的最短距離為高斯權(quán)重對(duì)顯著圖進(jìn)一步優(yōu)化。與其他主流算法對(duì)比，本文算法可以更好地應(yīng)對(duì)信息復(fù)雜的背景，均勻突出顯著目標(biāo)。

2 顯著圖計(jì)算方法

2.1 基于全局對(duì)比的顯著圖提取

簡(jiǎn)單線(xiàn)性迭代聚類(lèi)（Simple Linear Iterative Clustering，SLIC）[12]可以將圖片分割為若干個(gè)具有相同顏色信息的超像素，在較好保留圖像邊界信息的同時(shí)能夠降低圖像后續(xù)處理的復(fù)雜度。故本文采用SLIC方法對(duì)圖像進(jìn)行預(yù)處理，將圖片分割成K個(gè)超像素，每一個(gè)超像素包含[l,a,b,x,y]五維特征，其中[l,a,b]為超像素在CIELAB空間的顏色平均值，[x,y]為每個(gè)超像素的空間位置。全局顏色對(duì)比可以讓顏色相近的超像素分配有相同顯著值，故能更均勻突出整個(gè)目標(biāo)區(qū)域。與臨近超像素相比擁有較大差異的點(diǎn)往往會(huì)引起人類(lèi)視覺(jué)的更多關(guān)注，在計(jì)算每個(gè)超像素的對(duì)比度時(shí)，將超像素之間的空間與顏色因素同時(shí)考量。把超像素之間的空間距離作為權(quán)值，空間距離越大的超像素對(duì)對(duì)比度的貢獻(xiàn)越小。本文考慮顯著區(qū)域在整幅圖像中占比較小，同時(shí)為了減少顯著值在相似顏色塊之間的小數(shù)值累加，設(shè)定當(dāng)兩個(gè)超像素的顏色差異小于閾值α?xí)r，累加值為零，其中Sg(i)為第i個(gè)超像素基于全局的顯著值：

其中d(Ci,Cj)表示第i與第j個(gè)超像素在[l,a,b]特征之間的顏色距離，d(Pi,Pj)表示第i個(gè)與第j個(gè)超像素在[x,y]特征之間的空間距離，所有距離歸一化[0,1]，δf是控制空間距離權(quán)重的因子，δf越大則鄰近超像素貢獻(xiàn)越大，α為控制顏色差異的閾值。

在基于全局的顯著圖提取方面，本文所設(shè)定的閾值α可以有效減少顯著值在相似顏色超像素之間的累加，降低由累加帶來(lái)的背景區(qū)域顯著值上升干擾，使背景區(qū)域和前景顯著目標(biāo)的對(duì)比更加明顯。

2.2 基于背景的顯著圖提取

傳統(tǒng)背景提取方法假定邊界全部為背景區(qū)域，而很多圖像中存在前景顯著區(qū)域延伸到邊界的情況，此時(shí)會(huì)產(chǎn)生噪聲點(diǎn)并極大程度干擾背景先驗(yàn)檢測(cè)的可靠性。本文將2.1節(jié)所得基于全局的顯著圖Sg中顯著值較大的點(diǎn)作為前景種子點(diǎn)，通過(guò)對(duì)比邊界超像素與前景種子點(diǎn)的相似度，篩選出屬于背景的邊界超像素。本文假定所提取的前景種子點(diǎn)為{Fj},j=1,2,…,m，由原圖提取出來(lái)的邊界超像素為{Bi},i=1,2,…,n。每個(gè)邊界超像素的顯著值定義為邊界超像素Bi與前景種子點(diǎn)Fj在歐氏空間上的顏色距離。當(dāng)PB(i)小于設(shè)定的閾值時(shí)，認(rèn)為邊界超像素Bi屬于前景顯著區(qū)域并在背景中剔除，從而得到屬于背景的邊界超像素集合PB作為背景種子點(diǎn)，背景超像素集合PB的定義式為為圖像的顯著目標(biāo)區(qū)域，t為集合中的個(gè)數(shù)。

與背景種子點(diǎn)顏色相似度越高空間位置越近的超像素更有可能成為背景，因此被賦予更低的顯著值。以上述更為精確的背景種子點(diǎn)為對(duì)比提取基于背景的顯著圖，Sb(i)為第i個(gè)超像素基于背景的顯著值：

其中d(Ci,Cj)表示第i與第j個(gè)超像素在[l,a,b]特征之間的顏色距離，d(Pi,Pj)表示第i與第j個(gè)超像素在[x,y]特征之間的空間距離，超像素j屬于背景集合PB,δb為控制距離權(quán)重的因子。

在背景檢測(cè)方面，與傳統(tǒng)方法只通過(guò)邊界超像素之間的顏色對(duì)比得到背景種子點(diǎn)不同，本文通過(guò)參照前景種子點(diǎn)可以得到更為精確的背景種子點(diǎn)，能夠避免邊界中顏色差異性較大以及屬于前景顯著區(qū)域超像素的干擾，同時(shí)使得基于背景的顯著圖更加清晰。

2.3 顯著圖融合

基于全局的顯著圖可以讓全局占比較小的顯著目標(biāo)獲得高顯著值，基于背景的顯著圖可以讓與背景相似度高的超像素被抑制，突出與之差異性較大的前景顯著目標(biāo)。出于以上的考慮，兩幅圖中對(duì)應(yīng)超像素的顯著值均較高時(shí)則更有可能成為顯著區(qū)域，反之則可能成為背景。因此需要一種融合方法可以讓前景目標(biāo)突出并抑制背景。以往顯著圖大部分采用相乘或加權(quán)融合的方法，雖然直接相乘的方法會(huì)讓背景顯著值更低，但是這種簡(jiǎn)單的方法同時(shí)會(huì)使得顯著目標(biāo)被過(guò)度抑制，而加權(quán)的方法難以有效抑制背景噪聲。因此，本文提出了一種新的融合方法，第i個(gè)超像素顯著值的計(jì)算公式如下：

由式（4）可以看出，當(dāng)基于全局的顯著值和基于背景顯著值對(duì)應(yīng)的超像素均大于各自的閾值時(shí)，這個(gè)超像素更有可能屬于顯著目標(biāo)，因此把兩者取平均減小對(duì)顯著目標(biāo)的抑制；反之則以基于全局的顯著值作為高斯權(quán)值進(jìn)行融合，讓背景得到更多的抑制，在不減弱顯著目標(biāo)融合的同時(shí)，有效加強(qiáng)對(duì)背景抑制。

2.4 基于多興趣點(diǎn)的高斯模型

傳統(tǒng)算法將圖像中心[14]或者凸包中心[15]作為顯著中心并被賦予較高的顯著值，然而圖像中的顯著物體可能存在于圖片的任何位置，并且顯著區(qū)域的形狀可能不規(guī)則，如果僅使用單個(gè)基于圖像中心或者凸包中心的高斯模型會(huì)得到一個(gè)光斑，對(duì)顯著區(qū)域的邊界抑制較大。另外由于只有一個(gè)中心，所以為保證顯著區(qū)域能大范圍被覆蓋，通常需要選取較大的濾波半徑，會(huì)降低對(duì)背景的抑制能力。針對(duì)單個(gè)中心點(diǎn)高斯模型的不足，提出了基于多個(gè)興趣點(diǎn)為中心的高斯模型。通過(guò)對(duì)融合顯著圖Scom的分析，首先求出質(zhì)心Ο，為了避免一些噪聲點(diǎn)的影響，在以Ο為圓心r為半徑的范圍內(nèi)尋找顯著值大于Δ的超像素作為興趣點(diǎn)集合{Mj},j=1,2,…,s。任意一個(gè)超像素Scom(i)與興趣點(diǎn)的距離為：

其中xsi,ysi分別為超像素的橫縱坐標(biāo)，xmi,ymi分別為興趣點(diǎn)的超像素的橫縱坐標(biāo)。然后以每個(gè)超像素與興趣點(diǎn)的最小距離作為權(quán)重，并重新設(shè)定像素塊的顯著值為：

其中Dmin=min{D1,D2,…,Ds}為超像素與興趣點(diǎn)的最小距離。η為固定設(shè)置的權(quán)值，η增大對(duì)背景抑制能力增強(qiáng)，但是當(dāng)η過(guò)大時(shí)則會(huì)抑制前景目標(biāo)。r為設(shè)置的固定值，r增大則收集興趣點(diǎn)的范圍越寬。Δ為篩選興趣點(diǎn)的閾值。

相比單個(gè)中心的高斯模型，文中所提方法的優(yōu)勢(shì)在于，用融合顯著圖Scom的質(zhì)心作為圓心，尋找設(shè)定范圍內(nèi)的高顯著值超像素作為興趣點(diǎn)，使得圖中存在多個(gè)中心，在更全面覆蓋顯著區(qū)域的同時(shí)減少孤立高顯著值噪點(diǎn)的影響。再以超像素與興趣點(diǎn)的最小距離為權(quán)重，可以得到與顯著區(qū)域形狀相似的高斯權(quán)重圖，在高亮顯著目標(biāo)抑制背景噪點(diǎn)的同時(shí)能夠改變單中心高斯模型中顯著區(qū)域邊界抑制嚴(yán)重的問(wèn)題。

3 算法步驟實(shí)現(xiàn)

全局對(duì)比和背景先驗(yàn)驅(qū)動(dòng)的顯著目標(biāo)檢測(cè)方法的流程圖如圖1所示，主要步驟如下：

步驟1使用SLIC進(jìn)行圖像預(yù)處理，將圖1（a）分割為一系列感知均勻的像素塊，如圖1（b）。

步驟2按照2.1節(jié)所提方法得到基于全局的顯著圖Sg如圖1（c）所示，并篩選出前景種子點(diǎn)。

步驟3通過(guò)邊界對(duì)比前景種子點(diǎn)得到真實(shí)背景超像素集合如圖1（d）所示，再由2.2節(jié)步驟得到基于背景的顯著圖Sb，如圖1（e）。

步驟4通過(guò)公式（3）融合基于全局的顯著圖Sg和基于背景的顯著圖Sb得到融合顯著圖Scom，如圖1（f）。

圖1 算法流程圖

步驟5最后通過(guò)基于多興趣點(diǎn)的高斯模型得到最終顯著圖，如圖1（h）。

4 仿真實(shí)驗(yàn)分析

本文算法運(yùn)行的軟件環(huán)境為MATLAB 7.8.0（R2009a）。系統(tǒng)運(yùn)行環(huán)境為Windows XP，因特爾3.10 GHz CPU，2 GB內(nèi)存。實(shí)驗(yàn)中使用公開(kāi)數(shù)據(jù)集MSRA-1000中的1 000幅圖像[16]作為測(cè)試集，圖庫(kù)中包含人、動(dòng)植物、車(chē)輛、建筑物等各種自然場(chǎng)景，其中每幅圖像提供了對(duì)應(yīng)的人工標(biāo)注二值圖（Ground Truth，GT）作為顯著目標(biāo)模板。文中參數(shù)k,δ2f,δb2,α,Δ,r,μ,η經(jīng)過(guò)多次測(cè)試分別為250，0.2，0.2，30，0.6，0.4，15，10。

為評(píng)價(jià)本文所提的顯著性檢測(cè)方法，選擇6種主流方法與本文算法（Saliency using Global contrastand Background priors，SGB）進(jìn)行比較，包括 HC[6]，SF[7]，GS[8]，CHB[17]，F(xiàn)T[16]，PCA[18]。在實(shí)驗(yàn)中，采用國(guó)際主流的數(shù)據(jù)評(píng)價(jià)方式全面評(píng)價(jià)本文方法。圖2為本文算法和主流算法以及GT圖的直觀(guān)比較圖。

圖2 本文與主流算法的直觀(guān)比較圖

限于篇幅關(guān)系且為了更加直觀(guān)地感受本文算法的處理效果，圖2僅列出對(duì)MSRA數(shù)據(jù)庫(kù)處理后的1 000幅圖形里的5幅進(jìn)行對(duì)比。由圖2可以看出，本文算法SGB中顯著圖像邊緣輪廓更清晰，背景的干擾更小，更能均勻突出前景目標(biāo)。HC，SF，F(xiàn)T算法僅僅從前景出發(fā)，沒(méi)有考慮邊界背景對(duì)與前景顯著目標(biāo)的突出效果，因此顯著圖受背景干擾較大；GS算法單從背景出發(fā)，當(dāng)顯著目標(biāo)處于邊界時(shí)，容易受到干擾，同時(shí)一些孤立噪點(diǎn)容易獲得較高顯著值；CHB和PCA算法中只采用了單興趣點(diǎn)高斯模型對(duì)背景進(jìn)行抑制，難以完全地克服背景干擾。而本文算法綜合考慮了全局對(duì)比，剔除干擾超像素后的背景邊界以及多興趣點(diǎn)高斯模型，能夠更好地抑制背景，并均勻高亮顯著目標(biāo)。

為進(jìn)一步驗(yàn)證本算法的正確性和有效性，本文采用查準(zhǔn)率P、查全率R和F值三個(gè)指標(biāo)來(lái)評(píng)價(jià)算法性能。P、R、F值越大表示性能越好。通過(guò)自適應(yīng)閾值Yu對(duì)算法得到的顯著圖進(jìn)行二值分割，并將得到的二值圖與人工標(biāo)注圖GT對(duì)比，得到圖像的查全率和查準(zhǔn)率，并進(jìn)一步計(jì)算F值綜合考慮算法性能，如圖3所示。F值、自適應(yīng)閾值Yu的計(jì)算公式如下。

與文獻(xiàn)[16-18]一致，其中β2取值為0.3，W,H為顯著圖的長(zhǎng)和寬。

圖3 F-measure柱狀圖

從圖3可以看出，本文算法的P值和綜合評(píng)價(jià)指標(biāo)F明顯高于其他幾種算法，而R值明顯高于GS、FT和HC算法，與SF、CHB、PCA算法相當(dāng)。因此綜合這三個(gè)指標(biāo)看出，本文算法優(yōu)于其他幾種算法。F值的具體數(shù)值如表1所示。

表1 本文算法與其他算法在三種性能指標(biāo)下的對(duì)比

另外通過(guò)固定閾值Tf={x|?x∈[0,255]}將顯著圖分割為256張二值圖，將其與GT比較得到查全率、查準(zhǔn)率（Precision-Recall，PR）曲線(xiàn)，進(jìn)一步觀(guān)測(cè)到在不同閾值下查準(zhǔn)率和查全率之間的關(guān)系，如圖4。

圖4 PR曲線(xiàn)

由圖4可以看出，當(dāng)查全率處于[0，0.4]時(shí)本文算法的查準(zhǔn)率遠(yuǎn)高于HC、FT，而與其他算法相當(dāng)。當(dāng)查全率大于0.4時(shí)，本文算法的查準(zhǔn)率要超過(guò)其他6種算法。PR曲線(xiàn)為全面衡量查全率查準(zhǔn)率的指標(biāo)，不同閾值下查全率查準(zhǔn)率會(huì)有不同的表現(xiàn)，為了更加直觀(guān)且綜合地評(píng)定算法優(yōu)劣，計(jì)算PR曲線(xiàn)下的面積AUC（Area Under Curve）[19]來(lái)定量的評(píng)判算法優(yōu)劣，AUC值越靠近1，表示算法效果越精確。具體數(shù)值如表1所示。

為了不進(jìn)行二值分割而直接分析算法所得顯著圖與GT之間的關(guān)系，通過(guò)平均絕對(duì)誤差（Mean Absolute Error，MEA）值來(lái)評(píng)價(jià)本文算法性能。

其中M,N為顯著圖的長(zhǎng)和寬，GT(x,y)表示人工標(biāo)注圖在(x,y)處的值，S(x,y)表示顯著圖在(x,y)處的值，MEA值越小，說(shuō)明算法得到的顯著圖與人工標(biāo)注圖的差異越小，性能越優(yōu)異。MEA值比較如表1所示。

由表1可以看出，本文所提算法的MEA值相比其他幾種算法均較小，F(xiàn)值與AUC值均大于其他算法，表明本文算法在目標(biāo)和背景的綜合評(píng)價(jià)方面效果最好。

5 結(jié)論

本文提出了一種全局對(duì)比和背景先驗(yàn)驅(qū)動(dòng)的顯著性檢測(cè)方法，通過(guò)基于全局的顯著圖得到更為精確的背景種子點(diǎn)，并以背景為基礎(chǔ)得到讓顯著目標(biāo)有更高對(duì)比度的顯著圖；在融合全局和背景顯著圖的基礎(chǔ)上，選取其中顯著值較高的超像素作為興趣點(diǎn)集合，采用基于多興趣點(diǎn)的高斯模型進(jìn)一步抑制圖像噪聲。在公開(kāi)測(cè)試集MSRA-1000上與當(dāng)前的6種主流算法進(jìn)行實(shí)驗(yàn)作對(duì)比，從定量分析得出本文查準(zhǔn)率（0.858 1），查全率（0.828 9），F(xiàn)值（0.851 2），MEA值（0.116 7），可以看出顯著區(qū)域提取更精確，抑制噪聲能力更強(qiáng)。

[1]Victor L，Pushmeet K，Carsten R，et al.Image segmentation with abounding box prior[C]//IEEE 12th International Conference on Computer Vision，Kyoto，2009：277-284.

[2]Luo P，Tian Y L，Wang X G，et al.Switchable deep network for pedestrian detection[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition，Columbus，2014：899-906.

[3]Ren Z X，Yang N.Region-based saliency detection and its application in objectrecognition[J].IEEE Transactions on Circuits and Systems for Video Technology，2014，24（5）：769-779.

[4]Itti L，Koch C，Niebur E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（11）：1254-1259.

[5]郭迎春，袁浩杰，吳鵬.基于Local特征和Regional特征的圖像顯著性檢測(cè)[J].自動(dòng)化報(bào)，2013（8）：1214-1224.

[6]Cheng M M，Zhang G X，Mitra N J.Global contrast based salient region detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（3）：569-582.

[7]Perazzi F，Krahenbuhl P，Pritch Y，et al.Saliency filters：contrast based filtering for salient region detection[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition，Providence，2012：733-740.

[8]Wei Y C，Wen F，Zhu W，et al.Geodesic saliency using background priors[C]//Proceedings of European Conference on Computer Vision，2012：29-42.

[9]蔣寓文，譚樂(lè)怡，王守覺(jué).選擇性背景優(yōu)先的顯著性檢測(cè)模型[J].電子與信息學(xué)報(bào)，2015，37（1）：130-136.

[10]Cao X H，Deng H M，Huang B.Background aware saliency detection[J].Systems Engineering and Electronics，2014，36（8）：1668-1672.

[11]張巧榮.利用背景先驗(yàn)的顯著性檢測(cè)算法[J].中國(guó)圖象圖形學(xué)報(bào)，2016，21（2）：165-173.

[12]Achanta R，Shaji A，Smith K，et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern and Machine Intelligence，2012，34（11）：2274-2282.

[13]Otsu N.A threshold selection method from gray-level histograms[J].Automatica，1975，9（1）：23-27.

[14]高思晗，張雷，李成龍，等.融合低層和高層特征圖表示的圖像顯著性檢測(cè)算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2016，28（3）：420-426.

[15]Wang W，Cai D，Xu X，et al.Visual saliency detection based on region descriotors and prior knowledeg[J].Signal Processing Image Communication，2014，29（3）：424-433.

[16]Achanta R，Hemami S，Estrada F，et al.Frequency-tuned salient region detection[C]//IEEE International Conference on Computer Vision and Pattern Recognition，Miami，2009：1597-1604.

[17]Yang C，Zhang L H，Lu H C.Graph-regularized saliency detection with convex-hull-based centerprior[J].IEEE Signal Processing Letters，2013，20（7）：637-640.

[18]Ran M，Ayellet T，Lihi Z.What makes a patch distinct[C]//IEEE Conference on Computer Vision and Pattern Recognition，2013：1139-1146.

[19]李岳云，許悅雷，馬時(shí)平，等.深度卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)[J].中國(guó)圖象圖形學(xué)報(bào)，2016，21（1）：53-59.