翟繼友，屠立忠，莊嚴

1.南京工程學院計算機工程學院，南京211167

2.河海大學計算機與信息學院，南京211100

邊界先驗和自適應區(qū)域合并的顯著性檢測

翟繼友1，2，屠立忠1，莊嚴1

1.南京工程學院計算機工程學院，南京211167

2.河海大學計算機與信息學院，南京211100

CNKI網(wǎng)絡出版：2017-04-01,http://kns.cnki.net/kcms/detail/11.2127.TP.20170401.0914.058.html

1 引言

視覺顯著性檢測是神經(jīng)生物科學、認知心理科學和計算科學等多學科交叉的問題，它利用人的視覺原理，挖掘出當前圖像中最能吸引人的或者最突出的目標。近20年來，圖像顯著性區(qū)域檢測一直是計算機視覺等領域的一個研究熱點。在視覺顯著性問題研究過程中，最早的研究目標是預測眼光在當前圖像停留的位置。到目前為止，該技術發(fā)展為檢測當前圖像區(qū)域中所包含的顯著性目標并已取得相當大的進展，國內(nèi)外研究人員已提出了成百上千種視覺顯著性檢測模型。目前，視覺注意算法主要圍繞自頂向下和自底向上兩種機制進行展開[1]。自底向上的方法基于數(shù)據(jù)驅(qū)動，利用圖像底層特征作為基礎數(shù)據(jù)來源去驅(qū)動任務的執(zhí)行并對顯著性區(qū)域進行感知[2]。在自頂向下的方法是基于任務驅(qū)動的，它跟目標識別的先驗知識密切相關，比如任務的定義、目標分布、圖像背景等。

由于該技術的實現(xiàn)過程簡單、可靠、快速，能夠提高對象識別、跟蹤和檢測的準確性，使其在圖像分割、目標識別與跟蹤、機器視覺等諸多領域都有著廣泛的應用[3]。例如，Han等[4]人在馬爾科夫隨機場理論的基礎上突出當前圖像中的顯著性信息，輔助完成圖像的分割；錢曉亮[5]針對現(xiàn)有的基于頻域的視覺顯著性檢測算法檢測準確度不高的弱點，提出了一種基于加權稀疏編碼的頻域算法，有效地檢測到顯著的中心區(qū)域和周圍的背景，但是產(chǎn)生的顯著性映射易受到圖像高頻部分的影響；Gopalakrishnan等人[6]將使用隨機游走預測未標記標簽，但是隨機游走產(chǎn)生的顯著點的數(shù)目和位置比較難確定，其結果對選擇的種子很敏感。最近，有人提出一種探索背景先驗信息的顯著性提取方法[7]，該方法主要出發(fā)點是背景區(qū)域之間的距離比顯著目標區(qū)域和背景區(qū)域之間的距離要小的理論。基于這個理論，節(jié)點標記任務（顯著目標或背景）可以定義為能量最小化問題，但在處理大型圖像數(shù)據(jù)庫時，單一采用對比度先驗信息還存在一定缺陷。為了避免這樣的情況發(fā)生，文獻[8]將圖像的四條邊分別作為背景的種子節(jié)點，然后利用傳播機制對種子節(jié)點進行顯著性信息擴散，生成四個子顯著圖，最后將四個子顯著圖融合成最終的顯著圖結果。然而這種方法在顯著性目標稍微接觸圖像的邊界時，邊界假設是脆弱的甚至會失敗。文獻[9]中提出交互式圖像分割算法，該算法雖能得到較好的分割結果，但在分割圖像之前需要為圖像進行人工標定標簽，不適合大規(guī)模圖像庫；另外，用戶標定標簽存在隨意性，分割結果千差萬別。由此可見，視覺顯著性檢測仍然是一項極具挑戰(zhàn)、亟待進一步發(fā)展的課題。針對現(xiàn)有的圖像顯著性區(qū)域檢測算法中顯著性區(qū)域檢測不準確與閾值依賴問題，本文提出了一種基于邊界先驗和自適應區(qū)域合并的顯著性檢測算法。

2 相關工作

2.1 初始分割與圖的構建

圖模型能兼顧圖像的局部信息和全局信息，本文將以圖模型為基礎進行顯著性區(qū)域檢測。圖模型的基本原理是將圖像以圖的形式進行表示。如果直接從像素級別進行圖模型的構建，計算量非常大。超像素是把特征相似的像素集中在一起形成一個基本的處理單元，更好地包含了圖像的結構化信息，相比像素級而言，它不僅解決了計算量大的問題，也能較好地表示圖的特征，已被廣泛用于計算機視覺等領域。在多個超像素分割算法中，簡單線性迭代聚類（Simple Linear Iterative Cluster，SLIC）算法[10]不僅運算效率高并且能在生成超像素的同時對圖像中的像素進行初等分類，為后續(xù)顯著性特征提取打下良好基礎。因此，本文采用SLIC算法把圖像進行過分割，以超像素區(qū)域內(nèi)所有像素特征的均值為超像素的特征，通過把超像素看做圖的一個頂點來進行構圖。即首先把給定的輸入圖像過分割成n個超像素，并構建一個圖G=＜V,E＞，其中V表示圖中的節(jié)點集，E表示無向邊集。vi∈V表示跟超像素對應的節(jié)點。wij=w(vi,vj)表示邊(vi,vj)∈E的權重。這里使用文獻[11]中邊的連接方案，使圖像所有邊界節(jié)點相互連接，即每個節(jié)點不僅跟它的鄰居節(jié)點相連，也跟它鄰居的鄰居節(jié)點相連，這種節(jié)點連接方式能完整保留全局信息。

2.2 邊界先驗

人們在拍攝圖像時，常把注意點放在靠近圖像中心的位置，一般不會把顯著目標聚焦在圖像邊界上，所以邊界先驗比中心先驗更具說服力，越來越多的自底向上模型更傾向使用圖像的邊界作為背景種子。然而，圖像邊界中的一部分可能被顯著目標所占據(jù)，如果輸入圖像的邊界被前景物體所占用，在基于背景的顯著性檢測中可能導致不恰當?shù)慕Y果。因此，本文首先通過定位和消除錯誤邊界來優(yōu)化邊界影響。

鑒于背景和顯著物體之間的顏色和對比度有明顯差異，錯誤的邊界相比其他三個往往具有獨特的顏色分布。因此，把超像素邊界看成連通區(qū)域并分別計算它們歸一化的像素級RGB直方圖：

式中，b∈{}

top,bottom,left,right表示圖像四個邊界的位置；n表示目標區(qū)域中的總像素；h=0,1,…,255是灰度值變量；Iq表示像素q的強度值；δ()?是單位脈沖函數(shù)；R,G,B三個通道分別用256灰度值進行計算。之后，計算四個直方圖中的兩兩歐氏距離：

將結果組成4×4的矩陣φ并對列進行求和，其中最大值對應的邊將被刪除。比如，如果第二列的和最大，則把底邊刪除。這樣得到背景基準集中存在很少的噪聲，有助于提升下一階段顯著性檢測的準確度。

3 自適應區(qū)域合并

3.1 初始種子節(jié)點選取

在缺少先驗信息的背景下來確定初始種子節(jié)點相對困難。因此，在文獻[12]的基礎上來定義區(qū)域顯著性指標：

其中，w1(RB)表示區(qū)域RB中的像素點個數(shù)，用來強調(diào)較大區(qū)域的顏色對比度?？梢钥闯觯剑?）中沒有空間信息，計算后的結果可能出現(xiàn)某些背景區(qū)域的顯著性指標與部分前景相同，對確定種子區(qū)域的選取造成困難。因此，本文在公式（3）的基礎上加入了空間因素并重新定義顯著性指標：

其中w2(RA,RB)表示RA、RB間歐氏距離。在本文算法中，一個區(qū)域或超像素表示一個節(jié)點。本文的自適應合并策略能夠通過超像素區(qū)域合并來實現(xiàn)顯著目標提取，在過分割后的圖像上標記出初始背景和前景種子區(qū)域。通過對顯著性指標進行歸一化，取最大值對應顯著區(qū)為前景種子區(qū)域，記為Mo。對于背景種子區(qū)域的選取不能直接選取最小值對應區(qū)域。原因是前景目標較大且背景較為復雜時，最小顯著性指標對應的區(qū)域可能不是唯一的，有時會處在前景中。為了能夠確定唯一的背景種子區(qū)域，本文選用圖像邊緣附近最小的顯著性指標，記為MB。圖像中剩余的其他區(qū)域則統(tǒng)一記為N，代表未標記區(qū)域。這樣，圖像就被分成前景種子，背景種子以及未標記三類區(qū)域，分別對應本文的前景、背景和未標記三類節(jié)點。

3.2 區(qū)域相似性度量

區(qū)域合并之前一個關鍵環(huán)節(jié)是計算區(qū)域特征間的相似度。本文的顯著性檢測算法是以超像素為基本處理單元，使用超像素的直方圖特征作為它們的特征向量。文獻[9]在基于區(qū)域合并的圖像分割中計算圖像超像素的單通道直方圖來作為特征向量，相比其他特征更具穩(wěn)健性，因此本文采用單通道索引顏色直方圖來表示超像素區(qū)域，把輸入圖像在RGB色彩空間中的各通道量化成L級。設(xR,xG,xB)、(R,G,B)分別表示原始和量化后的顏色值，轉(zhuǎn)化關系如下：

其中，f()表示沿負無窮方向的取整函數(shù)。原來圖像3通道的取值從[0，255]轉(zhuǎn)化為單通道的[0,L3-1]。

區(qū)域特征相似度測量方法一般可分成相似性度量（Similarity）和相異性度量（Dissimilarity）兩種，兩者統(tǒng)稱為接近度（Proximity）。度量接近度可以有多種方法，比如Minkowski距離、Bhattacharyya系數(shù)等。本文采用Bhattacharyya系數(shù)[13]來度量區(qū)域間的相異度。設HistR和HistQ分別表示區(qū)域R和區(qū)域Q歸一化后的顏色直方圖特征，則區(qū)域R和區(qū)域Q之間的相異度d(R,Q)定義為：

3.3 區(qū)域合并

前文完成了圖的構建，下面將根據(jù)相似特征進行區(qū)域合并。顏色特征相似的區(qū)域?qū)⑼瑢俦尘盎蚯熬澳繕?。傳統(tǒng)的區(qū)域合并算法中需要設置一個閾值，大于閾值才進行合并。閾值設置小很容易導致過合并，即一些目標區(qū)域被合并到了背景中，閾值設置較大則會導致背景區(qū)域或目標區(qū)域合并不完整。此外，傳統(tǒng)區(qū)域合并算法中的合并停止條件也是比較難以選擇的。在本文中，提出了一種自適應最小相異機制來合并區(qū)域。

合并準則：設Q為區(qū)域R相鄰的區(qū)域，并令SQ=為Q相鄰區(qū)域的集合，通過2,…,q計算Q及其鄰域之間的顏色最小相異度。如果R和Q之間的最小相異度在所有值中是最小的，則把R和Q進行合并，合并后區(qū)域的標記與R相同，即：

以上合并策略雖不需要提前設置合并閾值，但需要選擇初始種子節(jié)點來引導區(qū)域融合。在合并過程中，從哪個區(qū)域開始很重要。選取不同的種子將會產(chǎn)生不同的合并結果，在沒有先驗信息的情況下，選取種子區(qū)域比較困難。受文獻[9]的啟發(fā)，本文選取圖片邊緣的超像素作為圖像的種子節(jié)點引導合并的進行，在合并之前通過計算公式（2）去除最可能包含前景目標的一個邊，來提高最終檢測結果的準確性。整個區(qū)域合并過程分成三步：

步驟1從位于圖像三個邊緣的背景種子區(qū)域開始，如果滿足公式（7），則把MB中的背景區(qū)域和N中沒有被標記的區(qū)域進行合并，合并過程中N減少同時MB增加，直至MB找不到能進行合并的未標記區(qū)域，步驟1迭代結束。

步驟2N中沒有被標記的區(qū)域之間進行自適應合并，隨時更新標號N，直至找不到新的區(qū)域與N中區(qū)域合并時，步驟2迭代結束，如果此時N不為空，則返回執(zhí)行步驟1。

步驟3N中所剩余區(qū)域標記為Mo。至此，圖像中的所有區(qū)域均被標記為目標Mo或背景MB。

4 實驗結果及分析

4.1 數(shù)據(jù)庫和評價指標

將在本領域國際公開的圖像數(shù)據(jù)庫上驗證本文圖像顯著性檢測模型的有效性。為使比較結果更具說服力，在Achanta[14]提供的MSRA1000數(shù)據(jù)集上做仿真實驗，該數(shù)據(jù)集包含了1 000張自然圖像，大部分的圖像分辨率為400×300，每幅圖像均有對應的人工標定好的顯著性區(qū)域真值參照圖（GT）。將本文算法與SVO[15]、PCA[16]、RC[17]、DFRI[18]、HS[19]、LRMR[20]和MR[21]這幾種流行算法進行定性和定量比較。從公平比較的角度出發(fā)，實驗中用的對比算法都是運行網(wǎng)上直接下載到的原作者所提供的代碼得到的。

在定量比較實驗中，本文引入普遍采用的Precision（查準率）、Recall（召回率）和F-measure三個評判顯著性的量化指標[15]。查準率反映算法檢測出來的顯著點多少是正確的，表示顯著性檢測算法的準確的。召回率反映有多少真正的顯著點被檢出，表示檢測算法的完整性。這兩個指標相互約束，召回率的提高往往是以降低查準率為代價，因此需要同時考慮以上兩個指標的第三種評估方法，即F-measure，它表示Precision和Recall的加權調(diào)和平均數(shù)，計算形式如公式（8）。F-measure值越大則表明檢測算法的性能就越好。為了強調(diào)查準率的重要性，本文采用Achanna等人的建議，β2的值設置為0.3。

根據(jù)經(jīng)驗本文把SLIC超像素分割數(shù)設置為200。為了更可靠地對顯著圖進行衡量，設置256個閾值（0～255），把圖像分成256個二值圖，計算256個查準率和召回率得到變化曲線，然后根據(jù)公式（8）計算每幅圖像的F-measure。

圖1 不同算法的效果對比圖

4.2 比較實驗

圖1展示了不同算法的定性檢測結果。圖2給出了本文的顯著性檢測算法跟其他算法的定量比較結果。圖1顯示，SVO算法將部分的背景內(nèi)容錯誤地檢測到顯著性區(qū)域中。PCA算法主要利用模式進行檢測，雖然能很好地檢出顯著目標輪廓，但是丟失了顯著區(qū)域的很多內(nèi)部信息。RC會錯誤地將一些圖像中背景誤以為是顯著性目標。DFRI算法在多級圖像分割基礎上使用監(jiān)督學習將區(qū)域特征向量映射到顯著性分量，通過對多級顯著性分量融合得到顯著性區(qū)域。但它所使用的大部分圖像訓練集只包含一個顯著目標，很難將所有顯著目標提取出來。DSR首先在圖像邊界提取背景區(qū)域的模板，然后基于該模板將整個圖像的密集和稀疏的外觀模型作為顯著性區(qū)域的搜尋方法。LRMR結合了一些高級先驗知識，如圖像的中心和暖色調(diào)的顯著性特點。MR算法僅用一個高斯函數(shù)來計算邊的權值去度量節(jié)點之間的相似性，不能很好地檢出靠近圖像邊緣的顯著目標。本文算法能很好地處理圖像比較復雜且背景比較雜亂的情況，尤其是圖像顯著性目標落在圖像邊界的時候，本文算法表現(xiàn)好于其他算法，例如圖1第五行的圖像顯著性區(qū)域占據(jù)了圖像部分背景的邊界區(qū)域，通過去除掉最可能包含前景目標的一個邊之后取得了較好的檢測效果。

圖2 各算法的Precision、Recall和F-measure柱狀圖

從圖2可以看出，在所有顯著性檢測算法中，本文算法獲得了最好的查準率和最高的F-measure值。本文算法的性能非常接近MR，查全率不如MR，但整體優(yōu)于其他算法，如DFRI、RC、DSR和PCA。準確度高的重要原因之一是采用了改進后的邊界先驗。

本文算法和其他算法的運行時間對比情況如表1所示。從公平比較的角度出發(fā)，本文全部在MATLAB2010a環(huán)境下對各算法進行顯著性區(qū)域檢測。硬件平臺參數(shù)：英特爾雙核E6500處理器，2.93 GHz主頻，2 GB內(nèi)存。從表1中可以看到，本文算法比SVO、PCA、DFRI、DSR和LRMR更快。SVO算法比其他算法慢很多，該算法最耗時的步驟是生成通用對象檢測器和自底而上顯著區(qū)域檢測器。雖然DFRI算法僅需要12 s多就能完成給定圖像的檢測，但對數(shù)據(jù)進行訓練需要24 h以上。雖然本文算法比MR算法稍慢一些，但能產(chǎn)生更優(yōu)質(zhì)的顯著圖。

表1 不同的算法的運行時間

5 結論

本文提出了一種基于邊界先驗和自適應區(qū)域合并的顯著性檢測算法來檢測當前圖像中顯著性區(qū)域。對于給定圖像，首先采用SLIC算法把圖像進行過分割，以超像素區(qū)域內(nèi)所有像素特征的均值為超像素的特征，通過把超像素看做圖的一個頂點來進行構圖；然后通過定位和消除錯誤邊界來優(yōu)化邊界影響，使背景基準集中存在很少的噪聲，有助于提升下一階段顯著性檢測的準確度；最后采用單通道索引顏色直方圖度量區(qū)域相似度并進行區(qū)域合并得到顯著圖。定性和定量實驗表明本文算法相比其他算法取得了較好的實驗結果，得到的顯著區(qū)域輪廓清晰，顯著目標完整，說明了算法的有效性。隨著深度學習理論的日漸成熟，下一步將把相關理論和改進方法應用到視覺注意領域，改進當前顯著性目標檢測中的不足。

[1] Itti L，Koch C，Niebur E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（11）：1254-1259.

[2] Sugano Y，Matsushita Y，Sato Y.Calibration-free gaze sensingusingsaliencymaps[C]//IEEEConferenceon Computer Vision and Pattern Recognition，2010：2667-2674.

[3] 黃娟，梅浙川，黃小明.融合區(qū)域合并和Graph Cuts的彩色圖像分割方法[J].計算機工程與應用，2016，52（17）：225-228.

[4] Han J，Ngan K N，Li M，et al.Unsupervised extraction of visual attention objects in color images[J].IEEE Transactions on Circuits and Systems for Video Technology，2005，16：141-145.

[5] 錢曉亮，郭雷，韓軍偉，等.一種基于加權稀疏編碼的頻域視覺顯著性檢測算法[J].電子學報，2013，41（6）：1159-1165.

[6] Gopalakrishnan V，Hu Y Q，Rajan D.Salient region detection by modeling distributions of color and orientation[J].IEEE Transactions on Multimedia，2009，11（5）：892-905.

[7] Wei Y C，Wen F，Zhu W J，et al.Geodesic saliency using background priors[C]//the 12th European Conference on Computer Vision，2012：29-42.

[8] Zhou J，Gao S，Yan Y，et al.Saliency detection framework via linear neighborhood propagation[J].IET Image Processing，2014，8（12）：804-814.

[9] Ning J，Zhang L，Zhang D，et al.Interactive image segmentation by maximal similarity based region merging[J].Pattern Recognition，2010，43（2）：445-456.

[10] Achanta R，Shaji A，Smith K，et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（11）：2274-2282.

[11] Yang C，Zhang L，Lu H，et al.Saliency detection via graph-based manifold ranking[C]//IEEE Conference on Computer Vision and Pattern Recognition.Portland，USA：IEEE，2013：3166-3173.

[12] Moscheni F，Bhattacharjee S，Kunt M.Spatio-temporal segmentation based on region merging[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（9）：897-915.

[13] Ayed I B.Graph cut segmentation with a global constraint：Recovering region distribution via a bound of theBhattacharyyameasure[C]//IEEEConferenceon Computer Vision and Pattern Recognition，San Francisco，2010：3288-3295.

[14] Xia C，Qi F，Shi G，et al.Nonlocal center-surround reconstruction-based bottom-up saliency estimation[J].Pattern Recognition，2015，48（4）：1337-1348.

[15] Margolin R，Tal A，Zelnik-manor L.What makes a patch distinction[C]//IEEEConferenceonComputerVision and Pattern Recognition.Portland，USA：IEEE，2013，9（4）：1139-1146.

[16] Yan Q，Xu L，Shi J，et al.Hierarchical saliency detection[C]//IEEE Conference on Computer Vision and Pattern Recognition.Portland，USA：IEEE，2013，38（4）：1155-1162.

[17] Wang L，Xue J，Zheng N，et al.Automatic salient object extractionwithcontextualcue[C]//IEEEInternational Conference on Computer Vision.Barcelona，Spain：IEEE，2011：105-112.

[18] Jiang H，Wang J，Yuan Z，et al.Salient object detection：A discriminative regional feature integration approach[C]//IEEE Conference on Computer Vision and Pattern Recognition，2013：2083-2090.

[19] Yan Q，Xu L，Shi J，et al.Hierarchical saliency detection[C]//IEEE Conference on Computer Vision and Pattern Recognition，2013：1155-1162.

[20] Achanta R，Hemami S，Estrada F，et al.Frequency-tuned salient region detection[C]//IEEE Conference on Computer Vision and Pattern Recognition.Miami，USA：IEEE，2009：1597-1604.

[21] Chang K Y，Liu T L，Chen H T，et al.Fusing generic objectness and visual saliency for salient object detection[C]//Proceedings of the 2011 ICCV，Barcelona，Spain，2011：914-921.

ZHAI Jiyou,TU Lizhong,ZHUANG Yan.Saliency detection based on boundary prior and adaptive region merging.Computer Engineering andApplications,2018,54（6）：178-182.

ZHAI Jiyou1，2,TU Lizhong1,ZHUANG Yan1

1.School of Computer Engineering,Nanjing Institute of Technology,Nanjing 211167,China 2.College of Computer and Information,Hohai University,Nanjing 211100,China

In order to efficiently extract the salient region of images,a novel saliency detection algorithm based on boundary and adaptive region merging is proposed.Firstly,the input image is over-segmented by using a superpixel segmentation algorithm and a graph is constructed by taking a superpixel as a vertex.Then through locating and eliminating error bounds,there is little noise in the background,and errors are reduced when objects touch the boundary of images.Finally,single channel index color histogram is used to measure the regional similarity and saliency map is obtained by region merging.Experimental result shows that this algorithm has higher precision than other algorithms and shows the effectiveness.

boundary;adaptive;region merging;saliency detection

為了對圖像中的顯著目標進行更精確的識別，提出了一種基于邊界先驗和自適應區(qū)域合并的顯著性檢測算法。采用超像素分割算法對圖像進行過分割，把超像素看做圖的一個頂點來進行構圖；定位和消除錯誤邊界，使背景基準集中存在很少的噪聲，減小目標接觸圖像邊界時造成的誤檢；采用單通道索引顏色直方圖度量區(qū)域相似度并進行區(qū)域合并得到顯著圖。對比實驗表明該算法相比其他算法取得了較高的查準率，說明了算法的有效性。

邊界；自適應；區(qū)域合并；顯著性檢測

2016-10-27

2017-01-05

1002-8331（2018）06-0178-05

A

TP391.4

10.3778/j.issn.1002-8331.1610-0335

南京工程學院校級科研基金（No.CKJA201306）。

翟繼友（1978—），男，博士研究生，助理研究員，主要研究方向為機器學習，圖像分析，E-mail：jiyou1018@126.com；屠立忠（1968—），男，博士，副教授，主要研究方向為數(shù)據(jù)挖掘；莊嚴（1969—），男，碩士，主要研究方向為圖像處理，機器視覺。