張兆豐，吳澤民，杜 麟，胡 磊

(中國(guó)人民解放軍理工大學(xué) 通信工程學(xué)院，江蘇 南京 210007)

邊界顯著性與模式挖掘*

張兆豐，吳澤民，杜 麟，胡 磊

(中國(guó)人民解放軍理工大學(xué) 通信工程學(xué)院，江蘇 南京 210007)

針對(duì)目標(biāo)在圖像邊界上帶來的檢測(cè)誤差，提出了邊界顯著性算法。首先在多尺度下對(duì)圖像進(jìn)行超像素分割，計(jì)算邊界差異，估計(jì)其邊界顯著性。而后對(duì)所有超像素進(jìn)行模式挖掘，得到顯著性種子，并與邊界顯著性相結(jié)合。最后通過顯著性傳播得到最終顯著圖。在三個(gè)公開的測(cè)試數(shù)據(jù)集上將本文提出算法與其他18種主流的現(xiàn)有算法進(jìn)行對(duì)比。大量實(shí)驗(yàn)結(jié)果表明，所提出的算法在不同數(shù)據(jù)集上都優(yōu)于目前主流算法。

邊界顯著性；多尺度；模式挖掘；顯著性種子；顯著性傳播

0 引言

近年來，計(jì)算機(jī)視覺受到了眾多學(xué)者的關(guān)注，顯著性檢測(cè)作為降低計(jì)算復(fù)雜度的重要預(yù)處理過程，更是被廣泛應(yīng)用于目標(biāo)識(shí)別、目標(biāo)跟蹤以及圖像分割等相關(guān)領(lǐng)域。

顯著性檢測(cè)被劃分為兩個(gè)領(lǐng)域：一是眼動(dòng)點(diǎn)預(yù)測(cè)，這一類模型被廣泛應(yīng)用于生物學(xué)、神經(jīng)學(xué)等認(rèn)知領(lǐng)域。另外就是本文所討論的顯著性目標(biāo)檢測(cè)。通常又將顯著性目標(biāo)檢測(cè)分為兩類：自頂向下的任務(wù)驅(qū)動(dòng)方法，針對(duì)目標(biāo)的高級(jí)特征信息，通過大量樣本的訓(xùn)練進(jìn)行檢測(cè)。與之相反，自底向上的數(shù)據(jù)驅(qū)動(dòng)方法通常利用顏色、紋理以及空間分布等低級(jí)特征獲取顯著圖。早期的一些方法基于中心優(yōu)先，通過計(jì)算目標(biāo)與其周圍環(huán)境對(duì)比度得到顯著圖。自從Wei Yichen[1]首先提出利用圖像邊界作為背景的思路后，越來越多的算法采用背景優(yōu)先或邊界優(yōu)先，并取得了較好的檢測(cè)效果。這類方法通常將邊界區(qū)域作為背景，雖然大多數(shù)情況下圖像邊界很有可能成為背景，但是對(duì)于傳統(tǒng)的背景優(yōu)先算法將所有的邊界歸為背景并不合理。

本文主要針對(duì)上述問題，提出邊界顯著性，并與模式挖掘相結(jié)合，從而同時(shí)利用目標(biāo)和邊界特征，更好地將多特征整合。最終得到的結(jié)果優(yōu)于其他先進(jìn)算法。

1 相關(guān)工作

早期的一些圖像顯著性檢測(cè)算法，通常是基于中心優(yōu)先。這一類算法大多從圖像中顯著目標(biāo)與背景區(qū)域?qū)Ρ榷炔町惖慕嵌瘸霭l(fā)，計(jì)算局部或者全局對(duì)比度。但是基于對(duì)比度的中心優(yōu)先算法存在以下缺陷：首先對(duì)于局部對(duì)比度，目標(biāo)的邊緣區(qū)域與背景特征差別較大，對(duì)比度自然較高，但是目標(biāo)內(nèi)部對(duì)比度相差不大的，反映到最終的顯著圖上很容易造成目標(biāo)相對(duì)清晰高亮，而內(nèi)部模糊不清，整體性較差。而對(duì)于全局對(duì)比度，當(dāng)背景特征與目標(biāo)相似時(shí)誤檢的可能性較高。而且基于中心優(yōu)先的算法對(duì)目標(biāo)的所在位置與尺寸大小有較強(qiáng)的針對(duì)性，對(duì)于大尺寸目標(biāo)和目標(biāo)在邊界上這類情況，檢測(cè)效果往往較差。

區(qū)別于中心優(yōu)先，近來，越來越多的顯著性檢測(cè)算法利用背景優(yōu)先構(gòu)建顯著圖。Wei Yichen最早提出背景優(yōu)先這一概念，將圖像邊界默認(rèn)為背景，對(duì)分割后的圖像，計(jì)算分割塊到邊界的測(cè)地線距離來衡量其顯著性。文獻(xiàn)[2]在此基礎(chǔ)上提出了邊界連通度這一概念，并給出了可以推廣到其他模型上的優(yōu)化算法。諸如此類的背景優(yōu)先算法大多有一個(gè)共同的缺陷，對(duì)于所有邊界都不加區(qū)分地作為背景對(duì)待，因此對(duì)于目標(biāo)在邊界上這類情況，檢測(cè)效果沒有從根本上得到提升。

為了更好地解決目標(biāo)在邊界上帶來的一系列問題，本文提出了一種邊界顯著性算法，并與模式挖掘相結(jié)合。圖1為本文算法流程圖，首先對(duì)輸入圖像在多尺度上進(jìn)行超像素分割，而后對(duì)所有邊界計(jì)算邊界差異，從而估計(jì)其邊界顯著性。同時(shí)對(duì)所有超像素進(jìn)行模式挖掘，得到顯著性種子，并結(jié)合邊界顯著性結(jié)果，對(duì)得到的種子加以顯著性傳播，最終得到顯著圖。

圖1 邊界顯著性與模式挖掘流程圖

2 圖的構(gòu)建

目前超像素分割已經(jīng)融入到計(jì)算機(jī)視覺、模式識(shí)別等各個(gè)研究領(lǐng)域。利用超像素作為圖像處理的基本單元，大幅度降低了直接處理像素的算法復(fù)雜度。本文選取了簡(jiǎn)單線性迭代聚類(Simple Linear Iterative Clustering ，SLIC)[3]進(jìn)行超像素分割，不僅基本保留了圖像原本的結(jié)構(gòu)化信息，而且使得到的區(qū)域如同細(xì)胞一樣排列比較緊湊規(guī)整，可以把以前基于像素的方法加以改造后應(yīng)用，統(tǒng)計(jì)特征也比較好保持。

對(duì)于一般圖像而言，圖像中的物體尺度各不相同，待檢測(cè)的顯著目標(biāo)也就會(huì)有多種尺度。因此最終的顯著性檢測(cè)的結(jié)果與超像素的數(shù)量是有很大關(guān)系的，如果從單一尺度進(jìn)行顯著性檢測(cè)，很有可能導(dǎo)致最終檢測(cè)不準(zhǔn)確。為了最大程度降低尺度上帶來的影響，本文在三個(gè)不同尺度上對(duì)圖像進(jìn)行分割，超像素個(gè)數(shù)分別是300，400和500。以超像素V為節(jié)點(diǎn)，鄰接超像素之間為邊E，構(gòu)造一個(gè)無向加權(quán)圖G=(V,E)。相鄰節(jié)點(diǎn)間權(quán)重定義如下：

(1)

(2)

3 邊界顯著性與模式挖掘

3.1 邊界顯著性

現(xiàn)有的顯著性檢測(cè)算法對(duì)于普通的目標(biāo)與背景區(qū)分效果較好，但是當(dāng)目標(biāo)的一部分位于邊界上時(shí)，如圖2所示，很多基于背景優(yōu)先的算法也無法給出較好的檢測(cè)結(jié)果。這是由于傳統(tǒng)基于背景優(yōu)先的檢測(cè)算法沒有對(duì)邊界加以區(qū)分，直接把所有邊界都當(dāng)作背景處理所導(dǎo)致的。因此本文提出了邊界顯著性這一概念，對(duì)邊界上目標(biāo)出現(xiàn)的可能性進(jìn)行估計(jì)，從而提升最終檢測(cè)效果。

圖2 現(xiàn)有算法對(duì)于目標(biāo)在邊界上檢測(cè)失效示例

通過對(duì)大量圖像樣本的統(tǒng)計(jì)發(fā)現(xiàn)，對(duì)于目標(biāo)在邊界上的圖像，如果把所有邊界超像素視為一個(gè)連通區(qū)域，大多數(shù)情況下只有相對(duì)較小的一部分是顯著目標(biāo)，而且顯著目標(biāo)和背景往往在顏色分布上有著明顯的區(qū)別。因此借鑒文獻(xiàn)[5]、[6]，在RGB色彩空間上分別計(jì)算邊界的像素分布。

(3)

其中B={top, bottom, left, right}代表圖像的四條邊界，h=0,1,2，…，255代表不同的亮度區(qū)間，NB代表邊界連通區(qū)域像素總數(shù)，Ip代表像素p的亮度，δ(·)表示單位脈沖響應(yīng)函數(shù)。然后計(jì)算邊界像素分布間的馬氏距離(MahalanobisDistance,MD)，構(gòu)造邊界差異矩陣：

(4)

其中MDcolor(B1,B2)表示在不同顏色通道下，邊界B1和B2之間的馬氏距離。color={red,green,blue}。

MDcolor(B1,B2)=

(5)

其中Ccolor表示在不同顏色通道下的協(xié)方差矩陣。得到4×4的邊界差異矩陣D，將矩陣每一列元素加和，最終得到每條邊界與其他邊界的差異度：

(6)

以負(fù)指數(shù)函數(shù)估計(jì)邊界上存在目標(biāo)的概率從而表示邊界顯著性：

S(Bn)=1-exp(-(dn/dmin-1))

(7)

其中dmin=min{di}i=1，…，4為差異度最小的邊界，即邊界上存在目標(biāo)的可能性最小，因此邊界顯著性為0。其余邊界差異度越大，目標(biāo)在邊界上的可能性就越大，與之對(duì)應(yīng)的邊界顯著性越大。

3.2 基于邊界顯著性改進(jìn)的模式挖掘算法

模式挖掘最早應(yīng)用在市場(chǎng)營(yíng)銷分析，近年來逐漸被應(yīng)用到計(jì)算機(jī)視覺領(lǐng)域。文獻(xiàn)[7]利用模式挖掘，在先驗(yàn)顯著圖的基礎(chǔ)上尋找可靠的種子節(jié)點(diǎn)：

(8)

其中supp(·)代表支持度，conf(·)代表置信度，A代表頻繁項(xiàng)集，pos代表正樣本(即顯著)標(biāo)簽，t1和t2分別是支持度和置信度的篩選閾值參數(shù)，根據(jù)文獻(xiàn)[7]分別設(shè)置為90%和20%。最終得到的顯著性種子集合記為L(zhǎng)。f={f1,f2,…，fNs}T代表節(jié)點(diǎn)標(biāo)簽向量，結(jié)合第3節(jié)中提到的邊界顯著性，對(duì)f初始化如下：

(9)

對(duì)于模式挖掘得到的顯著性種子，初始化為1；對(duì)于不是顯著性種子但位于邊界上的節(jié)點(diǎn)，按其邊界顯著度初始化；對(duì)于其他節(jié)點(diǎn)則初始化為0。

而后利用隨機(jī)游走模型進(jìn)行顯著性傳播：

(10)

(11)

(12)

公式(10)～(12)分別代表隨機(jī)游走(Random Walking, RW)、拉普拉斯算子(Laplacian, La)、先驗(yàn)顯著圖(Priori Saliency, PS)。N(i)代表節(jié)點(diǎn)i的鄰接節(jié)點(diǎn)，yi代表先驗(yàn)顯著圖中節(jié)點(diǎn)i的顯著值，α和β是權(quán)重控制參數(shù)，分別取值0.5和0.01。

s.t.fi=1,?i∈L

(13)

公式(13)中分別考慮了傳統(tǒng)的隨機(jī)游走、二次拉普拉斯算子、先驗(yàn)顯著圖對(duì)于最終顯著檢測(cè)結(jié)果的影響。

4 實(shí)驗(yàn)結(jié)果

4.1 實(shí)驗(yàn)設(shè)置

測(cè)試數(shù)據(jù)集：本文在3個(gè)公開數(shù)據(jù)集對(duì)提出的算法進(jìn)行測(cè)試，并與其他18種顯著性檢測(cè)模型做橫向比對(duì)。下面分別說明本文使用的3個(gè)數(shù)據(jù)集的不同特點(diǎn)。

MSRA：1 000張圖像，含有像素級(jí)的真值標(biāo)準(zhǔn)，大部分圖像為單一目標(biāo)，但是很多圖像中目標(biāo)在邊界上，存在一定的挑戰(zhàn)性。

SED2：100張圖像，含有像素級(jí)的真值標(biāo)準(zhǔn)，雖然圖像規(guī)模較小，但是所有圖像都存在兩個(gè)目標(biāo)，并且大多數(shù)目標(biāo)位于邊界上，挑戰(zhàn)難度很大。

ECSSD：1 000張圖像，含有像素級(jí)的真值標(biāo)準(zhǔn)。背景比較復(fù)雜，存在很多大尺度目標(biāo)而且有很多位于邊界上的目標(biāo)，挑戰(zhàn)難度很大。

對(duì)比算法：SR，F(xiàn)T，LC，HC，SF，GS，RC，GC，PCA，HS，MR，MC，DSR，HDCT，RBD，RRWR，wCOBD和PM。其中GS[1]，MR[8]，MC[9]，DSR[10]，RBD[2]和wCOBD[11]為近年來比較優(yōu)秀的基于背景優(yōu)先的顯著性檢測(cè)算法。

評(píng)價(jià)指標(biāo)：為了更加全面地衡量本文提出算法的檢測(cè)性能，通過準(zhǔn)確度-召回率(Precision-Recall，P-R)曲線、F-measure、平均絕對(duì)誤差(Mean Absolute Error，MAE)和AUC(Area Under ROC(Receiver Operating Characteristics，接收者操作特性) Curve，ROC曲線下面積)對(duì)所有算法進(jìn)行評(píng)價(jià)。

本文所有試驗(yàn)都是在MATLAB平臺(tái)上實(shí)現(xiàn)的，所應(yīng)用的計(jì)算機(jī)配置為Intel E5-2620，CPU 2 GHz，96 GB RAM。

4.2 定性分析

圖3展示了包括本文所提出的算法在內(nèi)共19中顯著檢測(cè)模型最終生成的顯著圖。其中既包含了經(jīng)典的中心優(yōu)先算法，也包含了近年來優(yōu)秀的背景優(yōu)先算法。選取了不同類型的圖像作為示例加以說明。對(duì)于第一個(gè)檢測(cè)樣本，目標(biāo)表現(xiàn)出不同的顏色特征(蝴蝶翅膀黑白相間)，一些算法不能很好地給出完整一致的目標(biāo)整體，而且圖像邊界上存在干擾目標(biāo)。對(duì)于第二個(gè)檢測(cè)樣本，背景區(qū)域和前景目標(biāo)顏色區(qū)分較小，導(dǎo)致一些基于顏色對(duì)比度的檢測(cè)算法檢測(cè)失敗。對(duì)于第三個(gè)檢測(cè)樣本，目標(biāo)內(nèi)部顏色對(duì)比度明顯，導(dǎo)致部分算法對(duì)目標(biāo)整體性估計(jì)不足(大多只能較好地檢測(cè)黃色花蕊，但是對(duì)于紅色花瓣檢測(cè)效果欠佳)，而且背景區(qū)域存在小尺度噪聲。第四和第五個(gè)檢測(cè)樣本顯著目標(biāo)均位于邊界上，而且在第五個(gè)檢測(cè)樣本中背景區(qū)域存在其他干擾目標(biāo)，導(dǎo)致部分算法對(duì)于邊界目標(biāo)顯著性估計(jì)不足。

圖3 不同數(shù)據(jù)集上本文算法與其他18種算法的顯著圖對(duì)比

本文算法由于結(jié)合了邊界顯著性與模式挖掘，在原有基礎(chǔ)上加強(qiáng)了對(duì)邊界信息的處理能力，而且由于在多尺度上計(jì)算，很大程度上避免了不同尺度噪聲帶來的影響。對(duì)于不同場(chǎng)景檢測(cè)效果較好，魯棒性較強(qiáng)。

4.3 定量分析

本文首先利用P-R曲線對(duì)所有算法進(jìn)行評(píng)價(jià)。在計(jì)算機(jī)視覺領(lǐng)域，P-R曲線是一種常用指標(biāo)。首先將得到的

圖4 三個(gè)數(shù)據(jù)集上不同算法的P-R曲線

顯著圖量化到[0,255 ]區(qū)間內(nèi)，按照一定的閾值分割得到二值圖，然后參照真值圖，計(jì)算準(zhǔn)確度和召回率。

如圖4所示，在三個(gè)數(shù)據(jù)集上測(cè)試結(jié)果顯示，本文所提算法與其他算法相比，檢測(cè)結(jié)果表現(xiàn)較好。

通常準(zhǔn)確度和召回率難以同時(shí)保證，為了綜合評(píng)價(jià)顯著圖的質(zhì)量，本文采用F-measure曲線進(jìn)一步對(duì)所有算法進(jìn)行評(píng)價(jià)。其實(shí)質(zhì)是準(zhǔn)確度和召回率的調(diào)和平均。

圖5給出了本文算法與其他算法的F-measure曲線，可以看出本文算法整體上優(yōu)于其他算法。

為了進(jìn)一步對(duì)所有算法進(jìn)行比較，還分別計(jì)算了不同算法的AUC。AUC值可以很好地反映不同算法的正確率和誤警率。表1給出了不同算法的AUC值。

最后，用MAE來衡量顯著圖與真值之間的相似程度，其值在[0, 1]區(qū)間內(nèi)，值越小代表性能越好。表2給出了所有算法的MAE值，反映出本文所提算法在不同數(shù)據(jù)集上都與真值更加接近。

從上述四種評(píng)價(jià)指標(biāo)的結(jié)果來看，尤其是與GS，MR，MC，DSR，RBD和wCOBD這些基于背景優(yōu)先的檢測(cè)算法相比，本文算法性能有所提升，證明本文所提出的邊界顯著性的有效性，而且在不同數(shù)據(jù)集上均有相對(duì)較好的表現(xiàn)，證明了本文算法有較強(qiáng)的魯棒性。

表2 不同算法的MAE值評(píng)價(jià)結(jié)果(每個(gè)數(shù)據(jù)集上將MAE最低的算法用加粗標(biāo)記)

5 結(jié)論

本文提出了邊界顯著性算法。在多個(gè)尺度上對(duì)圖像進(jìn)行處理，從而降低了目標(biāo)尺度不同造成的檢測(cè)誤差。并與模式挖掘像結(jié)合，有效地解決了目前算法對(duì)于邊界的顯著性估計(jì)不足的問題。在三個(gè)數(shù)據(jù)集上，對(duì)本文所提模型與其他18種先進(jìn)顯著性檢測(cè)模型進(jìn)行對(duì)比，大量實(shí)驗(yàn)說明本文模型能夠取得更好的檢測(cè)結(jié)果，有較強(qiáng)的魯棒性。

[1] Wei Yichen, Wen Fang, Zhu Wangjiang, et al. Geodesic saliency using background priors[C]. 12th European Conference on Computer Vision (ECCV), Florence, Italy, 2012: 29-42.

[2] Zhu Wangjiang, Liang Shuang, Wei Yichen, et al. Saliency optimization from robust background detection[C].IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Columbus, USA, 2014: 2814-2821.

[3] ACHANTA R,SHAJI A, SMITH K, et al. Slic superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2281.

[4] 劉杰, 王生進(jìn). 融合聚類與排序的圖像顯著區(qū)域檢測(cè)[J]. 清華大學(xué)學(xué)報(bào)(自然科學(xué)版), 2016(9):913-919.

[5] 楊雪. 基于視覺感知的圖像顯著區(qū)域的提取[J]. 微型機(jī)與應(yīng)用, 2015, 34(2):47-48.

[6] LI Changyang, Yuan Yuchen,Cai Weidong, et al. Robust saliency detection via regularized random walks ranking[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, USA, 2015:2710-2717.

[7] Kong Yuqiu, Wang Lijun, Liu Xiuping, et al. Pattern Mining Saliency[C]. 15th European Conference on Computer Vision (ECCV), Amsterdam, Holland, 2016: 583-598.

[8] Yang Chuan, Zhang Lihe, Lu Huchuan, et al. Saliency detection via graph-based manifold ranking[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Portland, USA, 2013. 3166-3173.

[9] Jiang Bowen, Zhang Lihe, Lu Huchuan, et al. Saliency detection via absorbing Markov chain[C]. IEEE Conference on Computer Vision (ICCV), Sydney, Australia, 2013: 1665-1672.

[10] Li Xiaohui, Lu Huchuan, Zhang Lihe, et al. Saliency detection via dense and sparse reconstruction[C]. IEEE Conference on Computer Vision (ICCV), Sydney, Australia, 2013: 2976-2983.

[11] Jiang Qingzhu, Wu Zemin, Tian Chang, et al. Salient object detection based on discriminative boundary and multiple cues integration[J]. Journal of Electronic Imaging, 2016, 25(1): 1-14.

Boundary saliency and pattern mining

Zhang Zhaofeng，Wu Zemin， Du Lin， Hu Lei

(College of Communications Engineering, PLA University of Science and Technology, Nanjing 210007, China)

In view of the detection error caused by the target on the image boundary, this paper proposes a boundary saliency algorithm. We firstly conduct a multi-scale image segmentation at super-pixel level and compute the boundary discriminations to estimate its boundary saliency.Then reliable saliency seeds are obtained by pattern mining with the boundary saliency. Finally, the saliency maps are obtained by saliency propagation. We compare our model to other 18 saliency detection algorithms and extensive experiments on three datasets. The results show that the proposed model outperforms state-of-the-art methods.

boundary saliency; multiscale; pattern mining; saliency seed; saliency propagation

國(guó)家自然科學(xué)基金(61501509)

TN919.85

A

10.19358/j.issn.1674- 7720.2017.08.012

張兆豐，吳澤民，杜麟，等.邊界顯著性與模式挖掘[J].微型機(jī)與應(yīng)用，2017,36(8)：34-38.

2016-11-30)

張兆豐(1991-)，通信作者，男，碩士，主要研究方向：顯著性檢測(cè)。E-mail：zhangzhaofeng5@163.com。

吳澤民(1973-)，男，博士，副教授，主要研究方向：信息融合。

杜麟(1992-)，男，碩士，主要研究方向：視頻傳輸保障。

________________________