謝 暢，朱恒亮，林 曉,2，馬利莊

(1.上海交通大學(xué) 計(jì)算機(jī)科學(xué)與工程系，上海 200240； 2.上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093) (*通信作者電子郵箱toxic.xc@sjtu.edu.cn)

基于對(duì)比度優(yōu)化流形排序的顯著目標(biāo)檢測(cè)算法

謝 暢1*，朱恒亮1，林 曉1,2，馬利莊1

(1.上海交通大學(xué) 計(jì)算機(jī)科學(xué)與工程系，上海 200240； 2.上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093) (*通信作者電子郵箱toxic.xc@sjtu.edu.cn)

現(xiàn)有的基于背景先驗(yàn)的顯著性算法模型中存在先驗(yàn)區(qū)域選取不合理的問(wèn)題，導(dǎo)致計(jì)算出的前景區(qū)域不準(zhǔn)確，影響最終結(jié)果。針對(duì)該問(wèn)題提出了基于對(duì)比度優(yōu)化流形排序的顯著目標(biāo)檢測(cè)算法。利用圖像邊界信息找出背景先驗(yàn)，設(shè)計(jì)出采用顯著期望、局部對(duì)比度以及全局對(duì)比度三個(gè)指標(biāo)來(lái)衡量先驗(yàn)質(zhì)量的算法，并根據(jù)先驗(yàn)質(zhì)量設(shè)計(jì)帶權(quán)加法，代替簡(jiǎn)單乘法融合顯著先驗(yàn)，從而使顯著先驗(yàn)更加準(zhǔn)確。從先驗(yàn)中提取顯著區(qū)域時(shí)，更改了選取閾值的策略，更合理地選取出前景區(qū)域，再利用流形排序得到顯著性圖，從而使顯著性檢測(cè)結(jié)果更加準(zhǔn)確。實(shí)驗(yàn)結(jié)果表明，與同類算法相比，所提算法突出顯著區(qū)域，減少噪聲，更符合人類視覺(jué)感知，并在處理時(shí)間上領(lǐng)先于深度學(xué)習(xí)方法。

邊界先驗(yàn)；先驗(yàn)融合；顯著估計(jì)；全局對(duì)比度；局部對(duì)比度；流形排序

0 引言

隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，視覺(jué)顯著性算法也在不斷更新。自從Itti等[1]提出計(jì)算視覺(jué)顯著性模型開始，越來(lái)越多的學(xué)者開始致力于該領(lǐng)域的研究。近年來(lái)，視覺(jué)顯著性在計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域變得越來(lái)越熱門,被廣泛地應(yīng)用于圖像處理技術(shù)中，如物體檢測(cè)、視覺(jué)追蹤、圖像分割與圖像增強(qiáng)等。

視覺(jué)顯著性算法的目的是找出圖像中最明顯、最能吸引注意的物體或區(qū)域。從人類視覺(jué)的角度來(lái)講，圖像中的顯著性通常與局部對(duì)比度有關(guān)，這是因?yàn)轱@著物體與周圍區(qū)域存在多方面的差異，如顏色、亮度、形狀、紋理等特征的差異。

目前，研究者們提出的顯著目標(biāo)檢測(cè)算法，大致可以分為兩類：由任務(wù)或知識(shí)驅(qū)動(dòng)的自頂向下(top-down) 方法[2-5]，由數(shù)據(jù)或刺激驅(qū)動(dòng)的自底向上(bottom-up) 方法[6-14]。

自頂向下方法通常與標(biāo)定真實(shí)值的監(jiān)督學(xué)習(xí)有關(guān)。為了更好地將顯著性區(qū)域從背景中抽取出來(lái)，自頂向下方法中往往會(huì)用到高層次的信息或圖像特征來(lái)提高顯著性圖的準(zhǔn)確性。例如，Wang等[15]將字典學(xué)習(xí)與條件隨機(jī)域組合，產(chǎn)生具有區(qū)分度的特征來(lái)描述顯著性物體; Yang[16]用深度神經(jīng)網(wǎng)絡(luò)將局部估計(jì)與全局搜索相結(jié)合來(lái)找出圖像中最顯著的區(qū)域。

自底向上方法通常采用低層次信息比如顏色，像素差，空間距離以及邊緣來(lái)構(gòu)建顯著性圖，這些方法與圖像內(nèi)容、先驗(yàn)知識(shí)無(wú)關(guān)。例如，Perazzi等[17]提出了一種基于對(duì)比度的視覺(jué)顯著性估計(jì); Frintrop 等[18]則通過(guò)在語(yǔ)義和生物學(xué)激發(fā)的模型中加入特征融合、均值漂移等步驟，提升了傳統(tǒng)模型的效果。

多種低層次信息與顯著性傳播算法[19-23]相結(jié)合，是目前很多非機(jī)器學(xué)習(xí)方法的思路。為了模擬顯著性傳播過(guò)程，圖像被分割成若干區(qū)域，每個(gè)區(qū)域用一個(gè)節(jié)點(diǎn)表示。不同節(jié)點(diǎn)用帶權(quán)邊連接。已標(biāo)記節(jié)點(diǎn)的顯著性會(huì)用具體數(shù)值量化，并通過(guò)特定算法，沿著帶權(quán)邊，迭代地向周圍未標(biāo)記的鄰接節(jié)點(diǎn)傳遞[12]。

大多數(shù)基于圖的算法按照以下步驟工作。首先，輸入圖像(圖1(a))被分割成超像素塊(圖1(b))，依據(jù)超像素塊來(lái)構(gòu)建適當(dāng)?shù)臒o(wú)向圖。通過(guò)加法、乘法或者其他函數(shù)組合低層次信息后，找出最可能是顯著區(qū)域的超像素塊，將這些超像素塊標(biāo)記，并根據(jù)算法賦予它們相應(yīng)的顯著性值(圖1(c))。接著，特定的顯著性傳播算法能夠計(jì)算出已標(biāo)記節(jié)點(diǎn)與未標(biāo)記節(jié)點(diǎn)之間的相似度。然后，顯著性值通過(guò)帶權(quán)邊，由已標(biāo)記節(jié)點(diǎn)向未標(biāo)記節(jié)點(diǎn)散射。最終，每個(gè)超像素塊都被標(biāo)記且有顯著性值，由此得到整體顯著性圖(圖1(d))。

圖1 基于圖構(gòu)建的顯著性檢測(cè)步驟

1 相關(guān)工作

近年來(lái)，研究者們提出了多種基于圖像分割與圖構(gòu)建的顯著性計(jì)算方法，例如，利用基于流形排序的散射算法[24]，利用隨機(jī)游走的方式在圖上建立顯著性傳播過(guò)程[25]，以及通過(guò)優(yōu)化上述方法而衍生出的細(xì)胞自動(dòng)機(jī)算法[26]等。這些方法都以圖像邊界作為背景先驗(yàn)，采用不同的傳播算法構(gòu)建顯著性圖。預(yù)處理方面，這幾種方法都用到了簡(jiǎn)單線性迭代聚類(Simple Linear Iterative Clustering, SLIC)超像素塊分割[27]。這樣做的好處是將原本像素級(jí)別的運(yùn)算轉(zhuǎn)變?yōu)槌袼丶?jí)別的運(yùn)算，減少了時(shí)間開銷。超像素塊分割能保持圖像的局部結(jié)構(gòu)特征及部分語(yǔ)義特征，與像素級(jí)的特征相比，更利于顯著性的呈現(xiàn);同時(shí)，邊界先驗(yàn)的引入簡(jiǎn)化了特征選取過(guò)程，將分析范圍縮小為圖像的特定區(qū)域，既簡(jiǎn)化了運(yùn)算，又提升了準(zhǔn)確性。微軟亞洲研究院圖像顯著性測(cè)試集(Microsoft Reasearch Asia, MSRA)，擴(kuò)展復(fù)雜場(chǎng)景圖像顯著性數(shù)據(jù)集(Extended Complex Scene Saliency Dataset, ECSSD)等多個(gè)公開數(shù)據(jù)集測(cè)試結(jié)果表明，無(wú)論是速度還是效果，這幾種基于圖的方法明顯優(yōu)于基于像素、先驗(yàn)無(wú)關(guān)的方法。其中，基于流形排序的方法[23]是目前效果較好的算法之一。

然而，基于圖的方法存在兩個(gè)缺陷。第一，選擇前景或背景先驗(yàn)區(qū)域的算法存在問(wèn)題。如果不能找出典型的、有代表性的先驗(yàn)，最終得到的顯著性圖可能不準(zhǔn)確，甚至和真實(shí)值相反。第二，已提出的算法中，一些不必要的步驟開銷過(guò)大，導(dǎo)致算法效率較低。本文會(huì)在后面討論這些問(wèn)題。

一些自頂向下的方法，如文獻(xiàn)[6，15-16]通過(guò)提取圖像的不同特征，利用機(jī)器學(xué)習(xí)方法，根據(jù)這些特征訓(xùn)練出能夠檢測(cè)圖像中顯著物體的模型。這類方法在特定訓(xùn)練集下容易獲得很好的效果，在公開數(shù)據(jù)集上能夠超過(guò)自頂向上方法，尤其是判別性區(qū)域顯著特征融合(Discriminative Regional Feature Integration, DRFI)[28]在MSRA、ECSSD等數(shù)據(jù)集上的準(zhǔn)確度領(lǐng)先于其他算法。

但是，這類方法的缺點(diǎn)同樣突出。一是機(jī)器學(xué)習(xí)普遍對(duì)訓(xùn)練集有較高要求，如果沒(méi)有足夠的訓(xùn)練樣本，則容易因?yàn)橛?xùn)練不足而達(dá)不到預(yù)期效果，產(chǎn)生欠擬合；如果過(guò)度訓(xùn)練，則會(huì)造成過(guò)擬合，同樣無(wú)法得到很好的效果。二是模型的適應(yīng)性不足，單一模型可能在特定數(shù)據(jù)集上的結(jié)果較好，而在其他的數(shù)據(jù)集上效果不佳。三是效率問(wèn)題，如果提取的特征過(guò)于復(fù)雜(尤其是高維特征)，則模型訓(xùn)練會(huì)消耗大量時(shí)間，圖像通過(guò)模型進(jìn)行檢測(cè)的時(shí)間也會(huì)較長(zhǎng)，因此，盡管DRFI的效果非常好，但是在效率方面仍有不足，本文在實(shí)驗(yàn)部分會(huì)比較各算法的效率。針對(duì)上述方法的優(yōu)點(diǎn)及存在的問(wèn)題，本文提出了一種新的基于流形排序的顯著目標(biāo)檢測(cè)算法，首先改變了超像素塊分割的策略，其次設(shè)計(jì)了以顯著期望、全局對(duì)比度，以及局部對(duì)比度為指標(biāo)的顯著置信度估計(jì)，找出最具有代表性的背景先驗(yàn)，并用新的帶權(quán)相加的方式將其融合，獲得比普通乘法更好的前景估計(jì)，最終得到準(zhǔn)確的顯著性圖，在效果上超過(guò)先前基于圖的方法，在效率上超過(guò)多種機(jī)器學(xué)習(xí)方法。

2 算法步驟

2.1 超像素塊分割

(1)

其中:SLIC算法[20]建議m取10。根據(jù)式(1)，找出每個(gè)像素最近的聚類中心，把該像素歸到對(duì)應(yīng)聚類中，通過(guò)計(jì)算可得到這些新聚類的中心坐標(biāo)。重復(fù)這一過(guò)程，直到每個(gè)聚類的中心坐標(biāo)變化量小于一定閾值，這樣就得到一幅圖像的n個(gè)超像素塊。但是通過(guò)實(shí)驗(yàn)，一般圖像在5次迭代后，聚類中心坐標(biāo)變化量非常小，幾乎可以忽略不計(jì)，因此在本文算法中，劃分超像素塊的終止條件由閾值改為5次迭代。這樣節(jié)省了預(yù)處理時(shí)間開銷，也讓算法更簡(jiǎn)單。先前的基于超像素塊算法，一般將圖片劃分為200個(gè)超像素塊。本文通過(guò)實(shí)驗(yàn)，綜合衡量了效率與精準(zhǔn)度，認(rèn)為采用300個(gè)超像素塊劃分，能夠取得更精準(zhǔn)的結(jié)果，并且在時(shí)間開銷上與劃分為200個(gè)超像素塊所需時(shí)間相差較小。

2.2 閉環(huán)無(wú)向圖構(gòu)建與流形排序

(2)

其中:參數(shù)μ控制準(zhǔn)確性與平滑性之間的平衡。將上述函數(shù)求一階導(dǎo)數(shù)，令導(dǎo)數(shù)為0，得到結(jié)果：

f*=(D-αW)-1y

(3)

其中：α=1/(1+μ)。輸入圖像被分割成超像素塊后，構(gòu)建閉環(huán)無(wú)向圖G=(V,E)，其中V是分割后的超像素塊組成的點(diǎn)集，而邊集E由以下準(zhǔn)則定義：1)相鄰的超像素塊相互連接;2)每個(gè)超像素塊與它相鄰的超像素塊的鄰居也相互連接;3)所有在圖像邊緣的超像素塊相互連接。于是，輸入圖像轉(zhuǎn)化為無(wú)向圖。得到邊集后，構(gòu)造相似度矩陣W，定義如下：

(4)

其中：ci和cj分別是超像素塊i與j在CIELab顏色空間上的色彩均值；σ2是控制連通權(quán)值強(qiáng)度的因子。很明顯，由式(4)得到的相似度矩陣W是稀疏的。根據(jù)W很容易算出D。文獻(xiàn)[23]中，α的值被設(shè)置為0.99，σ2的值被設(shè)置為0.1。本文中，由于超像素塊的分割方式發(fā)生變化，算法不再采用上述的參數(shù)值。分割的超像素塊越精細(xì)，相鄰的超像素塊之間的聯(lián)系越緊密，所以控制連通權(quán)值強(qiáng)度的因子σ2應(yīng)當(dāng)適當(dāng)變大，以補(bǔ)償超像素塊變多帶來(lái)的權(quán)值衰減。本文通過(guò)實(shí)驗(yàn)，將σ2設(shè)為0.5。然后根據(jù)σ2的值，找到最佳的α值為0.9。

2.3 背景顯著估計(jì)

如文獻(xiàn)[1,18]所述，顯著性的計(jì)算源于人類視覺(jué)注意機(jī)制，人類感知習(xí)慣在決定一張圖像中的顯著物體時(shí)起到了重要作用。已有的背景估計(jì)方法中，研究者將圖像邊界作為背景候選區(qū)。這與人類視覺(jué)習(xí)慣一致：一方面, 人們?cè)谟^察圖像時(shí)，中心區(qū)域通常最先引起人的注意；另一方面，在照片或圖像中，人們不太可能將重要物體放在邊緣，因此，本文算法采用類似的方法來(lái)選取背景先驗(yàn)。

一張圖像有4個(gè)邊界，以上邊界為例，首先標(biāo)記與上邊界有公共邊的超像素塊。相對(duì)地，其他超像素塊視為未標(biāo)記，這樣就得到指示向量y。然后將所有超像素塊按照式(3)進(jìn)行排序，得到n維向量f*。f*中的每一個(gè)值代表對(duì)應(yīng)超像素塊與上邊界的相似度，值越高則相似度越高。根據(jù)人類視覺(jué)習(xí)慣，與邊界相似的超像素塊，極有可能是背景或非顯著區(qū)域，因此，可以將f*看作關(guān)于上邊界的背景先驗(yàn)估計(jì)。 將f*歸一化后可得到關(guān)于上邊界的背景顯著估計(jì)：

(5)

原始的流形排序算法[23]直接將4張背景顯著估計(jì)相乘得到背景顯著圖：

Sbg=Stop×Sleft×Sbottom×Sright

然而，這種方法存在明顯的問(wèn)題，如果顯著性物體恰好與其中某個(gè)邊界顏色相似，或者某個(gè)邊界區(qū)域與其他邊界相差很大，則背景顯著估計(jì)就會(huì)不準(zhǔn)確, 甚至錯(cuò)誤。如圖3(a)，中心區(qū)域是一朵花，周圍是草和綠葉，頂部是被虛化的河流。 那么此情況下紅花會(huì)被看作顯著物體，而其他區(qū)域是非顯著的，但是，上邊界出現(xiàn)的河流與其他邊界相差較大，導(dǎo)致綠色區(qū)域相對(duì)顯著。根據(jù)之前的算法，得到正確的Sleft、Sbottom、Sright以及錯(cuò)誤的Stop。由于乘法的性質(zhì)，Stop的錯(cuò)誤可能被放大，因此在融合后會(huì)出現(xiàn)如圖3(b)的不準(zhǔn)確估計(jì)，最終導(dǎo)致圖3(c)中的不準(zhǔn)確結(jié)果。圖3展示了背景顯著估計(jì)的準(zhǔn)確程度對(duì)最終顯著性檢測(cè)結(jié)果的影響。

圖2 基于不同邊界的顯著估計(jì)結(jié)果

圖3 背景估計(jì)對(duì)結(jié)果的影響

在基于隨機(jī)游走的方法[25]中，研究者計(jì)算出4張背景估計(jì)，根據(jù)顏色差異計(jì)算4張圖的相似性，然后舍去與其他3張差異最大的圖。這比文獻(xiàn)[23]中的算法有了一定改進(jìn)，但仍可能出現(xiàn)問(wèn)題。如遇到顯著性物體與多個(gè)邊界相似的情況， 這種算法就會(huì)失效；而且計(jì)算相似性的算法涉及到多次全圖遍歷，會(huì)造成不必要的時(shí)間開銷。 綜上所述，通過(guò)簡(jiǎn)單乘法融合背景顯著估計(jì)缺乏合理性，本文將不采用乘法的方式來(lái)融合顯著估計(jì)。

2.4 對(duì)比度優(yōu)化與背景先驗(yàn)融合

在基于細(xì)胞自動(dòng)機(jī)的算法[26]中，研究者提出了改進(jìn)方法。利用CIELab色彩特征將邊界區(qū)域聚成3類，構(gòu)建出3張不同的全局顏色區(qū)別(Global Color Distinction, GCD)矩陣。接著，用全局空間距離(Global Spatial Distance, GSD)矩陣來(lái)平衡這些不同的GCD圖，背景顯著估計(jì)變?yōu)椋?/p>

這種方法在聚類、計(jì)算GCD和GSD的時(shí)候會(huì)有比較大的開銷，但是將顯著估計(jì)的融合方式由簡(jiǎn)單的乘法變成了帶權(quán)加法，能有效修正不合理的背景顯著估計(jì)。

本文利用相似的思路，設(shè)計(jì)了相應(yīng)的顯著融合算法，以帶權(quán)加法的方式，通過(guò)權(quán)值修正顯著估計(jì)，改進(jìn)之前的算法。根據(jù)顯著性物體在圖像中的分布情況，合理的背景顯著估計(jì)需要具備三個(gè)條件: 1)顯著區(qū)域在圖像中占的比例相對(duì)較少；2)顯著區(qū)域相對(duì)集中，同類區(qū)域顯著值接近；3)顯著區(qū)域與非顯著區(qū)域?qū)Ρ让黠@。

根據(jù)以上條件，本文設(shè)計(jì)了三個(gè)指標(biāo)來(lái)判斷顯著估計(jì)的置信度。首先定義背景顯著估計(jì)的顯著期望：

(6)

其中n為超像素塊的個(gè)數(shù)。根據(jù)條件1)，顯著區(qū)在圖像中占的比例偏少，因此，一個(gè)合理的顯著先驗(yàn)，顯著值的期望E應(yīng)當(dāng)偏低。如果E過(guò)高，說(shuō)明在顯著先驗(yàn)中，顯著區(qū)域在圖像中的比例過(guò)大，或者區(qū)域內(nèi)的顯著值過(guò)高。接著，定義局部顯著對(duì)比度:

(7)

其中:i為超像素塊標(biāo)號(hào)，ki是與第i個(gè)超像素塊相鄰的所有超像素塊集合。局部對(duì)比度反映超像素塊與相鄰區(qū)域的差異。作為顯著先驗(yàn)，根據(jù)條件2)，除了圖像邊界與圖像中物體的邊界區(qū)域，其余超像素塊與鄰接超像素塊的差異應(yīng)當(dāng)較小，因此Clocal較小。Clocal太大說(shuō)明顯著區(qū)域不集中，或顯著區(qū)域內(nèi)部的顯著值相差過(guò)大。最后，定義全局顯著對(duì)比度:

(8)

其中:i,j代表相鄰超像素塊，δ(i,j)代表相鄰超像素塊間的灰度差，Pδ(i,j)代表灰度差為δ的超像素塊分布率。根據(jù)條件3)，合理的顯著先驗(yàn)，顯著區(qū)域與非顯著區(qū)域應(yīng)當(dāng)對(duì)比明顯，因此Cglobal應(yīng)當(dāng)較大。如果Cglobal太小則說(shuō)明顯著區(qū)域與非顯著區(qū)域區(qū)分不明顯，不是合理的顯著先驗(yàn)。

根據(jù)上述定義與分析，顯著性期望E應(yīng)當(dāng)較小，局部對(duì)比度Clocal應(yīng)該較小，而全局對(duì)比度Cglobal應(yīng)該較大，因此定義估計(jì)置信度:

p=Cglobal/(Clocal×E)

(9)

置信度p越大，說(shuō)明該顯著先驗(yàn)越合理，反之則越不合理。分別算出4張背景顯著估計(jì)的置信度ptop、pleft、pbottom、pright，并將背景顯著估計(jì)通過(guò)帶權(quán)加法融合:

(10)

其中i∈{top,left,bottom,right}。與之前算法相比，帶權(quán)相加的方式能在相同準(zhǔn)確率情況下獲得更高的召回率。

2.5 前景顯著估計(jì)

Sbg是從邊界先驗(yàn)的角度得到的初步的顯著性圖。根據(jù)前文所述，前景區(qū)域在圖中有較高的顯著值。由于經(jīng)過(guò)對(duì)比度優(yōu)化，前景區(qū)域的顯著性會(huì)提高，因此，本文不再使用平均灰度值作為選取前景的依據(jù)，而是根據(jù)實(shí)驗(yàn)結(jié)果，設(shè)計(jì)了新的閾值：

t=(mean(Sbg)+max(Sbg))/2

(11)

其中:mean(Sbg)代表Sbg的均值，max(Sbg)代表Sbg中的最大值。該閾值使得相同召回率情況下，準(zhǔn)確率更高。根據(jù)閾值得到新的指示變量y，顯著度大于閾值的超像素塊標(biāo)記為前景，yi=1; 小于閾值的標(biāo)記為背景，yi=0。按照式(3)對(duì)整張圖進(jìn)行流形排序，得到像素塊最終的顯著性值：:

(12)

3 實(shí)驗(yàn)結(jié)果及分析

本文將提出的算法在MSRA、ECSSD，大連理工-歐姆龍顯著性數(shù)據(jù)集(DUT-OMRON)[23]以及帕斯卡顯著性數(shù)據(jù)集(PASCAL-S)[29]四個(gè)公開數(shù)據(jù)集上測(cè)試，并與近年來(lái)的12種算法相比較。這12種算法分別是顯著性快速分析模型(Saliency-BasedVisualAttentionforRapidSceneAnalysis,IT)[1]、基于引導(dǎo)學(xué)習(xí)的顯著性檢測(cè)算法(BootstrapLearning,BL)[6]、基于全局對(duì)比度的顯著區(qū)域檢測(cè)(Globalcontrastbasedsalientregiondetection,RC)[7]、基于魯棒背景檢測(cè)的顯著性優(yōu)化(RobustBackgroundDetection,RBD)[8]、層次顯著性檢測(cè)(HierarchicalSaliencydetection,HS)、基于對(duì)比度的顯著區(qū)域過(guò)濾算法(SaliencyFilter,SF)[17]、基于圖的流形排序(GraphbasedManifoldRanking,GMR)[23]、基于細(xì)胞自動(dòng)機(jī)的顯著性檢測(cè)算法(SaliencyDetectionviaCelluarAutomata,BSCA)[26]、顯著區(qū)域特征融合算法(DiscriminativeRegionalFeatureIntegration,DRFI)[28]、頻域協(xié)調(diào)顯著檢測(cè)(Frequency-Tuned,FT)[30]、基于圖的顯著性檢測(cè)(Graph-Based,GB)[31]和軟圖像抽取(SoftImageAbstraction,GC)[32]。通過(guò)圖4可以看出本文算法得出的顯著區(qū)域與真實(shí)值(GroundTruth,GT)接近，噪聲明顯少于其他算法，顯著區(qū)域灰度值更均勻。

圖4 部分算法顯著性檢測(cè)結(jié)果對(duì)比

3.1 準(zhǔn)確率-召回率曲線

準(zhǔn)確率-召回率(Precision-Recall,PR)曲線是評(píng)價(jià)算法效果最常用的手段。通過(guò)固定閾值，得到256張二值圖，將結(jié)果與真實(shí)值(Ground-Truth,GT)比較就能得到相應(yīng)的PR曲線(圖5)。

圖5 準(zhǔn)確率-召回率曲線

從圖5所示的PR曲線可以看出，本文算法COMR在MSRA上領(lǐng)先其他算法，與DRFI以及BSCA基本持平，在高準(zhǔn)確率要求的情況下，本文算法的召回率比DRFI與BSCA高。 在ECSSD數(shù)據(jù)集上，本文算法僅次于DRFI，但該算法與改進(jìn)前的GMR相比，有顯著提升，同時(shí)優(yōu)于效果較好的非機(jī)器學(xué)習(xí)算法RBD，以及基于細(xì)胞自動(dòng)機(jī)的顯著性檢測(cè)算法BSCA。在DUT-OMRON及PASCAL-S數(shù)據(jù)集上，該算法的表現(xiàn)超過(guò)了包括DRFI、BL等機(jī)器學(xué)習(xí)算法在內(nèi)的其他所有方法。

3.2F-值分析

通常，準(zhǔn)確率和召回率不能單獨(dú)用來(lái)評(píng)價(jià)顯著性圖的質(zhì)量，因此，本文用F-measure值對(duì)準(zhǔn)確率和召回率進(jìn)行加權(quán)調(diào)和平均，以此來(lái)判斷算法質(zhì)量：

其中β2=0.3，F(xiàn)β越高說(shuō)明算法效果越好。從表1可以看出，本文算法在ECSSD上的F-measure值僅次于DRFI，比其他所有算法的F-measure值高。在MSRA上，本文算法的F-measure值高于其他算法。結(jié)合多個(gè)數(shù)據(jù)集的準(zhǔn)確率-召回率曲線，說(shuō)明本文算法在效果及適應(yīng)性方面，優(yōu)于已有的多種算法。

3.3AUC與MAE

除了PR曲線，本文利用固定閾值的方法算出假陽(yáng)性(FP)率和真陽(yáng)性(TP)率，得到受試者工作特征(ReceiverOperatingCharacteristics,ROC)曲線。計(jì)算ROC曲線與坐標(biāo)軸圍成的面積AUC(AreaUnderCurve)。MAE是顯著圖與真實(shí)值之間的均方誤差。這兩個(gè)指標(biāo)是衡量顯著性算法效果和穩(wěn)定性的重要指標(biāo)。分別比較這些算法的AUC與MAE，通過(guò)比較發(fā)現(xiàn)本文算法的AUC僅次于DRFI，高于同類型算法GMR、BRD、BSCA等。在MSRA上，本文算法的MAE已經(jīng)比DRFI小，也小于同類型算法GMR、BRD、BSCA。這說(shuō)明本文的算法在多個(gè)數(shù)據(jù)庫(kù)的不同指標(biāo)上領(lǐng)先于多種現(xiàn)有的算法。

表1 不同數(shù)據(jù)集測(cè)試數(shù)據(jù)比較

3.4 算法效率比較

在IntelXeonE5645 2.4GHzCPU，8GBRAM，SSD硬盤的運(yùn)行環(huán)境下，測(cè)試了12種算法對(duì)每張圖的平均處理時(shí)間。

從表2可以看出，本文算法的運(yùn)行時(shí)間適中，比大多數(shù)算法消耗的時(shí)間少，尤其是對(duì)于效果較好的DFRI算法以及較新的BSCA算法，本文算法速度幾乎是它們的3倍。對(duì)于速度較快的算法，例如FT，本文算法效果遙遙領(lǐng)先。同類型算法GMR、RBD的時(shí)間開銷與本文算法接近，但從圖4以及各項(xiàng)效果指標(biāo)可以看出，本文算法優(yōu)于這兩種算法。

4 結(jié)語(yǔ)

本文針對(duì)目前基于先驗(yàn)的顯著性算法中先驗(yàn)選取不合理或不準(zhǔn)確的情況，提出利用局部對(duì)比度與全局對(duì)比度的關(guān)系優(yōu)化先驗(yàn)融合過(guò)程的顯著性物體檢測(cè)算法：

1) 在預(yù)處理階段改進(jìn)了超像素塊分割策略，使預(yù)處理時(shí)間縮短，增加超像素塊分割個(gè)數(shù)，使算法精確度提升。

2) 設(shè)計(jì)了顯著期望、全局對(duì)比度以及局部對(duì)比度三個(gè)指標(biāo)，判斷顯著估計(jì)的置信度，幫助找出合理的顯著先驗(yàn)。

3) 改進(jìn)了顯著估計(jì)的融合方式，利用顯著置信度及帶權(quán)加法替代之前的簡(jiǎn)單乘法，使得到的顯著性估計(jì)的召回率提升。

4) 在前景顯著估計(jì)中設(shè)計(jì)了新的閾值選取策略，使得到的最終結(jié)果具有更高的準(zhǔn)確率。

5) 通過(guò)一系列在公開數(shù)據(jù)集上的測(cè)試，驗(yàn)證了該算法的正確性，效果及性能。效果方面超過(guò)了原算法GMR，數(shù)據(jù)指標(biāo)超過(guò)多種算法，并在性能方面領(lǐng)先于深度學(xué)習(xí)DRFI算法以及新算法BL、BSCA等。

實(shí)驗(yàn)結(jié)果表明，在準(zhǔn)確找到前景區(qū)域的前提下，基于先驗(yàn)的顯著物體檢測(cè)算法能夠達(dá)到更好的效果。通過(guò)對(duì)比度優(yōu)化與改進(jìn)顯著融合方式，本文算法能得到恰當(dāng)?shù)那熬皡^(qū)域，最終獲得清晰、完整、準(zhǔn)確的顯著性圖。

當(dāng)然，由于本文算法依賴于超像素塊分割以及邊界先驗(yàn)，因此對(duì)于顯著物體過(guò)于靠近圖像邊界，圖像中顯著性物體多、分布零散，以及顯著性物體占據(jù)圖像絕大多數(shù)區(qū)域的情況，仍存在不足。我們會(huì)在后續(xù)研究中，逐步改善這些問(wèn)題，進(jìn)一步提高算法效果。

表2 算法效率比較

)

[1]ITTIL,KOCHC,NIEBURE.Amodelofsaliency-basedvisualattentionforrapidsceneanalysis[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1998, 20(11): 1254-1259.

[2]BORJIA,SIHITEDN,ITTIL.Probabilisticlearningoftask-specificvisualattention[C]//Proceedingsofthe2012IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2012: 470-477.

[3]FRINTROPS,BACKERG,ROMEE.Goal-directedsearchwithatop-downmodulatedcomputationalattentionsystem[M]//PatternRecognition,LNCS3663.Berlin:Springer, 2005: 117-124.

[4]GAOD,VASCONCELOSN.Discriminantsaliencyforvisualrecognitionfromclutteredscenes[J].AdvancesinNeuralInformationProcessingSystems, 2004, 17: 481-488.

[5]TONGN,LUH,XIANGR,etal.Salientobjectdetectionviabootstraplearning[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2015: 1884-1892.

[6]ACHANTAR,ESTRADAF,WILSP,etal.Salientregiondetectionandsegmentation[M]//ComputerVisionSystems,LNCS5008.Berlin:Springer, 2008: 66-75.

[7]CHENGMM,ZHANGGX,MITRANJ,etal.Globalcontrastbasedsalientregiondetection[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2015, 37(3): 569-582..

[8]ZHANGW,WANGZ,YANC,etal.Saliencyoptimizationfromrobustbackgrounddetection[C]//Proceedingsofthe2014IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2014: 2814-2821.

[9] 蔣嬌,陸平,朱恒亮,等.融合對(duì)比度與背景先驗(yàn)的顯著目標(biāo)檢測(cè)算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2016,28(1):82-89.(JIANGJ,LUP,ZHUHL,etal.Salientobjectdetectionusingcontrastandbackgroundpriors[J].JournalofComputer-AidedDesignandComputerGraphics, 2016, 28(1): 82-89.)

[10] 王晨,樊養(yǎng)余,李波,等.基于濾波合成的關(guān)鍵顯著性目標(biāo)檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用,2014,34(12):3531-3535.(WANGC,FANYY,LIB,etal.Keysalientobjectdetectionbasedonfilteringintegrationmethod[J].JournalofComputerApplications, 2014, 34(12): 3531-3535.)

[11] 葛濤,馮松鶴.基于層次和動(dòng)態(tài)閾值的圖像顯著區(qū)域檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用,2006,26(11):2721-2723.(GET.FENGSH.Amethodforimagesalientregionsdetectionbasedonlayeranddynamicthreshold[J].JournalofComputerApplications, 2006, 26(11): 2721-2723.)

[12] 趙三元,李鳳霞,沈建冰,等.基于紅黑小波的圖像顯著性檢測(cè)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2014,26(10):1789-1793.(ZHAOSY,LIFX,SHENJB,etal.Imagesaliencydetectionusingred-blackwavelet[J].JournalofComputer-AidedDesignandComputerGraphics, 2014, 26(10): 1789-1793.)

[13] 柳欣,鐘必能,張茂勝,等.基于張量低秩恢復(fù)和塊稀疏表示的運(yùn)動(dòng)顯著性目標(biāo)提取[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2014,26(10):1753-1763.(LIUX,ZHONGBN,ZHANGMS,etal.Motionsaliencyextractionviatensorbasedlow-rankrecoveryandblock-sparserepresentation[J].JournalofComputer-AidedDesignandComputerGraphics, 2014, 26(10): 1753-1763.)

[14] 胡正平,孟鵬權(quán).全局孤立性和局部同質(zhì)性圖表示的隨機(jī)游走顯著目標(biāo)檢測(cè)算法[J].自動(dòng)化學(xué)報(bào),2011,37(10):1279-1284.(HUZP,MENGPQ.Graphpresentationrandomwalksalientobjectdetectionalgorithmbasedonglobalisolationandlocalhomogeneity[J].ActaAutomaticaSinica, 2011, 37(10): 1279-1284.)

[15]WANGL,LUH,RUANX,etal.Deepnetworksforsaliencydetectionvialocalestimationandglobalsearch[C]//Proceedingsofthe2015IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2015: 3183-3192.

[16]YANGJ.Top-downvisualsaliencyviajointCRFanddictionarylearning[C]//Proceedingsofthe2012IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2012: 2296-2303.

[17]PERAZZIF,KRHENBüHLP,PRITCHY,etal.Saliencyfilters:contrastbasedfilteringforsalientregiondetection[C]//Proceedingsofthe2012IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2012: 733-740.

[18]FRINTROPS,WERNERT,GARCIAGM.Traditionalsaliencyreloaded:agoodoldmodelinnewshape[C]//Proceedingsofthe2015IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2015: 82-90.

[19]GONGC,TAOD,LIUW,etal.Saliencypropagationfromsimpletodifficult[C]//Proceedingsofthe2015IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2015: 2531-2539.

[20]GOPALAKRISHNANV,HUY,RAJAND.Randomwalksongraphstomodelsaliencyinimages[C]//Proceedingofthe2009IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2009: 1698-1705.

[21]JIANGB,ZHANGL,LUH,etal.SaliencydetectionviaabsorbingMarkovchain[C]//Proceedingsofthe2013IEEEInternationalConferenceonComputerVision.Washington,DC:IEEEComputerSociety, 2013: 1665-1672.

[22]RENZ,HUY,CHIALT,etal.Improvedsaliencydetectionbasedonsuperpixelclusteringandsaliencypropagation[C]//Proceedingsofthe18thACMInternationalConferenceonMultimedia.NewYork:ACM, 2010: 1099-1102.

[23]YANGC,ZHANGL,LUH,etal.Saliencydetectionviagraph-basedmanifoldranking[C]//Proceedingsofthe2013IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2013: 3166-3173.

[24]ZHOUD,WESTONJ,GRETTONA,etal.Rankingondatamanifolds[J].AdvancesinNeuralInformationProcessingSystems, 2004, 16: 169-176.

[25]LIC,YUANY,CAIW,etal.Robustsaliencydetectionviaregularizedrandomwalksranking[C]//Proceedingsofthe2015IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2015: 2710-2717.

[26]QINY,LUH,XUY,etal.Saliencydetectionviacellularautomata[C]//Proceedingsofthe2015IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2015: 110-119.

[27]ACHANTAR,SHAJIA,SMITHK,etal.Slicsuperpixels[EB/OL]. [2016- 01- 07].https://infoscience.epfl.ch/record/149300/files/SLIC_Superpixels_TR_2.pdf?version=2.

[28]JIANGH,WANGJ,YUANZ,etal.Salientobjectdetection:adiscriminativeregionalfeatureintegrationapproach[C]//Proceedingsofthe2013IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2013: 2083-2090.

[29]LIY,HOUX,KOCHC,etal.Thesecretsofsalientobjectsegmentation[C]//Proceedingsofthe2014IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2014: 280-287.

[30]ACHANTAR,HEMAMIS,ESTRADAF,etal.Frequency-tunedsalientregiondetection[C]//Proceedingofthe2009IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2009: 1597-1604.

[31]HARELJ,KOCHC,PERONAP.Graph-basedvisualsaliency[C]//AdvancesinNeuralInformationProcessingSystems.Cambridge,MA:MITPress, 2006:545-552.

[32]CHENGMM,WARRELLJ,LINWY,etal.Efficientsalientregiondetectionwithsoftimageabstraction[C]//Proceedingsofthe2013IEEEInternationalConferenceonComputerVision.Washington,DC:IEEEComputerSociety, 2013:1529-1536.

ThisworkispartiallysupportedbytheKeyProjectofNationalNaturalScienceFoundationofChina(61133009),theNationalNaturalScienceFoundationofChina(61472245,U1304616, 61502220).

XIE Chang, born in 1991, M. S candidate. His research interests include digital imgae processing, pattern recognition, machine learning.

ZHU Hengliang, born in 1981, Ph. D. candidate. His research interests include digital image processing, pattern recognition.

LIN Xiao, born in 1978, Ph. D., associate professor. Her research interests include digital image processing, video processing.

MA Lizhuang, born in 1963, Ph. D., professor. His research interests include computer graphics, digital image processing, computer aided design, scientific data visualization, computer animation.

Salient target detection algorithm based on contrast optimized manifold ranking

XIE Chang1*, ZHU Hengliang1, LIN Xiao1,2, MA Lizhuang1

(1.DepartmentofComputerScienceandEngineering,ShanghaiJiaoTongUniversity,Shanghai200240,China; 2.SchoolofOptical-ElectricalandComputerEngineering,UniversityofShanghaiforScienceandTechnology,Shanghai200093,China)

The existing boundary prior based saliency algorithm model has the problem of improper selection of reasonable saliency prior region, which leads to the inaccurate foreground region and influence the final result. Aiming at this problem, a salient target detection algorithm based on contrast optimized manifold ranking was proposed. The image boundary information was utilized to find the background prior. An algorithm for measuring the priori quality was designed by using three indexes, namely, saliency expection, local contrast and global contrast. A priori quality design with weighted addition replaced simple multiplication fusion to make the saliency prior more accurate. When the salient regions were extracted from the a priori, the strategy of selecting the threshold was changed, the foreground region was selected more rationally, and the saliency map was obtained by using the manifold ranking, so that the saliency detection result was more accurate. The experimental results show that the proposed algorithm outperforms the similar algorithms, reduces the noise, which is more suitable for human visual perception, and ahead of the depth learning method in processing time.

boundary prior; prior fusion; saliency estimation; global contrast; local contrast; manifold ranking

2016- 09- 23;

2016- 10- 08。

國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目(61133009)；國(guó)家自然科學(xué)基金資助項(xiàng)目(61472245,U1304616, 61502220)。

謝暢(1991—)，男，四川雅安人，碩士研究生，主要研究方向：圖像處理、模式識(shí)別、機(jī)器學(xué)習(xí)； 朱恒亮(1981—)，男，山東微山人，博士研究生，主要研究方向：圖像處理、模式識(shí)別； 林曉(1978—)，女，河南洛陽(yáng)人，副教授，博士，CCF會(huì)員，主要研究方向：圖像處理、視頻處理； 馬利莊(1963—)，男，浙江寧波人，教授，博士，CCF會(huì)員，主要研究方向：計(jì)算機(jī)圖形學(xué)、圖像處理、計(jì)算機(jī)輔助設(shè)計(jì)、科學(xué)數(shù)據(jù)可視化、計(jì)算機(jī)動(dòng)畫。

1001- 9081(2017)03- 0684- 07

10.11772/j.issn.1001- 9081.2017.03.684

TP

A