梁曄，于劍

近年來(lái)，隨著互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展，全球已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代。同時(shí)，數(shù)碼設(shè)備的普及和社交網(wǎng)站的流行導(dǎo)致了社交圖像爆炸式地增長(zhǎng)，已經(jīng)成為了一種重要的圖像類型。Yahoo的社群圖像分享網(wǎng)站Flickr、社交媒體網(wǎng)站Facebook、Google的社交視頻分享網(wǎng)站、Youtube都是目前最具有代表性的社交網(wǎng)站。以Flickr為例，每分鐘上傳到網(wǎng)站上的圖像超過(guò)兩千張，每天上傳到網(wǎng)站上的圖像超過(guò)兩百萬(wàn)張。據(jù)統(tǒng)計(jì)，社交網(wǎng)站Facebook平均每天新增圖像數(shù)量超過(guò)1億張，其總數(shù)量已經(jīng)超過(guò)1 000億張；Flickr圖像總量超過(guò)了60億張；圖像分享移動(dòng)應(yīng)用Instagram圖像數(shù)量超過(guò)10億張。然而，相對(duì)于海量的圖像數(shù)據(jù)，計(jì)算資源是有限的，如何對(duì)海量的圖像進(jìn)行有效的管理成了亟待解決的問(wèn)題。顯著性檢測(cè)的相關(guān)研究和應(yīng)用[1]帶來(lái)了很好的解決方案。顯著性檢測(cè)就是讓計(jì)算機(jī)模擬人類的視覺(jué)注意力機(jī)制，對(duì)處理的圖像進(jìn)行自動(dòng)信息篩選，將有限的資源分配給重要信息，提高處理速度，提升資源利用率。顯著性檢測(cè)是多學(xué)科交叉的研究領(lǐng)域，涉及心理學(xué)、神經(jīng)科學(xué)、生物視覺(jué)和計(jì)算機(jī)視覺(jué)等相關(guān)領(lǐng)域，有重要的理論價(jià)值和實(shí)際應(yīng)用意義，是目前研究的熱點(diǎn)。

本文關(guān)注社群圖像的顯著區(qū)域檢測(cè)問(wèn)題，目前對(duì)此領(lǐng)域的研究不多，主要貢獻(xiàn)有：

1) 提出了基于深度學(xué)習(xí)的顯著區(qū)域檢測(cè)方法。該方法針對(duì)社群圖像帶有標(biāo)簽的特點(diǎn)，采取兩條提取線：基于CNN特征的顯著性計(jì)算和基于標(biāo)簽的語(yǔ)義計(jì)算。較目前流行的檢測(cè)方法，本文的檢測(cè)精度有一定的提升。

2) 構(gòu)建了面向社群圖像的帶有標(biāo)簽信息的顯著性數(shù)據(jù)集，新建數(shù)據(jù)集來(lái)自于NUS-WIDE數(shù)據(jù)集中的多個(gè)類，包含多個(gè)標(biāo)簽、圖像前景和背景差異性小，為面向社群圖像的顯著區(qū)域檢測(cè)方法提供了新的實(shí)驗(yàn)數(shù)據(jù)。

1 相關(guān)工作

在顯著性快速發(fā)展的幾十年里，涌現(xiàn)了大量的顯著區(qū)域檢測(cè)方法。隨著GPU等硬件資源的發(fā)展和大規(guī)模訓(xùn)練圖像集的涌現(xiàn)，基于深度神經(jīng)網(wǎng)絡(luò)的顯著區(qū)域提取近年來(lái)受到廣泛的關(guān)注。深度學(xué)習(xí)可以從大數(shù)據(jù)中自動(dòng)學(xué)習(xí)特征的表示，學(xué)習(xí)得到的特征能夠刻畫(huà)問(wèn)題內(nèi)部本質(zhì)結(jié)構(gòu)，檢測(cè)結(jié)果比基于人工設(shè)計(jì)特征的提取方法有較大的提高。伴隨著顯著區(qū)域檢測(cè)方法的研究，也涌現(xiàn)了多個(gè)顯著性數(shù)據(jù)集。就目前的研究現(xiàn)狀來(lái)看，面向社群圖像的顯著區(qū)域檢測(cè)方法目前的研究不多。

1.1 基于層次和深度結(jié)構(gòu)的顯著區(qū)域檢測(cè)

已有的研究顯示了層次和深度體系結(jié)構(gòu)對(duì)顯著區(qū)域檢測(cè)建模有重要的作用。文獻(xiàn)[2]提出了層次結(jié)構(gòu)進(jìn)行顯著區(qū)域檢測(cè)，減少了小尺寸顯著區(qū)域?qū)z測(cè)結(jié)果的影響。文獻(xiàn)[3]在檢測(cè)顯著區(qū)域之前將圖像進(jìn)行了多尺度分割，形成層次結(jié)構(gòu)，取得了較好的檢測(cè)效果。多層次顯著性檢測(cè)的優(yōu)點(diǎn)是考慮了圖像多尺度的特點(diǎn)，解決了單一分割的局限性，從一定程度上考慮了顯著區(qū)域大小不一的現(xiàn)象。但是這些工作仍然存在缺陷，在計(jì)算顯著性時(shí)采用的特征仍是人工設(shè)計(jì)的特征，并且劃分層次的數(shù)量也很難有科學(xué)的解釋。

隨著研究的深入，研究人員將深度體系結(jié)構(gòu)應(yīng)用到顯著區(qū)域檢測(cè)中。文獻(xiàn)[4]通過(guò)無(wú)監(jiān)督的方法學(xué)習(xí)多個(gè)中層的濾波器集合進(jìn)行局部的顯著性檢測(cè)，并且和卷積網(wǎng)絡(luò)得到的中層檢測(cè)結(jié)果進(jìn)行融合。文獻(xiàn)[5]采用卷積神經(jīng)網(wǎng)絡(luò)得到圖像的多尺度特征，包括局部區(qū)域塊、它的鄰域區(qū)域塊和整幅圖像，進(jìn)行顯著區(qū)域的檢測(cè)。文獻(xiàn)[6]訓(xùn)練了兩個(gè)深度卷積網(wǎng)絡(luò)：一個(gè)用于檢測(cè)局部顯著圖，另一個(gè)用于檢測(cè)全局顯著圖，然后將兩種顯著圖進(jìn)行融合。文獻(xiàn)[7]采用全局上下文信息和局部區(qū)域信息相融合的方法實(shí)現(xiàn)顯著區(qū)域檢測(cè)。深度學(xué)習(xí)除了具有層次結(jié)構(gòu)之外，還能自動(dòng)學(xué)習(xí)特征，學(xué)習(xí)到的特征明顯優(yōu)于人工設(shè)計(jì)的特征，正因如此，基于深度學(xué)習(xí)的方法已經(jīng)在顯著區(qū)域檢測(cè)中取得了明顯的效果。當(dāng)然，基于深度學(xué)習(xí)的檢測(cè)方法具有深度學(xué)習(xí)固有的缺點(diǎn)，比如網(wǎng)絡(luò)結(jié)構(gòu)尚且無(wú)法做出合理的解釋、參數(shù)眾多調(diào)節(jié)費(fèi)時(shí)等缺點(diǎn)。

1.2 基于標(biāo)簽語(yǔ)義進(jìn)行顯著區(qū)域提取

標(biāo)簽的語(yǔ)義雖然在圖像標(biāo)注領(lǐng)域已經(jīng)得到了廣泛應(yīng)用，但是，標(biāo)簽信息通常和顯著區(qū)域檢測(cè)任務(wù)分開(kāi)處理，在顯著區(qū)域檢測(cè)上的應(yīng)用不多。

和本文工作最相關(guān)的是文獻(xiàn)[8]和文獻(xiàn)[9]，均用到了標(biāo)簽信息。文獻(xiàn)[8]將標(biāo)簽排序任務(wù)和顯著區(qū)域檢測(cè)任務(wù)整合在一起，迭代地進(jìn)行標(biāo)簽排序和顯著區(qū)域的檢測(cè)任務(wù)；文獻(xiàn)[9]提出Tag-Saliency模型，通過(guò)基于層次的過(guò)分割和自動(dòng)標(biāo)注技術(shù)進(jìn)行標(biāo)注。這兩個(gè)工作的共同缺點(diǎn)是顯著區(qū)域標(biāo)注效果依賴于區(qū)域標(biāo)注，采用的多示例學(xué)習(xí)方法不容易泛化；而且，二者均沒(méi)有考慮標(biāo)簽之間的上下文關(guān)系。本文的工作和這兩篇文獻(xiàn)不同，是把標(biāo)簽的語(yǔ)義信息轉(zhuǎn)化為RCNN特征。由于RCNN技術(shù)是基于卷積神經(jīng)網(wǎng)絡(luò)的，所以本文的方法更能改善檢測(cè)性能。

1.3 顯著性數(shù)據(jù)集

從關(guān)于顯著性數(shù)據(jù)集的相關(guān)文獻(xiàn)來(lái)看，顯著性數(shù)據(jù)集主要來(lái)自于兩個(gè)領(lǐng)域：為了顯著性研究而建立的數(shù)據(jù)集[2-3,10-12]；從圖像分割領(lǐng)域延伸過(guò)來(lái)的顯著性數(shù)據(jù)集[13-14]。這些數(shù)據(jù)集有的以矩形框方式進(jìn)行顯著區(qū)域標(biāo)注，更多的是以像素級(jí)進(jìn)行顯著區(qū)域的標(biāo)注，還有的通過(guò)眼動(dòng)儀進(jìn)行視點(diǎn)的標(biāo)注。然而隨著社群圖像的快速增加，目前針對(duì)社群圖像的帶有標(biāo)簽信息的顯著性數(shù)據(jù)集研究不多，本文針對(duì)此問(wèn)題構(gòu)建面向社群圖像的顯著性數(shù)據(jù)集。

2 基于深度學(xué)習(xí)的顯著區(qū)域檢測(cè)

2.1 方法流程

本文提出的基于深度學(xué)習(xí)的顯著區(qū)域檢測(cè)方法針對(duì)社群圖像帶有標(biāo)簽的特點(diǎn)，系統(tǒng)框架中采取兩條提取線：基于CNN特征的顯著性計(jì)算和基于標(biāo)簽的語(yǔ)義計(jì)算，并將二者的結(jié)果進(jìn)行融合，融合的顯著圖通過(guò)全連接的CRF模型進(jìn)行一致性空間優(yōu)化，獲得最終顯著圖。主要處理流程如圖1所示。

圖1 系統(tǒng)流程圖Fig. 1 System flow chart

在處理流程中，要解決的重點(diǎn)問(wèn)題是如何提取圖像的CNN特征、如何計(jì)算標(biāo)簽的語(yǔ)義特征。

2.2 基于CNN特征的顯著性計(jì)算

2.2.1 網(wǎng)絡(luò)結(jié)構(gòu)

負(fù)責(zé)CNN特征提取的深度網(wǎng)絡(luò)采用Hinton的學(xué)生Alex Krizhevsky在2012年ILSVRC競(jìng)賽中的8層卷積神經(jīng)網(wǎng)絡(luò)[15]，包括5個(gè)卷積層、2個(gè)全連接層和1個(gè)輸出層。網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。網(wǎng)絡(luò)的最下面為檢測(cè)的圖像，圖像的上面表示要提取特征的區(qū)域。

圖2 網(wǎng)絡(luò)結(jié)構(gòu)Fig. 2 Network structure

5個(gè)卷積層負(fù)責(zé)多尺度特征的提取，為了實(shí)現(xiàn)平移不變性，卷積層后面采用最大池化操作；特征自動(dòng)學(xué)習(xí)的特征均包含4 096個(gè)元素；第1層全連接層和第2層全連接層后均通過(guò)修正線性單元ReLU(rectified linear units)進(jìn)行非線性映射。修正線性單元ReLU[15]對(duì)每個(gè)元素進(jìn)行如下操作：

在輸出層采用softmax回歸模型得出圖像塊是否顯著的概率。

2.2.2 網(wǎng)絡(luò)訓(xùn)練與測(cè)試

采用公開(kāi)的Caffe[16]框架，利用研究工作[15]的網(wǎng)絡(luò)參數(shù)進(jìn)行初始化，然后利用來(lái)自目標(biāo)數(shù)據(jù)集的圖像對(duì)參數(shù)進(jìn)行微調(diào)。

在圖像中，顯著區(qū)域具有獨(dú)特性、稀缺性，和鄰域具有明顯差異的特點(diǎn)。受文獻(xiàn)[5]啟發(fā)，為了有效地計(jì)算顯著性，本文考慮了3種圖像區(qū)域塊間的差異：圖像塊和鄰域的差異；圖像塊和圖像邊界的差異；圖像塊和整幅圖像的差異。在利用卷積神經(jīng)網(wǎng)絡(luò)特征提取時(shí)，提取了4種區(qū)域的特征：1)采樣的矩形區(qū)域；2)矩形區(qū)域的鄰接區(qū)域；3)圖像的邊界區(qū)域；4)圖像中去除矩形區(qū)域的剩余區(qū)域。4種區(qū)域的示例圖如圖3所示。

圖3 4種區(qū)域示例圖Fig. 3 Four regional cases

圖3 (a)中的黑色區(qū)域代表當(dāng)前區(qū)域；圖3(b)中的白色區(qū)域代表黑色區(qū)域的相鄰區(qū)域；圖3(c)中的白色區(qū)域代表圖像的邊界區(qū)域；圖3(d)中的白色色區(qū)域代表去掉黑色區(qū)域后的剩余區(qū)域。

對(duì)訓(xùn)練集中的每幅圖像，采用滑動(dòng)窗口方式進(jìn)行采樣，采樣為51×51的區(qū)域塊，采樣步幅為10像素，得到用于網(wǎng)絡(luò)訓(xùn)練的區(qū)域塊，并采用和文獻(xiàn)[4]相同的標(biāo)注方法對(duì)采樣區(qū)域塊進(jìn)行標(biāo)注。如果圖像塊中至少70%的像素在基準(zhǔn)二值標(biāo)注中為顯著，則這個(gè)圖像塊被標(biāo)注為顯著，否則標(biāo)注為不顯著。

在測(cè)試的時(shí)候，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取圖像區(qū)域相關(guān)的4種特征，然后通過(guò)訓(xùn)練好的模型預(yù)測(cè)各個(gè)區(qū)域?yàn)轱@著區(qū)域的概率。

2.3 基于標(biāo)簽的語(yǔ)義特征計(jì)算

圖像的標(biāo)簽可以分為兩大類：場(chǎng)景標(biāo)簽和對(duì)象標(biāo)簽。對(duì)象為圖像中顯著區(qū)域的可能性非常大?；诖?，在基于標(biāo)簽的語(yǔ)義計(jì)算中關(guān)注對(duì)象標(biāo)簽。

估計(jì)一個(gè)區(qū)域?qū)儆谔囟▽?duì)象的概率從一定程度上反映出此區(qū)域?yàn)轱@著區(qū)域的可能性。因此，區(qū)域?qū)儆谔囟▽?duì)象的概率可看作顯著性的先驗(yàn)知識(shí)。

RCNN技術(shù)是一種簡(jiǎn)單、可擴(kuò)展的對(duì)象檢測(cè)方法，基于卷積神經(jīng)網(wǎng)絡(luò)的，在圖像分類、對(duì)象檢測(cè)和圖像分割等領(lǐng)域取得了優(yōu)異的性能。本文采用RCNN[17]技術(shù)檢測(cè)區(qū)域?qū)儆趯?duì)象的概率。

標(biāo)簽語(yǔ)義特征計(jì)算的主要思路為利用RCNN抽取的特征計(jì)算每個(gè)像素的語(yǔ)義特征。

假設(shè)有X個(gè)對(duì)象檢測(cè)子，對(duì)于第k個(gè)對(duì)象檢測(cè)子，具體計(jì)算過(guò)程如下。

1) 選取最可能包含特定對(duì)象的N個(gè)矩形框；

3) 第k個(gè)對(duì)象檢測(cè)子檢測(cè)完畢后，圖像中的像素包含檢測(cè)子對(duì)象的可能性，如果像素被包含在第i個(gè)矩形框里，則，否則。

X個(gè)對(duì)象檢測(cè)子都檢測(cè)完畢后，每個(gè)像素得到X維特征。X維特征歸一化后表示為，。的每一維代表像素屬于每一類特定對(duì)象的概率。

計(jì)算得到的基于標(biāo)簽的語(yǔ)義特征用于輔助顯著性的計(jì)算。

2.4 顯著圖和標(biāo)簽語(yǔ)義圖的融合

假設(shè)基于CNN特征的顯著圖為SD，基于RCNN技術(shù)檢測(cè)到的標(biāo)簽語(yǔ)義為T(mén)，二者融合如下。

式中S表示融合后的顯著圖。

在融合過(guò)程中，標(biāo)簽語(yǔ)義相當(dāng)于先驗(yàn)，對(duì)顯著值起到加權(quán)的作用。

2.5 空間一致性優(yōu)化

在圖像分割領(lǐng)域，研究人員采用全連接的CRF模型對(duì)分割結(jié)果進(jìn)行分割區(qū)域和邊緣的平滑。借鑒文獻(xiàn)[20]中的解決方法，本文采用全連接的CRF模型對(duì)顯著圖進(jìn)行空間一致性優(yōu)化。

能量函數(shù)定義如式(4)：

3 帶有標(biāo)簽信息的顯著性數(shù)據(jù)集構(gòu)建

3.1 圖像來(lái)源

本文從NUS-WIDE數(shù)據(jù)集采用如下篩選條件進(jìn)行圖像的篩選。

1) 顯著區(qū)域和整幅圖像的顏色對(duì)比度小于0.7；

2) 顯著區(qū)域尺寸豐富，要求占整幅圖像的比例覆蓋 10 個(gè)等級(jí)，[0, 0.1)、[0.1, 0.2)、[0.2, 0.3)、[0.3,0.4)、[0.4, 0.5)、[0.5, 0.6)、[0.6, 0.7)、[0.7, 0.8)、[0.8,0.9)、[0.9, 1]；

3) 至少有10%的圖像中的顯著區(qū)域和圖像邊界相連。

最終確定5 429幅圖像作為數(shù)據(jù)集，來(lái)自于38 個(gè)文件夾，包括 carvings、castle、cat、cell_phones、chairs、chrysanthemums、classroom、cliff、computers、cooling_tower、coral、cordless cougar、courthouse、cow、coyote、dance、dancing、deer、den、desert、detail、diver、dock、close-up、cloverleaf、cubs、dall,dog、dogs、fish、flag、eagle、elephant、elk、f-16、facade、fawn。

3.2 圖像標(biāo)注

矩形框級(jí)別的標(biāo)注不能準(zhǔn)確地定位對(duì)象邊緣，標(biāo)注結(jié)果不精確。本文采用像素級(jí)別的二值標(biāo)注。

選取了5個(gè)觀察者進(jìn)行標(biāo)注。不同用戶標(biāo)注結(jié)果通常存在不一致的現(xiàn)象。為了減少標(biāo)注的不一致性，計(jì)算每個(gè)像素標(biāo)注的一致性分值。

最后，兩個(gè)觀察者使用Adobe Photoshop手動(dòng)從圖像中分割出顯著區(qū)域。

3.3 數(shù)據(jù)集的標(biāo)簽信息

NUS-WIDE數(shù)據(jù)集提供了81個(gè)基準(zhǔn)標(biāo)簽集。新構(gòu)建的數(shù)據(jù)集標(biāo)簽來(lái)自于81個(gè)基準(zhǔn)標(biāo)簽集，共78個(gè)標(biāo)簽。每幅圖像包含1～9個(gè)標(biāo)簽。

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)設(shè)置

以本文構(gòu)建的數(shù)據(jù)集為實(shí)驗(yàn)對(duì)象，選擇20個(gè)對(duì)象標(biāo)簽，包括 bear、birds、boats、buildings、cars、cat、computer、coral、cow、dog、elk、fish、flowers、fox、horses、person、plane、tiger、train、zebra；選取和對(duì)象標(biāo)簽相對(duì)應(yīng)的20個(gè)對(duì)象檢測(cè)子進(jìn)行RCNN特征提取，選取2 000個(gè)包含對(duì)象概率最大的矩形框。

采用Cafffe框架[16]進(jìn)行深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和測(cè)試。通過(guò)隨機(jī)下降方法進(jìn)行訓(xùn)練，每次迭代參與的樣本數(shù)量(batch)為256；沖量值(momentum)為0.9；正則化項(xiàng)的權(quán)重為0.000 5；學(xué)習(xí)率初始值為0.01，當(dāng)損失穩(wěn)定的時(shí)候?qū)W習(xí)率以0.1的速度下降；對(duì)每層的輸出采用比率為0.5的drop-out操作來(lái)防止過(guò)擬合；訓(xùn)練迭代次數(shù)為80次。

實(shí)驗(yàn)對(duì)比了27種流行的顯著區(qū)域檢測(cè)方法，包括 HS[2]、DRFI[3]、SMDF[5]、LEGS[6]、MCDL[7]、FT[14]、BL[18]、RFCN[19]、CB[21]、SEG[22]、RC[23]、SVO[24]、LRR[25]、SF[26]、GS[27]、CA[28]、SS[29]、TD[30]、MR[31]、PCA[32]、HM[33]、GC[34]、MC[35]、DSR[36]、SBF[37]、BD[38]和SMD[37]。這些檢測(cè)方法涵蓋范圍特別廣泛。

本文的檢測(cè)方法簡(jiǎn)稱為DBS。

在定量的性能評(píng)價(jià)中，采用當(dāng)前流行的性能評(píng)價(jià)指標(biāo)：1)查準(zhǔn)率和查全率曲線(PR曲線)；2)F-measure值；3)受試者工作特征曲線(ROC Curve)；4)AUC值(ROC曲線下面的面積)；5)平均絕對(duì)誤差(MAE)。

4.2 與流行方法的比較

與27種流行方法比較，實(shí)驗(yàn)結(jié)果如表1和圖4、5所示。

表1 本文方法與27種流行方法的比較Table 1 Compare with 27 popular methods

表1中，F(xiàn)_measure、AUC和MAE排在前3位的為4種目前流行的深度學(xué)習(xí)方法SMDF[5]、LEGS[6]、MCDL[7]、RFCN[19]和本文的DBS方法。在某種程度上可以說(shuō)深度學(xué)習(xí)的檢測(cè)方法超過(guò)了非深度學(xué)習(xí)的檢測(cè)方法，精度上有所提高。其中，DBS方法的AUC值是最高的，DBS方法的F-measure值是最高的，DBS的MAE值是最低的，所以DBS方法的性能最佳。

PR曲線圖和ROC曲線圖如圖4和5所示。DBS的PR曲線和ROC曲線均高于其他所有方法。

圖4 PR曲線圖Fig. 4 PR curves

圖5 ROC曲線圖Fig. 5 ROC curves

4.3 視覺(jué)效果比較

選擇典型圖像和27種流行方法進(jìn)行視覺(jué)效果的對(duì)比，如圖6所示。

27種流行方法的檢測(cè)結(jié)果存在如下問(wèn)題：1)存不完整的現(xiàn)象，如 SMDF[5]、LRR[25]、GS[27]；2)存在包含非顯著區(qū)域的現(xiàn)象，如 LEGS[6]、RFCN[19]、SS[29]、TD[30]；3)存在邊界模糊不清的現(xiàn)象，如SEG[22]、SVO[24]、SS[29]；4)存在只高亮地顯示邊緣的現(xiàn)象，如CA[27]、PCA[31]。此外，流行的深度學(xué)習(xí)檢測(cè)方法的檢測(cè)性能也不盡相同，原因在于輸入到到網(wǎng)絡(luò)圖像塊的上下文信息不同，學(xué)習(xí)到的特征不一樣，導(dǎo)致對(duì)比度的計(jì)算結(jié)果也不同。

本文方法綜合考慮了CNN深度特征和標(biāo)簽語(yǔ)義特征，保證了本文方法得到的顯著區(qū)域相對(duì)完整、均勻高亮。

圖6 DBS 方法與27種流行方法的視覺(jué)效果比較圖Fig. 6 Visual comparison between DBS with 27 popular methods

圖6 中圖像出現(xiàn)的順序?yàn)椋涸紙D像、標(biāo)準(zhǔn)二值標(biāo)注、BL[18]、CA[28]、CB[21]、DRFI[3]、DSR[36]、FT[14]、GC[34]、GS[27]、HM[33]、HS[2]、LEGS[6]、LRR[25]、MC[35]、MCDL[7]、MR[31]、PCA[32]、BD[38]、RC[23]、RFCN[19]、SBF[27]、SEG[22]、SF[26]、SMD[37]、SMDF[5]、SS[29]、SVO[24]、TD[30]、DBS。

5 結(jié)束語(yǔ)

本文提出了基于深度學(xué)習(xí)的顯著區(qū)域檢測(cè)方法，該方法面向帶有標(biāo)簽的社群圖像，將標(biāo)簽信息納入到顯著區(qū)域的提取方法中?；谏疃葘W(xué)習(xí)的特征包括CNN特征和標(biāo)簽特征。此外，隨著社群圖像的快速發(fā)展，文本構(gòu)建了面向社群圖像的帶有標(biāo)簽信息的顯著性數(shù)據(jù)集，為面向社群圖像的顯著區(qū)域檢測(cè)研究提供了新的實(shí)驗(yàn)數(shù)據(jù)。大量的實(shí)驗(yàn)證明了所提方法的有效性。

[1]XIAO Chuanmin, SHI Zelin, XIA Renbo, et al. Edge-detection algorithm based on visual saliency[J]. Information and control, 2014, 43(1): 9–13.

[2]YAN Qiong, XU Li, SHI Jianping, et al. Hierarchical saliency detection[C]//Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Portland, OR, USA, 2013: 1155–1162.

[3]JIANG Huaizu, WANG Jingdong, YUAN Zejian, et al. Salient object detection: a discriminative regional feature integration approach[C]//Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Portland, OR, USA, 2013: 2083–2090.

[4]LIN Yuetan, KONG Shu, WANG Donghui, et al. Saliency detection within a deep convolutional architecture[C]//Workshops at the 28th AAAI Conference on Artificial Intelligence. Québec City, Canada, 2014.

[5]LI Guanbin, YU Yizhou. Visual saliency based on multiscale deep features[C]//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Boston, MA, USA, 2015: 5455–5463.

[6]WANG Lijun, LU Huchuan, RUAN Xiang, et al. Deep networks for saliency detection via local estimation and global search[C]//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston,MA, USA, 2015: 3183–3192.

[7]ZHAO Rui, OUYANG Wanli, LI Hongsheng, et al. Saliency detection by multi-context deep learning[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA, 2015: 1265–1274.

[8]WANG Wen, LANG Congyan, FENG Songhe. Contextualizing tag ranking and saliency detection for social images[M]//LI Shipeng, EL SADDIK A, WANG MENG, et al. Advances in Multimedia Modeling. Berlin Heidelberg,Germany: Springer, 2013: 428–435.

[9]ZHU Guokang, WANG Qi, YUAN Yuan. Tag-saliency:combining bottom-up and top-down information for saliency detection[J]. Computer vision and image understanding, 2014, 118: 40–49.

[10]LIU Tie, SUN Jian, ZHENG Nanning, et al. Learning to detect a salient object[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Minneapolis, Minnesota, USA, 2007: 1–8.

[11]LI Jian, LEVINE M D, AN Xiangjing, et al. Visual saliency based on scale-space analysis in the frequency domain[J]. IEEE transactions on pattern analysis and machine intelligence, 2013, 35(4): 996–1010.

[12]MARTIN D, FOWLKES C, TAL D, et al. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics[C]//Proceedings of the 8th IEEE International Conference on Computer Vision. Vancouver, BC, USA,2001, 2: 416–423.

[13]BATRA D, KOWDLE A, PARIKH D, et al. iCoseg: Interactive co-segmentation with intelligent scribble guidance[C]//Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). San Francisco,CA, USA, 2010: 3169–3176.

[14]ACHANTA R, HEMAMI S, ESTRADA F, et al. Frequency-tuned salient region detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Miami, FL, USA, 2009: 1597–1604.

[15]JIA Yangqing, DEVELOPER L, SHELHAMER E. Caffe[N/OL]. [2016-11-12]. http://caffe.berkeleyvision.org/,2013.

[16]KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe, Nevada, USA, 2012: 1097–1105.

[17]GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Columbus, OH, USA, 2014: 580–587.

[18]TONG Na, LU Huchuan, RUAN Xiang, et al. Salient object detection via bootstrap learning[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, MA, USA, 2015: 1884–1892.

[19]WANG Linzhao, WANG Lijun, LU Huchuan, et al. Saliency detection with recurrent fully convolutional networks[C]//Proceedings of the 14th European Conference Computer Vision–ECCV 2016. Cham, Germany, 2016:151–157.

[20]KR?HENBüHL P, KOLTUN V. Efficient inference in fully connected CRFs with Gaussian edge potentials[C]//Proceedings of the 24th International Conference on Neural Information Processing Systems. Granada, Spain, 2012:109–117.

[21]JIANG Huaizu, WANG Jingdong, YUAN Zejian, et al.Automatic salient object segmentation based on context and shape prior[C]//Proceedings of the British Machine Vision Conference (BMVC). Dundee, Scotland, 2011:1–12.

[22]RAHTU E, KANNALA J, SALO M, et al. Segmenting salient objects from images and videos[C]//Proceedings of the 11th European Conference on Computer Vision (EC-CV). Crete, Greece, 2010: 366–379.

[23]CHENG Mingming, ZHANG Guoxin, MITRA N J, et al.Global contrast based salient region detection[C]//Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA, 2011: 409–416.

[24]CHANG K Y, LIU T L, CHEN H T, et al. Fusing generic objectness and visual saliency for salient object detection[C]//Proceedings of the 2011 IEEE International Conference on Computer Vision (ICCV). Barcelona, Spain, 2011:914–921.

[25]SHEN Xiaohui, WU Ying. A unified approach to salient object detection via low rank matrix Recovery[C]//Proceedings of the 2012 IEEE International Conference on Computer Vision and Pattern Recognition (CVPR). Providence, Rhode Island, USA, 2011: 853–860.

[26]PERAZZI F, KR?HENBUHL P, PRITCH Y, et al. Saliency filters: contrast based filtering for salient region detection[C]//Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Providence, Rhode Island, USA, 2012: 733–740.

[27]WEI Yichen, WEN Fang, ZHU Wangjiang, et al. Geodesic saliency using background priors[C]//Proceedings of the 12th European Conference on Computer Vision (ECCV).Florence, Italy, 2012: 29–42.

[28]GOFERMAN S, ZELNIK-MANOR L, TAL A. Contextaware saliency detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition(CVPR). San Francisco, CA, USA, 2010: 2376–2383.

[29]HOU Xiaodi, HAREL J, KOCH C. Image signature: highlighting sparse salient regions[J]. IEEE transactions on pattern analysis and machine intelligence, 2012, 34(1): 194–201.

[30]SCHARFENBERGER C, WONG A, FERGANI K, et al.Statistical textural distinctiveness for salient region detection in natural images[C]//Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Portland, Oregon, USA, 2013: 979–986.

[31]YANG Chuan, ZHANG Lihe, LU Huchuan, et al. Saliency detection via graph-based manifold ranking[C]//Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Portland, OR, USA, 2013:3166–3173.

[32]MARGOLIN R, TAL A, ZELNIK-MANOR L. What makes a patch distinct?[C]//Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Portland, OR, USA, 2013: 1139–1146.

[33]LI Xi, LI Yao, SHEN Chunhua, et al. Contextual hypergraph modeling for salient object detection[C]//Proceedings of the 2013 IEEE International Conference on Computer Vision (ICCV). Sydney, NSW, Australia, 2013:3328–3335.

[34]CHENG Mingming, WARRELL J, LIN Wenyan, et al. Efficient salient region detection with soft image abstraction[C]//Proceedings of the 2013 IEEE International Conference on Computer Vision (ICCV). Sydney, Australia, 2013:1529–1536.

[35]JIANG Bowen, ZHANG Lihe, LU Huchuan, et al. Saliency detection via absorbing Markov chain[C]//Proceedings of the 2013 IEEE International Conference on Computer Vision (ICCV). Sydney, NSW, Australia, 2013:1665–1672.

[36]LI Xiaohui, LU Huchuan, ZHANG Lihe, et al. Saliency detection via dense and sparse reconstruction[C]//Proceedings of the 2013 IEEE International Conference on Computer Vision. Washington, DC, USA, 2013: 2976–2983.

[37]PENG H, LI B, LING H, et al. Salient object detection via structured matrix decomposition[J]. IEEE transactions on pattern analysis & machine intelligence, 2017, 39(4):818–832.

[38]ZHU Wangjiang, LIANG Shuang, WEI Yichen, et al. Saliency optimization from robust background detection[C]//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Columbus, OH,USA, 2014: 2814–2821.