時斐斐，張松龍，彭 力

江南大學 物聯(lián)網(wǎng)工程學院 物聯(lián)網(wǎng)技術(shù)應用教育部工程研究中心，江蘇 無錫 214122

1 引言

顯著性檢測作為計算機視覺系統(tǒng)模擬人類視覺注意力機制的一項技術(shù)，其主要解決問題是如何快速準確地從各類場景中提取有效顯著目標，目前顯著性檢測算法研究主要采用自底而上和自頂而下兩種策略。自底而上的目標注意力機制主要基于數(shù)據(jù)驅(qū)動，通過設計顯著性檢測的分類器模型，通過大量訓練數(shù)據(jù)集對模型進行訓練指導模型收斂并在測試數(shù)據(jù)集上驗證，最后得到參數(shù)模型；自頂而上的目標注意力機制主要基于任務驅(qū)動，通過跨學科觀察分析等方法得出背景、對比度和中心先驗信息，利用先驗信息或通過人工提取的低級特征與先驗信息相融合建模來檢測顯著性區(qū)域，該方法在簡單的場景中取得了良好的效果。

自底而上基于數(shù)據(jù)驅(qū)動的顯著性檢測模型依賴于監(jiān)督學習方法以及龐大的數(shù)據(jù)集做驅(qū)動。2016年Li等[1]提出了一種基于深度卷積網(wǎng)絡提取各區(qū)域卷積特征對比的顯著性檢測網(wǎng)絡，其特點是使用全卷積網(wǎng)絡提取各個階段的多尺度卷積特征直接預測顯著圖；2017年Zhang等人[2]提出一種學習不確定卷積的顯著性檢測網(wǎng)絡，網(wǎng)絡在特定卷積層后映入隨機生成的丟棄層，構(gòu)建了一個不確定的內(nèi)部單元特征集合從而增加算法的魯棒性和準確性；2018年Wang等人[3]提出了注意力顯著性網(wǎng)絡AsNet，利用眼動預測的結(jié)果圖逐步推斷目標顯著性，并使用新穎的損失函數(shù)做了進一步優(yōu)化從而提升了算法的準確度。自頂而下基于任務驅(qū)動的顯著性檢測模型主要是通過先驗信息或者先驗信息與人工提取特征組合建模的方式檢測顯著性區(qū)域。早在1998年Itti等[4]跨學科地根據(jù)靈長類動物的視覺神經(jīng)系統(tǒng)設計出顯著性視覺注意模型，其利用多尺度金字塔融合亮度、方向、顏色特征得到最終顯著圖，這被認為是第一個完整的顯著性檢測模型。至今，人們利用顏色對比度、中心先驗、背景先驗等先驗信息提出了大量的基于任務驅(qū)動的顯著性檢測模型。2013年Yang等[5]將圖像分割為超像素，利用背景先驗假設將邊界超像素與背景超像素進行顯著值傳播，通過預測各個超像素對應的顯著值得到顯著圖。

利用先驗信息的任務驅(qū)動顯著性檢測方法對特征提取方式比較簡單，不需要大量數(shù)據(jù)集以及復雜漫長的訓練過程，在顯著性檢測領域發(fā)展初期得到了很好的發(fā)展。但隨著近年來大數(shù)據(jù)時代的到來以及深度學習技術(shù)的流行，基于數(shù)據(jù)驅(qū)動的顯著性檢測模型通過大量訓練集學習充分圖像深度特征，大大提升了檢測精度，而傳統(tǒng)的基于先驗信息的任務驅(qū)動顯著性檢測方法無法充分利用大數(shù)據(jù)優(yōu)勢，同時對圖像特征提取和理解程度不夠?qū)е略诿鎸碗s場景時精度遠遠達不到預期效果，所以近幾年研究學者們將研究重點轉(zhuǎn)向了自底而上基于數(shù)據(jù)驅(qū)動的顯著性檢測模型。但因此，近幾年研究忽視了先驗信息的引導，而先驗信息是對人類視覺注意機制的科學總結(jié)與歸納，更貼合人類觀察顯著區(qū)域的本質(zhì)。在基于深度學習算法訓練時，如果訓練集沒有包含類似測試場景的圖像時，其算法檢測出的顯著區(qū)域往往精度偏低且缺乏魯棒性，容易出現(xiàn)誤檢或者漏檢，模型的不完善性和單調(diào)性也就暴露了出來。此外，雖然目前卷積特征取代了手工提取特征，但如何合理使用各階段卷積特征仍然是研究中的難點問題。

針對上述因缺乏先驗引導導致的深度學習算法問題，本文提出了一種結(jié)合邊緣特征先驗引導的全卷積神經(jīng)網(wǎng)絡顯著性檢測方法。首先使用基于ResNet-101的特征編碼網(wǎng)絡提取原圖深度卷積特征，通過使用SLIC圖像超像素分割算法保留圖像原有特征的同時降低后續(xù)計算復雜度，從對比度先驗、背景先驗兩種先驗信息入手，計算每一個超像素與邊緣像素的RGB、CIELAB和LBP三種顏色特征對比度以區(qū)分前景-邊緣-背景，同時在計算時引入中心先驗信息的高斯權(quán)重，獲取更魯棒的先驗圖；將上述先驗圖輸入先驗信息輔助網(wǎng)絡學習先驗特征，并使用前景-邊緣-背景三分類損失函數(shù)使之收斂；提出先驗信息融合模塊，將得到的先驗特征與深度卷積特征通過注意力機制有效地融合，利用特征解碼網(wǎng)絡參數(shù)并將編碼特征圖放大到原圖像大小；最后提出CC-FO（Circular Convolution-Feedback Optimization，循環(huán)卷積反饋優(yōu)化）優(yōu)化策略，自動地學習改進顯著性映射，從而得到更加可靠的最終預測。

2 網(wǎng)絡模型

2.1 模型架構(gòu)

圖1 模型結(jié)構(gòu)示意圖

如圖1所示，本文網(wǎng)絡模型由3個子網(wǎng)絡組成，分別是特征編碼網(wǎng)絡、先驗信息輔助網(wǎng)絡、特征解碼網(wǎng)絡。特征編碼網(wǎng)絡是基于ResNet-101[6]的編碼網(wǎng)絡，主要用于提取原圖的深度卷積特征。ResNet-101由4個殘差模塊組成，共101層卷積層，因此可以獲得豐富的高級語義信息。先驗信息輔助網(wǎng)絡用于學習輸入先驗圖的先驗特征并使用前景-邊緣-背景三分類約束收斂，并通過先驗信息融合模塊（Prior Information Fusion Module，PIFM）融合深度卷積特征與先驗信息，將其作為特征解碼網(wǎng)絡輸入。特征解碼網(wǎng)絡由卷積層和上采樣層組成的解碼網(wǎng)絡，目的是學習網(wǎng)絡參數(shù)并將顯著圖恢復到原圖分辨率。該網(wǎng)絡由5個卷積層、5個上采樣層和最后的顯著圖預測層組成，上采樣層采用反卷積實現(xiàn)，逐階段恢復特征圖的分辨率；最后將顯著圖預測層輸入到sigmoid函數(shù)來判別各像素點屬于顯著區(qū)域的概率，并利用交叉熵損失函數(shù)實現(xiàn)網(wǎng)絡的反向傳播。

2.2 邊緣先驗圖

先驗知識是通過跨學科觀察分析等方法基于人類視覺機制得出的科學結(jié)論，最初基于先驗信息任務驅(qū)動的顯著性算法是人們使用對比度、背景、中心先驗等先驗知識組合人工提取的低級特征建模檢測顯著區(qū)域。其中對比度先驗知識認為對比度越大的區(qū)域顯著值越高；中心先驗方法認為人在觀察圖像時最先注意的區(qū)域就是圖像的中心位置，因此在計算圖像顯著性區(qū)域的時候，以高斯模型實現(xiàn)從中心向四周遞減的方法實現(xiàn)；背景先驗是指目標邊界以及背景區(qū)域的像素點顯著值比較低。而這三種先驗知識被證明可以實現(xiàn)互補[7]，且在傳統(tǒng)的顯著性檢測中效果突出。為了得到更好的邊緣先驗圖，本文基于對比度先驗、中心先驗和背景先驗三種被經(jīng)常用到的先驗知識，計算每一個超像素與邊緣像素的RGB、CIELAB[8]和LBP[9]（Local Binary Pattern，局部二值模式）三種特征的對比度，同時在計算對比度時引入中心先驗的高斯權(quán)重，使獲取的先驗圖更魯棒。本文采用RGB和CIELAB兩種顏色特征的對比度是為了使兩種特征發(fā)生互補，使之對顯著性檢測更有利。RGB顏色空間是人們最常用的顏色空間，該顏色空間中R為紅色，G為綠色，B為藍色；CIELAB顏色特征通過模擬人眼對顏色特征的感知，使其更加符合人眼觀察顏色的本質(zhì)。CIELAB顏色空間中L分量表示的是取值范圍為[0，100]的像素亮度，a分量表示取值范圍為[127,-128]的從紅色到綠色區(qū)間，b分量表示取值范圍為[127,-128]從黃色到藍色的區(qū)間。

輸入的先驗圖分辨率越高，內(nèi)容表達越準確，則輸入網(wǎng)絡學習后的顯著圖的準確度也越高。而一幅圖像中的多數(shù)像素點都有相似的顏色、亮度、紋理等特征，在處理過程中如果將每個像素都按照既定方法運算一次，將會帶來龐大的計算量和時間損耗。為了減少算法計算占用內(nèi)存，增加運算效率，本文使用簡單線性迭代聚類（Simple Linear Iterative Clustering，SLIC）[10]算法對輸入圖像做圖像超像素分割。該算法在有效捕捉到圖像的特征的同時，極大地減少了圖像后續(xù)處理的計算量，廣泛用于語義分割[11]、顯著性檢測[12]等各領域。SLIC方法需要將圖像從RGB空間轉(zhuǎn)換到CIELAB顏色空間，并設定分割超像素的個數(shù)k，將圖像分割成一定數(shù)量的具有相似特征的超像素，不僅較好地保留圖像的原有特征，同時降低了圖像后續(xù)處理的計算復雜度，圖2所示不同的k值設定算法得到的分割圖對比。將一幅像素點總數(shù)為N的圖像分割為像素點數(shù)為N/k的單個超像素，其兩個相鄰超像素聚類中心空間距離近似為S= N/k，SLIC算法將初始化聚類點設定為邊距為S的網(wǎng)格節(jié)點，然后根據(jù)聚類點2S×2S正方形區(qū)域內(nèi)計算像素點與初始聚類點的歐氏距離，進而判斷聚類點周圍的點是否應該劃分到該超像素中。像素點與該初始聚類點的歐式距離是該正方形區(qū)域內(nèi)點的空間距離與顏色距離的加權(quán)值：

其中，[l,a,b]為CIELAB空間的顏色平均值，[x,y]為位置空間，dlab為像素的顏色距離，dxy為像素的空間距離，Di是像素顏色距離和空間距離加權(quán)后的總距離，m控制顏色和空間權(quán)重。該算法可以將圖像分割成一定數(shù)量的具有相似特征，且感知均勻的超像素，不僅較好地保留圖像的原有特征，同時降低了圖像后續(xù)處理的計算復雜度。圖2展示了SLIC超像素分割算法不同尺度分割圖直觀效果對比。實驗證明[10]，使用SLIC算法顯著地降低了像素的線性復雜度，展示了目前最優(yōu)的邊界依從性，在PascalVOC 2010數(shù)據(jù)集上測試，相比于同類分割算法QS 09方法提升了分割精度，并將生成超像素的時間減少了一個數(shù)量級。

圖2 不同尺度的SLIC分割圖對比

其中，α和 p分別為超像素的平均RGB的值和空間中心位置，Γi表示為歸一化項，β為一個尺度項，本文固定其值為0.5。

LBP特征是一種用來描述圖像的局部紋理的特征。首先，它設定窗口中心值為閾值，將周圍的像素值與該閾值比較，若大于閾值則標記為1，反之則標記為0。然后，將標記值按照的順序排成一列組成二進制值，將該二進制值作為中心點的值。二值模式變化求取紋理的轉(zhuǎn)換方法如下：

其中，G(si)表示為超像素si的中心先驗值，利用文獻[11]高斯中心先驗方法計算得到。圖3為先驗圖結(jié)果示例，從圖中可以看出，先驗顯著圖通過先驗知識可以準確地找到顯著區(qū)域，但是依然存在顯著區(qū)域不突出、誤檢等問題。

圖3 顯著性先驗圖結(jié)果示例

2.3 基于注意力機制的先驗信息輔助網(wǎng)絡

雖然基于數(shù)據(jù)驅(qū)動的顯著性檢測模型算法遠遠超過了利用先驗信息的任務驅(qū)動算法的性能，但是先驗信息是對人類視覺注意機制的總結(jié)[13]，更符合人類觀察顯著區(qū)域的本質(zhì)。因此，本節(jié)設計了基于注意力機制的先驗信息輔助網(wǎng)絡，有效地利用先驗信息輔助神經(jīng)網(wǎng)絡獲得更魯棒的顯著預測。先驗信息輔助網(wǎng)絡主要由5個卷積層和5個池化層組成，該網(wǎng)絡輸入為上節(jié)得到的先驗圖，通過5層卷積學習得到先驗圖的卷積特征。由于先驗卷積特征中包含豐富的先驗語義信息，這可以幫助引導特征解碼網(wǎng)絡對于特征的選擇，從而達到選擇更為精準的卷積特征。

通道注意力模塊是一種實現(xiàn)對原特征重新校準和選擇的方式[14]。本節(jié)基于通道注意力提出了先驗信息融合模塊（Prior Information Fusion Module，PIFM），如圖4所示，首先將先驗圖卷積特征進行全局池化得到全局信息，然后通過卷積核為1×1的卷積學習相互依賴系數(shù)，最后相互依賴系數(shù)與解碼網(wǎng)絡的深度特征各通道相互點乘，實現(xiàn)先驗卷積特征引導解碼深度特征選擇對顯著性更有用的特征。

圖4 先驗注意力引導模塊

通過構(gòu)建的先驗信息融合模塊，實現(xiàn)對原特征的重新校準，從而提高了算法精度，圖5是使用PIFM模塊與普通融合策略[15]得到的顯著圖對比?？擅黠@看出圖5（c）相比圖5（b）在邊緣區(qū)域、內(nèi)部區(qū)域得到了明顯的改善，特征更加明顯。通過實驗表明，使用該模塊提升了對特征的利用率。

圖5 PIFM結(jié)構(gòu)使用效果對比

2.4 循環(huán)卷積反饋優(yōu)化

傳統(tǒng)的全卷積神經(jīng)網(wǎng)絡[16]由于只包含前饋網(wǎng)絡結(jié)構(gòu)，缺乏反饋信息，導致網(wǎng)絡無法自性修正預測錯誤的顯著區(qū)域，從而輸出的顯著圖包含很多噪聲。針對這一問題，對全卷積網(wǎng)絡進行改進，提出CC-FO（Circular Convolution-Feedback Optimization，循環(huán)卷積反饋優(yōu)化）優(yōu)化策略，通過將先驗圖特征和顯著圖特征循環(huán)送入解卷積網(wǎng)絡，形成反饋信息優(yōu)化每階段的顯著圖。不同于RFCN算法循環(huán)處理方法，本文算法只循環(huán)先驗信息輔助網(wǎng)絡和特征解碼網(wǎng)絡，先驗信息輔助網(wǎng)絡主要是為了在循環(huán)中逐步提取前一階段得到的特征對應的先驗信息，而特征編碼網(wǎng)絡持有原圖最本質(zhì)的特征，將兩者信息融合互相矯正從而達到更好的效果。另外運行一次特征編碼并且復用到后面的循環(huán)優(yōu)化中的原因，一方面是因為特征編碼網(wǎng)絡由ResNet-101組成，若每階段循環(huán)優(yōu)化都加入該網(wǎng)絡，勢必會帶來巨大的計算量；另一方面經(jīng)實驗測試若每階段重新計算特征編碼，結(jié)果表明對算法精度幫助非常有限。

如圖6所示，在第一時間段中，將先驗信息輔助網(wǎng)絡輸出F(P;θ)和特征編碼網(wǎng)絡輸出F(I;θ)通過PIFM模塊融合后的卷積特征作為特征解碼網(wǎng)絡的輸入，通過特征解碼網(wǎng)絡得到顯著性預測圖如下式：

G1=U(F1(I;θ),F2(P;θ);φ) （5）其中，U表示反卷積操作，F(xiàn)表示卷積操作，I表示輸入圖像，P表示輸入先驗圖，θ表示卷積參數(shù)，φ表示解碼網(wǎng)絡參數(shù)。在之后的第t時間段中，網(wǎng)絡將上一個時間階段預測的顯著圖Gt-1作為先驗圖送入先驗卷積網(wǎng)絡，得到先驗卷積特征F2(Gt-1;θ)，再將第一時間階段的編碼部分卷積特征F(I;θ)與先驗卷積特征Ft(Gt-1;θ)通過PIFM模塊融合輸入特征解碼卷積網(wǎng)絡。解碼部分利用融合特征圖得到優(yōu)化后的顯著性預測記為下式：

經(jīng)過大量實驗測試證明，當時間階段T=4時，網(wǎng)絡預測的顯著圖達到最好的效果，而往后再進行迭代，顯著圖的預測準確度明顯下降，說明整個預測控制過程從發(fā)散到收斂，再往后變?yōu)檫^擬合，而T=4時達到最優(yōu)效果。實測效果如圖7所示。因此，本網(wǎng)絡的循環(huán)步數(shù)設置為T=4。

3 仿真實驗分析

3.1 實驗細節(jié)說明

本文算法的實驗平臺是在64位的Ubuntu16.04操作系統(tǒng)和英偉達顯卡GTX Genforce 1080 GPU，采用的軟件為Pycharm（Python2.7）和深度學習框架PyTorch。本文用于訓練的數(shù)據(jù)集為MSRA10K[17]公開數(shù)據(jù)集，其中含有10 000張高像素圖片，同時大多數(shù)圖片只含有一個顯著性目標。為了增加訓練集數(shù)據(jù)量和樣本的多樣性，通過數(shù)據(jù)增強（Data Augmentation）對原始數(shù)據(jù)集進行旋轉(zhuǎn)，并鏡像得到80 000張樣本用作訓練。測試集采用SED2[18]和ECSSD[19]兩個數(shù)據(jù)集共1 100張圖片，其中SED2中含有100張測試圖，雖然規(guī)模小，但其含有像素級別的真值標注，且背景相對復雜并均為多顯著性目標圖，極具挑戰(zhàn)性；ECSSD含有1 000張種類繁多、背景結(jié)構(gòu)信息豐富的圖片，具有很高的參考性和測試價值。本文使用隨機梯度下降方法訓練網(wǎng)絡，訓練時動量設置為0.9，權(quán)重衰減為0.000 5，基礎學習率為0.001。本文算法訓練共花費90 min，在迭代6 000次后達到收斂。

3.2 實驗結(jié)果定性分析

為驗證本文算法的優(yōu)越性，將該方法與目前主流的9種顯著性檢測算法進行對比，包括2種基于先驗信息的任務驅(qū)動顯著性檢測方法以及7種基于數(shù)據(jù)驅(qū)動的深度學習顯著性檢測模型學習，分別為wCO[18]、RFCN[19]、BL[20]、MDF[21]、DCL[22]、DHS[23]、Amulet[24]、UCF[25]、SRM[26]。通過圖8直觀的顯著圖結(jié)果對比，本文算法的檢測直觀比較效果相對較好。傳統(tǒng)算法wCO算法檢測出的顯著區(qū)域不突出，并且夾雜著背景噪聲；BL算法雖然也是基于數(shù)據(jù)驅(qū)動的算法，但是該算法采用人工提取特征，因此缺乏高級的語義信息導致顯著區(qū)域模糊和漏檢；MDF、DCL、DHS、Amulet、UCF、SRM這些基于深度學習的算法完全拋棄了傳統(tǒng)先驗方法的指導，導致檢測到顯著圖存在誤檢測區(qū)域，面對復雜場景時缺乏魯棒性。RFCN算法雖然采用先驗圖的指導，但是僅將原圖與先驗圖串聯(lián)使得整個網(wǎng)絡需要學習整張先驗圖，存在大量計算冗余的同時未能有效地提取出先驗圖的重要信息。最后是本文提出的基于先驗特征引導的顯著性檢測算法，可以看出幾乎完整地檢測出顯著區(qū)域的同時，也抑制了背景噪聲的干擾，在面對第五行這種復雜背景時依舊具有良好的魯棒性。

圖6 循環(huán)解卷積網(wǎng)絡示例

圖7 不同時間步網(wǎng)絡顯著性預測結(jié)果

圖8 顯著圖結(jié)果直觀對比

3.3 實驗結(jié)果定量分析

3.3.1 評價指標

本文采用準確率（Precision，P）為縱坐標，召回率（Recall，R）做橫坐標構(gòu)建P-R曲線[27]、曲線下面積（Area Under the Curve，AUC）、F-measure值和平均絕對誤差（Mean Absolute Error，MAE）指標對比本文算法與主流算法。對于F-measure值，有：

其中，β2為權(quán)重參數(shù)，取β=0.3；對于MAE值，有：

其中，M,N為顯著圖的長和寬，GT(x,y)表示人工標注圖在(x,y)處的值，S(x,y)表示顯著圖在(x,y)處的值，MAE值越小，說明算法得到的顯著圖與人工標注圖的差異越小，性能越優(yōu)異。

3.3.2 ECSSD數(shù)據(jù)集定量分析

由圖9、圖10和表1可以看出基于學習的算法比傳統(tǒng)算法具有明顯的優(yōu)勢。對本文算法在數(shù)據(jù)集ECSSD中針對查準率、召回率、MAE、F-measure值和AUC值幾個指標進行測試并與其余9種算法對比，各指標都取得最優(yōu)結(jié)果。從柱狀圖可以看出本文所提方法的準確率和AUC值明顯高于其他算法。在P-R曲線圖中本文算法幾乎將其他算法都圍在下方，且算法的下降速度緩慢，曲線表現(xiàn)更加平滑。

圖9 ECSSD數(shù)據(jù)集指標柱狀圖

圖10 ECSSD數(shù)據(jù)集P-R曲線

表1 ECSSD中不同算法的指標對比

3.3.3 SED2數(shù)據(jù)集定量分析

圖11、圖12以及表2數(shù)據(jù)展示了本文算法與其余9種算法在SED2數(shù)據(jù)集上的性能測試結(jié)果。SED2是針對多目標復雜場景的數(shù)據(jù)集，對算法的準確性、魯棒性都有較高的要求，在目前的顯著性目標檢測中具有較高挑戰(zhàn)性。由圖11、12和表2可以看出，本文算法在SED2數(shù)據(jù)集上F-measure值取得了最優(yōu)效果，AUC值與MAE值都排第二，取得綜合最優(yōu)的結(jié)果。

圖11 SED2數(shù)據(jù)集指標柱狀圖

圖12 SED2數(shù)據(jù)集P-R曲線

表2 SED2中不同算法的指標對比

分析P-R曲線可以看出，本文算法雖然在低召回率時查準率與其他算法無多大差異，但召回率達到0.65到0.9時準確率明顯提高，這是因為網(wǎng)絡在先驗卷積特征注意機制的指導下，算法能夠準確地找出顯著區(qū)域。

在表2中，本文算法雖然在MAE、AUC指標未達到最好的效果，但同其他算法相比具有更高的F-measure值，MAE值與AUC值性能也處于前列，綜合表明算法能夠適應多種場景，模型魯棒性也更好。

4 結(jié)論

本文提出一種基于先驗特征引導的顯著性區(qū)域檢測算法。首先，根據(jù)先驗假設計算出初步的先驗顯著圖。然后通過先驗輔助網(wǎng)絡學習先驗特征，將先驗特征與深度卷積特征注意力通道有效地融合，最終通過循環(huán)解碼網(wǎng)絡優(yōu)化上一階段的顯著圖，得到最終的顯著圖。實驗表明，本文算法結(jié)合循環(huán)解碼網(wǎng)絡通過有效地利用先驗信息得到更加準確且完整的顯著區(qū)域，各項評價指標相比其他幾種算法均有明顯的提高。