孟 慶 春(鄭州工業(yè)應(yīng)用技術(shù)學院信息工程學院 河南 鄭州 451100)

0 引 言

顯著性目標檢測作為圖像的預處理模塊，可用于目標檢測、目標跟蹤、目標分割等各種方面。近年來，顯著性目標檢測成為國內(nèi)外計算機視覺研究的熱點問題。早期的顯著性目標檢測研究多是基于視覺對比度，此后局部對比度和全局對比度也逐漸在顯著性目標檢測中得到應(yīng)用[1]。視覺對比主要是采用不同類型手工標識的低層次特征(如顏色、強度和紋理)在像素或分段級別上的對比。盡管手工標識在大多數(shù)簡單的靜態(tài)圖像中表現(xiàn)良好，但對于復雜背景或較小目標等復雜情況，大多數(shù)視覺對比算法均難以進行顯著性目標檢測[2]。局部對比度特征可能無法檢測顯著性目標內(nèi)部的同質(zhì)區(qū)域造成目標“空洞”，全局對比度會受到復雜背景的影響[3]。雖然基于機器學習的顯著性檢測模型已經(jīng)開發(fā)，但這些模型主要是結(jié)合不同手工標識特征或融合不同算法來生成多個顯著性目標圖像[4]。近幾年，顯著性目標檢測算法大多數(shù)采用了深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)，大都獲得了比手工標識特征更魯棒的效果[5]。此外，由于CNN通常是在數(shù)據(jù)集上進行視覺識別任務(wù)的預訓練，所以采用CNN提取的特征還包括更高層次的語義信息。然而，由于大多數(shù)算法所采用的CNN操作都是補丁級而非像素級，所以每個像素被簡單地分配包圍補丁的顯著性值，導致最終檢測的顯著性目標圖像通常是模糊的，特別是顯著性目標的邊界模糊現(xiàn)象尤為明顯。而且這類算法的所有圖像塊都被看作獨立的數(shù)據(jù)樣本進行分類或回歸，所以需要運行至少數(shù)千次CNN(每個圖像塊一次)才能獲取一個完整的顯著性映射，這將導致計算和存儲的冗余，消耗大量的時間和空間。

為進一步提高顯著性目標檢測的精確度并解決上述基于CNN顯著性檢測算法的局限性，本文結(jié)合卷積神經(jīng)網(wǎng)絡(luò)[6]，給出一種基于深度網(wǎng)絡(luò)的顯著性目標檢測算法(SOD2N)。SOD2N算法是一種基于端到端的深度對比網(wǎng)絡(luò)，其中“端到端”是指深度網(wǎng)絡(luò)只需要在輸入圖像上運行一次便可以生成相同像素級的顯著性圖像，從而克服上述基于CNN的顯著性檢測算法的局限性。SOD2N算法首先介紹了一種顯著性目標檢測的端到端深度對比網(wǎng)絡(luò)，其是由一個全卷積流和一個流形排序組成，然后利用條件隨機場CRF將兩個流進行最優(yōu)權(quán)值的融合，從而可以更好地提高檢測精度。SOD2N算法引入一個多尺度的全卷積網(wǎng)絡(luò)作為深度對比度的第一個流，直接從原始輸入圖像中運行一次即可得到像素級的顯著性圖像，不僅抑制了冗余信息并突出目標，而且獲取了多尺度特征圖之間的視覺對比度，解決了目標邊界不連續(xù)的情況。此外，SOD2N算法還改進了GMR[7]流形排序算法，通過基于圖像四邊的邊界先驗知識進行流形排序，然后依據(jù)前景與背景是相對的這一理論提出背景計算，不僅有效抑制了背景冗余信息，加強了目標區(qū)域，而且還提高了算法的魯棒性。SOD2N算法與已有算法的區(qū)別主要有以下兩個方面，一是采用端到端的卷積深度對比網(wǎng)絡(luò)，從原始輸入圖像中運行一次即可得到相同像素級的顯著性圖像，而已有采用基于卷積神經(jīng)網(wǎng)絡(luò)的檢測算法需要每個圖像塊運行一次卷積神經(jīng)網(wǎng)絡(luò)；二是利用基于圖像四邊的邊界先驗知識改進了GMR流形排序算法，可以有效抑制背景冗余信息，使顯著性目標輪廓可以得到很好的保留，而已有采用基于卷積神經(jīng)網(wǎng)絡(luò)的檢測算法存在邊界模糊的現(xiàn)象非常明顯。

1 相關(guān)研究

近年來，國內(nèi)外專家學者對顯著性目標檢測進行了諸多研究，提出了一些比較有代表性的顯著性目標檢測方案。例如：LR算法是一種結(jié)合低層特征和高層知識進行顯著性檢測的方案，用低秩矩陣表示非顯著區(qū)域，用稀疏噪聲表示顯著區(qū)域，然后將高級知識融合成先驗映射作為目標函數(shù)，可以有效提高顯著性檢測的性能[8]。AC算法是一種通過計算像素與整個圖像的平均顏色差來進行顯著性檢測的方案，而且可以結(jié)合最大環(huán)繞算法降低背景顯著性[9]。HC算法將圖像分割算法運用到顯著性目標檢測中，將區(qū)域之間的位置距離作為權(quán)，計算每個區(qū)域與其他區(qū)域之間的加權(quán)色差和，取得了較好的顯著性檢測效果[10]。RC算法是一種形式化能量最小化框架的方法，通過多尺度超像素的上下文分析計算圖像的顯著性映射，然后結(jié)合顯著性和物體邊界信息提取物體級形狀先驗，且每次迭代后優(yōu)先更新顯著性映射和形狀[11]。CB算法是一種基于凸點邊界的顯著性檢測方法，其中凸點邊界是通過從原始圖像中保留比已有檢測方法多得多的頻率內(nèi)容來保持，可以得到較好的精度和查全率[12]。GS算法是一種利用自然圖像中的邊界先驗和連通先驗來進行顯著性檢測的方法，在顯著性目標檢測中可以獲得更高的精度[13]。SF算法是一種基于對比的顯著性估計方法，該方法將圖像分解為緊湊的、感知同質(zhì)的元素并抽象出不必要的細節(jié)，再利用高維高斯濾波器實現(xiàn)完全對比度和顯著性的統(tǒng)一估計，獲得了較好的顯著性檢測性能[14]。PCA是一種快速計算模式差異(既可以是圖案或者顏色，也可以是添加的線索或先驗)的顯著性檢測方法，利用圖像中補丁的內(nèi)部統(tǒng)計信息來識別顯著性特征[15]。SS算法是一種基于圖像特征的顯著性檢測方法，通過圖像簽名形成一種近似前景來獲取與背景對比的差異信息，該方法獲取的顯著性圖像更接近于人類感知效果，且運行時間更短[16]。

2 背景算法介紹

SOD2N算法采用的深度網(wǎng)絡(luò)主要包括引入的多尺度全卷積網(wǎng)絡(luò)以及改進的流形排序算法。下面主要介紹與SOD2N算法相關(guān)的多尺度全卷積網(wǎng)絡(luò)和流行排序顯著性方法。

2.1 多尺度全卷積網(wǎng)絡(luò)

在全卷積流中引入一個端到端卷積網(wǎng)絡(luò)，即引入一個將輸入圖像映射到像素級顯著圖的回歸網(wǎng)絡(luò)。在訓練過程中，主要是針對固定大小的224×224 RGB靜態(tài)圖像。首先，在預處理過程中將每個像素減去平均RGB值(主要根據(jù)訓練集計算得到)。然后，圖像通過一個由3×3接收域過濾獲得的卷積層，其中一個是利用1×1卷積濾波器，這里看作是輸入通道的線性變換。卷積步長固定為1個像素，層輸入的空間填充可使空間分辨率在卷積后保持不變，即填充1像素為3×3的卷積層，空間共用由5個最大共用層實現(xiàn)。由于并不是所有的卷積層都是最大共用層實現(xiàn)，所以空間共用都采用了一些卷積層。其中，最大共用層在2×2像素窗口上執(zhí)行，其步長為2。

一個卷積層(在不同的體系結(jié)構(gòu)中有不同的深度)包括三個完全連接層，前兩個連接層各包含4 096個通道，第三個連接層執(zhí)行1 000路ILSVRC分類，因此包含1 000個通道(每個類一個)。其中，最后一個層是最大軟層，而且在所有網(wǎng)絡(luò)中完全連接層的配置是相同的，且所有隱藏層都配有整流裝置。

2.2 流形排序顯著性方法

(1)

式中：fi和fj表示節(jié)點i和節(jié)點j相對于查詢節(jié)點的排序值，即節(jié)點i和節(jié)點j的顯著值；參數(shù)μ表示平滑約束項。對式(1)中的f求導并令其等于0，則可得最優(yōu)解。排序函數(shù)的最優(yōu)解過程用矩陣表示為：

f*=(I-αS)-1y

(2)

考慮到收斂問題及最后的效果比較，根據(jù)文獻[17]采用非歸一化的拉普拉斯矩陣，使效果更加優(yōu)化，則式(2)可變換為式(3)。

f*=(D-αW)-1y

(3)

選取圖像的四邊邊界為查詢對象Qt，根據(jù)式(3)可計算Qt的顯著性如式(4)所示。

(4)

S(i)=St(i)×Sb(i)×Sl(i)×Sr(i)

(5)

3 SOD2N算法

SOD2N算法的基本思想是：首先，設(shè)計一個端到端的多尺度全卷積網(wǎng)絡(luò)作為深度對比度的第一個流，使其直接從原始輸入圖像中運行一次即可得到像素級的顯著性圖像；其次，通過基于圖像四邊的邊界先驗知識改進GMR流形排序算法，根據(jù)前景與背景是相對的這一理論提出背景計算，可更好地模擬區(qū)域間的視覺對比和區(qū)域邊界的視覺顯著性；最后，采用基于完全連接的CRF像素顯著性細化模型提高相鄰像素之間顯著值的一致性，可以使得生成的顯著性目標突出，輪廓能得到很好的保留，產(chǎn)生的像素精度也更平滑，突出目標也能得到很好的保留。

3.1 深度對比網(wǎng)絡(luò)

在全卷積流中，設(shè)計一個端到端卷積網(wǎng)絡(luò)，可以將它看作是一個回歸網(wǎng)絡(luò)，將輸入圖像映射到像素級顯著性映射。SOD2N算法選擇VGG16作為預訓練網(wǎng)絡(luò)，并修改它以滿足要求。為了將其重新應(yīng)用到稠密圖像顯著性預測網(wǎng)絡(luò)中，VGG16的兩個完全連接層首先被轉(zhuǎn)換成具有1×1核的卷積層[18]。然而直接以卷積的方式評估產(chǎn)生的網(wǎng)絡(luò)，將會生成一個非常稀疏的具有32像素步幅的預測映射，這是由于原來的VGG16網(wǎng)絡(luò)有5個集中層，其中每個集中層的步長為2。為使預測圖更加密集，在最后兩個最大集中層跳過二次采樣，以保持在最后一個集中層之后是8像素步幅。為了在接下來的卷積層中保留原始的接收場，通過引入零來增加其卷積核的大小。SOD2N算法可以保持核的完整性，并且卷積使用2或4個像素的步長(倒數(shù)第二個集中層之后的三個卷積層中的2像素步幅和最后兩個轉(zhuǎn)換后的1×1卷積層中的4個像素步長)對輸入特征圖進行稀疏采樣。

VGG16網(wǎng)絡(luò)中包含5個集中層和下采樣層，每個層都有一個越來越大的接收字段，其中包含上下文信息。SOD2N算法為了設(shè)計基于視覺對比度對顯著性的深層網(wǎng)絡(luò)，進一步開發(fā)了上述VGG16全卷積擴展的多尺度版本，將三個額外的卷積層連接到VGG16的前4個最大集中層中的每一個。其中：第一個額外卷積層有3×3核和128個通道；第二個額外卷積層有1×1核和128個通道；第三個額外卷積層(輸出特征映射)有1×1核和單通道。為了使4組額外卷積層的輸出特征圖具有相同大小(8次采樣分辨率)，這4組中第一層的步長分別設(shè)為4、2、1和1。雖然得到的4個輸出映射具有相同的大小，但其是使用大小不同的接收字段生成的，因此在4個不同的尺度上表示上下文特征，進一步將這4個功能映射與上述端到端擴展的最終輸出映射堆疊在一起，疊加的特征映射(5通道)送入1×1核和單輸出通道的最終卷積層，即推斷出的顯著性映射，稱這種大小的顯著性圖為S1。

3.2 改進的流形排序顯著性圖像算法

突出的物體通常形狀不規(guī)則，相應(yīng)的顯著性目標沿物體邊界就會具有不連續(xù)性。多尺度全卷積網(wǎng)絡(luò)工作在下采樣像素級，而并非對顯著性不連續(xù)物體邊界進行建模。為了更好地模擬區(qū)域間的視覺對比和區(qū)域邊界的視覺顯著性，在SOD2N算法的深度網(wǎng)絡(luò)中設(shè)計了流形排序的顯著性目標檢測算法。

首先四邊邊界不能完整地檢測效果，通過相乘的方式將四邊邊界合并，接著對基于圖像四邊的邊界先驗知識進行流形排序，然后依據(jù)前景與背景是相對的這一理論提出背景先驗的計算，如式(6)所示。

Sbg(i)=1-S(i)

(6)

式中：Sbg(i)是SOD2N算法改進的背景先驗，稱改進算法生成的顯著性圖為S2。

3.3 生成顯著性目標檢測圖

由于深度對比度網(wǎng)絡(luò)中的兩種流都將顯著性值分配給單個像素，而不考慮相鄰像素之間顯著值的一致性，因此提出一種基于完全連接的CRF[19]像素顯著性細化模型，以提高空間一致性。所給模型使用式(7)的能量函數(shù)解決了二元像素標號問題。

(7)

式中：L表示所有像素的二進制標記(顯著性或不顯著性)賦值；P(li)是像素xi具有標簽li的概率，表示像素xi顯著的可能性，p(1)=si，p(0)=1-si，其中si是融合顯著性映射s在像素xi處的顯著值；θij(li,lj)是一個對偶式。該能量函數(shù)的最小化是基于CRF分布的平均場近似，可以利用高維濾波來加速計算。在能量最小化結(jié)束時，利用每個能量的后驗概率生成一個像素突出的顯著性映射，稱為生成的顯著性圖像。SOD2N算法提出的顯著性細化模型生成的顯著性目標突出，輪廓可以得到很好的保留，不僅能產(chǎn)生更平滑的像素精度，而且還能很好地保留突出目標。

4 實驗與結(jié)果分析

實驗采用經(jīng)典的顯著性目標檢測數(shù)據(jù)庫ASD進行對比實驗，ASD圖像數(shù)據(jù)庫是顯著性檢測運用較為廣泛的公開數(shù)據(jù)庫，而且給出了人工標注的真實值，以便于定量和定性的性能評價。實驗選取近幾年具有代表性且與所給方法具有相關(guān)性的LR、AC、HC、RC、CB、GMR、GS、SF、PCA和SS共10種算法進行性能比較。實驗采用P-R曲線和F-measure兩項指標來比較SOD2N算法與其他10種算法的優(yōu)劣。

P-R曲線[20]是最常用的評價顯著性目標檢測算法優(yōu)劣的指標。其中：準確率(Precision)表示算法預測正確的像素個數(shù)與所有顯著像素個數(shù)的比值；查全率(Recall)表示算法預測正確的像素個數(shù)與真值的顯著像素個數(shù)的比值。SOD2N算法與其他10種經(jīng)典算法在ASD數(shù)據(jù)庫中的P-R曲線如圖1所示?？梢?，SOD2N算法的P-R曲線高于其他算法，基本處于[0.96,1.00]區(qū)間內(nèi)。AC算法的P-R曲線最低，處于[0.45,0.65]區(qū)間內(nèi)，LR、HC和CB算法的P-R曲線有一定提升但仍然較低，處于[0.78,0.81]區(qū)間內(nèi)，SF、PCA和SS的P-R曲線雖然處于[0.91,0.95]區(qū)間內(nèi)，但與SOD2N算法相比，它們的準確率仍較低，而且與GMR(P-R曲線處于[0.95,0.98]區(qū)間內(nèi))和GS算法(P-R曲線處于[0.94,0.98]區(qū)間內(nèi))相比，SOD2N算法的準確率也有一定的提升，則表明SOD2N算法的準確率要明顯高于其他算法，即SOD2N算法在該指標上的性能優(yōu)于其他10種方法，由此證明了SOD2N算法所做改進的可行性。

(b)圖1 各種算法的精確率-召回率曲線

F-measure綜合了準確率和查全率，是衡量圖像檢索算法好壞的一個量化性能評價指標，其計算公式如下：

(8)

式中：β表示調(diào)節(jié)準確率和召回率的權(quán)重參數(shù)，主要是為了加強準確率的比重，通常設(shè)β2=0.3。F-measure值隨著繪制P-R曲線時的閾值T變化的曲線圖，如圖2所示。可以看出，SOD2N算法的F-measure值達到8.67，與其他10種算法相比是最高的，而對比算法中，F(xiàn)-measure值較高的是GMR算法和LR算法，分別為8.25和8.13，而F-measure值最低的是AC算法，僅為5.18，其他幾種算法的F-measure值與SOD2N算法相比也較低，由此也說明了SOD2N算法的檢測性能優(yōu)于對比算法。

圖2 不同算法的F-measure值比較

此外，實驗還定性比較了SOD2N算法與其他10種算法的視覺效果。首先從ASD數(shù)據(jù)庫中隨機抽取目標尺寸大小不同的圖像，然后將10種顯著性算法計算出的顯著圖與SOD2N算法計算出的顯著圖進行視覺效果對比，如圖3所示，從左到右依次分別為：輸入的原圖像、LR、AC、HC、RC、CB、GMR、GS、SF、PCA、SS、SOD2N算法和“ground-truth”圖。

可以看出，SOD2N算法可檢測不同大小目標的圖像，且視覺效果更好。HC、CB、PCA、SS算法顯著性檢測圖像的視覺效果明顯較差；LR算法檢測大目標比較模糊；AC、RC算法無法有效檢測較小目標；SF算法對于圖像的顏色敏感度較低，尤其是對于同樣基于背景先驗的GMR和GS算法，盡管從視覺效果圖中看出其能檢測到目標，但當遇到目標稍微接觸到邊界的特殊情況時，就會造成誤判，無法有效區(qū)分不同顏色和亮度；GS算法出現(xiàn)了邊緣模糊。SOD2N算法能夠很好地解決這些問題，從而說明了SOD2N算法的優(yōu)越性。

5 結(jié) 語

SOD2N算法是一種用于顯著性目標檢測的端到端深度對比網(wǎng)絡(luò)，深層網(wǎng)絡(luò)由像素級全卷積和改進的GMR流形排序兩個互補部分組成，然后由完全聯(lián)通的CRF模型進行最優(yōu)權(quán)重的融合，進一步優(yōu)化了檢測結(jié)果的空間相干性和輪廓獨立性。最后通過與其他10種算法的定量和定性比較，可以看出SOD2N算法不僅精確度更高，而且可以有效解決顯著性目標邊界模糊的問題，這也表明了SOD2N算法的可行性和優(yōu)越性。