王梓州 吳加瑩 楊賽 堵俊

摘 ?要： 針對當(dāng)前算法中采用過強(qiáng)的背景假設(shè)和中心偏置會造成錯誤檢測，以及借助機(jī)器學(xué)習(xí)方法會大大增加復(fù)雜度的問題，提出使用過分割后的圖像4個頂點(diǎn)超像素塊作為背景先驗(yàn)信息，將其與改進(jìn)的高斯模型相融合，然后對其進(jìn)行空間優(yōu)化，并使用元胞自動機(jī)將多個尺度下的顯著結(jié)果進(jìn)行融合。在公開數(shù)據(jù)庫上與多種主流算法進(jìn)行對比評測中，所提算法表現(xiàn)出明顯的優(yōu)越性。相較于以往算法將圖像四周選為背景信息，文中算法所選取的背景信息則更為簡單準(zhǔn)確，同時也降低了計算復(fù)雜度，能夠快速準(zhǔn)確地提取出顯著目標(biāo)區(qū)域。

關(guān)鍵詞： 目標(biāo)檢測; 背景定位; 模型融合; 空間優(yōu)化; 背景先驗(yàn); 顯著性計算

中圖分類號： TN911.7?34; TP391 ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼： A ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）07?0039?04

Saliency target detection algorithm based on simple background prior

WANG Zizhou1， WU Jiaying1， YANG Sai1， 2， DU Jun1

（1. School of Electrical Engineering， Nantong University， Nantong 226019， China;

2. Nantong Research Institute for Advanced Communication Technologies， Nantong 226019， China）

Abstract： A method is proposed to solve the problems that too strong background assumption and center offset used in the current algorithm may cause error detection， and that the use of machine learning may greatly increase the complexity. In the method， four vertex super?pixel blocks of the over?segmented image are taken as background prior information， and the space optimization is done for it after it is fused with the improved Gaussian model to obtain the initial significant results， which would be spatially optimized and fused by the cellular automata in multiple scales. The results of comparison and testing on four public databases show that the proposed method outperforms several mainstream algorithms， which select the all around an image as the background information. The background information selected in this paper is simpler and more accurate， and has lower computational complexity. The method can extract the saliency area quickly and accurately.

Keywords： target detection; background positioning; model merging; space optimization; background prior; saliency calculation

0 ?引 ?言

人類視覺在處理數(shù)量龐大的輸入信息時，往往先利用自身注意機(jī)制優(yōu)先處理最有價值的數(shù)據(jù)。為了使計算機(jī)能夠效仿人類這種視覺注意機(jī)制，優(yōu)先處理信息中的重要成分，更高效地處理輸入信息，顯著性目標(biāo)檢測模型應(yīng)運(yùn)而生。目前研究人員大多借鑒這種視覺注意機(jī)制構(gòu)建有效的視覺顯著性模型來解決計算機(jī)視覺感知首要解決的信息冗余問題。早期的顯著性模型傾向于人眼視覺關(guān)注點(diǎn)，顯著性目標(biāo)檢測由于能夠得到較為完整的整體目標(biāo)，在圖像分割、目標(biāo)識別和圖像檢索等領(lǐng)域有著廣泛的應(yīng)用而得到更多的關(guān)注。近兩年來，很多研究學(xué)者力圖尋找一些先驗(yàn)的前景或者背景知識，從而提高顯著性目標(biāo)檢測的精度。其中，與本文最為相關(guān)的是使用背景先驗(yàn)的工作。自從背景先驗(yàn)概念的提出，圖像四周區(qū)域在多個顯著性檢測模型中充當(dāng)了背景先驗(yàn)。例如，方法GS[1]以圖像四周區(qū)域?yàn)楸尘盎鶞?zhǔn)，定義了一種用測地線距離表示顯著性的計算方法;RBD[2]和BFS[3]等方法分別利用邊界連通性和邊緣性進(jìn)一步判定圖像四周中的超像素是否屬于背景;方法GL[4]先利用對比度先驗(yàn)計算初始顯著圖，在此顯著圖基礎(chǔ)上分別構(gòu)建背景和前景詞典計算重構(gòu)殘差;方法BL[5]同樣以圖像邊緣為背景，計算所有區(qū)域與背景區(qū)域的對比度，構(gòu)建弱顯著圖，得到正負(fù)樣本訓(xùn)練集合，進(jìn)而得到強(qiáng)顯著圖。為了利用超像素之間的空間信息來進(jìn)一步提高顯著性檢測準(zhǔn)確率，基于圖模型的傳播機(jī)制也被應(yīng)用于顯著性檢測領(lǐng)域中。例如，方法GBMR[6]采用4個邊緣的超像素分別作為背景種子點(diǎn)，利用流形排序算法計算顯著性;方法AMC[7]將圖像顯著性看成是一個隨機(jī)游走的過程，把每個節(jié)點(diǎn)即隨機(jī)游走者走到圖像的邊界所用的時間看作是該元素的顯著性值;而方法MAP[8]則是將圖像四周作為背景點(diǎn)改為選取圖像的左邊界和上邊界作為圖像的背景點(diǎn)，定義每一個節(jié)點(diǎn)的顯著性為被圖像的左邊界和上邊界上所有與該節(jié)點(diǎn)相似的虛擬吸收節(jié)點(diǎn)吸收的概率之和。與上述方法不同的是，本文提出將圖像的4個頂點(diǎn)超像素塊作為背景種子點(diǎn)從而完成背景的更精確定位，并且將利用目標(biāo)性來改進(jìn)高斯模型從而完成目標(biāo)的更精確定位。

1 ?基于背景和前景定位的顯著性計算

對于一幅給定的輸入圖像，首先，使用SLIC方法對其進(jìn)行過分割，提取分割后的所有超像素塊的RGB、CIELab以及LBP特征，將圖像的4個頂點(diǎn)超像素塊作為背景種子點(diǎn)，假設(shè)第[j]個超像素（Superpixel）記為[Sj]，[j=1，2，…，n]，背景（Background）種子點(diǎn)記為[Bk]，[k=1，2，3，4]。計算每個超像素與4個背景超像素之間的歐氏距離，即可得到該超像素的顯著值[Sal（Sj）]，計算公式如下：

[Sal（Sj）=k=14d（Sj，Bk）4] （1）

其次，將通過文獻(xiàn)[9]所得目標(biāo)先驗(yàn)圖的形心代入二維高斯模型進(jìn)行求解，對目標(biāo)位置進(jìn)行優(yōu)化。用目標(biāo)先驗(yàn)圖中的目標(biāo)位置坐標(biāo)[xM，yM]代替高斯模型的中心坐標(biāo)，優(yōu)化后的高斯模型計算如下：

[Gsz=exp-xz-xM22σ2x+yz-yM22σ2y] （2）

式中：[xM]和[yM]代表目標(biāo)先驗(yàn)圖的目標(biāo)[I]的位置坐標(biāo)，[I=max（Of（i））]，[i=1，2，…，N]，[N]是輸入圖像總像素點(diǎn)個數(shù)。優(yōu)化后的高斯模型由于目標(biāo)先驗(yàn)的作用，得到了很好的偏置效果。將上述得出的先驗(yàn)?zāi)Ｐ蚚Gs（z）]與基于背景定位的顯著值相乘得到初始顯著圖[Ofs]，即：

[Ofs（Sj）=Sal（Sj）×Gs（z）（Sj）] （3）

2 ?顯著性空間優(yōu)化

將圖像表示為圖模型[GV，E]的形式，其中，[V]代表所有節(jié)點(diǎn)的集合，邊[E]表示任意兩個節(jié)點(diǎn)連接成的邊，其權(quán)重可用相似度矩陣[W=[wij]m×m]表示。其中，第[ij]個元素權(quán)重[wij]的計算公式為：

[wij=exp-c（m）i-c（m）j22σ2， ? ?d（m）j∈N（d（m）i）0， ? ? 其他] （4）

式中：[c（m）i]，[c（m）j]分別表示圖像中第[i]個和第[j]個超像素的顏色均值;[dmi]和[dmj]分別為其相應(yīng)的平均坐標(biāo);[Ndmi]為第[i]個超像素的[K]個空間近鄰;[σ2]為方差。假設(shè)初始顯著圖[Ofs]中各像素的顯著值矩陣為[Sfs=[Sfsrn1，Sfsrn2，…，SfsrnRn]∈R1×Rn]，空間優(yōu)化后的各像素顯著值矩陣為[So=[So（rn1），So（rn2），…，So（rnRn）]∈R1×Rn]，定義如下能量函數(shù)：

[ESo=i，jwijSornidii-Sornjdjj2+γiSfs（rni）-So（rni）2] （5）

式中：[So（rni）]和[So（rnj）]分別為第[i]和第[j]個超像素經(jīng)過空間優(yōu)化后的顯著性值;[Sfsrni]為初始顯著圖中第[i]個超像素的顯著值;[γ]控制著優(yōu)化前后顯著值的誤差以及相鄰像素之間的顯著值這兩項(xiàng)權(quán)重。對式（5）進(jìn)行求導(dǎo)并令其為0，得到其能量最低時的最優(yōu)解為：

[So=（D-αW）-1Sfs] （6）

式中：[α=1（1+μ）];[W]為權(quán)值矩陣;[D]為度矩陣;對角線上的元素為[d=jvij]。

3 ?多尺度融合

為了進(jìn)一步提高顯著結(jié)果，本文使用多層元胞自動機(jī)同步更新[10]的方法對不同尺度上的顯著結(jié)果進(jìn)行融合優(yōu)化，對于不同尺度上的顯著圖，從以下幾個方面分析，計算最終顯著結(jié)果：

1） 元胞鄰居。對于輸入圖像，首先定義圖像中的每個像素點(diǎn)代表一個元胞，不同尺度顯著圖中處于相同位置的像素點(diǎn)互為鄰居，且每個鄰居對元胞下一時刻的狀態(tài)的影響相同。

2） 先驗(yàn)概率。對于圖像中的像素點(diǎn)[i]，定義其屬于顯著區(qū)域（Salient）的概率為[Pi∈S=Si]，屬于背景區(qū)域（Background）的概率為[Pi∈B=1-Si]，為了避免歸一化常數(shù)，定義先驗(yàn)概率比例[Ki∈S]如下：

[Ki∈S=Pi∈SPi∈F=Si1-Si] （7）

3） 后驗(yàn)概率。采用OTSU[11]算法產(chǎn)生的適應(yīng)閾值對所有圖像進(jìn)行二值分割，記屬于前景區(qū)域的像素點(diǎn)[i]為[ηi=+1]，屬于背景區(qū)域的則為[ηi=-1]。由此可知，像素點(diǎn)[i]為前景時，它的鄰居屬于前景的概率為[λ=Pηj=+1i∈S]，同樣，當(dāng)像素點(diǎn)[i]為背景時，它的鄰居屬于背景的概率為[μ=Pηj=-1i∈B]。后驗(yàn)概率[Pi∈Sηj=+1]的計算公式為：

[Pi∈Sηj=+1∝Pi∈SPηj=+1i∈S=Si?λ] （8）

其比例[Ki∈Sηj=+1]為：

[Ki∈Sηj=+1=Pi∈Sηj=+1Pi∈Bηj=+1=Si1-Si?λ1-μ] （9）

4） 更新機(jī)制。先驗(yàn)概率和后驗(yàn)概率的比例為：

[Ki∈S=Sti1-Sti] （10）

[Ki∈Sηj=+1=St+1i1-St+1i] （11）

式中[Sti]表示像素點(diǎn)[i]在[t]時刻的顯著值。這里的顯著值即為上述所得的各個尺度下的顯著初值[So]，采用對數(shù)計算，得到[f：SN-1→S]的更新機(jī)制為：

[gSt+1m=gStm+ k=1k≠mNsgnStk-γk?1?lnλ1-λ] （12）

因而，[N]個尺度分割圖時，[M]個時間步之后，最終的顯著結(jié)果計算公式為：

[SM=1Nm=1NSMm] （13）

4 ?實(shí)驗(yàn)與分析

4.1 ?數(shù)據(jù)庫及評價準(zhǔn)則

本文在顯著性目標(biāo)檢測公開數(shù)據(jù)庫上與基于對比度先驗(yàn)的算法、基于中心先驗(yàn)的算法以及基于背景先驗(yàn)的算法進(jìn)行對比。

1） 采用準(zhǔn)確率?召回率（[P]?[R]）曲線對本文與其他算法進(jìn)行評測。在此標(biāo)準(zhǔn)中，一般采用固定閾值分割的方法計算得到[P]?[R]曲線。用取值范圍在0～255之間的固定閾值[t]對顯著圖進(jìn)行分割，得到二值分割后的圖像。

2） 將二值分割圖像與人工標(biāo)注的真值圖像進(jìn)行對比，得到查準(zhǔn)率（Pre）和查全率（Re），計算公式為：

[Pre=x，yGTx，yBSx，yx，yBSx，y] （14）

[Re=x，yGTx，yBSx，yx，yGTx，y] （15）

式中BS和GT分別表示二值分割后的顯著圖像和人工標(biāo)注的真值圖像。隨后，由上述結(jié)果計算出相對應(yīng)的平均查準(zhǔn)率和查全率，以查全率（Recall）為橫坐標(biāo)，以查準(zhǔn)率（Precision）為縱坐標(biāo)，繪制[P]?[R]曲線。

3） 使用[F]值對各個算法所得圖像進(jìn)行評測，計算公式如下：

[Fβ=1+β2×Precision×Recallβ2×Precision+Recall] ? ? （16）

本文將[β2]設(shè)為0.3，為了進(jìn)一步評價[F]值的綜合性能，本文采用[Fβ?K]曲線對其進(jìn)行評測，在區(qū)間[[0.1，6]]中以0.1為采樣步長均勻選取一系列[K]的值，利用式（16） 計算不同[K]值對應(yīng)的平均[F]值，然后以[K]值為橫坐標(biāo)，[F]值為縱坐標(biāo)，畫出[Fβ?K]曲線。

4） 本文使用了平均絕對誤差（MAE）對各個顯著性檢測算法進(jìn)行更進(jìn)一步的綜合評價，取未進(jìn)行二值分割的連續(xù)顯著圖[S]與人工標(biāo)注圖GT所有像素之間的絕對誤差的平均值，計算公式為：

[MAE=1W×Lx=1Wy=1LSx，y-GTx，y] ? （17）

式中：[W]和[L]與計算[F]值時相同，分別表示[S]以及GT的寬度和長度，通常來說，MAE值越低，算法的顯著效果越好。

4.2 定量對比

本文算法與背景先驗(yàn)算法的[P?R]曲線和[Fβ?K]曲線如圖1所示。

當(dāng)查全率為0.85時，本文算法在ASD數(shù)據(jù)庫上的查準(zhǔn)率基本保持在0.95以上，表明本文方法能夠以更高的準(zhǔn)確率達(dá)到更好的顯著效果。[Fβ?K]曲線在每個[K]值處均具有最高的[F]值，說明本文算法能夠以更高準(zhǔn)確率去判斷顯著目標(biāo)的位置，也充分說明在處理復(fù)雜圖像時，精確定位彌補(bǔ)了過少的先驗(yàn)信息的不足。各種算法的平均查準(zhǔn)率、查全率、[F]值以及MAE值如表1所示，本文算法與對比的所有算法相比，具有最高的查準(zhǔn)率和[F]值，說明本文算法能夠快速、準(zhǔn)確地突出顯著區(qū)域。而且本文算法具有最低的MAE值，對比算法中MAE值最低的RBD算法降低了42%。由以上評價標(biāo)準(zhǔn)充分說明本文算法的全面性。

4.3 ?視覺效果對比

本文算法與基于背景先驗(yàn)算法的視覺效果對比如圖2所示。從圖2b）可以看出，GS算法的顯著圖上對目標(biāo)基本上都進(jìn)行了顯著的突出，還將少許背景信息作為顯著部分進(jìn)行了突出;從圖2c）可以看出，RBD算法在背景先驗(yàn)的基礎(chǔ)上，使背景信息更具有魯棒性;BFS算法能夠看出顯著部分輪廓，但是并沒有將目標(biāo)全部突出，容易丟失目標(biāo)的部分信息;BL和GL算法，目標(biāo)位置明顯;從圖2j）可以看出，本文方法對前景目標(biāo)以及背景目標(biāo)都進(jìn)行了合理的定位，能夠一致高亮地突出顯著部分。

5 ?結(jié) ?語

本文提出一種基于簡單背景先驗(yàn)下的快速顯著性目標(biāo)檢測算法。首次僅選取圖像4個頂點(diǎn)作為圖像背景信息進(jìn)行對比度計算，并與改進(jìn)后的高斯模型定位的前景目標(biāo)相融合，得到初始顯著結(jié)果;并在此基礎(chǔ)上，利用空間信息對顯著結(jié)果進(jìn)行優(yōu)化;最后使用多元胞自動機(jī)將多個尺度得到的顯著結(jié)果相融合，能夠快速準(zhǔn)確獲取顯著目標(biāo)位置。雖然顯著目標(biāo)出現(xiàn)在頂點(diǎn)處的圖像檢測稍顯不足，但在多個公開數(shù)據(jù)庫上與多種主流算法和先進(jìn)算法的對比中，仍然能夠表現(xiàn)出明顯的優(yōu)越性。

注：本文通訊作者為楊賽。

參考文獻(xiàn)

[1] WEI Yichen， WEN Fang， ZHU Wangjiang， et al. Geodesic saliency using background priors [C]// European Conference on Computer Vision. [S.l.： s.n.]， 2012： 29?42.

[2] ZHU Wangjiang， LIANG Shuang， WEI Yichen， et al. Saliency optimization from robust background detection [C]// IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE Computer Society， 2014： 2814?2821.

[3] WANG J， LU H， LI X， et al. Saliency detection via background and foreground seed selection [J]. Neurocomputing， 2015， 152： 359?368.

[4] TONG N， LU H， ZHANG Y， et al. Salient object detection via global and local cues [J]. Pattern recognition， 2015， 48（10）： 3258?3267.

[5] LU H， ZHANG X， JINQING Q， et al. Co?bootstrapping Saliency [J]. IEEE transactions on image processing， 2016， 26（1）： 414?425.

[6] ZHANG Lihe， YANG Chuan， LU Huchuan， et al. Ranking saliency [J]. IEEE transactions on pattern analysis & machine intelligence， 2017， 39（9）： 1892?1904.

[7] JIANG B， ZHANG L， LU H， et al. Saliency detection via absorbing Markov chain [C]// IEEE International Conference on Computer Vision. [S.l.]： IEEE， 2014： 1665?1672.

[8] SUN J， LU H， LIU X. Saliency region detection based on Markov absorption probabilities [J]. IEEE transactions on image process， 2015， 24（5）： 1639?1649.

[9] ALEXE B， DESELAERS T， FERRARI V. Measuring the objectness of image windows [J]. IEEE transactions on pattern analysis and machine intelligence， 2012， 34（11）： 2189?2202.

[10] QIN Y， LU H， XU Y， et al. Saliency detection via cellular automata [C]// Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2015： 110?119.

[11] OTSU N. A threshold selection method from gray?level histograms [J]. IEEE transactions on systems man & cybernetics， 2007， 9（1）： 62?66.