王豪聰，趙曉葉，彭 力

(1.物聯(lián)網(wǎng)應(yīng)用技術(shù)教育部工程中心，江蘇 無(wú)錫 214122;2.江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇 無(wú)錫 214122)

1 引言

顯著性檢測(cè)能夠模仿生物視覺(jué)系統(tǒng)，讓計(jì)算機(jī)篩選出圖像中人類感興趣的目標(biāo)和區(qū)域，這在計(jì)算機(jī)視覺(jué)研究中有著重要的意義。顯著性檢測(cè)作為圖像的預(yù)處理過(guò)程廣泛應(yīng)用于圖像分割[1]、目標(biāo)識(shí)別[2]和圖像壓縮[3]等領(lǐng)域。

Figure 1 Process of data圖1 數(shù)據(jù)處理流程

近年來(lái)，顯著性檢測(cè)逐漸成為國(guó)內(nèi)外的研究熱點(diǎn)，主要分為自頂向下(Top-down)和自下而上(Bottom-up)兩種機(jī)制，在自頂向下的機(jī)制中通常有預(yù)設(shè)的檢測(cè)目標(biāo)，需要先學(xué)習(xí)。自下而上的機(jī)制主要通過(guò)顏色、紋理等底層紋理的對(duì)比實(shí)現(xiàn)凸顯顯著區(qū)域的目的。Itti等人[4]通過(guò)提取不同尺度圖像中亮度、顏色、方向等特征進(jìn)行對(duì)比來(lái)凸顯顯著區(qū)域，但是該方法容易產(chǎn)生空洞。Achanta等人[5]提出的FT(Frequency Tuned)算法在復(fù)雜背景信息影響下同樣也不能很好地突出顯著區(qū)域。Cheng等人[6]提出的區(qū)域?qū)Ρ确梢院芎玫卣业揭粋€(gè)較為完整的顯著區(qū)域，但是對(duì)復(fù)雜背景處理效果依然不是很好。Wei等人[7]提出了邊界先驗(yàn)的方法,指出邊界的像素點(diǎn)通常都是背景，從而開(kāi)始基于背景顯著圖的研究。但是，如何處理復(fù)雜背景和如何抑制背景噪聲依然是顯著性檢測(cè)的關(guān)鍵問(wèn)題。隨后Jiang等人[8 - 10]開(kāi)始研究基于前景和基于背景兩種方法的融合，取得了很好的效果，其對(duì)于背景先驗(yàn)檢測(cè)的應(yīng)用很好地抑制了背景噪聲。Perazzi等人[11]通過(guò)高斯濾波將顏色和距離的差值來(lái)作為顯著值，反映出濾波對(duì)于顯著性檢測(cè)也很有幫助。Harel等人[12]通過(guò)改進(jìn)分割方法來(lái)獲得更好的目標(biāo)物體的輪廓，但對(duì)于自身顏色差異較大的物體和與背景顏色相近的物體的分割效果也不好。

本文提出了一種基于前景增強(qiáng)和背景抑制的顯著性檢測(cè)方法。通過(guò)區(qū)域間對(duì)比和邊界信息得到顯著區(qū)域和背景種子[10]，通過(guò)進(jìn)一步計(jì)算得到基于區(qū)域?qū)Ρ群突诒尘暗娘@著圖。在兩幅顯著圖中運(yùn)用Seam Carving[13]和Graph-based[12]的分割法更準(zhǔn)確地區(qū)分顯著區(qū)域和非顯著區(qū)域，由于Seam Carving方法的核心在于尋找一副圖像中能量最低的分割縫，本文即是從一幅圖像的四個(gè)邊的每一個(gè)像素點(diǎn)向?qū)呅羞M(jìn)，行進(jìn)路線沿最低能量路線，因此經(jīng)過(guò)高能量邊界后的行進(jìn)路線會(huì)被增強(qiáng)而低能量區(qū)域則會(huì)抑制，這樣就得到了前景增強(qiáng)且背景抑制的模板圖。最后，三圖融合形成最終的顯著圖。

2 顯著圖的計(jì)算方法

本文提出的顯著性檢測(cè)方法會(huì)產(chǎn)生三張顯著圖：基于區(qū)域?qū)Ρ鹊娘@著圖、基于背景的顯著圖以及基于能量模型的模板。最后通過(guò)一個(gè)融合策略將三幅圖融合成最終的顯著圖，本算法的流程圖如圖1所示。

2.1 基于區(qū)域?qū)Ρ鹊娘@著圖

對(duì)于輸入的圖像，首先用簡(jiǎn)單線性迭代聚類SLIC(Simple Linear Iterative Clustering)將圖像分割得到K顏色相似的超像素區(qū)域。然后，本文采用區(qū)域間對(duì)比的方法，利用每個(gè)超像素區(qū)域在LAB顏色空間中的顏色特征和本身的空間位置特征得到每一個(gè)超像素ri的顯著值，如式(1)所示。

(1)

其中，ci、cj是超像素區(qū)域i、j在LAB顏色空間[8]中的顏色向量，即該超像素區(qū)域所有像素點(diǎn)在L、A、B三個(gè)顏色通道中的均值；‖ci-cj‖2表示第i和第j個(gè)超像素區(qū)域顏色向量的歐幾里德距離；pi、pj表示超像素的空間位置向量，即該超像素區(qū)域的位置重心；β1是空間距離因子，用來(lái)控制空間位置對(duì)像素塊顯著值的權(quán)重，使得鄰近超像素塊的顯著值貢獻(xiàn)更大。

然后，根據(jù)中心-邊緣原則[9]，顯著區(qū)域通常都位于圖像的中心位置，pc表示圖像的中心位置向量，則每個(gè)超像素的前景顯著值Sf(ri)可以表示為：

Sf(ri)=e-β2‖pi-pc‖2×S(ri)

(2)

由此可得到基于區(qū)域?qū)Ρ鹊娘@著圖。通過(guò)控制β2的大小可以改變位于圖像中心位置的顯著值。

2.2 基于背景的顯著圖

傳統(tǒng)的背景先驗(yàn)檢測(cè)法都將位于圖像邊界的超像素設(shè)為背景，而很多圖像中存在顯著區(qū)域延伸到圖像邊界的情況，因此會(huì)產(chǎn)生噪聲點(diǎn)并嚴(yán)重影響背景先驗(yàn)檢測(cè)的可靠性。為此，我們先選出含有較少前景區(qū)域的超像素作為背景種子[10]，以背景種子為最合適的背景區(qū)域，再進(jìn)行背景先驗(yàn)檢測(cè)。

首先，通過(guò)局部亮度、色彩和紋理的對(duì)比提取圖像中可能的輪廓。如圖2b所示。

Figure 2 Samples of background seeds圖2 背景種子樣圖

定義每一個(gè)含有邊界的超像素的背景權(quán)重為Bi，然后根據(jù)Bi的大小來(lái)篩選出背景種子，如圖2c所示。

(3)

其中，bi是含有邊界的超像素中含有輪廓點(diǎn)的個(gè)數(shù)，|∑Bi|表示所有含有邊界的超像素含有的輪廓點(diǎn)的數(shù)量。當(dāng)Bi小于一定閾值時(shí)，我們判定這個(gè)超像素屬于背景種子。由此獲得含有較少的前景噪聲的K個(gè)背景種子。在進(jìn)行背景先驗(yàn)檢測(cè)時(shí)，我們通過(guò)每一個(gè)超像素與背景種子在顏色特征和空間位置特征的對(duì)比來(lái)確定超像素的背景顯著值Sb(ri)，如式(4)所示。

(1-‖pi-pn‖2/θ)

(4)

其中，K表示最終確定的背景種子；θ是平衡因子，用來(lái)調(diào)節(jié)空間位置特征和顏色特征最終對(duì)顯著值的影響。由此可得到基于背景的顯著圖。

3 基于能量的模板圖

本文方法中最重要的部分是生成前景增強(qiáng)和背景抑制的模板圖。通過(guò)觀察圖1a和圖1b可以發(fā)現(xiàn)，顯著區(qū)域與非顯著區(qū)域之間存在著一定的邊界，如何有效增強(qiáng)邊界內(nèi)的顯著區(qū)域而抑制邊界外的區(qū)域一直是顯著性檢測(cè)中非常重要的問(wèn)題。通常都會(huì)用高斯濾波[11]或者凸包中心[13]來(lái)增強(qiáng)中心區(qū)域，這樣做通常容易導(dǎo)致對(duì)邊界區(qū)域抑制過(guò)大。針對(duì)這個(gè)問(wèn)題，本文采用Seam Carving和Graph-based分割法相結(jié)合生成的模板來(lái)增強(qiáng)顯著區(qū)域，抑制非顯著區(qū)域。

首先，運(yùn)用式(5)的能量函數(shù)Ψ處理得到的兩幅顯著圖，可以得到基礎(chǔ)的顯著區(qū)域與非顯著區(qū)域的邊界，進(jìn)一步運(yùn)用Graph-based和凸包分割圖像得到區(qū)域輪廓圖，如圖3e所示。圖3a和圖3b為兩幅顯著圖，圖3c為采用Graph-based分割得到的輪廓圖。

(5)

其中，S代表初步顯著圖。

根據(jù)Seam Carving理論，每一幅圖像都有一條水平(垂直)方向上的縫連接圖像的一組對(duì)邊，在這條縫上，圖像的能量和是最小的。根據(jù)這個(gè)思想，我們將能量模板圖在上、下、左、右四個(gè)方向上的每一個(gè)像素點(diǎn)沿最低能量路線向?qū)呅羞M(jìn)，即利用式(6)對(duì)圖3e進(jìn)行處理，結(jié)果如圖3t、圖3d、圖3l和圖3r所示，得到S1～S4四幅圖像。

S1(x,y)=α1Ψ(x,y)+α2min(S1(x-1,y-1),

S1(x-1,y),S1(x-1,y+1))

(6)

其中，S1表示能量模型，(x,y)表示圖像中每個(gè)像素點(diǎn)的坐標(biāo)，而S1第一行的值就是本身的顯著值。α1、α2是位于(0,1)的權(quán)重參數(shù)，用來(lái)調(diào)整增強(qiáng)效果,α2大于α1時(shí)增強(qiáng)前景和抑制背景效果強(qiáng)，反之則弱。式(6)表示當(dāng)從第一行的任意一個(gè)像素開(kāi)始向?qū)呅羞M(jìn)時(shí)，如果行進(jìn)路線上有能量高的像素值，即該行進(jìn)路線會(huì)穿過(guò)顯著區(qū)域，則該路線上之后的值應(yīng)該被增強(qiáng)。同理應(yīng)用在從下往上、從左至右、從右至左的三幅圖中，得到圖3d、圖3l和圖3r。

Figure 3 Template framework圖3 模板圖流程

對(duì)于每一幅圖像上對(duì)應(yīng)的像素點(diǎn)，我們從圖3t、圖3d、圖3l和圖3r中選擇它的最小值來(lái)確定它的最終值，這樣可以避免增強(qiáng)輪廓之外的非顯著的區(qū)域。通過(guò)式(7)可以得到最后的模板圖。

Smb=min(S1(x,y),S2(x,y),S3(x,y),S4(x,y))

(7)

Sal=ω1Sf×ω2Sb×ω3Smb

(8)

Figure 4 Comparison results of saliency maps圖4 顯著圖結(jié)果主觀對(duì)比

最后，通過(guò)式(8)將基于區(qū)域?qū)Ρ鹊娘@著圖、基于背景的顯著圖和模板圖相融合，就可得到最終的顯著圖，ω1、ω2、ω3為各個(gè)顯著圖的權(quán)重參數(shù)，取值位于(0,1)，參數(shù)的大小決定了最終顯著圖與三幅顯著圖中的哪一幅更接近。

4 實(shí)驗(yàn)結(jié)果與分析

本節(jié)利用Matlab(R2014b)對(duì)本文算法進(jìn)行仿真實(shí)驗(yàn)，系統(tǒng)運(yùn)行環(huán)境為Windows7，Intel(R) Core(TM) i5 3.2 GHz CPU，8 GB內(nèi)存。本次實(shí)驗(yàn)采用公開(kāi)數(shù)據(jù)集MSRA-1000中的1 000幅圖像作為測(cè)試集，每幅圖像都有相應(yīng)的人工標(biāo)注二值圖GT(Ground Truth)做對(duì)照模板。文中β1、β2、α1、α2、ω1、ω2、ω3等參數(shù)的取值分別為0.1、0.1、0.4、0.6、0.4、0.3、0.4。以下是本文提出的顯著性檢測(cè)算法與7種主流算法進(jìn)行比較的結(jié)果，7種算法分別為：IT[4]、FT[5]、FES[15]、PCA[16]、SPL[17]、FB[10]和QCUT[18]。由于篇幅有限，圖4只列出針對(duì)MSRA-1000數(shù)據(jù)集中6幅圖像的處理對(duì)比結(jié)果。

由圖4的比對(duì)可以清晰看出，本文算法在處理復(fù)雜背景圖像時(shí)可以更好地突出顯著區(qū)域，邊界相對(duì)更清晰。而對(duì)于前景與背景顏色相近的圖像，本文算法依然可以通過(guò)增強(qiáng)前景來(lái)達(dá)到突出顯著區(qū)域的目的。

顯著性檢測(cè)客觀評(píng)價(jià)標(biāo)準(zhǔn)包含查準(zhǔn)率(Precision)、查全率(Recall)和F-measure值。查準(zhǔn)率是指正確檢測(cè)的顯著區(qū)域與檢測(cè)區(qū)域的比值，它反映了檢測(cè)的準(zhǔn)確性，衡量檢測(cè)系統(tǒng)和檢測(cè)方法拒絕誤檢測(cè)的能力，其補(bǔ)數(shù)是誤檢率，見(jiàn)式(9)；查全率是正確檢測(cè)的顯著區(qū)域與顯著區(qū)域的比值，它反映了檢測(cè)的全面性，衡量檢測(cè)系統(tǒng)和檢測(cè)方法正確檢測(cè)的能力，其補(bǔ)數(shù)為漏檢率，見(jiàn)式(10)；F-measure值[19]來(lái)綜合兩種指標(biāo)評(píng)價(jià)標(biāo)準(zhǔn)，使兩者之間保持均衡，見(jiàn)式(11)。

(9)

(10)

(11)

其中，gx表示像素點(diǎn)x的真實(shí)值，ax表示像素點(diǎn)x的測(cè)量值。

本文算法與其他7種算法在查準(zhǔn)率、查全率和F-measure的對(duì)比數(shù)據(jù)如圖5和圖6所示，其中β2=0.3。

Figure 5 PR curve圖5 PR曲線

Figure 6 F-measure histogram圖6 F-measure柱狀圖

由圖5和圖6可以看出，本文算法的查準(zhǔn)率、查全率和F-measure均高于其他7種算法，而且均有提高。由此可見(jiàn)，本文提出的基于能量模型的模板圖可以有效增強(qiáng)前景區(qū)域并抑制背景區(qū)域。

為了更加直觀且綜合地評(píng)定算法優(yōu)劣，我們通過(guò)計(jì)算PR曲線下的面積AUC(Area Under Curve)[20]來(lái)綜合評(píng)判算法優(yōu)劣，AUC值越靠近1，表示算法效果越精確。為了在不進(jìn)行二值化的情況下直接分析算法所得顯著圖與人工標(biāo)注二值圖GT之間的關(guān)系，我們用平均絕對(duì)誤差MEA(Mean Absolute Error)來(lái)評(píng)價(jià)算法性能，如表1所示。

(12)

其中，M和N代表圖像的長(zhǎng)與寬；S(x,y)表示測(cè)得的顯著圖在(x,y)處的顯著值；GT(x,y)表示人工標(biāo)注二值圖在(x,y)處的顯著值。

Table 1 Performance comparison表1 性能指標(biāo)對(duì)比表

由表1可知，本文算法的MEA值為0.123，與QCUT算法相近，但小于其他6種算法，而F-measure值與AUC均遠(yuǎn)優(yōu)于其他算法的。但是，本文算法由于是三幅圖融合形成最終顯著圖，在時(shí)間上與其他算法相比消耗更多，這點(diǎn)有待于改善。

5 結(jié)束語(yǔ)

本文提出了一種基于前景增強(qiáng)和背景抑制的新的顯著性區(qū)域檢測(cè)方法。首先通過(guò)區(qū)域?qū)Ρ群捅尘胺N子點(diǎn)得到兩幅顯著圖，根據(jù)Seam Carving、Graph-based和凸包得到的模板與原顯著圖進(jìn)行融合起到了很好的前景增強(qiáng)背景抑制的作用。本文中的模板不局限于目標(biāo)性狀、環(huán)境的變化，可以應(yīng)用于多場(chǎng)景和多算法中。在公開(kāi)測(cè)試集上與7種主流算法的測(cè)試結(jié)果對(duì)比表明，本文算法顯著區(qū)域檢測(cè)結(jié)果更準(zhǔn)確，抗噪聲能力更強(qiáng)。

[1] Victor L,Pushmeet K,Carsten R,et al.Image segmentation with a bounding box prior[C]∥Proc of IEEE 12th International Conference on Computer Vision,2009:277-284.

[2] Ren Zhi-xiang,Gao Shen-hua,Chia Liang-tien.Region-based saliency detection and its application in object recognition[J].IEEE Transactions on Circuits and Systems for Video Technology,2014,24(5):769-779.

[3] Ke Hong-chang, Sun Hong-bin.A video image compression method based on visually salient features[J].Journal of Digital Information Management,2014,12(5):333-343.

[4] Itti L,Koch C,Niebur E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1254-1259.

[5] Achanta R,Hemami S,Estrada F,et al.Frequency-tuned salient region detection[C]∥Proc of IEEE Conference on Computer Vision and Pattern Recognition,2009:1597-1604.

[6] Cheng M M, Mitra N J, Huang X, et al. Global contrast based salient region detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015,37(3):569.

[7] Wei Yi-chen,Wen Fang,Zhu Wang-jiang,et al.Geodesic saliency using background priors[C]∥Proc of European Conference on Computer Vision,2012:29-42.

[8] Jiang Huai-zu,Wang Jing-dong,Yuan Ze-jian,et al.Salient object detection:A discriminative regional feature integration approach[C]∥Proc of IEEE Conference on Computer Vision and Pattern Recognition,2013:2083-2090.

[9] Rahtu E,Heikkila J.A simple and efficient saliency detector for background subtraction[C]∥Proc of the 12th IEEE International Conference on Computer Vision,2009:l137-1144.

[10] Wang Jian-peng, Lu Hu-chuan,Li Xiao-hui,et al.Saliency detection via background and foreground seed selection[J].Neurocomputing,2015,152(C):359-368.

[11] Perazzi F, Kr?henbühl P,Pritch Y,et al.Saliency filters:Contrast based filtering for salient region detection[C]∥Proc of IEEE Conference on Computer Vision and Pattern Recognition,2012:733-740.

[12] Harel J,Koch C,Perona P.Graph-based visual saliency[C]∥Proc of Conference on Neural Information Processing Systems,2006:545-552.

[13] Xie Yu-lin,Lu Hu-chuan,Visual saliency detection based on bayesian model[C]∥Proc of IEEE International Conference on Image Processing,2011:653-656.

[14] Avidan S,Shamir A.Seam carving for content aware image resizing[C]∥Proc of ACM SIGGRAPH 2007,2007:10-15.

[15] Hamed R T,Esa R,Janne H.Fast and efficient saliency detection using sparse sampling and kernel density estimation[C]∥Proc of SCIA 2011,2011:666-675.

[16] Ran M,Ayellet T,Lihi Z M.What makes a patch distinct?[C]∥Proc of IEEE Conference on Computer Vision and Pattern Recognition,2013:1139-1146.

[17] Yang Chuan,Zhang Li-he,Lu Hu-chuan.Graph-regularized saliency detection with convex-hull-based center prior[J]. IEEE Signal Processing Letters,2013,20(7):637-640.

[18] Aytekin C, Kiranyaz S,Gabbouj M.Automatic object segmentation by quantum cuts[C]∥Proc of International Conference on Pattern Recognition,2014:112-117.

[19] Huang Ying-qing,Liang Xin-bin,Xie Zhi-hong,et al.An FT algorithm based on the characteristics of the normalization of significant value and position of weighted[J].Journal of Ordnance Equipment Engineering,2016,37(6):2096-2304.(in Chinese)

[20] Li Yue-yun,Xu Yue-lei,Ma Shi-ping,et al.The saliency detection based on depth convolution neural network[J].Journal of Image and Graphics,2016,21(1):53-59.(in Chinese)

附中文參考文獻(xiàn)：

[19] 黃應(yīng)清，梁新彬，謝志宏，等.基于特征顯著值歸一化與位置加權(quán)的FT算法[J].兵器裝備工程學(xué)報(bào),2016,37(6):2096-2304.

[20] 李岳云，許悅雷，馬時(shí)平，等.深度卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)[J].中國(guó)圖象圖形學(xué)報(bào),2016,21(1):53-59.