,, , ,

(1.湖北大學(xué) 計(jì)算機(jī)與信息工程學(xué)院， 武漢 430062; 2. 南京郵電大學(xué) 通信與信息工程學(xué)院，南京 210003;3. 烽火通信科技股份有限公司 業(yè)務(wù)與終端產(chǎn)出線，武漢 430073)

基于中心-對(duì)角對(duì)比度的顯著性檢測(cè)

張偉1,陳夢(mèng)宇1,周全2,葉波1,沈瓊霞3

(1.湖北大學(xué)計(jì)算機(jī)與信息工程學(xué)院，武漢430062; 2.南京郵電大學(xué)通信與信息工程學(xué)院，南京210003;3.烽火通信科技股份有限公司業(yè)務(wù)與終端產(chǎn)出線，武漢430073)

針對(duì)圖像顯著性檢測(cè)中廣泛運(yùn)用的中心-四周對(duì)比度方法存在的缺陷，提出了中心-對(duì)角對(duì)比度(corner-surround contrast，CSC)算法，實(shí)現(xiàn)從背景中有效提取顯著區(qū)域；中心-四周對(duì)比度方法難以保證分割的準(zhǔn)確性，容易導(dǎo)致錯(cuò)誤的顯著檢測(cè)結(jié)果，并且僅使用中心-四周對(duì)比度對(duì)目標(biāo)物體進(jìn)行顯著性編碼并不十分有效；CSC算法在提取中心和周邊區(qū)域差異性的同時(shí)，結(jié)合它們之間位置的相對(duì)性，并設(shè)計(jì)了一個(gè)多核信息融合模型，以不同權(quán)重融合多種對(duì)比度方法以產(chǎn)生最優(yōu)顯著圖，最后用圖分割算法來(lái)進(jìn)行二元分割，獲得準(zhǔn)確的顯著圖；實(shí)驗(yàn)結(jié)果表明CSC算法能夠有效捕捉顯著物體的局部差異，提高顯著性物體定位及分割精度的性能，減少噪聲的影響，從背景中分離出精確的顯著性區(qū)域，獲得更優(yōu)的顯著性檢測(cè)結(jié)果。

視覺(jué)關(guān)注；背景原型；中心-對(duì)角對(duì)比度；中心-四周對(duì)比度；顯著性物體檢測(cè)

0 引言

顯著性檢測(cè)是計(jì)算機(jī)視覺(jué)領(lǐng)域中重要的研究方向，并廣泛應(yīng)用于目標(biāo)識(shí)別[1-2]、圖像分割[3]、圖像編輯[4]、圖像恢復(fù)[5]和視頻跟蹤[6]等場(chǎng)合。目前顯著性檢測(cè)方法大致可以分為兩類(lèi)：(1)自頂而下(監(jiān)督式supervised)的方法：這類(lèi)方法一般通過(guò)訓(xùn)練過(guò)程來(lái)構(gòu)建視覺(jué)知識(shí)，根據(jù)視覺(jué)認(rèn)知來(lái)描述顯著信息，然后在檢測(cè)圖像上運(yùn)用視覺(jué)認(rèn)知進(jìn)行顯著性檢測(cè)[7]；(2)自底而上(非監(jiān)督式unsupervised)方法：這類(lèi)方法一般不考慮顯著區(qū)域或物體，僅根據(jù)像素與相鄰區(qū)域差異度來(lái)判斷該像素的顯著性[8]。作為開(kāi)創(chuàng)性工作之一，Itti 等[9]提出在圖像的顏色、灰度和方向上進(jìn)行自底向上的中心-四周對(duì)比度方法。在中心-四周對(duì)比度的框架下，文獻(xiàn)[10]提出通過(guò)互信息來(lái)計(jì)算顯著度。已有的視覺(jué)注意算法，尤其是自底向上的方法，大多數(shù)采用中心-四周對(duì)比度的操作(center-surround operation，CSO)來(lái)獲得顯著圖。然而，當(dāng)圖像中心區(qū)域和周?chē)鷧^(qū)域?qū)Ρ炔⒉粡?qiáng)烈時(shí)，運(yùn)用中心-四周對(duì)比度的框架就難以獲得理想的效果。如圖1(b)和(c)所示，使用該方法會(huì)將部分背景也錯(cuò)判為顯著區(qū)域，此時(shí)運(yùn)用圖分割算法[11]產(chǎn)生的二元分割圖明顯精度較差。

為了克服這些缺點(diǎn)，在CSO基礎(chǔ)上，本文引入一個(gè)新的顯著性度量算法，即中心-對(duì)角對(duì)比度算法(Corner-Surround Contrast，CSC)。如圖1(d)所示，執(zhí)行CSO算法后，再通過(guò)CSC的處理，可以進(jìn)一步突出顯著性物體。為了深入研究CSC的作用，本文還設(shè)計(jì)了一種基于多核學(xué)習(xí)[12](multiple kernel learning，MKL)的多信息融合模型。在根據(jù)不同方法特點(diǎn)計(jì)算得到多個(gè)顯著圖后，該模型將這些顯著圖按不同權(quán)重進(jìn)行線性融合以產(chǎn)生最優(yōu)效果的顯著圖。

與現(xiàn)有方法相比，本文提出的方法主要具有以下兩方面特點(diǎn)：第一，根據(jù)CSC特性計(jì)算的顯著度，可以獲得更精確的圖像顯著區(qū)域；第二，本文設(shè)計(jì)的多核信息融合模型，能夠得到精度更高的顯著圖，有利于從背景中分離出精確的顯著性區(qū)域，同時(shí)減少噪聲的影響。

1 原理與方法

本節(jié)主要闡述本文進(jìn)行顯著性檢測(cè)的原理步驟。先介紹產(chǎn)生不同特征顯著圖的方法(包括本文提出的CSC)，然后將這些顯著圖通過(guò)線性加權(quán)融合得到最優(yōu)結(jié)果。

1.1 中心-對(duì)角對(duì)比度(CSC)

如圖1(a)所示，顯著物體與其周?chē)尘跋啾韧ǔ?huì)存在明顯的差異性，從而能夠從周?chē)h(huán)境背景中分割開(kāi)來(lái)。如圖2(a)所示，假設(shè)顯著物體都被封閉在一個(gè)紅色的矩形R內(nèi)。在R的周?chē)鷺?gòu)造4個(gè)相同的藍(lán)色區(qū)域RS，定義每一對(duì)R和RS之間的對(duì)比度為中心-對(duì)角對(duì)比度(CSC)。根據(jù)R和RS的相對(duì)位置，分別把這些CSC稱(chēng)為左上CSC，右上CSC，左下CSC和右下CSC。

具體到某個(gè)CSC，如右上CSC，為了衡量矩形R中的顯著物體與其周?chē)尘癛S的區(qū)別，可以根據(jù)某個(gè)特征參數(shù)來(lái)計(jì)算R和RS之間的距離，例如亮度、顏色和紋理等。本文采用R和RS在RGB顏色空間中直方圖距離χ2作為計(jì)算參數(shù)：

(1)

這里B取值64，為每個(gè)直方圖的bin值。選擇直方圖作為圖像特征，一是因?yàn)橹狈綀D適于描述外觀的變化；二是對(duì)于CSC的計(jì)算而言，直方圖都能通過(guò)積分直方圖[13]快速計(jì)算得到。圖2(b)表明，對(duì)于圖中的顯著物體“馬”，使用右上CSC，可以獲得與背景最高的對(duì)比度。

下面對(duì)影響CSC算法效果的因素進(jìn)行實(shí)驗(yàn)分析。為了研究不同矩形框縱橫比的影響，本文通過(guò)五個(gè)不同縱橫比的模板進(jìn)行試驗(yàn)，即{0.5，0.75，1.0，1.5，2.0}。將區(qū)別度最高的矩形模板記為R*(x)，可得下式：

(2)

對(duì)于顯著物體尺度變化的影響，本文也通過(guò)變換矩形R(x)大小的方法檢測(cè)。變化范圍設(shè)為[0.1,0.7]×min(w,h)，變化步長(zhǎng)為0.05，其中w、h分別表示圖像的寬度和高度。對(duì)于某個(gè)特定的CSC而言，如右上CSC，定義其特征函數(shù)ftr(x)為空間加權(quán)距離之和：

(3)

與ftr(x)類(lèi)似，可以為每個(gè)像素計(jì)算另外三個(gè)CSC的特征函數(shù)，分別用ftl(x)、fbl(x)和fbr(x)表示。圖2(c)～(f)即為相應(yīng)的CSC算法得到的特征圖?？梢钥闯?，除了顯著區(qū)域被高亮顯示外，部分背景區(qū)域也被不同的CSC計(jì)算出較高特征值，從而在圖中顯示出較高亮度。為了減小單一CSC計(jì)算的不足，本文將最終的CSC顯著圖salCSC(x)定義為四個(gè)特征圖相乘的結(jié)果，即：

從左至右：(a)原始圖像； (b)、(d)、(f)分別為用CSO、CSO+CSC和本文多核信息融合模型獲得的顯著圖； (c)、(e)、(g)為相應(yīng)二元分割結(jié)果圖1 圖像對(duì)比

從左至右：(a)四種不同類(lèi)型的直方圖； (b) 不同位置和大小的右上CSC; (c)～(f) 通過(guò)右上、左上、右下、左下CSC產(chǎn)生特征圖； (g)最終CSC顯著圖圖2 圖像對(duì)比

(4)

并將結(jié)果進(jìn)行歸一化處理到區(qū)間[0,1]。圖2(g)即為最終CSC顯著圖，可以看出顯著物體被很好地從背景中區(qū)別出來(lái)。

1.2 中心-四周對(duì)比度(CSO)

本文也選用CSO[8]方法計(jì)算的顯著圖作為最終顯著圖的一個(gè)融合部分。CSO方法首先計(jì)算RGB三個(gè)顏色分量的直方圖，并做歸一化處理，然后將它們連接起來(lái)得到一個(gè)長(zhǎng)直方圖向量。由此得到基于顏色的CSO顯著圖，并記為salCSO(x)。由于CSC和CSO均為局部對(duì)比度，本文把它們疊加起來(lái)定義為局部顯著度，記為salLOC(x)：

salLOC(x)=salCSO(x)+salCSC(x)

(5)

式中,salCSO(x)和salCSC(x)具有相同的權(quán)重，可以達(dá)到理想的效果性能。

1.3 顏色空間變化(CSV)

CSC和CSO描述的是局部對(duì)比度特性，而CSV[7]提出了一種全局對(duì)比度特性來(lái)測(cè)量顯著度，該方法可以取得比較理想的效果。下面是CSV的實(shí)現(xiàn)原理和步驟：

在評(píng)估每個(gè)簇的顯著度時(shí)，可以選擇簇密度作為評(píng)價(jià)標(biāo)準(zhǔn)。一般而言，背景簇會(huì)比顯著簇具有更大的分散度。因此，分散度越大，這個(gè)簇密度越?。?/p>

這里μc為第c簇的空間平均值，V(c)歸一化到區(qū)間[0,1]。像素x的CSV顯著圖salCSV(x)定義為：

(6)

1.4 多尺度對(duì)比度(MSC)

在顯著物體大小未知的情況下，通常要進(jìn)行多尺度的對(duì)比度計(jì)算。本文所定義像素x的MSC顯著圖salMSC(x)如下：

(7)

公式中Il表示金字塔圖像中第l層圖像，金字塔圖像層數(shù)L為6。Nx為9×9的窗口。MSC顯著圖也歸一化至區(qū)間[0，1]。

1.5 顯著圖融合

盡管上文中已經(jīng)用CSC、CSO、CSV和MSC等不同方法獲得顯著圖，并進(jìn)行歸一化處理，但這些圖建立在不同的特征空間。顯然，不同顯著圖對(duì)最終的顯著圖貢獻(xiàn)比例是不一樣的。本文采用MKL算法[12]，學(xué)習(xí)不同權(quán)重將所有顯著圖進(jìn)行線性融合來(lái)獲得最終的顯著圖salfn(x)：

(8)

公式中N=3是需融合的顯著圖數(shù)量，sal(x)是公式(5)、(6)、(7)中所定義的顯著圖。其中：Kn(sal(x),sal(x'))=exp{|sal(x)-sal(x')|}是一個(gè)徑向基核函數(shù)，dn表示特征權(quán)重。

文獻(xiàn)[13]證明了公式(8)實(shí)際上是一個(gè)二元支持向量機(jī)(SVM)問(wèn)題，可以通過(guò)l2范數(shù)歸一化的方法有效解決。同時(shí)，該文獻(xiàn)中采用的權(quán)值也是歸一化的，即滿(mǎn)足∑ndn=1,dngt;0。MKL算法產(chǎn)生的顯著圖融合了各種不同方法的特性，達(dá)到良好效果，如圖1(f)和圖4所示。通過(guò)實(shí)驗(yàn)，本文獲得的最佳權(quán)值系數(shù)為{0.58，0.25，0.17}。

2 實(shí)驗(yàn)及性能比較

本節(jié)驗(yàn)證本文方法與現(xiàn)有方法的性能比較。微軟亞洲研究院(MSRA)[14]數(shù)據(jù)集里包含1000張圖像，每幅圖像都提供了顯著性物體形狀的人工標(biāo)注圖。這些圖像將作為實(shí)驗(yàn)的原始數(shù)據(jù)和比較數(shù)據(jù)。將這些圖像隨機(jī)分為兩部分，一部分約40%左右用來(lái)訓(xùn)練學(xué)習(xí)以獲得MKL算法中公式8的權(quán)值，剩下的60%用來(lái)測(cè)試。為了使實(shí)驗(yàn)結(jié)果更具說(shuō)服力，本文選擇了4個(gè)最先進(jìn)的模型進(jìn)行比較，分別為IT[9]，F(xiàn)T[14]，CA[7]和GB[15]。所有算法均在4 GB內(nèi)存、雙核2.6 GHz的硬件平臺(tái)上運(yùn)行。

定量分析試驗(yàn)：為了比較不同顯著性檢測(cè)算法的性能，本文對(duì)顯著圖定義了一個(gè)0到255之間變化的閥值參數(shù)Tf。圖3的左圖為不同算法的Precision-Recall曲線(P-R曲線)。通過(guò)本文算法和加權(quán)平均算法(記為ACSC)以及CA、FT等其他顯著度算法的P-R曲線的比較，可以看出本文算法具有明顯的性能優(yōu)勢(shì)。

圖3 P-R曲線和P-R柱狀圖

F-measure是另一個(gè)常用來(lái)進(jìn)行整體性能評(píng)估的性能參數(shù)，可以通過(guò)計(jì)算準(zhǔn)確率Precision和召回率Recall關(guān)于非負(fù)參數(shù)β的加權(quán)調(diào)和平均得到。其定義公式為：

(9)

根據(jù)文獻(xiàn)[4]，β值取0.3。圖3的右圖給出了各種方法F-measure參數(shù)的性能比較?？梢钥吹剑疚牡姆椒ň哂休^高的準(zhǔn)確率和召回率，并且在Fβ參數(shù)上表現(xiàn)出的性能是最優(yōu)的。

定性比較實(shí)驗(yàn)：在顯著圖基礎(chǔ)上，通過(guò)圖分割算法[11]獲得二元分割圖，這樣可以對(duì)顯著物體的檢測(cè)效果進(jìn)行視覺(jué)上的定性比較。圖4為通過(guò)不同方法獲得的顯著圖及二元分割圖?？梢钥闯?，本文的方法能準(zhǔn)確地突出顯著區(qū)域，并生成更精確的二元分割圖。

從上至下依次為：原始圖像， 分別由IT、GB、CA、FT和本文的方法產(chǎn)生的顯著圖，最后兩行為由本文的顯著圖得到的二元分割圖以及人工標(biāo)注的結(jié)果圖4 圖像對(duì)比及本文方法結(jié)果

3 結(jié)論

本文提出了一種新的圖像顯著性檢測(cè)方法CSC，能夠有效捕捉顯著物體的局部差異。

CSC算法可以用于自底而上的應(yīng)用，也適用于位自頂而下的場(chǎng)合，例如在MKL算法中的應(yīng)用。本文在MSRA數(shù)據(jù)集基礎(chǔ)上進(jìn)行了大量的實(shí)驗(yàn)，證實(shí)了CSC方法的有效性。與現(xiàn)有的方法相比，本文的方法獲得了更優(yōu)的顯著性檢測(cè)結(jié)果。CSC的另一個(gè)優(yōu)勢(shì)在于它的靈活性，易于融入現(xiàn)有的顯著性檢測(cè)框架中。本文只考慮了顏色特征上的CSC對(duì)比度，在后繼工作中，將會(huì)把CSC應(yīng)用到紋理特征空間，從而使CSC算法具有魯棒性。

[1] B. Alexe, T. Deselaers, and V. Ferrari. What is an object?[Z].InCVPR, 2010,73-80.

[2] 張永梅,吳 攀,李 煒. 一種圖像敏感對(duì)象的識(shí)別方法,計(jì)算機(jī)測(cè)量與控制[J].2014，22(7)：2167-2169.

[3] Fu Y, Cheng J, Li Z, et al. Saliency cuts: An automatic approach to object segmentation[Z]. InICPR, 2008,1-4.

[4] Cheng M, Zhang G, Mitra N, et al. Global contrast based salient region detection[Z]. InCVPR, 2011,409-416.

[5] Loupias E, Sebe N, Bres S, et al. Wavelet-based salient points for image retrieval[Z]. InICIP, 2000,518-521.

[6] Mahadevan V, Vasconcelos N. Spatiotemporal saliency in dynamic scenes[J]. TPAMI, 2010,32(1):171-177.

[7] Goferman S, Zelnik-Manor L, Tal A. Context-aware saliency detection[Z]. InCVPR, 2010,2376-2383.

[8] Liu T, Yuan Z, Sun J, et al. Learning to detect a salient object[J].TPAMI, 2011,33(2):353-367.

[9] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]. TPAMI, 1998, 20(11):1254-1259.

[10] Gao D, Vasconcelos N. Bottom-up saliency is a discriminant process[Z]. InICCV, 2007,1-6.

[11] Kolmogorov V, Zabin R. What energy functions can be minimized via graph cuts[J]. TPAMI, 2004,26(2):147-159.

[12] Rakotomamonjy A, Bach F, Canu S, et al. Simplemkl[J]. Journal of Machine Learning Research,2008,9:2491-2521.

[13] Porikli F. Integral histogram: A fast way to extract his-tograms in cartesian spaces[Z]. In CVPR, 2005,829-836.

[14] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[Z]. InCVPR, 2009,1597-1604.

[15] H J, K C, P P. Graph-based visual saliency[Z]. In NIPS, 2006,545-552.

SalientDetectionBasedonCorner-SurroundContrast

Zhang Wei1，Chen Mengyu1，Zhou Quan2，Ye Bo1，Shen Qiongxia3

(1.School of Computer Science and Information Engineering, Hubei University, Wuhan 430062, China; 2.College of Telecommunications and Information Engineering, Nanjing University of Posts and Telecommunications, Nanjing 210003,China; 3.Service and CPE Business Unit, Fiberhome Telecommunication Technologies Co.,Ltd., Wuhan 430073, China)

To overcome the disadvantanges of center-surround contrast which is widely used for visual saliency detection, a novel contrast computational scheme, namely corner-surrond contrast, is presented to accurately detect salient regions from background. The center-surround contrast may involve the inaccurate segmentation, and even results in incorrect detection results. Only using center-surround contrast is not efficient to encode object saliency. The corner-surroud contrast not only considers the appearance difference between center and corner regions, but also takes into account their relative location. Then a kernel-based fusing framework is designed to produce the saliency map using a series of contrast measurements, and the final binary segmentation is achieved using graph cut algorithm. The experiments demonstrate that CSC can capture local dissimilarity of salient objects, and improve segmentation accuracy and saliency localization. Furthermore, CSC can generate precise salient segmentation with less noises from the backgrounds, and gains significantly in terms of saliency detection.

visual attention; background prototype; corner-surround contrast; center-surround contrast; salient object detection

2017-05-01；

2017-05-23。

國(guó)家自然科學(xué)基金(61301144；61601175)。

張 偉(1979-)，男，湖北武漢人，博士，講師，碩士研究生導(dǎo)師，主要從事圖像處理、無(wú)線通信方向的研究。

周 全(1980-)，男，湖北鄂州人，博士，副教授，碩士研究生導(dǎo)師，主要從事多媒體通信及信息處理、視頻編碼技術(shù)方向的研究。

沈瓊霞(1980-)，女，湖北天門(mén)人，博士，高級(jí)工程師，主要從事無(wú)線通信、多媒體通信方向的研究。

1671-4598(2017)09-0013-04

10.16526/j.cnki.11-4762/tp.2017.09.004

TP391.413

A