,, , ,

(1.湖北大學 計算機與信息工程學院， 武漢 430062; 2. 南京郵電大學 通信與信息工程學院，南京 210003;3. 烽火通信科技股份有限公司 業(yè)務與終端產(chǎn)出線，武漢 430073)

基于中心-對角對比度的顯著性檢測

張偉1,陳夢宇1,周全2,葉波1,沈瓊霞3

(1.湖北大學計算機與信息工程學院，武漢430062; 2.南京郵電大學通信與信息工程學院，南京210003;3.烽火通信科技股份有限公司業(yè)務與終端產(chǎn)出線，武漢430073)

針對圖像顯著性檢測中廣泛運用的中心-四周對比度方法存在的缺陷，提出了中心-對角對比度(corner-surround contrast，CSC)算法，實現(xiàn)從背景中有效提取顯著區(qū)域；中心-四周對比度方法難以保證分割的準確性，容易導致錯誤的顯著檢測結(jié)果，并且僅使用中心-四周對比度對目標物體進行顯著性編碼并不十分有效；CSC算法在提取中心和周邊區(qū)域差異性的同時，結(jié)合它們之間位置的相對性，并設(shè)計了一個多核信息融合模型，以不同權(quán)重融合多種對比度方法以產(chǎn)生最優(yōu)顯著圖，最后用圖分割算法來進行二元分割，獲得準確的顯著圖；實驗結(jié)果表明CSC算法能夠有效捕捉顯著物體的局部差異，提高顯著性物體定位及分割精度的性能，減少噪聲的影響，從背景中分離出精確的顯著性區(qū)域，獲得更優(yōu)的顯著性檢測結(jié)果。

視覺關(guān)注；背景原型；中心-對角對比度；中心-四周對比度；顯著性物體檢測

0 引言

顯著性檢測是計算機視覺領(lǐng)域中重要的研究方向，并廣泛應用于目標識別[1-2]、圖像分割[3]、圖像編輯[4]、圖像恢復[5]和視頻跟蹤[6]等場合。目前顯著性檢測方法大致可以分為兩類：(1)自頂而下(監(jiān)督式supervised)的方法：這類方法一般通過訓練過程來構(gòu)建視覺知識，根據(jù)視覺認知來描述顯著信息，然后在檢測圖像上運用視覺認知進行顯著性檢測[7]；(2)自底而上(非監(jiān)督式unsupervised)方法：這類方法一般不考慮顯著區(qū)域或物體，僅根據(jù)像素與相鄰區(qū)域差異度來判斷該像素的顯著性[8]。作為開創(chuàng)性工作之一，Itti 等[9]提出在圖像的顏色、灰度和方向上進行自底向上的中心-四周對比度方法。在中心-四周對比度的框架下，文獻[10]提出通過互信息來計算顯著度。已有的視覺注意算法，尤其是自底向上的方法，大多數(shù)采用中心-四周對比度的操作(center-surround operation，CSO)來獲得顯著圖。然而，當圖像中心區(qū)域和周圍區(qū)域?qū)Ρ炔⒉粡娏視r，運用中心-四周對比度的框架就難以獲得理想的效果。如圖1(b)和(c)所示，使用該方法會將部分背景也錯判為顯著區(qū)域，此時運用圖分割算法[11]產(chǎn)生的二元分割圖明顯精度較差。

為了克服這些缺點，在CSO基礎(chǔ)上，本文引入一個新的顯著性度量算法，即中心-對角對比度算法(Corner-Surround Contrast，CSC)。如圖1(d)所示，執(zhí)行CSO算法后，再通過CSC的處理，可以進一步突出顯著性物體。為了深入研究CSC的作用，本文還設(shè)計了一種基于多核學習[12](multiple kernel learning，MKL)的多信息融合模型。在根據(jù)不同方法特點計算得到多個顯著圖后，該模型將這些顯著圖按不同權(quán)重進行線性融合以產(chǎn)生最優(yōu)效果的顯著圖。

與現(xiàn)有方法相比，本文提出的方法主要具有以下兩方面特點：第一，根據(jù)CSC特性計算的顯著度，可以獲得更精確的圖像顯著區(qū)域；第二，本文設(shè)計的多核信息融合模型，能夠得到精度更高的顯著圖，有利于從背景中分離出精確的顯著性區(qū)域，同時減少噪聲的影響。

1 原理與方法

本節(jié)主要闡述本文進行顯著性檢測的原理步驟。先介紹產(chǎn)生不同特征顯著圖的方法(包括本文提出的CSC)，然后將這些顯著圖通過線性加權(quán)融合得到最優(yōu)結(jié)果。

1.1 中心-對角對比度(CSC)

如圖1(a)所示，顯著物體與其周圍背景相比通常會存在明顯的差異性，從而能夠從周圍環(huán)境背景中分割開來。如圖2(a)所示，假設(shè)顯著物體都被封閉在一個紅色的矩形R內(nèi)。在R的周圍構(gòu)造4個相同的藍色區(qū)域RS，定義每一對R和RS之間的對比度為中心-對角對比度(CSC)。根據(jù)R和RS的相對位置，分別把這些CSC稱為左上CSC，右上CSC，左下CSC和右下CSC。

具體到某個CSC，如右上CSC，為了衡量矩形R中的顯著物體與其周圍背景RS的區(qū)別，可以根據(jù)某個特征參數(shù)來計算R和RS之間的距離，例如亮度、顏色和紋理等。本文采用R和RS在RGB顏色空間中直方圖距離χ2作為計算參數(shù)：

(1)

這里B取值64，為每個直方圖的bin值。選擇直方圖作為圖像特征，一是因為直方圖適于描述外觀的變化；二是對于CSC的計算而言，直方圖都能通過積分直方圖[13]快速計算得到。圖2(b)表明，對于圖中的顯著物體“馬”，使用右上CSC，可以獲得與背景最高的對比度。

下面對影響CSC算法效果的因素進行實驗分析。為了研究不同矩形框縱橫比的影響，本文通過五個不同縱橫比的模板進行試驗，即{0.5，0.75，1.0，1.5，2.0}。將區(qū)別度最高的矩形模板記為R*(x)，可得下式：

(2)

對于顯著物體尺度變化的影響，本文也通過變換矩形R(x)大小的方法檢測。變化范圍設(shè)為[0.1,0.7]×min(w,h)，變化步長為0.05，其中w、h分別表示圖像的寬度和高度。對于某個特定的CSC而言，如右上CSC，定義其特征函數(shù)ftr(x)為空間加權(quán)距離之和：

(3)

與ftr(x)類似，可以為每個像素計算另外三個CSC的特征函數(shù)，分別用ftl(x)、fbl(x)和fbr(x)表示。圖2(c)～(f)即為相應的CSC算法得到的特征圖。可以看出，除了顯著區(qū)域被高亮顯示外，部分背景區(qū)域也被不同的CSC計算出較高特征值，從而在圖中顯示出較高亮度。為了減小單一CSC計算的不足，本文將最終的CSC顯著圖salCSC(x)定義為四個特征圖相乘的結(jié)果，即：

從左至右：(a)原始圖像； (b)、(d)、(f)分別為用CSO、CSO+CSC和本文多核信息融合模型獲得的顯著圖； (c)、(e)、(g)為相應二元分割結(jié)果圖1 圖像對比

從左至右：(a)四種不同類型的直方圖； (b) 不同位置和大小的右上CSC; (c)～(f) 通過右上、左上、右下、左下CSC產(chǎn)生特征圖； (g)最終CSC顯著圖圖2 圖像對比

(4)

并將結(jié)果進行歸一化處理到區(qū)間[0,1]。圖2(g)即為最終CSC顯著圖，可以看出顯著物體被很好地從背景中區(qū)別出來。

1.2 中心-四周對比度(CSO)

本文也選用CSO[8]方法計算的顯著圖作為最終顯著圖的一個融合部分。CSO方法首先計算RGB三個顏色分量的直方圖，并做歸一化處理，然后將它們連接起來得到一個長直方圖向量。由此得到基于顏色的CSO顯著圖，并記為salCSO(x)。由于CSC和CSO均為局部對比度，本文把它們疊加起來定義為局部顯著度，記為salLOC(x)：

salLOC(x)=salCSO(x)+salCSC(x)

(5)

式中,salCSO(x)和salCSC(x)具有相同的權(quán)重，可以達到理想的效果性能。

1.3 顏色空間變化(CSV)

CSC和CSO描述的是局部對比度特性，而CSV[7]提出了一種全局對比度特性來測量顯著度，該方法可以取得比較理想的效果。下面是CSV的實現(xiàn)原理和步驟：

在評估每個簇的顯著度時，可以選擇簇密度作為評價標準。一般而言，背景簇會比顯著簇具有更大的分散度。因此，分散度越大，這個簇密度越?。?/p>

這里μc為第c簇的空間平均值，V(c)歸一化到區(qū)間[0,1]。像素x的CSV顯著圖salCSV(x)定義為：

(6)

1.4 多尺度對比度(MSC)

在顯著物體大小未知的情況下，通常要進行多尺度的對比度計算。本文所定義像素x的MSC顯著圖salMSC(x)如下：

(7)

公式中Il表示金字塔圖像中第l層圖像，金字塔圖像層數(shù)L為6。Nx為9×9的窗口。MSC顯著圖也歸一化至區(qū)間[0，1]。

1.5 顯著圖融合

盡管上文中已經(jīng)用CSC、CSO、CSV和MSC等不同方法獲得顯著圖，并進行歸一化處理，但這些圖建立在不同的特征空間。顯然，不同顯著圖對最終的顯著圖貢獻比例是不一樣的。本文采用MKL算法[12]，學習不同權(quán)重將所有顯著圖進行線性融合來獲得最終的顯著圖salfn(x)：

(8)

公式中N=3是需融合的顯著圖數(shù)量，sal(x)是公式(5)、(6)、(7)中所定義的顯著圖。其中：Kn(sal(x),sal(x'))=exp{|sal(x)-sal(x')|}是一個徑向基核函數(shù)，dn表示特征權(quán)重。

文獻[13]證明了公式(8)實際上是一個二元支持向量機(SVM)問題，可以通過l2范數(shù)歸一化的方法有效解決。同時，該文獻中采用的權(quán)值也是歸一化的，即滿足∑ndn=1,dngt;0。MKL算法產(chǎn)生的顯著圖融合了各種不同方法的特性，達到良好效果，如圖1(f)和圖4所示。通過實驗，本文獲得的最佳權(quán)值系數(shù)為{0.58，0.25，0.17}。

2 實驗及性能比較

本節(jié)驗證本文方法與現(xiàn)有方法的性能比較。微軟亞洲研究院(MSRA)[14]數(shù)據(jù)集里包含1000張圖像，每幅圖像都提供了顯著性物體形狀的人工標注圖。這些圖像將作為實驗的原始數(shù)據(jù)和比較數(shù)據(jù)。將這些圖像隨機分為兩部分，一部分約40%左右用來訓練學習以獲得MKL算法中公式8的權(quán)值，剩下的60%用來測試。為了使實驗結(jié)果更具說服力，本文選擇了4個最先進的模型進行比較，分別為IT[9]，F(xiàn)T[14]，CA[7]和GB[15]。所有算法均在4 GB內(nèi)存、雙核2.6 GHz的硬件平臺上運行。

定量分析試驗：為了比較不同顯著性檢測算法的性能，本文對顯著圖定義了一個0到255之間變化的閥值參數(shù)Tf。圖3的左圖為不同算法的Precision-Recall曲線(P-R曲線)。通過本文算法和加權(quán)平均算法(記為ACSC)以及CA、FT等其他顯著度算法的P-R曲線的比較，可以看出本文算法具有明顯的性能優(yōu)勢。

圖3 P-R曲線和P-R柱狀圖

F-measure是另一個常用來進行整體性能評估的性能參數(shù)，可以通過計算準確率Precision和召回率Recall關(guān)于非負參數(shù)β的加權(quán)調(diào)和平均得到。其定義公式為：

(9)

根據(jù)文獻[4]，β值取0.3。圖3的右圖給出了各種方法F-measure參數(shù)的性能比較?？梢钥吹剑疚牡姆椒ň哂休^高的準確率和召回率，并且在Fβ參數(shù)上表現(xiàn)出的性能是最優(yōu)的。

定性比較實驗：在顯著圖基礎(chǔ)上，通過圖分割算法[11]獲得二元分割圖，這樣可以對顯著物體的檢測效果進行視覺上的定性比較。圖4為通過不同方法獲得的顯著圖及二元分割圖?？梢钥闯?，本文的方法能準確地突出顯著區(qū)域，并生成更精確的二元分割圖。

從上至下依次為：原始圖像， 分別由IT、GB、CA、FT和本文的方法產(chǎn)生的顯著圖，最后兩行為由本文的顯著圖得到的二元分割圖以及人工標注的結(jié)果圖4 圖像對比及本文方法結(jié)果

3 結(jié)論

本文提出了一種新的圖像顯著性檢測方法CSC，能夠有效捕捉顯著物體的局部差異。

CSC算法可以用于自底而上的應用，也適用于位自頂而下的場合，例如在MKL算法中的應用。本文在MSRA數(shù)據(jù)集基礎(chǔ)上進行了大量的實驗，證實了CSC方法的有效性。與現(xiàn)有的方法相比，本文的方法獲得了更優(yōu)的顯著性檢測結(jié)果。CSC的另一個優(yōu)勢在于它的靈活性，易于融入現(xiàn)有的顯著性檢測框架中。本文只考慮了顏色特征上的CSC對比度，在后繼工作中，將會把CSC應用到紋理特征空間，從而使CSC算法具有魯棒性。

[1] B. Alexe, T. Deselaers, and V. Ferrari. What is an object?[Z].InCVPR, 2010,73-80.

[2] 張永梅,吳 攀,李 煒. 一種圖像敏感對象的識別方法,計算機測量與控制[J].2014，22(7)：2167-2169.

[3] Fu Y, Cheng J, Li Z, et al. Saliency cuts: An automatic approach to object segmentation[Z]. InICPR, 2008,1-4.

[4] Cheng M, Zhang G, Mitra N, et al. Global contrast based salient region detection[Z]. InCVPR, 2011,409-416.

[5] Loupias E, Sebe N, Bres S, et al. Wavelet-based salient points for image retrieval[Z]. InICIP, 2000,518-521.

[6] Mahadevan V, Vasconcelos N. Spatiotemporal saliency in dynamic scenes[J]. TPAMI, 2010,32(1):171-177.

[7] Goferman S, Zelnik-Manor L, Tal A. Context-aware saliency detection[Z]. InCVPR, 2010,2376-2383.

[8] Liu T, Yuan Z, Sun J, et al. Learning to detect a salient object[J].TPAMI, 2011,33(2):353-367.

[9] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]. TPAMI, 1998, 20(11):1254-1259.

[10] Gao D, Vasconcelos N. Bottom-up saliency is a discriminant process[Z]. InICCV, 2007,1-6.

[11] Kolmogorov V, Zabin R. What energy functions can be minimized via graph cuts[J]. TPAMI, 2004,26(2):147-159.

[12] Rakotomamonjy A, Bach F, Canu S, et al. Simplemkl[J]. Journal of Machine Learning Research,2008,9:2491-2521.

[13] Porikli F. Integral histogram: A fast way to extract his-tograms in cartesian spaces[Z]. In CVPR, 2005,829-836.

[14] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[Z]. InCVPR, 2009,1597-1604.

[15] H J, K C, P P. Graph-based visual saliency[Z]. In NIPS, 2006,545-552.

SalientDetectionBasedonCorner-SurroundContrast

Zhang Wei1，Chen Mengyu1，Zhou Quan2，Ye Bo1，Shen Qiongxia3

(1.School of Computer Science and Information Engineering, Hubei University, Wuhan 430062, China; 2.College of Telecommunications and Information Engineering, Nanjing University of Posts and Telecommunications, Nanjing 210003,China; 3.Service and CPE Business Unit, Fiberhome Telecommunication Technologies Co.,Ltd., Wuhan 430073, China)

To overcome the disadvantanges of center-surround contrast which is widely used for visual saliency detection, a novel contrast computational scheme, namely corner-surrond contrast, is presented to accurately detect salient regions from background. The center-surround contrast may involve the inaccurate segmentation, and even results in incorrect detection results. Only using center-surround contrast is not efficient to encode object saliency. The corner-surroud contrast not only considers the appearance difference between center and corner regions, but also takes into account their relative location. Then a kernel-based fusing framework is designed to produce the saliency map using a series of contrast measurements, and the final binary segmentation is achieved using graph cut algorithm. The experiments demonstrate that CSC can capture local dissimilarity of salient objects, and improve segmentation accuracy and saliency localization. Furthermore, CSC can generate precise salient segmentation with less noises from the backgrounds, and gains significantly in terms of saliency detection.

visual attention; background prototype; corner-surround contrast; center-surround contrast; salient object detection

2017-05-01；

2017-05-23。

國家自然科學基金(61301144；61601175)。

張 偉(1979-)，男，湖北武漢人，博士，講師，碩士研究生導師，主要從事圖像處理、無線通信方向的研究。

周 全(1980-)，男，湖北鄂州人，博士，副教授，碩士研究生導師，主要從事多媒體通信及信息處理、視頻編碼技術(shù)方向的研究。

沈瓊霞(1980-)，女，湖北天門人，博士，高級工程師，主要從事無線通信、多媒體通信方向的研究。

1671-4598(2017)09-0013-04

10.16526/j.cnki.11-4762/tp.2017.09.004

TP391.413

A