王 玉，彭曉明

（電子科技大學 自動化工程學院，四川 成都 611731）

基于低級特征圖最優(yōu)融合的顯著性目標檢測

王 玉，彭曉明

（電子科技大學 自動化工程學院，四川 成都 611731）

針對低水平特征顯著性目標檢測算法在檢測圖像時不能檢測到不同大小的目標，而且精確度較低的問題。提出一種新的算法，通過將顏色分布，方向對比度以及基于頻率信息這3種特征運用條件隨機場進行最優(yōu)全值線性融合后，得到更精確的顯著性目標。通過與10種經典的顯著性目標檢測算法進行的定量和定性的對比，實驗結果表明，提出的算法不僅可以有效地檢測到大、中、小顯著性目標，而且檢測的效果比其他算法精確度高。

顯著性目標檢測；顏色分布；方向對比度；基于頻域信息

近年來，顯著性目標檢測受到了計算機視覺研究領域的大量關注。由于它在計算機視覺的諸多應用中都能發(fā)揮重要作用，越來越多的針對不同應用的研究逐年增加。研究發(fā)現(xiàn)，人類視覺注意力選擇機制包括兩個模式:自底向上[1]和自頂向下[2]。由于自頂向下的方法難以實現(xiàn)，因而目前大多數顯著性檢測算法都是基于自底向上的方法[3-4]，這些方法的視覺注意力都是由較低級的特征（如對比、亮度和顏色）驅動。

Itti等人[5]最早提出了顯著性檢測的算法，其算法主要是提取出輸入圖像的顏色，方向和亮度特征，然后每個特征圖的顯著性通過中心—周圍算子計算出來，并合并成一幅顯著圖。最近，一些以全局對比為基礎的顯著性檢測方法被提出，從而彌補了基于局部對比算法的缺點。然而，這些模型僅僅考慮了一種基于顏色的低級特征，而忽略其他特征，比如方向特征。此外，在顯著目標檢測領域中，基于頻域信息進行檢測的方法與其他方法非常不同，它將空域的信息轉換到頻域上，然后在頻域中進行顯著目標檢測。Achanta[6]等人通過在頻域中非顯著區(qū)域的定義來對顯著目標進行檢測。該算法將容易被人類視覺忽略的區(qū)域定義為非顯著性區(qū)域，然后抑制這些區(qū)域來進行顯著性目標檢測。但是該方法的缺點是算法在抑制冗余信息的同時也抑制了顯著性區(qū)域，這樣就會造成目標內部區(qū)域的空洞。

針對以上算法的不足，文中從兩個方面對基于低級特征的顯著性目標檢測算法進行了改進：文中選取圖像中表現(xiàn)較好的低級特征作為檢測的預處理單元，提高檢測的精度；此外，與之前融合的算法不同，文中的融合算法在之前算法基礎上做出創(chuàng)新，分配給每個特征圖最優(yōu)權重，使每個特征圖之間達到互補。經本文改進后的算法這樣不僅可以實現(xiàn)對不同大小尺寸目標的檢測，而且檢測結果更精確。

1 相關算法基礎

近年來，顯著性檢測與圖像處理有著密不可分的關系，圖像處理依賴于高質量的顯著圖才能得到較好的處理結果。顯著性檢測算法中低級圖像視覺特征的使用非常廣泛，一些基于低級特征（如：顏色，方向，頻域）的顯著性目標檢測方法被提出，文中提出的算法是以低級特征（如：顏色，方向，頻域）算法為基礎，所以下面將對此做出介紹。

1.1 顏色分布算法

人類的視覺注意力首先會對圖像中的顏色感興趣，因此顏色分布的特征計算是很有必要的。通常情況下，圖像的背景的顏色分布很廣，而前景即目標的顏色分布很少，由此來看圖像中顏色分布越少的區(qū)域就越有可能是顯著性區(qū)域?；谶@一原理，對于某一顏色的全局空間分布能更好的描述被檢測目標的顯著性，將顏色空間分布特征定義為顏色方差之和，即利用顏色空間分布計算了各個顏色所占的比重來檢測顯著性目標。本文采用高斯混合模型（GMM）[7]計算顏色方差，從而描述某一顏色的空間分布。計算每個像素的顏色成分比重用條件概率，然后計算每一個顏色成分的水平方差Vh（c）和垂直方差Vv（c），之后分別對每個顏色成分的水平方差和垂直方差求和，得到每一個顏色的空間分布方差得到每個顏色成分的空間方差|x|c=Vv（c）+Vh（c）。定義加權的空間方差之和為顏色分布特征，定義如下:

圖像中的所有顏色利用高斯混合模型計算出每一個像素的顏色所占的不同比重，而顏色所占比重越小的說明其越有可能屬于顯著性區(qū)域的顏色，由此可初步判定屬于顯著區(qū)域。

1.2 方向對比度算法

在一幅圖像中以局部的信息為基礎，也可以用來描述顯著性目標，而本文對于局部方向對比度特征的計算是采用中央--周圍算子[8]。因此本文較好地結合了局部和全局特征，這樣能更精確地對顯著性目標進行檢測。方向對比度就是通過比較圖像中角度的變化來實現(xiàn)的，如果某像素的角度差異越大，該點的顯著值就越大，由此可計算出顯著目標。

方向對比度的計算首先對輸入圖像構建出高斯金字塔，在每一層高斯金字塔中有不同尺度的基于方向的特征，然后分別將其提取出來作差，利用中心-周圍算子計算出圖像中方向的對比度，將上述得到的特征圖歸一化到[0 1]區(qū)間，接下來分別疊加歸一化后的方向對比的特征圖，這樣就得到了基于對比度方向的特征圖。

1.3 基于頻域信息

在顯著目標檢測領域中，基于頻域信息的顯著性檢測算法與其他算法所不同的地方是，它巧妙地將空域的信息轉換到頻域上，然后在頻域中定義顯著目標并進行檢測。非顯著性區(qū)域，即圖像中對應著大面積的一致區(qū)域或重復區(qū)域，人們的視覺對其并不敏感，抑制這些區(qū)域就能使顯著目標自動突顯。文中方法就是利用SR[9]算法原理，將顯著性區(qū)域表示為圖像的log振幅譜與平均log振幅譜之差，其公式如下：

其中，L（f）是輸入圖像的log振幅譜，將L（f）進行3*3的均值濾波得到的平均振幅譜A（f），相位譜P（f），R（f）就是圖像的幅度譜殘差。將幅度譜殘差R（f）和相位譜P（f）進行傅立葉反變換，計算出圖像的顯著性如式（3），為了得到效果更好的顯著圖，在此基礎上作了高斯平滑，得到原圖的顯著圖S（x）。

2 改進的最優(yōu)融合算法

顯著性檢測中選擇不同特征圖作為算法融合的對象對于檢測效果有很大影響，本文選取的低級特征是顏色分布特征，方向對比度特征及基于頻域信息特征。這是因為顏色特征以全局性提取出顯著性區(qū)域，結果較為準確，但是如果輸入的圖像中包含很多顏色，或者是只包含的顏色非常相近，基于顏色特征的顯著性目標檢測算法對這些圖像檢測很困難，因此有必要考慮到基于方向對比度的計算，方向對比度是以局部比較計算出顯著性目標，這不僅彌補顏色特征的不足，而且加強了目標的邊界，但是也會帶來目標區(qū)域的“空洞”，而基于頻域信息的特征可有效地抑制背景冗余信息，從而使前景（目標）區(qū)域凸現(xiàn)出來，換句話說，也就是加強了目標區(qū)域，從而彌補了基于顏色特征和基于方向對比度帶來的不足。

之前的很多算法都是基于圖像的低級特性的顯著性檢測，這就容易忽略掉顯著性目標的很多特征，導致檢效果不佳。也有算法是將低級特征結合，但是選取特征都不太理想，而且結合的方式大多數是均值相加或簡單相乘，這導致每個特征都不是以最優(yōu)權重對圖像進行檢測，檢測效果自然就不理想。針對以上算法的不足，文中以全局和局部的觀點，選取了基于顏色的特征，基于方向的對比度，更巧妙的將頻域信息引入。而文中的融合算法也不是簡單相加或相乘，文中融合算法如下：

其中，式（4）是模型的概率分布，表示針對圖像中不同的情況，ωn權重分配不同。定義觀測圖像I，標簽狀態(tài)S={sx}，sx=0表示標記的為顯著區(qū)域，sx=1標記為非顯著區(qū)域。Z是分配函數，用于函數的歸一化處理。Fn=（sx，S）是單一變量的勢函數表示第n個顯著特征，其中λn表示第n個顯著特征的權重。Sn表示不同算法得到的低級特征圖，ωn表示針對圖像中不同的情況，根據式（5）得到的權重分配，使各個特征圖得到最優(yōu)權重，實現(xiàn)了圖像中目標尺寸大小不同的準確檢測。文中算法就是將這3個特征以最優(yōu)權重進行融合，使每個特征圖達到互補，這樣不僅可以實現(xiàn)對不同大小尺寸目標的檢測，而且檢測結果更精確。

3 實驗結果與分析

文中提出的算法的對比實驗是在微軟亞洲研究院提供大量的圖像數據庫MSRA[7]中進行，MSRA數據庫是顯著性檢測運用較為廣泛的一個公開數據。程序用Matlab編寫，其核心部分由C++編程實現(xiàn)，并在Matlab 2013環(huán)境下實現(xiàn)。此外，文中采用精確率（Precision），召回率（Recall）和 F-值（F-measure）這3個性能指標作為定量比較的標準。

將上面介紹的顏色空間分布，方向對比度和基于頻率信息的特征通過條件隨機場融合，得到最終所要的結果。如圖1所示，第一列為原始圖像，然后分別是基于顏色特征圖，基于方向對比度特征圖，基于頻域信息特征圖以及本文提出的最優(yōu)融合特征圖算法所檢測的顯著圖，最后一列是“ground-truth”圖。從圖1中看出，基于顏色特征的圖像還有大量的背景冗余信息，而基于方向對比度特征的圖像只能檢測到圖像的邊界，基于頻域特征圖在抑制背景的同時，也會抑制目標區(qū)域，而本文提出的最優(yōu)融合這3種特征的算法彌補了各個特征的不足，從圖1中可直觀看出本文提出的算法檢測效果明顯比單獨使用低級特征檢測的效果好。不同特征圖與本文算法的精確度比較如圖2所示，從圖2可以看出，將以上特征進行最優(yōu)全值線性融合后的算法的精確率最高，因此有必要將這3個特征進行最優(yōu)線性融合。

圖1 特征圖與本文算法效果圖對比

圖2 不同特征圖以及本文算法平均精確率比較

將本文算法與10種較為經典也是檢測效果較好的顯著性檢測方法分別進行定量和定性的比較，這 10種算法包含：IT[5]，SR[9]，GB[10]，AC[11]，F(xiàn)T[6]，MZ[12]，CA[13]，LC[14]，HC[15]和RC[15]。如圖3所示，采用精確率-召回率評價指標，對文中算法與10種顯著性檢測算法進行比較的曲線圖。從圖3中看出，文中的算法的精確率-召回率曲線明顯高于其他10種顯著性檢測算法。F-值是綜合評價精確率和召回率總體效果的評價指標，F(xiàn)-值越高，證明檢測的效果越好。F-值的比較結果如圖4所示，文中算法的F-值明顯高于其他10種算法，即文中提出的算法對于不同大小目標的檢測精度高于其他10種算法。

圖3 各種算法精確率-召回率曲線圖

圖4 不同算法的F-值比較

從MSRA數據庫中隨機抽取目標尺寸大小不一的圖像，將10種顯著性算法計算出的顯著圖對比本文算法得出的顯著圖如圖5所示。圖5中，從左到右依次為輸入的原圖像，IT，SR，GB，AC，F(xiàn)T，MZ，CA，LC，HC，RC，文中算法和“ground-truth”圖。

圖5 不同顯著性目標檢測算法的定性比較圖

從圖5中看出，這10種算法僅僅是針對圖像的某一特征進行研究，所檢測出的顯著圖也只表現(xiàn)出了一種特征，而文中算法是將圖像的低級特征圖進行了最優(yōu)融合，使圖像的每個特征得到互補，因此本文算法能更好地檢測到顯著性目標，不僅加強了目標邊界，而且還有效抑制了背景的冗余信息，使目標更突出，檢測的效果更精確。從主觀上比較，文中提出的算法可檢測不同大小目標的圖像，而且效果明顯比其他10種算法好。這與之前采用性能指標定量比較不同種算法得出的結果相同，表明本文算法思路的合理性。

4 結束語

針對以前的算法不能有效檢測不同大小的顯著性目標、檢測精度低的問題，文中提出了一種特征圖最優(yōu)融合的顯著性目標檢測算法，該算法不僅有效地將基于全局的顏色特征和基于局部的方向對比度特征進行結合，而且還巧妙地引入頻域信息特征，通過條件隨機場，將上述3種不同的特征以最優(yōu)權重線性融合得到更為精確的結果。通過定量和定性的實驗表明，文中所提出的算法與以前10種算法比較，文中算法不僅能有效地檢測到大、中、小目標，而且檢測的結果更精確。

[1]Sun J Y，Chen R F，He J．A Modified GBVS Method with Entropy for Extracting Bottom-Up Attention Information [Z]．Lecture Notes in Electrical Engineering，2012（121）:765.

[2]Frintrop S，Backer G，Rome E.Goal-directed search with a top-down modulated computational attention system[J].DAGM05，2005：117-124.

[3]Gao D，Vasconcelos N.Bottom-up saliency is a discriminant process[J].ICCV，2007.

[4]Sun J Y，Chen R F，He J．A Modified GBVS Method with Entropy for Extracting Bottom-Up Attention Information [Z]．Lecture Notes in Electrical Engineering，2012（121）:765.

[5]Itti L，Koch C，Niebur E.A model of saliencybased visual attention for rapid scene analysis[J]. IEEE Trans.Pattern Analysis and Machine Intelligence，1998，20（11）：1254-1259.

[6]Achanta R，Hemami S，Estrada F.Frequencytuned salient region detection [J].IEEE Conf. Comput.Vis.Pattern Recognit.（CVPR），2009：1597-1604.

[7]Liu T，Yuan Z，Sun J，et al.Learning to detect a salient object[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011，33（2）: 353-367.

[8]Perazzi F，Kr?henbühl P，Pritch Y，et al.Saliency filters:Contrast based filtering for salient region detection [J].Computer Vision and Pattern Recognition（CVPR），2012：733-740.

[9]Hou X D ，Zhang L Q.Saliency detection:A special residual approach[C].IEEE Conference on Computer Vision and Pattern Recognition. Washington D C:IEEE Computer Society Press，2007:1-8.

[10]Harel J，Koch C，Perona P.Graph-based visual saliency [J].Advance in Neural Information Processing Systems，2006（19）：545-552.

[11]Achanta，Radhakrishna.Salient region detection and segmentation [J].Computer Vision Systems. Springer Berlin Heidelberg，2008：66-75.

[12]Ma Y F，Zhang H J.Contrast-based image attention analysis by using fuzzy growing[C]//Proc. 11th Int.Conf.Multimedia，2003：374-381.

[13]Goferman S，Lihi Z M，Tal A.Context-aware saliency detection[C]//Proc.IEEE Conf.Comput. Vis.Pattern Recognit.，2010：2376-2383.

[14]Goferman S，Lihi Z M，Tal A.Context-aware saliency detection[C]//IEEE Conf.Comput.Vis. Pattern Recognit.，2010：2376-2383.

[15]Cheng M M，Zhang G X，Mitra N J，et al.Global contrast based salient region detection[C]//IEEE Conf.Comput.Vis.Pattern Recognit.，2011：409-416.

Salient object detection based on optimally combining low-level features

WANG Yu，PENG Xiao-ming
（School of Automation Engineering，University of Electronic Science and Technology of China，Chengdu 611731，China）

Salient object detection algorithm based on the low levels in the image does not detect different targets，nor have high accuracy.A new algorithm is proposed--the three characteristics of color distribution，direction contrast and frequency information are used for the optimal linear fusion to get a more accurate salient object.After the quantitative and qualitative comparison with 10 kinds of classic salient object detection algorithm，the experimental results show that the proposed algorithm not only can effectively detect the large，medium and small salient objects，but also has higher precision than other else.

salient object detection；color distribution；contrast orientation；frequency domain

TN919.8

：A

：1674－6236（2017）06-0181-04

2016-02-16稿件編號：201602049

中央高?；究蒲袠I(yè)務費專項（ZYGX2011J075）

王 玉（1991—），女，布依族，貴州安順人，碩士研究生。研究方向：模式識別、圖像處理、目標檢測。