（1.上海應(yīng)用技術(shù)學(xué)院 計算機(jī)科學(xué)與信息工程學(xué)院， 上海 201418； 2.華東理工大學(xué) 自動化研究所， 上海 200237）

摘 要： 現(xiàn)有的顯著性檢測結(jié)果普遍含噪及未能完整高亮顯著物體，使得后續(xù)的顯著目標(biāo)檢測仍是一個具有挑戰(zhàn)性的問題。提出了一種結(jié)合超像素分割和閾值分割的新的顯著目標(biāo)檢測算法。算法首先利用超像素分割方法對原圖像進(jìn)行分割計算，然后依據(jù)顯著性檢測結(jié)果計算每一個分割區(qū)域像素的平均顯著度值，接著用平均顯著度值表示超像素內(nèi)每一個像素的原顯著度值，最后根據(jù)閾值分割算法對其進(jìn)行計算獲取二值掩碼圖以表示顯著目標(biāo)檢測結(jié)果。實驗結(jié)果表明，在4種具有代表性的顯著圖上，所提算法能有效檢測顯著目標(biāo)，具有較高的正確率、召回率和F度量值。

關(guān)鍵詞： 顯著目標(biāo)檢測； 超像素分割； 閾值分割； 感興趣區(qū)域

中圖分類號： TN919.8?34 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2016）14?0095?05

Salient object detection algorithm combining superpixel segmentation

with threshold segmentation

ZHANG Qing1， LIN Jiajun2

（1. College of Computer Science and Information Engineering， Shanghai Institute of Technology， Shanghai 201418， China；

2. Institute of Automation， East China University of Science and Technology， Shanghai 200237， China）

Abstract： The current saliency detection result usually contains noise， and can’t highlight the salient object completely， which makes the subsequent salient object detection be still a challenging problem， so a new salient object detection algorithm combining superpixel segmentation with threshold segmentation is proposed. In this algorithm， the superpixel segmentation method is used to segment and compute the original image， and according to the saliency detection result， the average saliency value of each segmentation area pixel is computed to express the original saliency value of each pixel in superpixel， then the threshold segmentation algorithm is used to compute the average saliency value to gain the binary mask map for expressing the salient object detection result. The experimental results show that the proposed algorithm can detect the salient objects in four representative saliency maps effectively， and has higher accuracy， recall rate and F?measure.

Keywords： salient object detection； superpixel segmentation； threshold segmentation； region of interest

0 引 言

圖像作為視覺信息的主要表達(dá)手段，是人類感知客觀世界的主要信息來源。傳統(tǒng)的圖像處理方法將圖像的所有區(qū)域賦予相同的優(yōu)先處理等級，然而實際上人們主要關(guān)心的處理對象內(nèi)容通常僅占圖像中的一小部分；因此，由計算機(jī)自動檢測出圖像的主要內(nèi)容或感興趣對象的顯著目標(biāo)檢測方法可以大大提高計算機(jī)信息處理效率。顯著目標(biāo)檢測的研究成果可以廣泛應(yīng)用于許多計算機(jī)視覺任務(wù)，如圖像/視頻壓縮[1]、目標(biāo)追蹤[2]、基于內(nèi)容的圖像檢索[3?4]、圖像質(zhì)量評價[5]和目標(biāo)識別[6?8]等。

完整的顯著目標(biāo)檢測算法一般處理過程主要分為兩步：

（1） 根據(jù)視覺注意力模型計算圖像的顯著圖，顯著圖記錄圖像中每個像素的顯著度值，一般使用灰度圖來表示，簡稱顯著性檢測；

（2） 對顯著圖進(jìn)行提取處理，用一幅二值掩碼圖表示最后的顯著目標(biāo)檢測結(jié)果，簡稱顯著目標(biāo)檢測，這是本文主要的研究內(nèi)容。

目前顯著性檢測算法大體上分為兩大類：基于局部對比度和基于全局對比度。在基于局部對比度算法中，Cheng等提出了基于區(qū)域?qū)Ρ榷鹊娘@著圖檢測方法[9]，結(jié)合圖像分割算法，充分考慮到圖像的局部性特征，取得了較好的效果，但其運(yùn)行效率相對較低。在基于全局對比度算法中，Goferman等基于全局考慮來進(jìn)行顯著圖檢測[10]，但由于只疊加[K]個最相近單元對比度的策略，檢測結(jié)果有時會無法達(dá)到全局對比度的效果。Cheng等提出的基于全局直方圖對比度得到顯著圖算法在運(yùn)行時間效率方面取得了較好的結(jié)果[11]。

與現(xiàn)有的顯著性檢測研究成果相比，在顯著圖基礎(chǔ)上進(jìn)行顯著目標(biāo)檢測提取的研究還較少，主要分為兩大類：用一矩形表示的顯著區(qū)域檢測和具有完整物體輪廓的顯著目標(biāo)檢測。在顯著區(qū)域檢測方面，文獻(xiàn)[12]提出采用窮舉方式搜索一至少包括顯著圖95%顯著點(diǎn)的最小矩形區(qū)域以表示顯著目標(biāo)。然而顯著區(qū)域與全圖顯著點(diǎn)的比值與顯著物體的形狀、大小以及輸入圖像的背景復(fù)雜度等均有關(guān)系，很難僅用一個預(yù)定義的閾值簡單表示，并且窮舉搜索會導(dǎo)致算法運(yùn)行效率低下。Luo等提出基于顯著密度最大化算法[13]，根據(jù)顯著區(qū)域的顯著密度大于背景區(qū)域這一特征建立目標(biāo)函數(shù)，直接在顯著圖上采用有效子窗口搜索算法[14]加速顯著區(qū)域搜索效率。該算法需要根據(jù)不同的顯著圖檢測算法調(diào)整算法參數(shù)以平衡檢測窗口的尺寸。Wang等提出了一個自動上下文相關(guān)的算法[15]，結(jié)合空間先驗信息和外觀更新模型，使前景物和背景在迭代過程中的能量最小化，從而獲取顯著目標(biāo)。但是這類方法不適用于具有復(fù)雜背景的圖像，并且通常需要先驗知識以提高分割效果。在顯著目標(biāo)檢測方面，現(xiàn)有的算法較多的是使用一閾值對顯著圖進(jìn)行二值化分割處理以獲取顯著目標(biāo)[16]。文獻(xiàn)[17]采用2倍平均顯著度的方法提取顯著目標(biāo)。文獻(xiàn)[18]提出采用3倍平均顯著度作為閾值得到一張二值化的掩碼圖來表示圖像中感興趣的目標(biāo)。文獻(xiàn)[19]提出使用[K]均值聚類分割圖像，當(dāng)某個區(qū)域的平均顯著度大于預(yù)設(shè)的常數(shù)閾值時，便認(rèn)為該區(qū)域?qū)儆陲@著目標(biāo)。文獻(xiàn)[20]隨后提出了改進(jìn)算法，使用均值漂移算法進(jìn)行分割，并用自適應(yīng)閾值取代常數(shù)閾值進(jìn)行顯著目標(biāo)檢測。文獻(xiàn)[21]提出采用矩量保持法進(jìn)行顯著目標(biāo)的分割。

本文提出一種簡單的結(jié)合超像素分割算法和閾值分割算法的顯著目標(biāo)檢測算法，首先利用簡單線性迭代聚類的超像素分割算法對自然圖像進(jìn)行分割處理，接著根據(jù)顯著圖計算每個超像素的平均顯著度值，最后利用閾值分割方法得到二值掩碼圖標(biāo)識顯著目標(biāo)。

本文所提算法在公開的ASD基準(zhǔn)數(shù)據(jù)集上進(jìn)行測試，并且與現(xiàn)有的相關(guān)算法進(jìn)行比較。實驗結(jié)果表明，本文所提算法無需事先具備顯著物體形狀、大小等先驗知識，與已有的相關(guān)方法相比，具有較好的檢測效果，在正確率、召回率和F度量值等客觀評價指標(biāo)方面均有提高。

1 超像素分割

超像素生成技術(shù)是將圖像中一些具有相似性質(zhì)的點(diǎn)進(jìn)行聚類[22]，從而將圖像過分割的一種圖像分割算法。在圖像的一個封閉區(qū)域內(nèi)具有相同或近似顏色或者紋理等特征的像素集合稱為超像素。超像素作為像素點(diǎn)的聚類已經(jīng)廣泛應(yīng)用于圖像分割、圖像分類等領(lǐng)域。超像素分割的結(jié)果是具有一定視覺感知意義的原子區(qū)域，具有人類理解圖像的一定語義信息，減少了圖像像素間的冗余度。

一般的超像素算法通常不能控制超像素的數(shù)量，且形成的超像素形狀不規(guī)則。本文所提算法利用簡單線性聚類（Simple Linear Iterative Clustering algorithm with 0 parameter， SLIC0）超像素方法[23]對原圖像進(jìn)行分割，產(chǎn)生形狀較為規(guī)則的超像素。SLIC算法將圖像附近的像素聚集為超像素，再將超像素看作圖中的每個結(jié)點(diǎn)實現(xiàn)圖像分割，該算法具有速度快、超像素個數(shù)可控、邊緣覆蓋比較準(zhǔn)確且生成的超像素比較均勻的特點(diǎn)。

如圖1所示，原圖像經(jīng)過SLIC0分割，輸出500個具有相似顏色、紋理特征的超像素塊，圖中向日葵的外輪廓、葉子的形狀以及白色背景區(qū)域被清晰劃分開來。

算法主要步驟如下：

步驟1：將輸入RGB圖像轉(zhuǎn)換到CIELab顏色空間。

步驟2：假設(shè)給定圖像有[N]個像素，擬分割為[K]個超像素，則每個超像素的大小為[NK]，每個聚類中心的距離為[A=NK]。將聚類中心移動到以其為中心的[3×3]窗口內(nèi)梯度值最小的位置以避免聚類中心在圖像的邊緣位置。

步驟3：算法利用一個五維特征向量（[CIELab]顏色空間的亮度信息[L]和顏色信息[a]，[b]以及像素的[x]，[y]坐標(biāo)值）表示像素特征信息。根據(jù)距離函數(shù)[dlab]（見式1），判斷每一個聚類中心[2S×2S]范圍內(nèi)的像素點(diǎn)是否屬于該類，將每一類像素點(diǎn)都貼上相同的標(biāo)簽：

[dlab=（lk-li）2+（ak-ai）2+（bk-bi）2] （1）

其中[[lk，ak，bk，xk，yk]T]為第[k]個聚類中心。

步驟4：根據(jù)得到的每一類像素點(diǎn)，重新計算該類的聚類中心。

步驟5：不斷迭代計算步驟（4）和步驟（5），直至算法收斂或迭代次數(shù)小于某個上限。

步驟6：通過距離比較，將一些剩余的點(diǎn)歸到已有的類中。

2 閾值分割

在眾多圖像分割算法中，閾值化分割因其極致簡約和高效實用而得到最多應(yīng)用。閾值分割的基本思想是在圖像最小灰度和最大灰度之間確定一個閾值，然后將圖像中所有像素按其灰度級以該閾值為界分為兩類。本文所提算法利用著名的Otsu方法將經(jīng)超像素分割計算后的顯著圖二值化。

Otsu方法利用統(tǒng)計學(xué)習(xí)中的方差分析理論，通過最大化類間方差或等價的最小化類內(nèi)方差來求取最佳閾值，Otsu方法因計算簡單、實時性高、魯棒性強(qiáng)的特點(diǎn)而被廣泛使用[24]。

給定一幅[N]個像素的灰度圖像的灰度級數(shù)為[L]，其中，灰度[i]的像素個數(shù)為[ni]，則灰度為[i]（[i∈{0，1，2，…，L-1}]）的像素的頻率為[pi=niN]。假定有閾值[t]將輸入圖像中灰度不大于[t]的像素分為背景[B]，將灰度大于[t]的像素歸為目標(biāo)[O]，則某一像素被分為背景和目標(biāo)的概率分別為：

則分配到背景和目標(biāo)中的像素的類內(nèi)灰度均值分別為：

根據(jù)Otsu算法準(zhǔn)則得到最佳閾值[t?]為：

3 本文算法

本文所提算法提出了一種基于SLIC0超像素分割算法和Otsu閾值分割算法的顯著目標(biāo)檢測算法，該方法比較簡單，依據(jù)SLIC0超像素分割結(jié)果對顯著圖進(jìn)行計算，用超像素的平均顯著度值取代該超像素內(nèi)每個原始像素的顯著度值，再利用Otsu算法進(jìn)行二值分割從而獲取掩碼圖以標(biāo)識顯著目標(biāo)。

算法主要流程如圖2所示。

本文算法主要步驟如下：

步驟1：利用SLIC0算法對原始[RGB]圖像[I]（見圖3（a））進(jìn)行超像素分割，對屬于同一類的像素賦予相同的標(biāo)簽值，得到標(biāo)簽圖[labels]。

步驟2：根據(jù)標(biāo)簽圖[labels]和顯著圖[S]（見圖3（b））計算每個超像素的平均顯著度值[Vk]：

[Vk=1rki，j∈rkS（i，j）] （7）

式中：[rk]表示每個超像素區(qū)域；[rk]表示分割區(qū)域的像素個數(shù)；[S（i，j）]表示坐標(biāo)位置為[（i，j）]的像素顯著度值。

步驟3：超像素中的每個像素值均用平均值[Vk]替代得到顯著圖[S′]（見圖3（c））；

步驟4：運(yùn)用Otsu算法對顯著圖[S′]進(jìn)行閾值化分割得到二值掩碼圖[maskmap]（見圖3（d））；

步驟5：根據(jù)掩碼圖[maskmap]從原[RGB]圖像中提取顯著目標(biāo)（見圖3（e））。

4 實驗結(jié)果與分析

本文所提算法在PC機(jī)上，基于Matlab R2011b實現(xiàn)算法，運(yùn)行環(huán)境是WIN7，計算機(jī)配置為Intel Core i7?4790 CPU（3.6 GHz），16 GB內(nèi)存。算法在公開測試集[ASD]上進(jìn)行測試，這是目前使用最為廣泛的顯著目標(biāo)數(shù)據(jù)測試集，包括1 000張彩色圖像和1 000張基準(zhǔn)圖像。

為了驗證所提算法性能，用5種相關(guān)的且性能較好的顯著目標(biāo)檢測方法對由4種現(xiàn)有檢測性能較好的且具有代表性的顯著性檢測算法生成的顯著圖進(jìn)行顯著目標(biāo)檢測提取。5種顯著目標(biāo)檢測算法分別為：利用均值漂移和2倍平均顯著值進(jìn)行二值化分割[20]（FT1法）、利用[K]均值聚類和固定閾值進(jìn)行二值化分割[19]（AC法）、利用3倍均值進(jìn)行分割[8]（SR法）、利用矩量保持算法獲取分割閾值[21]（Tsai法）和較多文獻(xiàn)使用的2倍平均顯著值法[7]（FT2法）。4種顯著性檢測算法分別為：IG算法[20]、AC算法[19]、HC算法[11]和RC算法[9]。其中：AC算法和RC算法利用局部對比度建模；HC算法利用全局對比度建模；而IG算法則是從頻域角度出發(fā)設(shè)計算法。這四種算法是目前比較具有代表性的顯著圖檢測算法[7]。測試中，現(xiàn)有算法參數(shù)選取均按照其作者在原文獻(xiàn)中的取值。

4.1 算法檢測性能比較與分析

針對每一幅測試圖像，本文使用正確率、回召率和[F]度量這3個客觀評價指標(biāo)衡量提出算法的檢測效果，并與現(xiàn)有的5個相關(guān)算法進(jìn)行性能比較。[F]度量是個綜合性指標(biāo)，評價算法在正確率和回召率這兩方面的綜合表現(xiàn)。

式中：[Sd]是算法檢測得到的顯著區(qū)域；[Sg]是基準(zhǔn)；參照文獻(xiàn)[7]，平衡因子[α]取值為[0.3]。

圖4是本文算法與相關(guān)算法在不同顯著圖上進(jìn)行顯著目標(biāo)檢測提取的性能比較結(jié)果。如圖4所示，針對1 000幅顯著目標(biāo)檢測圖像測試數(shù)據(jù)集，本文所提算法在4種顯著圖上的平均F度量值均高于其他5種相關(guān)的顯著目標(biāo)檢測算法。在AC顯著圖上，本文所提算法的平均F度量值較相關(guān)的五種算法FT1，AC，SR，Tsai和FT2分別提高了5.31%，3.25%，25.30%，19.73%和10.48%。在IG顯著圖上，本文所提算法的平均F度量值較相關(guān)的5種算法分別提高了5.91%，42.37%，33.46%，5.78%和7.41%。在HC顯著圖上，本文所提算法的平均F度量值較相關(guān)的5種算法分別提高了3.25%，46.78%，22.83%，4.04%和4.62%。在RC顯著圖上，本文所提算法的平均F度量值較相關(guān)的5種算法分別提高了16.94%，170.27%，116.67%，5.57%和17.06%。

圖5是本文算法與FT1，AC，SR，Tsai和FT2算法對IG顯著圖檢測得到的部分顯著目標(biāo)檢測結(jié)果的視覺直觀效果對比。本文算法的檢測結(jié)果能較準(zhǔn)確和全面地檢測到顯著區(qū)域，一方面較好抑制顯著性噪聲影響，另一方面亦能比較完整得突出整個顯著區(qū)域（見圖5（g））。AC方法檢測效果較不穩(wěn)定，對于第4和第5張測試圖像均能較好完整檢測出顯著目標(biāo)，但對第3和第6張測試圖像抑制噪聲情況較差（見圖5（c）），即其算法的召回率較好但正確率略低。從圖5（d）可以看出，SR算法在抑制噪聲方面表現(xiàn)較好，但未能完整檢測提取出顯著目標(biāo)，及其算法的正確率較好但召回率偏低。FT1，Tsai和FT2方法檢測結(jié)果較為接近。圖5的視覺直觀檢測效果對于與圖4（b）的平均統(tǒng)計結(jié)果一致。

4.2 算法時間性能比較與分析

表1是本文算法與相關(guān)的5種算法FT1，AC，SR，Tsai和FT2的運(yùn)行時間比較。由于SR，Tsai和FT2不使用任何分割算法對原圖像進(jìn)行預(yù)分割操作，直接在顯著圖上計算獲取二值化閾值，因此其算法執(zhí)行時間相對較短，而本文所提算法、AC和FT1算法均采用了分割算法對原圖像進(jìn)行了預(yù)分割處理，因此計算機(jī)執(zhí)行時間相對較長。由于SLIC0算法較均值漂移和[K]均值算法簡單，執(zhí)行速度快，因此本文所提算法較AC和FT1算法運(yùn)行效率更高。

5 結(jié) 語

本文提出了一種較簡單的基于超像素和閾值分割相結(jié)合的顯著目標(biāo)檢測算法，使用SLIC0算法對原始圖像進(jìn)行分割計算，根據(jù)顯著圖獲取每個超像素的平均顯著度值，再結(jié)合Otsu分割方法確定二值化閾值以獲取具有輪廓信息的顯著目標(biāo)。

本文所提算法較現(xiàn)有相關(guān)算法提高了檢測效果，且對各種顯著圖均具有較好的檢測效果。所提算法適用于單目標(biāo)的顯著目標(biāo)檢測，今后可結(jié)合圖像語義化線索或深度信息進(jìn)行多目標(biāo)檢測研究。

參考文獻(xiàn)

[1] GUO C， ZHANG L. A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression [J]. IEEE transactions on image processing， 2010， 19（1）： 185?198.

[2] LI J， LEVINE M， AN X， et al. Visual saliency based on scale?space analysis in the frequency domain [J]. IEEE transactions on pattern analysis and machine intelligence， 2013， 35（4）： 357?366.

[3] SUN J， XIE J， LIU J， et al. Image adaptation and dynamic browsing based on two?layer saliency combination [J]. IEEE transactions on broadcasting， 2013， 59（4）： 602?613.

[4] 趙宏偉，李清亮，劉萍萍.基于分級顯著信息的空間編碼方法[J].電子學(xué)報，2014，42（9）：1863?1867.

[5] 徐少平，楊榮昌，劉小平.信息量加權(quán)的梯度顯著度圖象質(zhì)量評價[J].中國圖象圖形學(xué)報，2014，19（2）：201?210.

[6] SHEN H， LI S， ZHU C， et al. Moving object detection in aerial video based on spatiotemporal saliency [J]. Chinese journal of aeronautics， 2013， 26（5）： 1211?1217.

[7] 趙丹培，肖騰蛟，史駿，等.基于顯著語義模型的機(jī)場與油庫目標(biāo)的識別方法[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2014，26（1）：47?55.

[8] REN Z， GAO S， CHIA L T， et al. Region?based saliency detection and its application in object recognition [J]. IEEE transactions on circuits and systems for video technology， 2014， 24（5）： 769?779.

[9] 張巧榮，景麗，肖會敏，等.利用視覺顯著性的圖像分割方法[J].中國圖象圖形學(xué)報，2011，16（5）：767?772.

[10] CHENG M， MITRA N， HUANG X， et al. Global contrast based salient region detection [J]. IEEE transactions on pattern analysis and machine intelligence， 2015， 37（3）： 569?582.

[11] GOFERMAN S， ZELNIK L， TAL A. Context?aware saliency detection [C]// Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recognition. California： IEEE， 2010： 2376?2383.

[12] CHENG M， ZHANG G， MITRA N， et al. Global contrast based salient region detection [C]// Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition. Colorado： IEEE， 2011： 409?416.

[13] LIU T， YUAN Z， SUN J， et al. Learning to detect a salient object [J]. IEEE transactions on pattern analysis and machine intelligence， 2011， 33（2）： 353?367.

[14] LUO Y， YUAN J， XUE P， et al. Saliency density maximization for efficient visual objects discovery [J]. IEEE transactions on circuits and systems for video technology， 2011， 21（12）： 1822?1834.

[15] CHRISTOPH H， LAMPERT B， HOFMANN T. Efficient subwindow search： a branch and bound framework for object localization [J]. IEEE transactions on pattern analysis and machine intelligence， 2009， 31（2）： 2129?2141.

[16] WANG L， XUE J， ZAHNG N， et al. Automatic salient object extraction with contextual cue [C]// Proceedings of 2011 IEEE International Conference on Computer Vision. Barcelona： IEEE， 2011： 1028?1035.

[17] YANG C， ZHANG L， LU H， et al. Saliency detection via graph?based manifold ranking [C]// Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland： IEEE， 2013： 3166?3173.

[18] HOU X， ZHANG L. Saliency detection： a spectral residual approach [C]// Proceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis： IEEE， 2007： 1?8.

[19] ACHANTA R， ESTRADA F， WILS P， et al. Salient region detection and segmentation [C]// Proceedings of 2008 6th International Conference on Computer Vision Systems. Greece： Springer， 2008： 66?75.

[20] ACHANTA R， HEMAMI S， ESTRADA F. Frequency?tuned salient region detection [C]// Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami： IEEE， 2009： 1597?1604.

[21] VIKRAM T， TSCHEREPANOW M， WREDE B. A saliency map based on sampling an image into random rectangular regions of interest [J]. Pattern recognition， 2012， 45（9）： 3114?3124.

[22] YANG L， TIAN J， WU D. Content based image authentication by feature point clustering and matching [J]. Security and communication networks， 2012， 5（6）： 636?647.

[23] ACHANTA R， SHAJI A. SLIC superpixels compared to state?of?the?art superpixel methods [J]. IEEE transactions on pattern analysis and machine intelligence， 2012， 34（11）： 2274?2282.

[24] 申鉉京，龍建武，陳海鵬，等.三維直方圖重建和降維的Otsu閾值分割算法[J].電子學(xué)報，2011，39（5）：1108?1114.