林華鋒 李靜 劉國棟 梁大川 李東民

顯著性檢測(cè)是指模擬人類的視覺檢測(cè)機(jī)制,采用計(jì)算機(jī)視覺方法在一幅圖像中通過抑制圖像中冗余繁雜的背景信息提取出人們感興趣的物體.近年來,顯著性物體檢測(cè)的研究引起眾多學(xué)者的興趣,提出了許多顯著性檢測(cè)方法[1?6],并將其廣泛地應(yīng)用于圖像分割[7]、目標(biāo)識(shí)別[8?9]、圖像檢索[10]和圖像分類[11]等多個(gè)領(lǐng)域.

根據(jù)顯著性物體與背景區(qū)域具有較高對(duì)比度這一假設(shè),Cheng等[12]提出了基于“對(duì)比優(yōu)先”的顯著性檢測(cè)模型.當(dāng)一個(gè)顯著性物體包含多個(gè)對(duì)比度較大區(qū)域時(shí),該方法不能完整地提取顯著性物體.根據(jù)圖像邊界區(qū)域更有可能是背景這一假設(shè),Li等[3,13?16]提出了基于“背景優(yōu)先”的顯著性檢測(cè)模型.該類顯著性檢測(cè)方法將圖像邊界作為背景區(qū)域,通過計(jì)算每個(gè)區(qū)域與背景區(qū)域的相異度獲取顯著圖.但當(dāng)顯著性物體在背景區(qū)域中所占比例過大時(shí),檢測(cè)結(jié)果會(huì)有所偏差,同時(shí)最終的顯著圖中相鄰顯著性區(qū)域往往具有不連續(xù)顯著值.

針對(duì)以上顯著性模型存在的問題,結(jié)合顯著性物體具有顏色稀有性與空間分布聚集性等特征,本文提出了一種顯著性物體檢測(cè)方法,能夠有效檢測(cè)位于圖像邊緣的顯著性物體.該方法包含三個(gè)步驟:1)根據(jù)顯著性物體的顏色稀有性,提出了一種基于自適應(yīng)背景模板的顯著性檢測(cè)方法,獲取基于自適應(yīng)背景模板的顯著圖.該方法將圖像邊緣區(qū)域作為原始背景區(qū)域,當(dāng)顯著性物體位于圖像邊緣時(shí),原始背景區(qū)域中不可避免地會(huì)存在一些顯著區(qū)域.因此本文提出了一種自適應(yīng)背景選擇策略,能夠有效去除背景區(qū)域中的顯著區(qū)域,并將篩選后的背景區(qū)域作為自適應(yīng)背景模板.通過計(jì)算超像素塊與背景模板之間的相異度,獲取基于自適應(yīng)背景模板的顯著圖.由于獲取的顯著圖中屬于同一顯著性物體的相鄰超像素塊的顯著值不具有連續(xù)性,因此設(shè)計(jì)了一種基于K-means的傳播機(jī)制對(duì)其進(jìn)行了優(yōu)化,保證區(qū)域顯著性的一致性.2)根據(jù)顯著性物體的空間分布聚集性,提出了一種基于目標(biāo)中心優(yōu)先與背景模板抑制的顯著性檢測(cè)方法,獲取基于空間先驗(yàn)的顯著圖.該方法可增強(qiáng)位于邊緣區(qū)域的顯著物體的顯著性,同時(shí)抑制背景區(qū)域的顯著性,使對(duì)比效果更加明顯.3)將獲得的兩種顯著圖進(jìn)行融合得到最終的顯著圖.

本文結(jié)構(gòu)安排如下:第1節(jié)介紹顯著性物體檢測(cè)方法的相關(guān)研究工作;第2節(jié)介紹本文提出的基于自適應(yīng)背景模板與空間先驗(yàn)的顯著性物體檢測(cè)方法;第3節(jié)介紹本文方法與其他算法在標(biāo)準(zhǔn)數(shù)據(jù)集上的對(duì)比結(jié)果,對(duì)方法中各個(gè)組成部分進(jìn)行評(píng)測(cè),并將提出的算法用于基于Web的協(xié)同顯著性檢測(cè);第4節(jié)總結(jié)本文并討論進(jìn)一步的研究方向.

1 相關(guān)工作

由于顯著性檢測(cè)算法繁多,本節(jié)主要介紹基于“對(duì)比優(yōu)先”與“背景優(yōu)先”模型的顯著性檢測(cè)算法.其他顯著性檢測(cè)算法可參考文獻(xiàn)[17],該文獻(xiàn)詳細(xì)介紹了40種不同顯著性檢測(cè)算法及其性能.

基于“對(duì)比優(yōu)先”模型的顯著性算法可劃分為基于局部的顯著性檢測(cè)算法與基于全局的顯著性檢測(cè)算法兩大類.基于局部的方法通常假設(shè)某區(qū)域與其鄰域存在某種可量化的區(qū)分性.Itti等[18]根據(jù)人眼視覺特性,采用高斯金字塔非均勻采樣方法生成多個(gè)尺度圖像.針對(duì)每個(gè)尺度圖像,通過計(jì)算顏色、亮度、方向等底層特征的中心–周圍對(duì)比度得到相應(yīng)的顯著圖,融合多個(gè)尺度圖像生成的顯著圖獲取最終顯著圖.Ma等[19]等根據(jù)局部分塊在CIELuv空間上的顏色對(duì)比度,并結(jié)合模糊膨脹的方法計(jì)算像素點(diǎn)的顯著,進(jìn)而提出了基于模糊增長模型的顯著性檢測(cè)算法.Achanta等[20]采用多尺度雙窗口的形式,以內(nèi)外窗口的像素點(diǎn)在CIELab空間的距離作為顯著性度量,采用頻率調(diào)諧方法獲取相應(yīng)的顯著圖.但是,該方法只考慮了一階顏色特征,不足以分析復(fù)雜多變的自然圖像.Rahtu等[21]采用貝葉斯框架,計(jì)算局部中心與外圍邊緣像素點(diǎn)之間正規(guī)化的顏色對(duì)比度,得到顯著圖.但僅僅基于局部特征,往往突出物體邊緣或較小的局部物體,目標(biāo)內(nèi)部顯著值缺失.基于全局的顯著性檢測(cè)算法根據(jù)顯著性物體的獨(dú)特性獲取相應(yīng)的顯著圖.Cheng等[22]使用稀疏直方圖簡(jiǎn)化圖像顏色,采用基于圖的分割方法將圖像劃分為多個(gè)區(qū)域,根據(jù)與待測(cè)區(qū)域的空間距離越近對(duì)該區(qū)域顯著值的貢獻(xiàn)越大這一假設(shè),利用空間位置距離加權(quán)的顏色對(duì)比度之和來衡量圖像區(qū)域的顯著性.Perazzi等[23]采用一種基于對(duì)比度的顯著性檢測(cè)濾波器,通過區(qū)域唯一性以及空間分布估計(jì)圖像的顯著性.然而,上述方法雖然簡(jiǎn)單有效,但是位于顯著性目標(biāo)內(nèi)部的像素點(diǎn)可能被忽略,不能均勻的檢測(cè)出來.Margolin[24]首先將圖像劃分為多個(gè)超像素塊,并對(duì)其進(jìn)行主成分分析,將獲取的主成分之間的差異定義為模式可區(qū)分性,通過結(jié)合全局顏色對(duì)比度,獲取相應(yīng)的顯著圖.Yan等[25]通過將圖像劃分為多尺度圖層,針對(duì)每個(gè)圖層計(jì)算其顏色特征與空間特征的對(duì)比度,融合多個(gè)圖層生成的顯著圖獲取最終顯著圖.該方法能夠保證顯著性目標(biāo)的一致性與完整性,但當(dāng)顯著性目標(biāo)較小時(shí),會(huì)將顯著性目標(biāo)當(dāng)做背景融入到背景區(qū)域.Shen等[26]將圖像表示成某特征空間下的低秩矩陣(非顯著性區(qū)域)和稀疏噪聲(顯著性區(qū)域)的合成,并結(jié)合高層先驗(yàn)知識(shí),獲取顯著區(qū)域.

近年來,越來越多的自下而上的方法偏向于通過選擇圖像的邊緣作為背景種子來構(gòu)建顯著性圖.與基于“對(duì)比優(yōu)先”的顯著性檢測(cè)模型不同,基于“背景優(yōu)先”的顯著性檢測(cè)模型先確定背景區(qū)域,通過計(jì)算每個(gè)區(qū)域與背景區(qū)域的相異度獲取顯著圖.Wei等[2]通過分析背景區(qū)域的特征,基于背景先驗(yàn),即邊緣與連接性,將每一個(gè)區(qū)域與圖像邊緣的最短距離定義為其顯著性值,進(jìn)而提出基于測(cè)地線距離的顯著性檢測(cè)模型.Zhu等[27]根據(jù)圖像區(qū)域的空間分布,利用邊緣連接性提出了一種容錯(cuò)的顯著性檢測(cè)模型.Li等[3,16]采用稠密與稀疏重構(gòu)誤差模型獲取相應(yīng)的顯著圖,然后利用傳播機(jī)制對(duì)獲取的顯著圖進(jìn)行一致性優(yōu)化,利用貝葉斯算法對(duì)優(yōu)化后的顯著圖進(jìn)行融合.Yang等[13]通過流形排序計(jì)算每個(gè)區(qū)域圖像邊緣的相關(guān)性,并將其作為每個(gè)區(qū)域的顯著性值,進(jìn)而提出了基于流行排序的顯著性檢測(cè)模型.Jiang等[14]將圖像中的每個(gè)超像素塊映射為馬爾科夫鏈的狀態(tài),計(jì)算狀態(tài)之間的轉(zhuǎn)移時(shí)間,并將其作為該超像素塊的顯著性值,進(jìn)而提出了基于吸收馬爾科夫鏈的顯著性檢測(cè)模型.Xi等[28]通過計(jì)算圖像中每個(gè)超像素塊同位于圖像邊緣區(qū)域超像素塊的顏色對(duì)比度獲取初始顯著圖,利用提出的顯著圖優(yōu)化方法計(jì)算圖像中每個(gè)像素點(diǎn)的顯著值,進(jìn)而提出了一種基于背景優(yōu)先的顯著性檢測(cè)模型.Qin等[29]通過計(jì)算圖像中每個(gè)超像素塊與背景區(qū)域的對(duì)比度,獲取顯著性圖,然后提出了一種新型的基于元胞自動(dòng)機(jī)的傳播機(jī)制,對(duì)超像素塊的顯著性值進(jìn)行動(dòng)態(tài)更新,獲取最終的顯著圖.

2 本文方法

本節(jié)對(duì)提出的顯著性物體檢測(cè)方法SCB進(jìn)行詳細(xì)介紹.圖1為SCB的總體框架圖.其中,BG是原始背景區(qū)域;BT是背景模板;BTS是基于背景模板抑制的顯著圖.BTSP是傳播的BTS;SP是基于空間先驗(yàn)的顯著圖;BTSPS是最終的顯著圖;GT是人工分割圖.

圖1 SCB框架圖Fig.1 The framework of SCB salient detection method

SCB根據(jù)顯著性物體的顏色稀有性與空間分布聚集性獲取了基于自適應(yīng)背景模板的顯著圖與基于空間先驗(yàn)的顯著圖,通過融合兩種顯著圖獲取最終顯著圖.對(duì)給定的輸入圖像,先利用SLIC[30]超像素分割算法將輸入圖像分割成超像素塊.基于自適應(yīng)背景模板的顯著性物體檢測(cè)方法提取位于圖像四周邊界的超像素塊構(gòu)建原始背景區(qū)域,并使用自適應(yīng)選擇策略,去除原始背景區(qū)域中顯著的超像素塊.將篩選后的超像素塊作為自適應(yīng)背景模板,通過計(jì)算每個(gè)超像素塊與自適應(yīng)背景模板的相異度,獲取基于自適應(yīng)背景模板的顯著圖.為保證屬于同一顯著性物體的超像素塊具有連續(xù)的顯著值,使用K-means傳播機(jī)制對(duì)自適應(yīng)模板的顯著圖進(jìn)行優(yōu)化.為增強(qiáng)位于圖像邊緣顯著性物體的顯著性并抑制背景區(qū)域顯著性,提出了一種基于目標(biāo)中心優(yōu)先與背景模板抑制的空間先驗(yàn)方法,獲取基于空間先驗(yàn)的顯著圖.最終,融合優(yōu)化后的基于自適應(yīng)背景模板的顯著圖與基于空間先驗(yàn)的顯著圖,獲取最終的顯著圖.

2.1 基于自適應(yīng)背景模板的顯著圖

通過實(shí)驗(yàn)對(duì)比發(fā)現(xiàn),與基于“對(duì)比優(yōu)先”模型的顯著性物體檢測(cè)方法相比,基于“背景優(yōu)先”模型的顯著性檢測(cè)算法的性能更好.因此,根據(jù)顯著性物體的顏色特征稀有性,提出了一種基于“背景優(yōu)先”模型的顯著性檢測(cè)方法,即基于自適應(yīng)背景模板的顯著性檢測(cè)方法,獲取基于自適應(yīng)背景模板的顯著圖.

2.1.1 特征提取與超像素分割

Lab是最接近于人類視覺的一種均勻顏色空間,能夠同時(shí)反映圖像的亮度特征與顏色特征.空間位置特征能夠反映像素點(diǎn)的空間分布.因此,首先提取輸入圖像I中每個(gè)像素點(diǎn)的Lab特征與空間位置特征.根據(jù)提取的特征,利用SLIC分割算法將圖像I分割成超像素塊,其中N表示超像素塊的個(gè)數(shù).對(duì)于任一超像素塊可表示為一個(gè)5維的特征向量,由其包含的像素點(diǎn)的平均顏色特征和空間位置坐標(biāo)構(gòu)成.超像素塊由具有相似特征的像素點(diǎn)組成,基于超像素塊的顯著性物體檢測(cè)能夠有效提高顯著性物體檢測(cè)的效率.

2.1.2 自適應(yīng)背景模板構(gòu)造

根據(jù)圖像四周的邊界區(qū)域最有可能是背景這一特點(diǎn)[3],通過提取位于四周邊界的超像素塊構(gòu)造原始背景區(qū)域Ibr.當(dāng)顯著性物體位于圖像邊界時(shí),背景區(qū)域中不可避免地包含顯著的超像素塊.大部分基于“背景優(yōu)先”模型的方法直接利用原始背景區(qū)域進(jìn)行顯著性計(jì)算[3],導(dǎo)致顯著性檢測(cè)結(jié)果會(huì)有所偏差.為了提高顯著性物體檢測(cè)的魯棒性,本文提出了一種基于對(duì)比準(zhǔn)則與聯(lián)通性準(zhǔn)則的自適應(yīng)選擇策略,用于從原始背景區(qū)域中移除顯著的超像素塊,并將篩選后背景區(qū)域稱為自適應(yīng)背景模板.

1)對(duì)比準(zhǔn)則.根據(jù)顯著的超像素塊與背景超像素塊之間的顏色相異度遠(yuǎn)遠(yuǎn)大于兩個(gè)背景超像素塊之間的顏色相異度,移除原始背景區(qū)域中的顯著超像素塊,計(jì)算每個(gè)邊界超像素塊的對(duì)比權(quán)值:

2)連通性準(zhǔn)則.根據(jù)背景區(qū)域更容易連通圖像邊界這一特點(diǎn),移除原始背景區(qū)域中的顯著超像素塊.將區(qū)域R與圖像邊界相交區(qū)域的面積與整個(gè)區(qū)域面積平方根的商定義為R的連通性.

通過觀察可知,即使顯著性物體位于圖像邊界,顯著性物體與圖像邊界相交區(qū)域的面積遠(yuǎn)小于整個(gè)顯著性物體的面積.因此,如果一個(gè)超像素塊是顯著的,其所屬區(qū)域的連通性值一定遠(yuǎn)遠(yuǎn)小于背景超像素塊所屬區(qū)域的連通性值.使用無向加權(quán)圖[26]將超像素塊劃分為多個(gè)區(qū)域,兩個(gè)超像素塊與之間的測(cè)地線距離被定義為無向圖中最短路徑上所有邊的權(quán)值和.

根據(jù)式(7),計(jì)算原始背景區(qū)域中所有超像素塊權(quán)值的自適應(yīng)閾值T[12]

2.1.3 顯著性計(jì)算

如果一個(gè)超像素塊與自適應(yīng)背景模板的空間距離越近,那么自適應(yīng)背景模板對(duì)該超像素塊顯著值的影響就越大[12].因此,將空間位置距離加權(quán)的顏色對(duì)比度之和定義為超像素塊的顯著值:

圖2 基于自適應(yīng)背景模板的顯著圖Fig.2 Saliency maps based on adaptive background template

2.1.4 顯著性優(yōu)化

顯著性物體可能是由不同特征的顯著性超像素塊組合而成,因此,在獲取的基于背景模板的顯著圖中,屬于同一顯著性物體的相鄰超像素塊的顯著值往往具有不連續(xù)性.為保證顯著性物體的區(qū)域一致性,提出基于K-means聚類算法的傳播機(jī)制對(duì)基于自適應(yīng)背景模板的顯著圖進(jìn)行一致性優(yōu)化.

首先,利用K-means算法將超像素塊劃分為K個(gè)聚類,聚類中心為.如果根據(jù)經(jīng)驗(yàn)直接設(shè)置聚類個(gè)數(shù)或者僅僅利用超像素塊之間的顏色對(duì)比度進(jìn)行聚類,都可能將具有相似顏色特征的像素塊劃分到不同的聚類中.為解決上述問題,從兩個(gè)方面對(duì)K-means算法進(jìn)行優(yōu)化.1)根據(jù)圖像顏色特征的直方圖分布情況,自適應(yīng)地獲取聚類個(gè)數(shù).與文獻(xiàn)[12]類似,將圖像的顏色特征由256個(gè)顏色值量化為12個(gè)顏色信道,計(jì)算相應(yīng)的顏色直方圖,保留高頻顏色特征,并使其至少覆蓋95%的圖像像素點(diǎn),剩余的顏色特征由直方圖中距離最近的顏色代替.由于量化后的每個(gè)顏色信道均可視為一個(gè)聚類,因此可將圖像的高頻顏色特征所包含的信道數(shù)目作為聚類個(gè)數(shù)K,其中1≤K≤12.2)利用空間位置距離加權(quán)的顏色特征進(jìn)行聚類.由于顯著性目標(biāo)包含的像素點(diǎn)不僅具有相似的顏色特征,而且在空間位置分布上具有聚集性.因此,利用加權(quán)的顏色對(duì)比度進(jìn)行K-means聚類.

對(duì)于屬于聚類Ck的兩個(gè)相鄰[31]的超像素塊與,它們的影響因子可定義為

其中,?(i)為超像素塊的2層鄰居[29],即與超像素塊的直接相鄰的超像素塊以及與這些超像素塊相鄰的超像素塊.為了歸一化影響因子矩陣,構(gòu)建一個(gè)度量矩陣

對(duì)于聚類Ck中的超像素塊, 其優(yōu)化后的顯著性值可定義為

其中,ai,j是由式(11)計(jì)算得到的超像素塊與的影響因子參數(shù).μ1與μ2分別為周圍超像素塊顯著值以及現(xiàn)有超像素塊顯著值的平衡參數(shù).為超像素塊鄰居超像素塊的數(shù)目.圖3給出了利用傳播機(jī)制優(yōu)化后的基于自適應(yīng)背景模板的顯著圖.圖3(a)為輸入圖像;圖3(b)為基于背景模板的顯著圖;圖3(c)為優(yōu)化顯著圖;圖3(d)為人工分割圖.通過對(duì)比圖3(b)與圖3(c)可知,引入傳播機(jī)制后的顯著性物體具有連續(xù)的顯著值,呈現(xiàn)區(qū)域一致性.由此可見,基于K-means聚類算法的傳播機(jī)制能夠有效地優(yōu)化基于自適應(yīng)背景模板的顯著圖,獲取更加準(zhǔn)確的顯著性物體.

圖3 利用傳播機(jī)制優(yōu)化基于自適應(yīng)背景模板顯著圖Fig.3 Saliency maps based on propagation mechanism

2.2 基于空間先驗(yàn)的顯著圖

人類視覺系統(tǒng)更多地關(guān)注圖像中心的區(qū)域[32],這被稱之為“中心優(yōu)先”準(zhǔn)則.基于“中心優(yōu)先”準(zhǔn)則的空間先驗(yàn)通常用于增強(qiáng)位于圖像中心的顯著性物體(例如圖4(b)中的第1行的花朵).但該方法也會(huì)抑制位于圖像邊緣的顯著性物體的顯著值(例如圖4(b)中的第4行的蠟燭底座),增強(qiáng)位于圖像中心的背景區(qū)域(例如圖4(b)中的第2行的衣服),這顯然不是顯著性檢測(cè)所期望的結(jié)果.為解決這一問題,本文提出一種改進(jìn)的基于中心優(yōu)先與背景模板抑制的空間先驗(yàn)方法,同時(shí)考慮了“中心優(yōu)先”準(zhǔn)則與“背景模板抑制”準(zhǔn)則,可有效增強(qiáng)位于圖像邊緣顯著性物體的顯著性,同時(shí)抑制位于圖像中心的背景區(qū)域.對(duì)于輸入圖像的像素點(diǎn)pi,其空間先驗(yàn)顯著值定義為

其中,(xi,yi)和(xk,yk)分別表示像素點(diǎn)pi和pk的坐標(biāo),(μx,μy)表示圖像中心,η表示圖像“中心優(yōu)先”準(zhǔn)則和“背景模板抑制”準(zhǔn)則的平衡參數(shù).對(duì)于式(13),等號(hào)右側(cè)第1項(xiàng)表示圖像“中心優(yōu)先”準(zhǔn)則,第2項(xiàng)表示“背景模板抑制”準(zhǔn)則.

圖4 基于空間先驗(yàn)顯著圖Fig.4 Saliency maps based on spatial prior

圖4顯示了基于空間先驗(yàn)的顯著性檢測(cè).圖4(a)為輸入圖像;圖4(b)為基于“中心優(yōu)先”準(zhǔn)則的顯著圖;圖4(c)為基于提出的空間先驗(yàn)準(zhǔn)則的顯著圖;圖4(d)為利用傳播機(jī)制優(yōu)化的基于自適應(yīng)背景模板顯著圖;圖4(e)為最終的顯著圖;圖4(f)為人工分割圖.對(duì)比圖4(b)與圖4(c)可知,無論顯著性物體是位于圖像中心還是圖像邊界,提出的空間先驗(yàn)方法均能有效增強(qiáng)顯著性物體的顯著值,同時(shí)抑制了背景區(qū)域的顯著值.

2.3 顯著圖融合

目前常用的顯著圖或特征融合方法有線性融合[18]和基于像素的點(diǎn)乘融合等[3].經(jīng)過實(shí)驗(yàn)對(duì)比,線性融合能夠提高顯著性檢測(cè)的查全率,而點(diǎn)乘融合能夠有效抑制顯著圖中的背景區(qū)域,提高顯著性檢測(cè)的查準(zhǔn)率.本文更關(guān)注顯著性檢測(cè)的準(zhǔn)確率,因此采用點(diǎn)乘融合優(yōu)化后的基于自適應(yīng)背景模板的顯著圖與基于空間先驗(yàn)的顯著圖.

融合得到的最終顯著圖如圖4(e)所示.本文提出的顯著性檢測(cè)方法SCB詳細(xì)步驟如下:

算法1.基于自適應(yīng)背景模板與空間先驗(yàn)的顯著性檢測(cè)方法

輸入.輸入圖像I,超像素塊個(gè)數(shù)N,聚類個(gè)數(shù)K,參數(shù)σgeo,σc,μ1,μ2.

輸出.顯著圖S.

1.基于選擇策略的自適應(yīng)背景模板

1.1利用SLIC算法將輸入圖像I分割為N個(gè)超像素塊;

1.2提取圖像四周邊界,構(gòu)建原始背景區(qū)域Ibr;

For背景區(qū)域的超像素塊

1.3根據(jù)式(1)與式(5),計(jì)算對(duì)比權(quán)值與聯(lián)通性權(quán)值;

1.4根據(jù)式(6),計(jì)算最終權(quán)值w(k);

1.5根據(jù)式(7),獲取自適應(yīng)閾值T;

Ifw(k)＞Tdo

1.6從背景區(qū)域Ibr中移除超像素塊;

End If

End For

1.7利用篩選后的超像素塊,構(gòu)建背景模板Nbt;

1.8根據(jù)式(8),計(jì)算基于背景模板的顯著值;

1.9利用K-means聚類算法,將超像素塊集合聚成K個(gè)聚類;

1.10根據(jù)式(11),獲取傳播矩陣A;

1.11根據(jù)式(12),計(jì)算傳播顯著值Spr.

2.基于中心優(yōu)先與背景模板抑制的空間先驗(yàn)

2.1根據(jù)式(13),計(jì)算基于空間先驗(yàn)顯著值;

2.2根據(jù)式(14),計(jì)算最終顯著值Si,獲取相應(yīng)的顯著圖S.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集介紹

在四個(gè)數(shù)據(jù)集上對(duì)提出的方法進(jìn)行評(píng)估.這四個(gè)數(shù)據(jù)集是:MSRA-1000[20]、SOD[33]、ECSSD[25]及構(gòu)建的新數(shù)據(jù)集—復(fù)雜背景數(shù)據(jù)集(CBD).

MSRA-1000數(shù)據(jù)集是應(yīng)用最廣泛的數(shù)據(jù)集,共包含1000幅顯著性物體突出并且與背景顏色對(duì)比度非常明顯的圖像.該數(shù)據(jù)集的人工分割圖將圖像劃分為物體區(qū)域與背景區(qū)域兩部分,顯著性物體的輪廓非常清晰,精確到像素級(jí).SOD數(shù)據(jù)集是一個(gè)更具挑戰(zhàn)的數(shù)據(jù)集,共包含300張圖像,每張圖像往往包含多個(gè)顯著性物體,且物體的大小與位置不一.該數(shù)據(jù)集的人工分割圖由文獻(xiàn)[2]提供.ECSSD數(shù)據(jù)集包含1000張結(jié)構(gòu)復(fù)雜的圖像.其中,結(jié)構(gòu)復(fù)雜指的是圖像中的顯著性物體或者背景區(qū)域包含多個(gè)對(duì)比度明顯的區(qū)域.

為驗(yàn)證提出的顯著性檢測(cè)方法的性能,構(gòu)建了一個(gè)新的數(shù)據(jù)集.首先,收集SED2[34]、PASCAL-1500[35]與HKU-IS[36]三個(gè)數(shù)據(jù)集.依據(jù)以下三個(gè)原則挑選更有挑戰(zhàn)性的圖像:1)顯著性物體位于圖像邊界的圖像;2)包含多個(gè)顯著性物體的圖像;3)包含復(fù)雜背景的圖像.

3.2 參數(shù)設(shè)置與評(píng)估標(biāo)準(zhǔn)

為了獲取更好的顯著性檢測(cè)結(jié)果,針對(duì)公式中的參數(shù)做了比較實(shí)驗(yàn).實(shí)驗(yàn)表明,式(4)中的參數(shù)σgeo在區(qū)間[5,15]時(shí),表現(xiàn)出很強(qiáng)的穩(wěn)定性.因此固定參數(shù)σgeo=10,式(9)中的參數(shù)被設(shè)置為0.1,式(12)中的平衡參數(shù)μ1與μ2均被設(shè)置為0.5,式(13)中的平衡參數(shù)η被設(shè)置為1.

通過對(duì)比顯著圖的準(zhǔn)確率(Precision)–召回率(Recall)曲線、準(zhǔn)確率–召回率–F-measure值柱狀圖[17](F-measure柱狀圖)與平均絕對(duì)誤差(Mean absolute error,MAE)柱狀圖來評(píng)價(jià)顯著性檢測(cè)的性能.針對(duì)顯著性模型產(chǎn)生的顯著圖用閾值進(jìn)行分割,其中閾值的取值范圍為0～255.由此可以得到256個(gè)平均的準(zhǔn)確率與召回率,以橫軸為召回率,縱軸為準(zhǔn)確率,將這些點(diǎn)平滑地連接起來,產(chǎn)生準(zhǔn)確率–召回率曲線.不同于準(zhǔn)確率–召回率曲線,在繪制準(zhǔn)確率–召回率–F-measure值柱狀圖時(shí),利用每幅圖像的自適應(yīng)閾值[20]T對(duì)圖像進(jìn)行分割.

其中,參數(shù)W與H分別表示圖像的寬度與高度.對(duì)每個(gè)數(shù)據(jù)集中的顯著圖,計(jì)算他們的平均準(zhǔn)確率與召回率.根據(jù)式(16)計(jì)算平均的F-measure值.

F-measure值用于綜合評(píng)價(jià)準(zhǔn)確率與召回率,為了強(qiáng)調(diào)準(zhǔn)確率的重要性,設(shè)置β2為0.3[13,20].

平均絕對(duì)誤差通過對(duì)比顯著圖與人工分割圖的差異來評(píng)價(jià)顯著性模型[22].根據(jù)式(17),計(jì)算每個(gè)輸入圖像的MAE,利用計(jì)算出的MAE均值繪制柱狀圖.

3.3 實(shí)驗(yàn)對(duì)比結(jié)果

為驗(yàn)證提出的顯著性檢測(cè)方法SCB的性能,在4個(gè)數(shù)據(jù)集上與14種經(jīng)典算法進(jìn)行對(duì)比,包括LC06[37]、SR07[38]、FT09[20]、CA10[39]、LR12[26]、HS13[25]、DSR13[3]、GC13[22]、GM13[13]、MC13[14]、GL14[40]、HC15[12]、RC15[12]與 LPS15[41]. 其中,算法LC、SR、FT、HC與RC的代碼由文獻(xiàn)[12]提供.所有顯著性檢測(cè)模型獲取的顯著圖都被標(biāo)準(zhǔn)化到[0,255].

針對(duì)顯著性物體位于圖像邊緣的圖像,圖5顯示了顯著圖的視覺比較結(jié)果.其中,前6種算法是基于“對(duì)比優(yōu)先”準(zhǔn)則的顯著性檢測(cè)模型,后4種算法與提出的SCB算法都是基于“背景優(yōu)先”準(zhǔn)則的顯著性檢測(cè)模型.最后一列為人工分割圖.通過實(shí)驗(yàn)發(fā)現(xiàn),與其他顯著性檢測(cè)算法相比,提出的顯著性檢測(cè)方法SCB能夠完整地檢測(cè)位于邊界的顯著性物體,取得更加準(zhǔn)確的顯著圖,明顯優(yōu)于其他算法.

圖5 針對(duì)顯著性物體位于圖像邊緣的圖像,顯著圖的視覺比較結(jié)果Fig.5 Visual comparison of previous methods,our method and ground truth for the image whose salient object locates at the border

為了全面評(píng)估提出的SCB方法的性能,從4個(gè)數(shù)據(jù)集中挑選具有挑戰(zhàn)性的圖像進(jìn)行顯著性物體檢測(cè)[42?43].其中,前兩行圖像包含多個(gè)顯著性物體,第3行和第4行圖像具有復(fù)雜的背景,第5行和第6行圖像的顯著性物體包含復(fù)雜的結(jié)構(gòu),最后兩行圖像的顯著性物體與背景區(qū)域間的對(duì)比度較低.針對(duì)挑戰(zhàn)性的圖像,圖6顯示了顯著圖的視覺對(duì)比結(jié)果.實(shí)驗(yàn)結(jié)果表明,提出的SCB方法不僅能夠完整地檢測(cè)出顯著性物體,而且能夠有效地抑制背景區(qū)域,優(yōu)于其他顯著性算法.

圖6 顯著圖的視覺比較結(jié)果Fig.6 Visual comparison of previous methods,our method and ground truth

圖7根據(jù)準(zhǔn)確率–召回率曲線與F-measure值柱狀圖兩個(gè)評(píng)價(jià)標(biāo)準(zhǔn)對(duì)顯著性檢測(cè)模型進(jìn)行對(duì)比分析.針對(duì)MSRA-1000數(shù)據(jù)集,提出的SCB方法明顯優(yōu)于大部分顯著性檢測(cè)算法,例如GC、CA、FT等.但是,由于該數(shù)據(jù)集中圖像的顯著性物體較為簡(jiǎn)單,而提出的顯著性檢測(cè)方法更適合于復(fù)雜場(chǎng)景的圖像.因此,提出的SCB方法的準(zhǔn)確率–召回率曲線與F-measure值柱狀圖都略遜于DSR、GM 與MC等算法.針對(duì)SOD數(shù)據(jù)集,提出的SCB方法與DSR、MC都取得較好的準(zhǔn)確率–召回率曲線,但是SCB的F-measure值分別比算法DSR與算法MC高出3.1%和3.0%.對(duì)于ECSSD數(shù)據(jù)集,提出的SCB方法、HS、DSR與MC等算法都取得較好的準(zhǔn)確率–召回率曲線與F-measure值柱狀圖.針對(duì)提出的數(shù)據(jù)集CBD,提出的SCB取得了75.3%的準(zhǔn)確率、69.8%的召回率,遠(yuǎn)遠(yuǎn)高于準(zhǔn)確率為71.5%、召回率為64.0%的MC算法,明顯超過現(xiàn)有的顯著性檢測(cè)模型.主要是因?yàn)闃?gòu)建的CBD數(shù)據(jù)集中的圖像具有較為復(fù)雜的場(chǎng)景,例如，顯著性物體位于圖像邊緣、多個(gè)顯著性物體、顯著性物體包含多個(gè)對(duì)比度明顯的區(qū)域等.

圖8根據(jù)MAE柱狀圖這一評(píng)價(jià)標(biāo)準(zhǔn)對(duì)顯著性檢測(cè)模型進(jìn)行對(duì)比分析.針對(duì)MSRA-1000數(shù)據(jù)集,提出的SCB方法的MAE值為0.074,僅次于MAE為0.071的算法LPS.針對(duì)ECSSD數(shù)據(jù)集,只有SCB方法與DSR方法的MAE值低于0.2,但是DSR算法取得最低的MAE值.針對(duì)SOD數(shù)據(jù)集與CBD數(shù)據(jù)集,提出的SCB方法分別取得0.2235與0.135的MAE值,遠(yuǎn)遠(yuǎn)低于其他的顯著性檢測(cè)方法.由此可見,提出的顯著性檢測(cè)方法能夠有效地抑制背景區(qū)域.

圖9進(jìn)一步分析了提出的SCB方法的各個(gè)組成部分的作用與貢獻(xiàn),例如自適應(yīng)背景模板與空間先驗(yàn).

由圖9(a)可知,與基于原始背景區(qū)域的顯著圖相比,基于自適應(yīng)背景模板的顯著圖取得更好的準(zhǔn)確率–召回率曲線.提出的傳播機(jī)制也能夠有效地優(yōu)化基于自適應(yīng)背景模板的顯著圖,提高顯著性檢測(cè)的性能.圖9(b)對(duì)比了基于“中心優(yōu)先”準(zhǔn)則的空間先驗(yàn),基于“背景模板抑制”的空間先驗(yàn)以及提出的空間先驗(yàn)方法.通過比較可知,提出的空間先驗(yàn)方法取得最好的性能.

表1顯示了顯著性檢測(cè)模型在數(shù)據(jù)集CBD上平均處理一幅圖像所需的時(shí)間.實(shí)驗(yàn)借助MATLAB工具在Intel Core i3-3220處理器,4GB內(nèi)存的硬件環(huán)境下進(jìn)行.其中,超像素分割的時(shí)間不計(jì)入處理時(shí)間.提出的SCB算法每幅圖像平均檢測(cè)時(shí)間為1.12s.

3.4 基于Web的協(xié)同顯著性檢測(cè)系統(tǒng)

協(xié)同顯著性檢測(cè)是從一組圖像中發(fā)現(xiàn)其間共有的顯著性物體.全局分布特征用來衡量每個(gè)圖像區(qū)域在一組圖像中的分布情況,是協(xié)同顯著性檢測(cè)的一個(gè)重要的全局指標(biāo).如果同一個(gè)區(qū)域均勻地分布在每一個(gè)圖像,則該區(qū)域?qū)?huì)獲得更大的全局分布特征權(quán)值.在提出的SCB方法中,引入全局分布特征,提出相應(yīng)的協(xié)同顯著性檢測(cè)算法,用于協(xié)同顯著性物體檢測(cè),獲取協(xié)同顯著圖.

圖7 不同算法的準(zhǔn)確率–召回率曲線與F-measure值柱狀圖Fig.7 Quantitative results of the precision/recall curves and F-measure metrics

圖8 針對(duì)MSRA-1000、SOD、ECSSD與CBD數(shù)據(jù)集,不同顯著性檢測(cè)方法的MAE柱狀圖Fig.8 Quantitative results of the MAE value of MSRA-1000,SOD,ECSSD and CBD

圖9 針對(duì)MSRA-1000數(shù)據(jù)集,提出的SCB方法各個(gè)組成部分的準(zhǔn)確率–召回率曲線Fig.9 Quantitative results of each component of SCB method in MSRA-1000 dataset

表1 平均檢測(cè)時(shí)間對(duì)比表Table 1 The table of contrast result in running times

圖10 針對(duì)Co-saliency pairs數(shù)據(jù)集,基于Web的協(xié)同顯著圖Fig.10 The co-saliency map based on web in co-saliency pairs dataset

隨著互聯(lián)網(wǎng)的普及,本文構(gòu)建了一個(gè)可以在線訪問的基于Web的協(xié)同顯著性檢測(cè)系統(tǒng).利用高質(zhì)量的開源Web開發(fā)框架Django,建立Web應(yīng)用,將提出的協(xié)同顯著性檢測(cè)算法封裝到Web應(yīng)用中.用戶通過Web瀏覽器訪問構(gòu)建的基于Web的協(xié)同顯著性檢測(cè)系統(tǒng),針對(duì)用戶輸入的多幅圖像,Django調(diào)用提出的協(xié)同顯著性算法進(jìn)行處理,并將處理結(jié)果返回至Web瀏覽器.本文從Co-saliency Pairs數(shù)據(jù)集[44]中挑選4組圖像,其中每組圖像包含2張圖像.分別對(duì)每組圖像進(jìn)行協(xié)同顯著性物體檢測(cè),如圖10所示.

4 結(jié)論

本文提出一種基于自適應(yīng)背景模板與空間先驗(yàn)的超像素級(jí)的顯著性檢測(cè)方法.通過在4個(gè)數(shù)據(jù)集上與現(xiàn)有的顯著性模型對(duì)比,針對(duì)顯著性物體位于圖像邊界的圖像、背景比較復(fù)雜的圖像和包含多個(gè)顯著物體的圖像,提出的SCB方法能夠取得更好的性能.但是當(dāng)顯著性物體與背景模板的顏色特征十分相似時(shí),提出的顯著性檢測(cè)算法不能完整地檢測(cè)顯著性物體.針對(duì)提出算法的不足之處,未來工作的主要目標(biāo)是通過引入更多的底層特征來優(yōu)化SCB方法,并降低顯著性檢測(cè)的運(yùn)行時(shí)間.

1 Qian Sheng,Chen Zong-Hai,Lin Ming-Qiang,Zhang Chen-Bin.Saliency detection based on conditional random fi eld and image segmentation.Acta Automatica Sinica,2015,41(4):711?724(錢生,陳宗海,林名強(qiáng),張陳斌.基于條件隨機(jī)場(chǎng)和圖像分割的顯著性檢測(cè).自動(dòng)化學(xué)報(bào),2015,41(4):711?724)

2 Wei Y C,Wen F,Zhu W,Sun J.Geodesic saliency using background priors.In:Proceedings of the 12th European Conference on Computer Vision.Berlin,Germany:Springer,2012.29?42

3 Li X H,Lu H C,Zhang L H.Saliency detection via dense and sparse reconstruction.In:Proceedings of the 2013 IEEE International Conference on Computer Vision.Sydney,Australia:IEEE,2013.2976?2983

4 Wang K Z,Lin L,Lu J B,Li C L,Shi K Y.PISA:pixelwise image saliency by aggregating complementary appearance contrast measures with edge-preserving coherence.IEEE Transactions on Image Processing,2015,24(10):3019?3033

5 Wang L J,Lu H C,Ruan X,Yang M H.Deep networks for saliency detection via local estimation and global search.In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston,USA:IEEE,2015.3183?3192

6 Mauthner T,Possegger H,Waltner G,Bischof H.Encoding based saliency detection for videos and images.In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston,USA:IEEE,2015.2494?2502

7 Jain S D,Grauman K.Active image segmentation propagation.In:Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas,Nevada,USA:IEEE,2016.2864?2873

8 Yu G,Yuan J S,Liu Z C.Propagative Hough voting for human activity detection and recognition.IEEE Transactions on Circuits and Systems for Video Technology,2015,25(1):87?98

9 Horbert E,Garc′?a G M,Frintrop S,Leibe B.Sequencelevel object candidates based on saliency for generic object recognition on mobile systems.In:Proceedings of the 2015 IEEE International Conference on Robotics and Automation.Seattle,Washington,USA:IEEE,2015.127?134

10 Yang X Y,Qian X M,Xue Y.Scalable mobile image retrieval by exploring contextual saliency.IEEE Transactions on Image Processing,2015,24(6):1709?1721

11 Lei B Y,Tan E L,Chen S P,Ni D,Wang T F.Saliencydriven image classi fi cation method based on histogram mining and image score.Pattern Recognition,2015,48(8):2567?2580

12 Cheng M M,Mitra N J,Huang X L,Torr P H S,Hu S M.Global contrast based salient region detection.IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(3):569?582

13 Yang C,Zhang L H,Lu H C,Ruan X,Yang M H.Saliency detection via graph-based manifold ranking.In:Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland,OR,USA:IEEE,2013.3166?3173

14 Jiang B W,Zhang L H,Lu H C,Yang C,Yang M H.Saliency detection via absorbing Markov chain.In:Proceedings of the 2013 IEEE International Conference on Computer Vision.Sydney,Australia:IEEE,2013.1665?1672

15 Jiang H Z,Wang J D,Yuan Z J,Wu Y,Zheng N N,Li S P.Salient object detection:a discriminative regional feature integration approach.In:Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland,OR,USA:IEEE,2013.2083?2090

16 Lu H C,Li X H,Zhang L H,Ruan X,Yang M H.Dense and sparse reconstruction error based saliency descriptor.IEEE Transactions on Image Processing,2016,25(4):1592?1603

17 Borji A,Sihite D N,Itti L.Salient object detection:a benchmark.In:Proceedings of the 12th European Conference on Computer Vision.Berlin,Germany:Springer,2012.414?429

18 Itti L,Koch C,Niebur E.A model of saliency-based visual attention for rapid scene analysis.IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1254?1259

19 Ma Y F,Zhang H J.Contrast-based image attention analysis by using fuzzy growing.In:Proceedings of the 11th ACM International Conference on Multimedia.Berkeley,USA:ACM,2003.374?381

20 Achanta R,Hemami S,Estrada F,Susstrunk S.Frequencytuned salient region detection.In:Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami Beach,USA:IEEE,2009.1597?1604

21 Rahtu E,Kannala J,Salo M,Heikkil¨a J.Segmenting salient objects from images and videos.In:Proceedings of the 11th European Conference on Computer Vision.Crete,Greece:Springer,2010.366?379

22 Cheng M M,Warrell J,Lin W Y,Zheng S,Vineet V,Crook N.Efficient salient region detection with soft image abstraction.In:Proceedings of the 2013 IEEE International Conference on Computer Vision.Sydney,Australia:IEEE,2013.1529?1536

23 Perazzi F,Kr¨ahenbu¨hl P,Pritch Y,Hornung A.Saliency fi lters:contrast based fi ltering for salient region detection.In:Proceedings of the 2012 IEEE International Conference on Computer Vision and Pattern Recognition.Providence,USA:IEEE,2012.733?740

24 Margolin R,Tal A,Zelnik-Manor L.What makes a patch distinct?In:Proceedings of the 2013 IEEE International Conference on Computer Vision and Pattern Recognition.Sydney,Australia:IEEE,2013.1139?1146

25 Yan Q,Xu L,Shi J P,Jia J Y.Hierarchical saliency detection.In:Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland,OR,USA:IEEE,2013.1155?1162

26 Shen X H,Wu Y.A uni fi ed approach to salient object detection via low rank matrix recovery.In:Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition.Providence,RI,USA:IEEE,2012.853?860

27 Zhu W J,Liang S,Wei Y C,Sun J.Saliency optimization from robust background detection.In:Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus,OH,USA:IEEE,2014.2814?2821

28 Xi T,Fang Y,Lin W,Zhang Y.Improved salient object detection based on background priors.In:Proceedings of the 2015 Paci fi c Rim Conference on Multimedia.Gwangju,Korea:Springer,2015.411?420

29 Qin Y,Lu H C,Xu Y Q,Wang H.Saliency detection via cellular automata.In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston,USA:IEEE,2015.110?119

30 Achanta R,Shaji A,Smith K,Lucchi A,Fua P,S¨usstrunk S.SLIC superpixels compared to state-of-the-art superpixel methods.IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(11):2274?2282

31 Zhang L,Yang C,Lu H,Xiang R,Yang M H.Ranking saliency.IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(9):1892?1904

32 Judd T,Ehinger K,Durand F,Torralba A.Learning to predict where humans look.In:Proceedings of the 12th International Conference on Computer Vision.Kyoto,Japan:IEEE,2009.2106?2113

33 Movahedi V,Elder J H.Design and perceptual validation of performance measures for salient object segmentation.In:Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.San Francisco,CA,USA:IEEE,2010.49?56

34 Alpert S,Galun M,Brandt A,Basri R.Image segmentation by probabilistic bottom-up aggregation and cue integration.IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(2):315?327

35 Zou W B,Kpalma K,Liu Z,Ronsin J.Segmentation driven low-rank matrix recovery for saliency detection.In:Proceedings of the 24th British Machine Vision Conference.Bristol,UK:IEEE,2013.1?13

36 Li G B,Yu Y Z.Visual saliency based on multiscale deep features.In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston,USA:IEEE,2015.5455?5463

37 Zhai Y,Shah M.Visual attention detection in video sequences using spatiotemporal cues.In:Proceedings of the 14th ACM International Conference on Multimedia.New York,USA:ACM,2006.815?824

38 Hou X,Zhang L.Saliency detection:a spectral residual approach.In:Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis,Minnesota,USA:IEEE,2007.1?8

39 Goferman S,Zelnik-Manor L,Tal A.Context-aware saliency detection.IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(10):1915?1926

40 Tong N,Lu H C,Zhang Y,Ruan X.Salient object detection via global and local cues.Pattern Recognition,2015,48(10):3258?3267

41 Li H Y,Lu H C,Lin Z,Shen X H,Price B.Inner and inter label propagation:salient object detection in the wild.IEEE Transactions on Image Processing,2015,24(10):3176?3186

42 Xu Wei,Tang Zhen-Min.Exploiting hierarchical prior estimation for salient object detection.Acta Automatica Sinica,2015,41(4):799?812(徐威,唐振民.利用層次先驗(yàn)估計(jì)的顯著性目標(biāo)檢測(cè).自動(dòng)化學(xué)報(bào),2015,41(4):799?812)

43 Yang Sai,Zhao Chun-Xia,Xu Wei.A novel salient object detection method using bag-of-features.Acta Automatica Sinica,2016,42(8):1259?1273(楊賽,趙春霞,徐威.一種基于詞袋模型的新的顯著性目標(biāo)檢測(cè)方法.自動(dòng)化學(xué)報(bào),2016,42(8):1259?1273)

44 Li H L,Ngan K N.A co-saliency model of image pairs.IEEE Transactions on Image Processing,2011,20(12):3365?3375