顧廣華,劉小青

1(燕山大學(xué) 信息科學(xué)與工程學(xué)院,河北 秦皇島 066004) 2(河北省信息傳輸與信號(hào)處理重點(diǎn)實(shí)驗(yàn)室,河北 秦皇島 066004)

1 引 言

近年來(lái),有效的顯著性檢測(cè)已經(jīng)成功的運(yùn)用到許多計(jì)算機(jī)視覺(jué)場(chǎng)景當(dāng)中.作為圖像的預(yù)處理過(guò)程,它能夠檢測(cè)出圖像中感興趣的區(qū)域,提取圖像的重要信息從而減少計(jì)算復(fù)雜度[1].但如何能精準(zhǔn)的找到顯著性目標(biāo)區(qū)域仍是一個(gè)具有挑戰(zhàn)性的問(wèn)題.

現(xiàn)有的顯著性檢測(cè)算法主要分為兩類:自底向上和自頂向下的顯著性檢測(cè)模型[2].自底向上的模型是數(shù)據(jù)驅(qū)動(dòng)的,預(yù)先沒(méi)有任何圖像顯著性區(qū)域的先驗(yàn)信息,通過(guò)圖像中一個(gè)區(qū)域和周?chē)徲虻牟町惖玫絽^(qū)域的顯著性值.自頂向下的模型是任務(wù)驅(qū)動(dòng)的,需要某些先驗(yàn)信息,才能夠找到顯著目標(biāo).和自底向上的模型相比,自頂向下的算法比較復(fù)雜,所以研究者更加傾向于自底向上的顯著性檢測(cè)算法.Itti[3]等人提出了一種中心環(huán)繞對(duì)比算法,通過(guò)結(jié)合在不同尺度下的顏色、強(qiáng)度和方向特征圖得到顯著圖.Achanta[4]等人提出了一種調(diào)頻的算法,通過(guò)計(jì)算圖像中每個(gè)像素的顏色特征和整幅圖像像素顏色平均值的差異得到圖像中每點(diǎn)的顯著值.該方法雖然簡(jiǎn)單,但對(duì)于背景復(fù)雜的圖片,檢測(cè)的結(jié)果不理想.Goferman[5]等人根據(jù)相鄰上下文區(qū)域的差異計(jì)算局部對(duì)比度,得到最終的顯著圖.Cheng[6]等人采用全局對(duì)比方法,通過(guò)計(jì)算空間加權(quán)顏色對(duì)比先驗(yàn)得到顯著圖.上述兩種方法雖然考慮了整幅圖像的特征對(duì)比,能很好的定位顯著目標(biāo),但忽略了局部信息,從背景中找到具有相似外觀目標(biāo)的能力有限.Gopalakrishnan[7]等人將圖像中的顯著性檢測(cè)問(wèn)題視為馬爾可夫隨機(jī)游走,遍歷馬爾可夫鏈的平衡命中次數(shù)是確定最顯著節(jié)點(diǎn)的關(guān)鍵.Wei[8]等人把圖像的邊界區(qū)域?yàn)楸尘跋闰?yàn)建立模型,能夠?qū)⑶熬皡^(qū)域從圖像中分離出來(lái),但把邊界區(qū)域作為背景先驗(yàn)是不夠準(zhǔn)確的,邊界區(qū)域有可能包含前景點(diǎn).Kong[9]等人采用模式挖掘的方法找到圖像中比較準(zhǔn)確的前景點(diǎn),然后對(duì)前景點(diǎn)進(jìn)行隨機(jī)游走.這種方法可以有效的檢測(cè)出圖像的顯著區(qū)域,但對(duì)前景點(diǎn)的準(zhǔn)確性要求比較高,如果找不到比較準(zhǔn)確的前景點(diǎn),就會(huì)影響顯著區(qū)域的檢測(cè).

為了解決上述問(wèn)題,本文同時(shí)選擇前景點(diǎn)和背景點(diǎn)作為種子點(diǎn),并融合前景點(diǎn)和背景點(diǎn)擴(kuò)散得到的顯著圖,這樣不僅減小了顯著區(qū)域?qū)η熬包c(diǎn)的依賴性,也使得顯著圖更加準(zhǔn)確.

2 顯著性目標(biāo)檢測(cè)

本文主要思路為:首先是選取前景點(diǎn)和背景點(diǎn)作為種子點(diǎn),然后背景和前景種子點(diǎn)進(jìn)行顯著性擴(kuò)散,并將種子點(diǎn)各自擴(kuò)散的顯著圖融合,最后優(yōu)化得到最終顯著圖.圖1所示為本文算法框圖.

圖1 顯著性檢測(cè)框圖
Fig.1 Saliency detection framework

2.1 種子點(diǎn)的選取

首先利用簡(jiǎn)單線性迭代聚類算法[10]對(duì)輸入圖像進(jìn)行超像素分割.利用背景先驗(yàn)[11],圖像邊界作為背景點(diǎn),為了避免對(duì)象出現(xiàn)在邊界的情況,計(jì)算圖像的邊緣概率[12],具有較強(qiáng)邊緣特征的超像素更可能屬于目標(biāo),本文去掉邊界區(qū)域中邊緣概率值大于自適應(yīng)閾值[13]的超像素,然后將圖像邊界中其余的超像素選為背景種子點(diǎn).

將一幅圖像分割成N個(gè)超像素,邊緣概率為PB,背景種子點(diǎn)集合為E:

(1)

{i∈E|PBi>T1}

(2)

其中Bi表示超像素i的邊緣像素個(gè)數(shù),Ipb表示像素I的邊緣概率值,T1是根據(jù)邊緣概率得到的自適應(yīng)閾值.

基于得到的背景點(diǎn),本文通過(guò)顏色空間加權(quán)對(duì)比度得到初始顯著圖Si,計(jì)算出圖像中其余節(jié)點(diǎn)和背景點(diǎn)之間的關(guān)系,圖像中的超像素和背景種子的顏色差異越大,它越有可能是顯著點(diǎn).

背景種子集為E,超像素i的顯著值定義為Si,前景種子點(diǎn)集合為F:

Si=∑n∈Ed(Ii,In)(1-d(Pi,Pn))

(3)

{i∈F|Si>T2}

(4)

其中d(Ii,In)和d(pi,pn)分別表示圖像中的超像素i與背景種子集E中超像素n的顏色距離和空間距離,T2是根據(jù)顯著值Si得到的自適應(yīng)閾值.這里(1-d(pi,pn))起到了調(diào)節(jié)的作用,能更好的突出目標(biāo)區(qū)域.當(dāng)顯著值大于T2時(shí),該超像素判為前景點(diǎn).

背景和前景種子點(diǎn)可以為下面基于種子點(diǎn)的顯著性擴(kuò)散提供足夠的對(duì)象信息.

2.2 顯著性擴(kuò)散

本文將背景點(diǎn)和前景點(diǎn)都進(jìn)行顯著性擴(kuò)散,將種子點(diǎn)的信息傳播到圖像中的其余節(jié)點(diǎn),并融合得到的顯著圖.

將輸入圖像表示成一個(gè)稀疏的連通圖G=(V,E),其中V表示由所有超像素組成的節(jié)點(diǎn),E表示連接各個(gè)節(jié)點(diǎn)的無(wú)向邊界集合,當(dāng)且僅當(dāng)兩個(gè)節(jié)點(diǎn)共用一個(gè)邊界時(shí)成立.權(quán)重矩陣W表示每對(duì)節(jié)點(diǎn)之間相似度和鄰接關(guān)系,連接兩個(gè)超像素的邊緣權(quán)重定義為wij∈W:

(5)

g(si)和g(sj)表示兩個(gè)超像素節(jié)點(diǎn)在CIELab顏色空間上的顏色均值.σ控制邊緣權(quán)重的強(qiáng)度,關(guān)聯(lián)矩陣W是高度稀疏的.

D為對(duì)角矩陣,di=∑iWij,拉普拉斯矩陣L定義為:

L=D-W

(6)

二次拉普拉斯算子為:

L2=L×L

(7)

2.2.1 背景種子點(diǎn)的顯著擴(kuò)散

設(shè)ρ表示種子點(diǎn)的集合,f=[f1,f2,…,fn]T表示所有超像素節(jié)點(diǎn)的標(biāo)簽向量,如果節(jié)點(diǎn)si∈ρ,則fi等于1,否則為0.

顯著性擴(kuò)散是基于種子點(diǎn)來(lái)推斷所有超像素節(jié)點(diǎn)的標(biāo)簽,其通過(guò)最小化能量函數(shù)g(f)來(lái)實(shí)現(xiàn):

(8)

其中,fi=1,yi表示初始顯著圖中節(jié)點(diǎn)si的平均顯著值,β是權(quán)衡參數(shù),通過(guò)實(shí)驗(yàn)驗(yàn)證參數(shù)最終設(shè)為0.01,得到的顯著圖結(jié)果是最好的.式中第一項(xiàng)強(qiáng)調(diào)了相似節(jié)點(diǎn)標(biāo)簽的一致性,第二項(xiàng)是把初始顯著圖的平均顯著值作為先驗(yàn)知識(shí),并懲罰與先驗(yàn)值不同的顯著性預(yù)測(cè).

設(shè)l為標(biāo)簽節(jié)點(diǎn)的集合,即為背景種子點(diǎn)的集合,u為未標(biāo)簽節(jié)點(diǎn)的集合,f和y也可以寫(xiě)為f=[flTfuT]T,y=[ylTyuT]T,最小化(8)式用矩陣形式表示:

(9)

(10)

M=L+βI,其中I為單位矩陣.

對(duì)上面得到的整幅圖像的顯著值加入二次拉普拉斯算子,可以將種子的信息更好的傳播到遠(yuǎn)端的節(jié)點(diǎn),則:

(11)

則基于背景種子點(diǎn)擴(kuò)散得到的顯著值為:

(12)

2.2.2 前景種子點(diǎn)的顯著擴(kuò)散

基于前景種子點(diǎn)的擴(kuò)散,前景種子點(diǎn)為標(biāo)簽節(jié)點(diǎn),過(guò)程和上述類似,設(shè)l是標(biāo)簽節(jié)點(diǎn)的集合,u為未標(biāo)簽節(jié)點(diǎn)的集合.同樣令(9)式等于0,得未標(biāo)簽節(jié)點(diǎn)的顯著值fu,對(duì)圖像中所有節(jié)點(diǎn)加入二次拉普拉斯算子得:

(13)

(14)

2.2.3 融合顯著圖

融合背景種子和前景種子顯著擴(kuò)散得到的顯著圖,融合顯著圖的顯著值為:

Ssal=Sb×Sf

(15)

圖2是上述過(guò)程中得到的顯著性檢測(cè)結(jié)果圖.

圖2(a)是輸入圖像,(b)是根據(jù)邊界先驗(yàn)和邊緣概率篩選得到的背景點(diǎn),圖像邊界的黑色區(qū)域表示背景種子點(diǎn),(c)是篩選后的背景點(diǎn)通過(guò)計(jì)算特征距離得到的初始顯著圖,可大體看到顯著區(qū)域,但沒(méi)有有效的從背景中分離出來(lái).(d)是背景種子擴(kuò)散的顯著圖,能很好的抑制背景.(e)是前景種子擴(kuò)散的顯著圖,前景比較突出,但有些背景噪聲.(f)是融合顯著圖,結(jié)合(d)和(e)的優(yōu)點(diǎn),能很均勻的突出顯著目標(biāo)區(qū)域,同時(shí)能有效的抑制掉圖像的背景.(g)是真值圖.

圖2 顯著性檢測(cè)結(jié)果圖Fig.2 Saliency detection result maps

3 顯著優(yōu)化

3.1 聚類優(yōu)化

盡管融合后的顯著圖能很好的檢測(cè)出顯著區(qū)域,但對(duì)于有些背景比較復(fù)雜的圖像,顯著目標(biāo)檢測(cè)的不完整,并且存在背景噪聲,本文采用聚類優(yōu)化,增強(qiáng)顯著圖的前景區(qū)域.

(16)

這里的K是聚類中心,一般不會(huì)很大,需要提前設(shè)定,本文根據(jù)先驗(yàn)經(jīng)驗(yàn)[14]將K設(shè)為8.λ表示每個(gè)節(jié)點(diǎn)被類內(nèi)其它節(jié)點(diǎn)優(yōu)化的權(quán)重,設(shè)為0.5,用來(lái)平衡本身顯著值和類內(nèi)優(yōu)化的貢獻(xiàn)作用.x指的是CIELab空間的三維顏色特征,Ssal(j)是和節(jié)點(diǎn)i在同一類內(nèi)節(jié)點(diǎn)的顯著值.那么從上式可以看出對(duì)于每個(gè)節(jié)點(diǎn)i,是通過(guò)自身的顯著性值和同一類內(nèi)其余節(jié)點(diǎn)的顯著性值實(shí)現(xiàn)優(yōu)化的.圖3為結(jié)合顯著圖和聚類優(yōu)化后顯著圖的對(duì)比.從中可以看出,結(jié)合顯著圖可以整體上檢測(cè)出顯著區(qū)域,但在細(xì)節(jié)上不夠完整,聚類優(yōu)化考慮到超像素間的聯(lián)系,完善了顯著圖的細(xì)節(jié)信息,使顯著區(qū)域更加完整.

圖3 融合顯著圖和聚類優(yōu)化后顯著圖的對(duì)比Fig.3 Comparison of combination of saliency map and clustering optimized saliency map

3.2 抑制函數(shù)

聚類優(yōu)化能夠增強(qiáng)顯著區(qū)域,為了有效去掉一些背景噪聲,本文引入了抑制函數(shù)[15],我們將函數(shù)定義為:

(17)

這里τ是一個(gè)用來(lái)區(qū)分前景和背景的閾值,x表示每個(gè)超像素節(jié)點(diǎn)的顯著性值.由于前景的顯著值接近1,背景的顯著值接近0,為了保留前景同時(shí)抑制背景,本文把τ設(shè)為0.6.圖4表示聚類優(yōu)化和抑制函數(shù)優(yōu)化后的顯著圖對(duì)比.其中輸入圖像的背景比較復(fù)雜,聚類優(yōu)化的顯著圖可以檢測(cè)出顯著目標(biāo),但仍存在一些背景干擾.和顯著目標(biāo)相比,背景噪聲的顯著值相對(duì)較小,所以抑制函數(shù)優(yōu)化后的顯著圖能夠抑制掉大多數(shù)的背景點(diǎn),使目標(biāo)區(qū)域更加突出.

圖4 聚類優(yōu)化和抑制函數(shù)優(yōu)化后顯著圖對(duì)比Fig.4 Comparison of saliency maps after optimizing clustering and suppressing functions

4 實(shí)驗(yàn)結(jié)果分析

本文在兩個(gè)公共數(shù)據(jù)庫(kù)MSRA-1000和DUT-OMRON上進(jìn)行實(shí)驗(yàn).MSRA-1000數(shù)據(jù)庫(kù)是從數(shù)據(jù)庫(kù)MSRA中挑選出來(lái)的,每幅圖像都有一個(gè)比較清晰的目標(biāo).DUT-OMRON數(shù)據(jù)庫(kù)含有5166張圖片,是一個(gè)比較龐大、復(fù)雜的數(shù)據(jù)庫(kù),圖像中有一個(gè)或多個(gè)目標(biāo),而且背景比較雜亂,對(duì)顯著性算法具有挑戰(zhàn)性.兩個(gè)數(shù)據(jù)庫(kù)都含有像素級(jí)的真值標(biāo)注,本文設(shè)超像素N=200.

本文在兩個(gè)數(shù)據(jù)庫(kù)MSRA-1000和DUT-OMRON上把本文算法和其它六種顯著性算法進(jìn)行了對(duì)比,分別是GB算法[16],FT算法[4],BM算法[17],SF算法[2],BFS算法[18],GR算法[19].

圖5是七種算法在MSRA-1000數(shù)據(jù)庫(kù)中部分圖片顯著圖的對(duì)比,輸入圖片的目標(biāo)比較單一.前六種算法相比較,顯著圖結(jié)果較好的是BM算法、GR算法和BFS算法,這三種算法可以直觀的看到顯著目標(biāo).BM算法的目標(biāo)比較突出,但背景干擾也很多;BFS算法和GR算法顯著區(qū)域不是很亮、很完整,也有背景噪聲.GB算法、FT算法和SF算法顯著圖結(jié)果相對(duì)較差,GB算法的顯著圖模糊,只能看到目標(biāo)的輪廓,FT算法顯著區(qū)域不突出,SF算法檢測(cè)到的目標(biāo)不完整.相比于這六種算法,可以看到本文算法顯著圖的顯著區(qū)域比較突出,而且背景抑制的也比較好,和真值圖最為接近.

圖5 七種算法在MSRA-1000部分圖片上的顯著圖Fig.5 Saliency maps of the seven algorithms on the MSRA-1000 part of the pictures

圖6是七種算法在DUT-OMRON數(shù)據(jù)庫(kù)中部分圖片顯著圖的對(duì)比,輸入圖片的內(nèi)容比較復(fù)雜,目標(biāo)不單一.前六種算法結(jié)果相對(duì)較好的是BFS算法和GR算法,它們都能突出目標(biāo),相比較而言,但BFS算法背景干擾較少,GR算法的顯著目標(biāo)更完整.結(jié)果較差的是GB算法、FT算法、BM算法和SF算法,GB算法整個(gè)區(qū)域都比較模糊,效果最差;FT算法和BM算法的顯著圖有目標(biāo),有背景,顯著區(qū)域不突出;SF算法相對(duì)背景較少,但目標(biāo)不清晰.從圖中可以看出本文算法和其它六種算法相比效果比較好,目標(biāo)比較明顯,背景干擾少,由于圖片背景復(fù)雜,和真值圖相比檢測(cè)到的目標(biāo)還不夠完整.

圖6 七種算法在DUT-OMRON部分圖片上的顯著圖Fig.6 Saliency maps of the seven algorithms on the DUT-OMRON part of the pictures

為了進(jìn)一步分析本文算法的優(yōu)越性,本文采用準(zhǔn)確率-召回率曲線和準(zhǔn)確率、召回率和F-measure柱狀圖來(lái)衡量顯著性算法的效果.首先采用固定閾值將顯著圖進(jìn)行二值化,準(zhǔn)確率為顯著圖和真值圖交集中1的個(gè)數(shù)和除以顯著圖像素值為1的個(gè)數(shù)和,召回率為顯著圖和真值圖交集中1的個(gè)數(shù)和除以真值圖像素值為1的個(gè)數(shù)和.將[0,255]之間的每個(gè)值設(shè)為一個(gè)閾值,得到256幅二值圖像,參照真值圖,計(jì)算得到待測(cè)圖像的256個(gè)準(zhǔn)確率和召回率,再把每個(gè)閾值下的P和R取平均,以召回率為橫軸,準(zhǔn)確率為縱軸,畫(huà)出準(zhǔn)確率-召回率曲線.準(zhǔn)確率、召回率和F-measure柱狀圖的閾值和上面的不同,是通過(guò)自適應(yīng)閾值二值化顯著圖,再取所有圖片的平均準(zhǔn)確率和召回率,F-measure值計(jì)算如下:

(18)

其中,β用來(lái)確定準(zhǔn)確率對(duì)于召回率的重要性,β2>1表示召回率重要,β2<1表示準(zhǔn)確率在評(píng)價(jià)體系中占主導(dǎo).本文設(shè)β2=0.3,用來(lái)強(qiáng)調(diào)準(zhǔn)確率的重要性.

圖7是七種算法在MSRA-1000數(shù)據(jù)庫(kù)上的準(zhǔn)確率-召回率曲線圖.上三角連線組成的代表本文算法,從圖中可以看出本文算法要優(yōu)于其它算法.GB算法和FT算法的準(zhǔn)確率和召回率偏低,因?yàn)镚B算法檢測(cè)到的顯著區(qū)域不明顯,分辨率較低,FT算法雖然能檢測(cè)出顯著目標(biāo),但含有大量的背景.GR算法采用背景先驗(yàn)和光滑先驗(yàn)理論,P-R曲線較高,但本文算法的顯著目標(biāo)突出,背景干擾少,實(shí)驗(yàn)效果比GR算法好.雖然召回率在0.1左右時(shí),本文算法準(zhǔn)確率低于BFS算法,但較低的召回率對(duì)顯著性檢測(cè)的意義不大.

圖7 七種算法在MSRA-1000數(shù)據(jù)庫(kù)上的準(zhǔn)確率-召回率曲線圖Fig.7 Precision-Recall curves of the seven algorithms on the MSRA-1000 part of the pictures

圖8是七種算法的準(zhǔn)確率、召回率和F-measure柱狀圖,從圖中看到結(jié)果較好的是SF算法、GR算法和本文算法,本文算法的結(jié)果都比SF算法好,其中召回率要遠(yuǎn)遠(yuǎn)高于SF算法.準(zhǔn)確率和GR算法持平,在F值和召回率上都要高于GR算法.本文算法的準(zhǔn)確率為0.9238,召回率為0.8191,F-measure值為0.8973,總體上本文算法在召回率和F值上都要優(yōu)于其它六種算法.

圖8 七種算法在MSRA-1000數(shù)據(jù)庫(kù)上的準(zhǔn)確率、召回率和F-measure柱狀圖Fig.8 Precision,Recall and F-measure values of the seven algorithms on the MSRA-1000 part of the pictures

圖9是七種算法在DUT-OMRON數(shù)據(jù)庫(kù)上的準(zhǔn)確率-召回率曲線圖.DUT-OMRON數(shù)據(jù)庫(kù)圖片都相對(duì)比較復(fù)雜,而且數(shù)量較多,所以從圖9中看到這七種算法在這個(gè)庫(kù)上的實(shí)驗(yàn)結(jié)果比圖7在MSRA-1000數(shù)據(jù)庫(kù)上的結(jié)果要低很多.雖然圖片對(duì)算法的要求比較高,但是本文算法的結(jié)果仍然是最好的,P-R曲線要高于其它六種算法.

圖9 七種算法在DUT-OMRON數(shù)據(jù)庫(kù)上的準(zhǔn)確率-召回率曲線圖Fig.9 Precision-Recall curves of the seven algorithms on the DUT-OMRON part of the pictures

圖10是七種算法在DUT-OMRON數(shù)據(jù)庫(kù)上的準(zhǔn)確率、召回率和F-measure柱狀圖.圖中本文算法的F-measure值要高于其它六種算法,達(dá)到了0.5814;本文算法的準(zhǔn)確率僅次于GR算法,但要高于其它五種算法;本文算法的召回率和GB算法、BFS算法基本持平,但要高于其它四種算法;所以雖然本文算法的準(zhǔn)確率和召回率的結(jié)果不是最好的,但是F值是最高的,能夠從整體上說(shuō)明本文算法的有效性.

圖10 七種算法在DUT-OMRON數(shù)據(jù)庫(kù)上的準(zhǔn)確率、召回率和F-measure柱狀圖Fig.10 Precision,Recall and F-measure values of the seven algorithms on the DUT-OMRON part of the pictures

本文選擇了在MSRA-1000數(shù)據(jù)庫(kù)上顯著圖結(jié)果較好的四種算法,比較四種算法在MSRA-1000數(shù)據(jù)庫(kù)上運(yùn)行的平均時(shí)間,如表1所示.

表1 運(yùn)行時(shí)間對(duì)比
Table 1 Comparison of running time

方法SF[2]GR[19]BFS[18]本文算法時(shí)間(秒)0.2790.4490.5900.552代碼類型MatlabMatlabMatlabMatlab

由表1可知,BFS算法運(yùn)行的時(shí)間最長(zhǎng),SF算法最短.本文算法運(yùn)行時(shí)間雖然高于GR算法和SF算法,但是本文算法的顯著區(qū)域檢測(cè)性能最好.

5 結(jié)束語(yǔ)

本文提出了一種融合前景和背景種子點(diǎn)擴(kuò)散的顯著性目標(biāo)檢測(cè)算法.背景點(diǎn)和前景點(diǎn)同時(shí)作為種子點(diǎn)進(jìn)行顯著性擴(kuò)散,前景種子點(diǎn)擴(kuò)散檢測(cè)到的顯著圖能完整的突出顯著區(qū)域,但有很多背景噪聲,而背景種子點(diǎn)擴(kuò)散得到的顯著圖能較好的抑制背景區(qū)域,兩者融合,能夠互相補(bǔ)充.為更加完善顯著圖,采用了聚類優(yōu)化和抑制函數(shù)對(duì)顯著圖進(jìn)行改進(jìn).為了評(píng)價(jià)本文算法的性能,在MSRA-1000和DUT-OMRON數(shù)據(jù)庫(kù)上與其它六種算法比較,相應(yīng)結(jié)果證明了本文算法的有效性.本文方法也存在一些不足,對(duì)于比較復(fù)雜的圖片,顯著區(qū)域檢測(cè)的還不夠準(zhǔn)確,仍有待于提高.