李 巍，王 鷗，田慶陽，梁 凱，譚學(xué)軍，剛毅凝，劉嘉華，林華鋒

(1.國網(wǎng)遼寧省電力有限公司，遼寧 沈陽 110004；2.南瑞集團(tuán)有限公司(國網(wǎng)電力科學(xué)研究院有限公司)，江蘇 南京 211000；3.南京航空航天大學(xué) 計算機(jī)學(xué)院，江蘇 南京 211106)

0 引 言

顯著性檢測的目的是識別圖像中最吸引人注意的區(qū)域，近年來成為計算機(jī)視覺領(lǐng)域中非常具有代表的問題，在圖像檢索[1]、圖像分割[2]、圖像分類[3]和目標(biāo)識別[4]等領(lǐng)域應(yīng)用廣泛。顯著性檢測主要分為自底向上和自頂向下兩種模型，前者主要基于一些圖像的底層特征(如顏色、亮度、方向等)和先驗信息(如緊湊度、唯一性、背景等)，而后者主要通過對圖像中有代表性的特征進(jìn)行標(biāo)注、訓(xùn)練再檢測。自頂向下的顯著性對象檢測與對象檢測相關(guān)，其目標(biāo)是自動定位指定類別的對象所在位置。早期的方法屬于基于圖像屬性對比度特征的顯著檢測，如Itti等[5]使用中心—周邊算子，在高斯金字塔結(jié)構(gòu)中計算各尺度的底層特征以實現(xiàn)跨尺度對比計算顯著性。Achanta[6]在此基礎(chǔ)上提出了基于頻域的顯著性區(qū)域檢測方法。Cheng[7]提出基于全局對比度的顯著性區(qū)域檢測方法。Goferman[8]引入上下文認(rèn)知思想，融合不同尺度下的局部特征圖，生成顯著圖。Liu[9]提出學(xué)習(xí)條件隨機(jī)場模型，從局部、區(qū)域和全局等層面獲取的特征映射圖進(jìn)行融合得到顯著圖。Wei等[10]提出了基于“背景優(yōu)先”模型的顯著性目標(biāo)檢測算法。Li等[11]提取位于圖像四周邊界區(qū)域的超像素塊并將其視為背景區(qū)域，利用已有的基于稠密與稀疏的重構(gòu)誤差顯著性目標(biāo)檢測模型，分別獲取相應(yīng)顯著圖。Yang等[12]通過將四個邊界區(qū)域中的像素點或者超像素塊視為背景種子(seed)，利用基于圖的流行排序算法計算任一超像素塊的顯著性特征值。Jiang等[13]將位于圖像四周邊緣區(qū)域的像素點或超像素塊視為馬爾可夫鏈中的吸收(absorb)節(jié)點，獲取相應(yīng)的顯著圖。Qin等[14]提出了基于k-means算法的背景區(qū)域提取方法，通過引入元胞自動機(jī)更新機(jī)制，獲取最終的顯著圖。林華鋒[15]、項導(dǎo)[16]和張巧榮[17]也在顯著性物體檢測和基于背景的顯著性檢測方法中取得了較好的檢測效果。

通過觀察發(fā)現(xiàn)，大多數(shù)圖像中的顯著性物體往往包含多個具有高對比度的區(qū)域。如果這些區(qū)域同提取的背景模板具有相似的特征值，那么基于背景模板抑制的顯著性目標(biāo)檢測方法只能檢測出同背景模板具有較高對比度的顯著性區(qū)域，而不能完整地檢測出整個顯著性目標(biāo)。對此，文中提出一種改進(jìn)的背景抑制顯著性檢測方法，以檢測出更完整的顯著性目標(biāo)。

1 基于背景模板的顯著性檢測

1.1 底層特征提取與超像素分割

1.2 背景模板的構(gòu)造

基于“背景優(yōu)先”模型的顯著性目標(biāo)檢測方法都是建立在這樣一個假設(shè)的基礎(chǔ)上：圖像四周的邊緣區(qū)域最有可能是背景。為了更好地構(gòu)造背景模板，提出了一種基于對比準(zhǔn)則與聯(lián)通性準(zhǔn)則的自適應(yīng)選擇方案，用于從原始背景區(qū)域中移除顯著的超像素塊，同時將篩選后的原始背景區(qū)域稱為背景模板。

(1)對比準(zhǔn)則。

(1)

(2)連通性準(zhǔn)則。

通過觀察發(fā)現(xiàn)，與顯著性區(qū)域相比，背景區(qū)域更容易連通圖像邊界。根據(jù)這一特點，設(shè)計了連通性準(zhǔn)則，用于移除原始背景區(qū)域中的顯著超像素塊。可將超像素塊集合劃分成多個區(qū)域，并且每個區(qū)域中的超像素塊的連通性值都相等。

1.3 顯著圖的生成

利用圖像中超像素塊與背景模板的對比度，實現(xiàn)對該超像素塊的顯著性估計。若一個超像素塊與背景模板的顏色對比度越大，其顯著度越高。若一個超像素塊與背景模板的空間對比度越小,則背景模板對該超像素塊顯著值的影響就越大。因此，將空間對比度加權(quán)的顏色對比度之和定義為超像素塊spi的顯著值：

其中，ds(spi,spk)與dc(spi,spk)分別為超像素塊之間的空間歐氏距離與顏色空間上的歐氏距離；σs用于控制ds(spi,spk)的權(quán)重；Nbt指代背景模板中超像素塊的個數(shù)。

2 基于輪廓提取的顯著性物體完整性檢測

為解決上述顯著性物體的完整性檢測問題，文中提出一種基于輪廓檢測的完整顯著性檢測方法，簡稱CS方法。首先，CS方法利用基于全局概率邊界的輪廓檢測方法[18]獲取輸入圖像中所有目標(biāo)的初始輪廓。利用提出的基于虛擬連接(virtual-link)的輪廓處理方案對初始輪廓圖進(jìn)行預(yù)處理,合并相鄰的輪廓，移除非封閉的輪廓。利用設(shè)計的基于最短路徑的閉環(huán)搜尋(search for closed-loops)方法提取更加準(zhǔn)確的目標(biāo)輪廓，保證目標(biāo)檢測的完整性。然后，采用自適應(yīng)閾值分割算法對基于背景模板的顯著圖進(jìn)行二值分割，獲取二值顯著圖與顯著像素點。通過去除含有顯著像素點比例小于指定閾值的輪廓完整區(qū)域，獲取優(yōu)化的基于輪廓檢測的顯著圖。最后，將其與二值顯著圖進(jìn)行融合，獲取完整顯著圖。

2.1 基于輪廓檢測的顯著圖

通過實驗觀察可知，輸入圖像中顯著性目標(biāo)的輪廓特征能夠保證顯著性目標(biāo)的完整性。因此，選取一個合適的輪廓檢測算法是首要工作。

已有的研究結(jié)果表明，相對于其他經(jīng)典的輪廓檢測算法，基于全局概率邊界的輪廓檢測算法(globalized probability of boundary，gPb)具有更高的輪廓檢測性能。因此，文中采用gPb算法獲取圖像中每個目標(biāo)的初始輪廓。gPb算法利用提取的圖像中每個像素點的顏色特征、亮度特征與紋理特征，通過后驗概率模型獲取圖像輪廓。圖像輪廓使用梯度距離度量獲取的每個輪廓線是真正輪廓線的概率。因此梯度值越大，相應(yīng)的輪廓灰度值也越大，說明該輪廓線更有可能是圖像中某個目標(biāo)的輪廓線。為獲取圖像中目標(biāo)的“真實”輪廓，忽略噪聲輪廓，需要為每幅圖像設(shè)置一個閾值，保留梯度值大于指定閾值的輪廓線，去除梯度值小于指定閾值的輪廓線，進(jìn)而消除噪聲輪廓對顯著性目標(biāo)完整性檢測的不利影響。針對不同的輸入圖像，其輪廓檢測結(jié)果千差萬別。因此，很難設(shè)置一個合適的固定閾值，滿足所有輸入圖像的需要，應(yīng)根據(jù)不同輸入圖像獲取的輪廓圖，自適應(yīng)地設(shè)置閾值，以達(dá)到消除噪聲輪廓的目的。

針對輸入圖像，其對應(yīng)的自適應(yīng)閾值為：

(3)

其中，ξi指圖像I中第i條輪廓線的梯度值；N指圖像中輪廓線的數(shù)目。

經(jīng)過自適應(yīng)閾值篩選后的輪廓圖稱為自適應(yīng)輪廓圖。針對背景較為簡單、顯著性目標(biāo)單一的圖像，利用自適應(yīng)輪廓能夠有效保證目標(biāo)的完整性。但是，針對背景較為復(fù)雜、顯著性目標(biāo)包含多個具有高對比度區(qū)域的圖像，自適應(yīng)輪廓往往存在不連續(xù)的現(xiàn)象，難以保證顯著性目標(biāo)的完整性。

1)基于虛擬連接的輪廓處理方案。

對自適應(yīng)輪廓圖進(jìn)行預(yù)處理，合并相鄰的輪廓并移除非封閉的輪廓，共包括四個方面。

(1)輪廓線構(gòu)造。如果某個輪廓線的端點僅同另外一條輪廓線的端點或者自身的另一個端點非常接近，則利用虛擬連接結(jié)構(gòu)創(chuàng)建一個虛擬端點，形成一個新的輪廓線。

(2)輪廓線分割。如果某個輪廓線的端點十分靠近另一條輪廓線上中間的某個像素點，則以該像素點為邊界點，將該輪廓線分割為兩條獨立的輪廓線，并將端點同新形成的邊界點進(jìn)行連接。

(3)孤立輪廓線移除。如果某條輪廓線的兩個端點，不能同圖像中的其他輪廓線建立虛擬連接點，則將該輪廓線視為孤立的輪廓線，并將其從輪廓圖中移除。

(4)同向輪廓線融合。如果在某一方向上存在多條較為接近的輪廓線，則將這些輪廓線融合成一條新的輪廓線。

利用上述基于虛擬連接的輪廓處理方案獲取的輪廓圖稱為基于虛擬連接的輪廓圖。已有研究表明，基于虛擬連接的輪廓圖能夠有效去除孤立的輪廓線，融合距離接近的輪廓線，進(jìn)一步保證了目標(biāo)輪廓的完整性。但是，針對屬于同一目標(biāo)并且距離較遠(yuǎn)的多條輪廓線，則不能對其進(jìn)行有效融合，使得獲取的輪廓圖不能形成封閉的環(huán)形，難以獲取目標(biāo)的完整輪廓。

2)基于最短路徑的閉環(huán)搜尋方案。

針對基于虛擬連接顯著圖中的非閉合輪廓線，利用該方法獲取能夠形成閉環(huán)的最短路徑，用于提取更加準(zhǔn)確的目標(biāo)輪廓，保證目標(biāo)檢測的完整性。假設(shè)預(yù)處理輪廓圖中存在Ne個非閉合端點ei,i∈[1,Ne]，任意兩個非閉合端點ei與ej之間的路徑長度L(ei,ej)同兩點間的歐氏距離呈現(xiàn)正相關(guān)的關(guān)系，同連接點ej所在輪廓線的梯度值呈負(fù)相關(guān)的關(guān)系。即如果兩點在空間分布上越靠近，待連接點所在輪廓線的梯度值越高，則兩點之間的路徑越短。反之，則兩點之間的路徑越遠(yuǎn)。由于兩點間的歐氏距離遠(yuǎn)遠(yuǎn)大于輪廓線的梯度值，因此需要分別對兩者進(jìn)行歸一化處理，以平衡兩者的作用。兩點間的路徑長度L(ei,ej)可由以下公式計算：

L(ei,ej)=‖ei,ej‖2/ξj

(4)

通過反復(fù)迭代連接具有最短路徑的端點，可形成多個封閉環(huán)形的輪廓線，能夠有效地保證輸入圖像中目標(biāo)輪廓的完整性，獲取完整的輪廓圖。

3)輪廓顯著圖生成。

根據(jù)獲取的完整輪廓圖，可將輸入圖像I分割為N個邊緣完整的區(qū)域{I1,I2,…,IN}。從分割的區(qū)域中篩選出屬于顯著性目標(biāo)的區(qū)域，去除屬于背景的區(qū)域。參考經(jīng)典的ITTI金字塔顯著性檢測模型[1],針對每個區(qū)域分別提取強(qiáng)度特征(intensity)、顏色特征(color)與方向特征(orientation)。每幅輸入圖像均由紅(R)、綠(G)、藍(lán)(B)三種顏色信道構(gòu)成，每個像素點pi的強(qiáng)度特征值ωin,i為ωin,i=(R+G+B)/3。

研究者通過觀察發(fā)現(xiàn)，神經(jīng)元在顯著性區(qū)域會被一種顏色(如紅色)激活，卻被另一種顏色(如綠色)抑制，在背景區(qū)域則剛好相反。該現(xiàn)象存在于(R，G)、(G，R)、(B，Y)與(Y，B)這四個顏色對中。因此，四種寬調(diào)諧顏色通道被提?。?/p>

(5)

對于輸入圖像，任意兩個像素點pi與pj間的顏色特征值ωRG,ij與ωBY,ij分別為：

(6)

對于輸入圖像中的像素點pi，其顏色特征值ωRG,i與ωBY,i可視為與屬于同一完整區(qū)域Ii內(nèi)所有像素點之間顏色特征值的累加和，即：

(7)

通過對獲取的強(qiáng)度圖像進(jìn)行Gabor核卷積，可提取相應(yīng)的方向特征。由于Gabor核具有方向性，在不同的方向上對強(qiáng)度圖像進(jìn)行處理，可獲取不同的方向特征圖。參考ITTI模型，分別采用θ∈{0°,45°,90°,135°}作為Gabor核的方向。任意兩個像素點pi與pj間的方向特征值ωo,ij為：

ωo,ij=|O(i,θ)-O(j,θ)|

(8)

與顏色特征類似，像素點pi的強(qiáng)度特征ωo,i由下式求得：

(9)

針對每個邊緣完整的區(qū)域Ii，該區(qū)域的強(qiáng)度、顏色與方向特征值分別為該區(qū)域中所有像素點對應(yīng)特征值的均值，用ωin,i,ωRG,i,ωBY,i,ωO,i表示。針對每一種特征值，利用下式計算完整區(qū)域間的空間加權(quán)和，可獲取相應(yīng)的特征顯著值。

(10)

其中，fe?{in,RG,BY,O}，ds(ωfe,i,ωfe,j)與dfe(ωfe,i,ωfe,j)分別是超像素塊之間的空間歐氏距離與特征空間上的歐氏距離。

為更好地衡量該類區(qū)域的顯著性，為邊界線設(shè)置一個梯度值。結(jié)合上章介紹的背景模板，將屬于背景模板的邊界線的梯度值設(shè)置為0，其余的設(shè)置為1。另一方面，顯著性目標(biāo)的面積往往小于背景區(qū)域的面積。這主要是因為背景區(qū)域的連通性要遠(yuǎn)遠(yuǎn)高于顯著性目標(biāo)，因此背景區(qū)域的面積較大。結(jié)合上述兩方面，為每個區(qū)域Ii設(shè)置一個顯著值Pi：

(11)

將獲取的所有顯著值分別進(jìn)行歸一化，然后計算其累計和并賦予相應(yīng)的目標(biāo)，由此可以得到基于輪廓檢測的顯著圖。

2.2 基于背景模板的二值分割圖

在基于輪廓提取顯著圖的基礎(chǔ)上,利用已有經(jīng)典算法獲取的顯著圖，進(jìn)一步篩選屬于顯著性目標(biāo)的區(qū)域。在保證輸入圖像中每個區(qū)域完整性的同時,獲取準(zhǔn)確的顯著值。為便于說明，使用基于背景模板方法獲取的顯著圖Is作為區(qū)域顯著性衡量依據(jù)。根據(jù)顯著圖Is計算相應(yīng)的自適應(yīng)閾值sTa：

(12)

其中，S(x,y)為像素點I(x,y)的顯著值；Ix與Iy分別為顯著性圖像Is的寬度與高度。

如果圖像中某像素點的顯著值小于自適應(yīng)閾值sTa，則該像素點的顯著值被賦值為0。否則，像素點的顯著值被設(shè)置為1，并將其視為顯著像素點。利用獲取的自適應(yīng)閾值sTa對圖像Is進(jìn)行自適應(yīng)閾值分割獲取二值分割圖Iss。

2.3 完整顯著圖

(1)輪廓顯著圖優(yōu)化。

通過觀察發(fā)現(xiàn)，由于顯著性目標(biāo)中包含的顯著像素點的數(shù)目要遠(yuǎn)遠(yuǎn)高于其他目標(biāo)區(qū)域，設(shè)置一基準(zhǔn)比例Bκ，篩選出大于基準(zhǔn)比例的區(qū)域，即屬于顯著性目標(biāo)的區(qū)域，同時去除小于基準(zhǔn)比例的背景區(qū)域。

(13)

其中,n為顯著性像素點的個數(shù)。

通過僅保留目標(biāo)區(qū)域中顯著性像素點比例大于基準(zhǔn)比例的區(qū)域，生成優(yōu)化的輪廓顯著圖Ifs。

(2)完整顯著圖。

實驗表明，優(yōu)化的輪廓顯著圖Ifs能夠保證圖像中顯著性目標(biāo)的完整性，同時抑制大部分屬于背景的區(qū)域，但是卻不能有效獲取屬于顯著性目標(biāo)的顯著值。二值分割圖Iss能夠保證輸入圖像中每個目標(biāo)區(qū)域的顯著性，卻難以保證其完整性。可通過對獲取的顯著圖進(jìn)行線性融合，獲取完整顯著圖IF，實現(xiàn)顯著性目標(biāo)完整性檢測。

(14)

其中,α和β分別為Iss和Ifs的系數(shù)。

3 實驗驗證

為驗證提出的CS算法的性能，在ECSSD與CBD兩個數(shù)據(jù)集上將其應(yīng)用到5種經(jīng)典的顯著性檢測算法中，包括SR07、CA10、LR12、GL14以及背景模板方法，并將處理后得到的完整顯著圖與顯著性算法的原有結(jié)果進(jìn)行對比。整個仿真實驗均在Intel CoreTMi3-3220處理器，4G內(nèi)存的硬件環(huán)境下進(jìn)行。操作系統(tǒng)為Microsoft Windows 7，實驗仿真環(huán)境是Matlab 2008a。

針對顯著性模型產(chǎn)生的顯著圖用閾值進(jìn)行分割，其中閾值的取值范圍為0到255，獲取準(zhǔn)確率-召回率曲線。對每幅輸入圖像利用設(shè)定的自適應(yīng)閾值T對其進(jìn)行分割：

(15)

其中，W與H分別為圖像的寬度與高度。

通過計算在該數(shù)據(jù)集上獲取顯著圖的平均準(zhǔn)確率與召回率，然后根據(jù)公式計算平均的F-measure值。

(16)

F-measure值用于平衡準(zhǔn)確率與召回率兩者的作用，實際應(yīng)用中發(fā)現(xiàn)準(zhǔn)確率的重要性要高于召回率，因此設(shè)置β2為0.3。平均絕對誤差通過對比顯著圖與人工分割圖的差異來評價顯著性模型。根據(jù)式17計算每個輸入圖像的MAE，利用計算出的MAE均值繪制柱狀圖。

(17)

3.1 參數(shù)設(shè)置

結(jié)果表明參數(shù)r在區(qū)間[1.5,2.5]時，文中方法表現(xiàn)出了很強(qiáng)的穩(wěn)定性。因此固定參數(shù)r=2。α與β分別設(shè)置為1與3。

3.2 實驗對比結(jié)果

經(jīng)CS方法處理后的顯著圖標(biāo)記為原方法加后綴CS的形式。針對顯著性目標(biāo)位于圖像中心的圖像，圖1顯示了完整顯著圖進(jìn)行的視覺比較結(jié)果。

圖1 顯著性目標(biāo)位于圖像邊緣且包含多個高 對比部分的圖像視覺顯著圖

通過觀察發(fā)現(xiàn)，經(jīng)CS方法處理后的基于背景模板抑制的顯著圖，能夠一致地凸顯整個顯著性目標(biāo)。

為了進(jìn)一步評價文中算法的有效性，表1和表2分別給出了ECSSD與CBD數(shù)據(jù)集上經(jīng)典顯著性檢測算法和經(jīng)過文中算法處理后的顯著性檢測算法的性能比較。通過比較，經(jīng)過CS算法處理前后的對比值可以看出，CS方法均能夠提升原顯著性檢測方法的準(zhǔn)確率與召回率，獲取更好的準(zhǔn)確率。

表1和表2還根據(jù)F值和MAE這兩種評價標(biāo)準(zhǔn)對5種經(jīng)典算法與文中方法進(jìn)行了對比，驗證了文中方法的有效性。

表1 ECSSD數(shù)據(jù)集上典型算法的F值和MAE性能

表2 CBD數(shù)據(jù)集上典型算法的F值和MAE性能

4 結(jié)束語

針對現(xiàn)有基于背景模板的方法不能完整檢測部分區(qū)域與背景具有相似特征的顯著性目標(biāo)這一問題，提出了一種基于輪廓檢測的顯著性目標(biāo)完整性檢測方法。實驗結(jié)果表明，該方法能夠完整地檢測出顯著性目標(biāo)，驗證了其有效性。未來的工作主要是提高輪廓檢測的效率，通過降低輪廓檢測算法的時間復(fù)雜度，以更加快速地獲取完整的顯著性目標(biāo)。