李海波，曹云峰，丁 萌，莊麗葵

(1.南京航空航天大學(xué) 自動(dòng)化學(xué)院，江蘇 南京 210016；2.南京航空航天大學(xué) 航天學(xué)院，江蘇 南京 210016;3.南京航空航天大學(xué) 民航學(xué)院，江蘇 南京 210016)

0 引 言

隨著計(jì)算機(jī)技術(shù)的發(fā)展，基于光學(xué)圖像特征的顯著性檢測(cè)成為了研究熱點(diǎn)，不斷有研究人員對(duì)現(xiàn)有的檢測(cè)方法進(jìn)行改進(jìn)，如文獻(xiàn)[1]基于貝葉斯模型提出一種改進(jìn)的顯著性檢測(cè)算法，可以得到相對(duì)平滑、視覺(jué)效果較好的顯著性圖。為提高顯著性檢測(cè)的準(zhǔn)確度，很多學(xué)者提出了不同的方法。例如，文獻(xiàn)[2]提出一種基于區(qū)域合并的顯著性檢測(cè)算法，采用不同合并策略將多個(gè)區(qū)域合并成顯著性區(qū)域和背景區(qū)域，提高了檢測(cè)的準(zhǔn)確度；文獻(xiàn)[3]提出一種基于稀疏性表示與自信息的顯著性檢測(cè)方法，根據(jù)像素點(diǎn)的自信息值計(jì)算顯著性，在一定程度上提高了檢測(cè)的準(zhǔn)確性；文獻(xiàn)[4]提出一種多尺度顯著性檢測(cè)方法，根據(jù)層次圖模型將多層顯著圖合并，減少了單一尺度檢測(cè)結(jié)果的不準(zhǔn)確性；文獻(xiàn)[5-6]則分別提出了基于前景和背景特征及背景與中心先驗(yàn)的檢測(cè)方法，提高了檢測(cè)的準(zhǔn)確性。物體檢測(cè)廣泛應(yīng)用于眾多領(lǐng)域，包括人臉識(shí)別、行人檢測(cè)等[7]。針對(duì)不同的應(yīng)用場(chǎng)景，采用的檢測(cè)方法具有一定針對(duì)性，如文獻(xiàn)[8-10]針對(duì)人臉檢測(cè)提出了相對(duì)應(yīng)的檢測(cè)方法。在一些特殊應(yīng)用場(chǎng)景，如行星探測(cè)器著陸時(shí)對(duì)行星地表的檢測(cè)，由于光照條件易發(fā)生變化，單純依靠光學(xué)圖像的檢測(cè)方法容易受到影響，難以滿(mǎn)足檢測(cè)要求。針對(duì)這一問(wèn)題，文中研究了一種基于光學(xué)圖像與深度圖的顯著性檢測(cè)方法，深度圖來(lái)源于激光雷達(dá)等距離測(cè)量設(shè)備，通過(guò)最近鄰插值等方法可以獲得。該方法可以提高檢測(cè)方法對(duì)環(huán)境的適應(yīng)性，拓展了檢測(cè)方法的應(yīng)用范圍。

1 光學(xué)圖像與深度圖的顯著性計(jì)算及融合

1.1 光學(xué)圖像特征提取及顯著性計(jì)算

對(duì)于光學(xué)圖像，利用高斯濾波器對(duì)圖像進(jìn)行濾波和降采樣，形成高斯金子塔G(σ)，σ為尺度參數(shù)，σ∈[0,8]。對(duì)金子塔每一層分別提取顏色、亮度和方向特征。對(duì)于顏色特征提取，根據(jù)輸入圖像的r、g、b通道構(gòu)造4個(gè)顏色通道：R、G、B、Y，構(gòu)造方法如下：

(1)

對(duì)于亮度特征提取，計(jì)算方法如下：

(2)

方向特征利用Gabor濾波器提取，二維Garbor濾波器表達(dá)式如下：

(3)

其中，(x0,y0)為接受域中心；(ξ0,υ0)為峰值響應(yīng)時(shí)的空域頻率；α和β分別是x軸與y軸方向上的橢圓高斯方差。取0°、45°、90°和135°四個(gè)方向的Garbor濾波器輸出作為方向特征圖。

為計(jì)算金子塔的不同尺度特征圖，對(duì)每種特征在金字塔的不同尺度間做差，采用中心圍繞機(jī)制計(jì)算特征圖。取金字塔的2、3、4層為中心層，即c∈{2,3,4}；圍繞層為s=c+δ,δ∈{3,4}。對(duì)每種特征在中心層與圍繞層之間做差，做差前先采用最近鄰插值法將圍繞層擴(kuò)大到中心層尺寸。亮度特征圖計(jì)算方法如下：

D(c,s)=|D(c)ΘD(s)|

(4)

其中，Θ表示某一中心層與其圍繞層做差。

根據(jù)空間色彩對(duì)立原則[11]，顏色特征圖計(jì)算方法為：

RG(c,s)=|(r(c)-g(c))Θ(g(s)-r(s))|

(5)

BY(c,s)=|(b(c)-y(c))Θ(y(s)-b(s))|

(6)

方向特征圖計(jì)算方法為：

O(c,s,θ)=|O(c,s)ΘO(s,θ)|

(7)

經(jīng)過(guò)計(jì)算，在2、3、4層共得到42幅特征圖，其中包括6幅亮度特征圖，12張顏色特征圖，24張方向特征圖(4個(gè)方向)。

設(shè)特征圖用M表示，(i,j)與(p,q)分別為特征圖上兩個(gè)不同像素點(diǎn)的坐標(biāo)，M(i,j)與M(p,q)分別表示在 (i,j)、(p,q) 位置上的灰度值，則M(i,j)與M(p,q)的差異可通過(guò)下式計(jì)算：

(8)

構(gòu)造權(quán)重圖GM，以特征圖M的像素點(diǎn)作為節(jié)點(diǎn)，兩節(jié)點(diǎn)之間邊的權(quán)重計(jì)算公式為：

w((i,j),(p,q))?d((i,j)‖(p,q))·F(i-

p,j-q)

(9)

(10)

其中，σ為自由參數(shù)，取值區(qū)間為特征圖寬度的1/10～1/5，區(qū)間內(nèi)取不同值對(duì)輸出結(jié)果影響不大。

由式(9)可知，節(jié)點(diǎn)(i,j)和(p,q)之間邊的權(quán)重與節(jié)點(diǎn)之間差異及距離成正比，因此相反方向也擁有相同的權(quán)重，即

w((i,j),(p,q))=w((p,q),(i,j))

(11)

所以GM為無(wú)向圖。根據(jù)式(9)構(gòu)造的矩陣為圖GM的鄰接矩陣，表示圖中任一節(jié)點(diǎn)與其他節(jié)點(diǎn)的聯(lián)系。將鄰接矩陣按列歸一化，使邊的權(quán)重在[0,1]之間。把節(jié)點(diǎn)定義為狀態(tài)，邊的權(quán)重定義為轉(zhuǎn)移概率，這樣的鄰接矩陣具有馬爾可夫性質(zhì)。利用隨機(jī)游走的方法可以獲得節(jié)點(diǎn)的被訪(fǎng)頻率[12]。由于顯著性點(diǎn)與其他點(diǎn)差異較大，被訪(fǎng)頻率低，因此可以將其對(duì)應(yīng)像素點(diǎn)賦予較大顯著值，從而得到顯著圖。

將每個(gè)特征通道不同尺度的顯著圖下采樣到第四層空間，計(jì)算公式如下：

(12)

(13)

(14)

其中，N()表示歸一化處理；⊕表示采樣到第四層相加。

式(13)中，兩個(gè)顏色特征顯著圖先進(jìn)行同尺度相加，合并為一個(gè)顏色特征金子塔，然后再下采樣到第四層空間；式(14)中，四個(gè)方向特征顯著圖同樣也先進(jìn)行同尺度相加，合并為一個(gè)方向特征金子塔，然后再下采樣到第四層空間。通過(guò)上述計(jì)算，可以得到三個(gè)特征通道的顯著圖。將每個(gè)通道的顯著圖歸一化，然后進(jìn)行加權(quán)組合，如下所示：

(15)

其中，SM表示光學(xué)圖像最終的顯著圖。

1.2 深度圖分割及顯著性計(jì)算

(16)

然后，通過(guò)區(qū)域的顯著性計(jì)算像素點(diǎn)的顯著性值，計(jì)算方法如下：

S2(p)=

(17)

通過(guò)上述計(jì)算，可以得到一個(gè)初步的顯著圖，利用邊緣探測(cè)器[14]對(duì)顯著圖進(jìn)行邊緣線(xiàn)段提取。由于提取到的線(xiàn)段是不連接的，為獲取顯著性目標(biāo)的閉合輪廓，在提取到的線(xiàn)段端點(diǎn)之間添加可能的連接線(xiàn)段，形成閉合輪廓。對(duì)形成的閉合輪廓進(jìn)行優(yōu)化,方法如下：

(18)

利用輪廓比例算法[15]求出式(18)的最優(yōu)解，即為優(yōu)化后的輪廓。

最后，計(jì)算形狀先驗(yàn)圖，方法如下：

S3(p)=1-e1-γd(p)

(19)

其中，d(p)為像素p到優(yōu)化后輪廓C*的空間距離，通過(guò)距離轉(zhuǎn)換計(jì)算[16]；γ為形狀先驗(yàn)的置信系數(shù)。

設(shè)與輸入圖像I對(duì)應(yīng)的標(biāo)簽集為L(zhǎng)，其中元素lp∈{0,1}，當(dāng)lp=0時(shí)表示對(duì)應(yīng)像素為背景，lp=1時(shí)對(duì)應(yīng)像素為顯著性目標(biāo)，構(gòu)建能量函數(shù)如下：

(20)

其中，p、q表示兩個(gè)不同像素；B表示圖像像素的集合；A表示四連通鄰域；數(shù)據(jù)項(xiàng)U定義如下：

(21)

平滑項(xiàng)定義如下：

V(p,q,I,S3)=αVα(p,q,I)+(1-α)Vs(p,q,S3)

(22)

(23)

最后，通過(guò)最大流最小割(min-cut/max- flow)方法對(duì)所構(gòu)建的能量函數(shù)進(jìn)行最小化處理[19]，從而完成對(duì)圖像的二值分割，求出顯著圖。

為獲得更準(zhǔn)確的顯著目標(biāo)區(qū)域，將計(jì)算獲得的顯著區(qū)域適當(dāng)擴(kuò)大[20]，擴(kuò)大后以外的區(qū)域設(shè)置為背景，以?xún)?nèi)的區(qū)域設(shè)置為前景，即顯著性區(qū)域。在原始圖上分別建立前景區(qū)域和背景區(qū)域HSV(hue,saturation,value)直方圖HF、HB，顯著圖S2可通過(guò)下式重新獲得。

(24)

其中，bp為像素p的直方圖顏色區(qū)間。

前景和背景的重疊越少，顯著圖估計(jì)的越準(zhǔn)確。基于新的顯著圖，重復(fù)迭代：利用式(19)對(duì)形狀先驗(yàn)進(jìn)行更新，然后利用式(20)重新分割圖像，利用式(24)求取新的顯著圖。當(dāng)能量函數(shù)收斂時(shí)，停止迭代，獲得深度圖的最終顯著圖。

1.3 顯著性圖融合及確定顯著性區(qū)域

將光學(xué)圖像的顯著性圖與深度圖的顯著性圖以標(biāo)準(zhǔn)級(jí)像素相乘的方式進(jìn)行融合，使共有的顯著性區(qū)域得以保留，單個(gè)顯著圖異常顯著區(qū)域被消除，從而得到更加準(zhǔn)確的顯著性圖。根據(jù)顯著性圖，設(shè)定二值轉(zhuǎn)化閾值，將顯著性圖轉(zhuǎn)化為二值圖，確定顯著性目標(biāo)所在區(qū)域，在光學(xué)圖像中尋找相同位置區(qū)域，即為顯著性目標(biāo)所在區(qū)域。

2 實(shí)驗(yàn)及分析

隨機(jī)選取一對(duì)經(jīng)過(guò)配準(zhǔn)的光學(xué)圖像與深度圖，如圖1所示，可以看出巖石為顯著性目標(biāo)，即檢測(cè)對(duì)象。

圖1 經(jīng)過(guò)配準(zhǔn)的光學(xué)圖像與深度圖

分別采用1.1、1.2節(jié)所述方法計(jì)算圖1(a)、(b)的顯著性圖，其結(jié)果如圖2所示。

圖2 顯著性圖

對(duì)兩種顯著性圖利用1.3節(jié)所述方法進(jìn)行融合并轉(zhuǎn)化為二值圖，其結(jié)果如圖3所示。根據(jù)融合檢測(cè)結(jié)果在光學(xué)圖像相同位置找出顯著性目標(biāo)所在區(qū)域，其結(jié)果如圖4所示。

圖3 融合結(jié)果 圖4 檢測(cè)結(jié)果

從實(shí)驗(yàn)可以看出，提出的算法可以有效檢測(cè)出巖石所在區(qū)域。此外還進(jìn)行了多組實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明該算法是有效的。

3 與其他方法比較

將文中提出的方法與其他常用的顯著性檢測(cè)方法(如ITTI、GBVS等)進(jìn)行比較。從樣本庫(kù)中隨機(jī)選取一對(duì)經(jīng)過(guò)配準(zhǔn)的光學(xué)圖像與深度圖像，分別如圖5(a)、(b)所示；手動(dòng)標(biāo)出理想的檢測(cè)結(jié)果，如圖5(c)所示；對(duì)圖5(a)分別使用基于ITTI和GBVS的顯著性檢測(cè)方法，檢測(cè)結(jié)果如圖5(d)、(e)所示；采用文中方法得出的檢測(cè)結(jié)果如圖5(f)所示。

從圖5可以看出，采用文中方法與理想檢測(cè)結(jié)果最為接近。為進(jìn)一步分析，引入定量分析指標(biāo)：準(zhǔn)確率(P)，其定義為檢測(cè)結(jié)果與理想檢測(cè)結(jié)果之間重疊面積與檢測(cè)結(jié)果面積的比值，形式如下：

(25)

圖5 不同方法檢測(cè)結(jié)果對(duì)比

準(zhǔn)確率越高，檢測(cè)越精確。根據(jù)式(25)對(duì)不同方法檢測(cè)結(jié)果進(jìn)行定量比較，結(jié)果如表1所示。

從表1可以看出，采用文中方法的檢測(cè)準(zhǔn)確率最高，效果最好。

表1 不同方法的檢測(cè)準(zhǔn)確率 %

4 結(jié)束語(yǔ)

在一些特殊場(chǎng)景，如深空探測(cè)中的行星表面，單純依靠光學(xué)圖像特征的顯著性檢測(cè)易受光照變化影響，針對(duì)這一問(wèn)題，研究了一種基于光學(xué)圖像與深度圖的顯著性融合檢測(cè)方法。對(duì)于配準(zhǔn)后的光學(xué)圖像與深度圖，分別根據(jù)其圖像特征，計(jì)算光學(xué)圖像的顯著性與深度圖的顯著性；將計(jì)算得到的兩種顯著性圖進(jìn)行融合，形成新的顯著圖；根據(jù)最終顯著圖，找出光學(xué)圖像中顯著性目標(biāo)所在區(qū)域，從而完成檢測(cè)。實(shí)驗(yàn)結(jié)果表明，該方法可以有效檢測(cè)出顯著性目標(biāo)所在區(qū)域，與其他常用的顯著性檢測(cè)方法相比，具有較高的檢測(cè)準(zhǔn)確率。

[1] 林 曉,王燕玲,朱恒亮,等.改進(jìn)凸包的貝葉斯模型顯著性檢測(cè)算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2017,29(2):221-228.

[2] 孫 豐,秦開(kāi)懷,孫 偉,等.基于區(qū)域合并的圖像顯著性檢測(cè)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2016,28(10):1679-1687.

[3] 劉尚旺,趙勝杰,李元隆.基于稀疏性和自信息的顯著性檢測(cè)方法[J].計(jì)算機(jī)工程與設(shè)計(jì),2016,37(8):2176-2180.

[4] 羅 斌,王慧玲.層次圖融合的顯著性檢測(cè)[J].計(jì)算機(jī)科學(xué)與探索,2016,10(12):1752-1762.

[5] 朱征宇,汪 梅.基于Manifold Ranking和結(jié)合前景背景特征的顯著性檢測(cè)[J].計(jì)算機(jī)應(yīng)用,2016,36(9):2560-2565.

[6] 陳南而,陳 瑩.采用背景和中心先驗(yàn)的圖像顯著性檢測(cè)[J].小型微型計(jì)算機(jī)系統(tǒng),2016,37(10):2371-2374.

[7] 黃凱奇,任偉強(qiáng),譚鐵牛.圖像物體分類(lèi)與檢測(cè)算法綜述[J].計(jì)算機(jī)學(xué)報(bào),2014,37(6):1225-1240.

[8] 陳 凡,童 瑩,曹雪虹.復(fù)雜環(huán)境下基于視覺(jué)顯著性的人臉目標(biāo)檢測(cè)[J].計(jì)算機(jī)技術(shù)與發(fā)展,2017,27(1):48-52.

[9] 王 攀,李少波.基于膚色和FBLBP算法的人臉檢測(cè)[J].計(jì)算機(jī)技術(shù)與發(fā)展,2017,27(1):44-47.

[10] 邵 虹,耿 昊.基于膚色信息和模板匹配的人臉檢測(cè)與提取[J].計(jì)算機(jī)技術(shù)與發(fā)展,2016,26(11):49-53.

[11] ITTI L,KOCH C,NIEBUR E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,1998,20(11):1254-1259.

[12] SCH?LKOPF B,PLATT J,HOFMANN T.Graph-based visual saliency[C]//International conference on neural information processing systems.[s.l.]:IEEE,2006:545-552.

[13] FELZENSZWALB P F,HUTTENLOCHER D P.Efficient graph-based image segmentation[J].International Journal of Computer Vision,2004,59(2):167-181.

[14] MARTIN D R,FOWLKES C C,MALIK J.Learning to detect natural image boundaries using local brightness,color,and texture cues[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2004,26(5):530-549.

[15] WANG S,KUBOTA T,SISKIND J M,et al.Salient closed boundary extraction with ratio contour[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2005,27(4):546-561.

[16] FELZENSZWALB P F,HUTTENLOCHER D P.Distance transforms of sampled functions[J].Theory of Computing,2004,8(19):415-428.

[17] LIU T,YUAN Z,SUN J,et al.Learning to detect a salient object[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2007,33(2):353-367.

[18] ROTHER C,KOLMOGOROV V,BLAKE A."GrabCut":interactive foreground extraction using iterated graph cuts[J].ACM Transactions on Graphics,2004,23(3):309-314.

[19] BOYKOV Y,KOLMOGOROV V.An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2004,26(9):1124-1137.

[20] JIANG H,WANG J,YUAN Z,et al.Automatic salient object segmentation based on context and shape prior[C]//British machine vision conference.Dundee:BMVA Press,2011.