劉松濤 劉振興 姜寧

紅外圖像目標(biāo)的快速和精確分割是自動(dòng)目標(biāo)識(shí)別的關(guān)鍵技術(shù)之一.傳統(tǒng)的目標(biāo)分割方法主要有兩類:1)首先進(jìn)行圖像分割,然后濾除干擾和雜波區(qū)域,實(shí)現(xiàn)目標(biāo)分割[1];2)首先進(jìn)行目標(biāo)檢測,然后在檢測包圍盒內(nèi)進(jìn)行目標(biāo)分割[2].本文將目標(biāo)檢測和分割融合在一起,首先利用超像素獲取圖像分割結(jié)果,然后融合局部和全局的區(qū)域顯著性得到圖像顯著圖,最后應(yīng)用目標(biāo)檢測的包圍盒濾除干擾和雜波區(qū)域,實(shí)現(xiàn)紅外目標(biāo)的快速和精確分割.

大部分紅外圖像目標(biāo)本身就是顯著的,但是由于成像條件和周圍環(huán)境的影響,導(dǎo)致某些紅外圖像目標(biāo)區(qū)域顯著性差異明顯,邊緣模糊,或周圍背景也比較顯著.因此,在目標(biāo)檢測之前,需要對紅外圖像目標(biāo)進(jìn)行顯著性增強(qiáng).顯著性體現(xiàn)了圖像區(qū)域的獨(dú)特性、稀少性和奇異性,吸引了眾多學(xué)者的關(guān)注.顯著性計(jì)算模型主要包括自底向上和自頂向下兩類.最經(jīng)典的自底向上顯著性模型是Itti模型.該模型通過提取顏色、亮度和方向特征,以特征整合理論為根據(jù),利用中心–周圍算子和高斯金字塔做差運(yùn)算,得到顏色、亮度和方向特征的關(guān)注圖,并融合得到圖像顯著圖[3].之后許多基于局部對比度的顯著性模型被提出,例如,Ma等[4]提出利用當(dāng)前像素和周圍鄰域像素的差異計(jì)算像素的顯著性.由于局部對比度方法忽略了全局顯著性,該類方法通常邊緣部分顯著,而不是均勻的突出整個(gè)目標(biāo).因此,出現(xiàn)了考慮全局對比度的顯著性計(jì)算方法.Hou等[5]提出一種基于傅里葉變換的顯著圖生成算法,主要對幅度譜進(jìn)行分析處理.Guo等[6]提出了剩余譜方法,僅利用傅里葉變換的相位信息.然而,這些方法忽略了目標(biāo)的空間一致性.于是,文獻(xiàn)[7]提出聯(lián)合頻域方法,利用局部譜特征實(shí)現(xiàn)結(jié)構(gòu)信息的提取.關(guān)于空間一致性,也可以從空域考慮.顯著性目標(biāo)應(yīng)該是空間緊湊的,而背景顏色應(yīng)該分布在整個(gè)圖像.計(jì)算空間一致性的方法包括:空間位置的方差[8]、二維熵[9]、相似度分布[10]和局部密度[11]等.鑒于局部顯著性和全局顯著性各有優(yōu)勢,文獻(xiàn)[12]提出結(jié)合全局特征和局部特征的顯著圖模型,利用頻域平滑來抑制非顯著區(qū)域,同時(shí)采用基于Ica的局部濾波器來增強(qiáng)目標(biāo)區(qū)域.上述顯著圖結(jié)果要么邊緣顯著,要么中心顯著,都不是整個(gè)目標(biāo)顯著.基于區(qū)域的顯著性可以解決這個(gè)問題.Cheng等[13]在超像素分割的基礎(chǔ)上,利用當(dāng)前區(qū)域和其他區(qū)域的對比度以及區(qū)域間空間關(guān)系來定義區(qū)域顯著性.類似地,Perazzi等[14]提出顯著濾波器方法,利用超像素的一致性和空間分布形成對比度特征,構(gòu)建顯著性測度.自頂向下的顯著性計(jì)算方法主要是將顯著目標(biāo)檢測作為學(xué)習(xí)問題.Liu等[15]利用Crf框架來學(xué)習(xí)局部特征、全局特征和區(qū)域特征的權(quán)重,然后用訓(xùn)練的Crf來檢測圖像目標(biāo)的顯著性.為了進(jìn)一步提高顯著性檢測效果,Yang等[16]利用Sift特征的稀疏編碼作為隱變量,聯(lián)合學(xué)習(xí)Crf和字典,主要不足是對相似目標(biāo)的分辨效果較差.Kocak等[17]通過考慮顏色的一階和二階統(tǒng)計(jì)、邊緣方向和像素位置,同時(shí)用目標(biāo)度代替Sift特征,改善了顯著圖檢測效果.文獻(xiàn)[18]將顯著目標(biāo)檢測看作回歸問題,學(xué)習(xí)一個(gè)回歸器,直接將區(qū)域特征向量映射為顯著性大小.另外,也可以采用建模的方法引入自頂向下信息,Zhang等[19]提出用貝葉斯框架來檢測顯著目標(biāo),其中已知目標(biāo)的信息被建模為似然函數(shù).大多數(shù)自頂向下的顯著圖方法需要目標(biāo)標(biāo)記圖像進(jìn)行全監(jiān)督訓(xùn)練.然而,文獻(xiàn)[20]提出弱監(jiān)督顯著圖生成方法,僅需標(biāo)記圖像中是否有目標(biāo),而無須知道目標(biāo)的具體位置.最近的發(fā)展趨勢是將自底向上線索和自頂向下先驗(yàn)信息結(jié)合來實(shí)現(xiàn)顯著性檢測.文獻(xiàn)[21]集成基于結(jié)構(gòu)矩陣分解的顯著性檢測和高級(jí)先驗(yàn)(例如,位置、顏色和背景等)信息,提升了顯著性檢測性能.

在顯著性檢測的基礎(chǔ)上,如何檢測和分割出顯著目標(biāo)是學(xué)者們進(jìn)一步關(guān)注的研究熱點(diǎn).1)目標(biāo)檢測方面,基于滑動(dòng)窗口的檢測方法可以直接生成包圍盒,能夠和顯著性檢測結(jié)果有效融合.但是傳統(tǒng)的基于滑動(dòng)窗口的檢測方法需要進(jìn)行分類器訓(xùn)練,耗時(shí)較長.高效子窗口搜索(Efficient subwindow search,Ess)可以實(shí)現(xiàn)圖像中任意目標(biāo)的全局定位,以線性時(shí)間收斂于全局最優(yōu)解,定位效果等同于滑動(dòng)窗口窮盡搜索[22].文獻(xiàn)[23]將高效子窗口搜索和顯著圖結(jié)合,將目標(biāo)檢測提煉為最大顯著密度的定位問題,避免了分類器訓(xùn)練.上述目標(biāo)檢測方法生成的包圍盒可能沒有完美地套住感興趣目標(biāo),為此,文獻(xiàn)[24]提出了包圍盒優(yōu)化方法,基于卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)改善了目標(biāo)定位結(jié)果.2)目標(biāo)分割方面,通常采用自適應(yīng)閾值分割來獲取目標(biāo)模板[21,25].為了得到更加精確的分割結(jié)果,Liu等[26]將目標(biāo)分割變?yōu)閮刹?第一步在顯著圖上進(jìn)行初始分割,第二步用自適應(yīng)種子點(diǎn)調(diào)整和參數(shù)優(yōu)化的迭代圖割來實(shí)現(xiàn)最終分割.

文獻(xiàn)[27]基于區(qū)域協(xié)方差特征構(gòu)建了不同尺度空間的顯著圖生成方法,較好地體現(xiàn)了圖像目標(biāo)的局部顯著性.本文將該方法用于紅外圖像顯著性檢測,發(fā)現(xiàn)主要不足是目標(biāo)區(qū)域非一致顯著,邊緣模糊,耗時(shí)較長.為了克服這些不足,本文首先用Slic(Simple linear iterative clustering)方法獲取超像素,接著提取每個(gè)區(qū)域增強(qiáng)的Sigma特征,并考慮鄰域?qū)Ρ榷取⒈尘皩Ρ榷?、空間距離和區(qū)域大小的影響,改進(jìn)了局部顯著圖生成方法,然后提取每個(gè)區(qū)域的全局核密度估計(jì),構(gòu)建全局顯著圖,最后提出指數(shù)加權(quán)方式融合局部和全局顯著圖,較好實(shí)現(xiàn)了紅外圖像的顯著性檢測.在融合顯著圖上,本文又提出將超像素信息和高效子窗口搜索方法結(jié)合,巧妙地實(shí)現(xiàn)紅外目標(biāo)分割.實(shí)驗(yàn)表明,新方法是一種快速且精確的紅外圖像目標(biāo)分割方法.

1 基于融合顯著圖的圖像顯著性檢測

1.1 獲取圖像的超像素區(qū)域

由于基于區(qū)域的顯著性檢測方法可以讓整個(gè)目標(biāo)顯著,因此,本文針對紅外圖像目標(biāo)的顯著性檢測,首先用超像素方法將圖像分割成許多視覺上一致的區(qū)域塊.考慮到Slic方法能生成緊湊、近似均勻的超像素,在運(yùn)算速度、物體輪廓保持和超像素形狀方面具有較高的綜合評價(jià)[28],本文用Slic方法獲取圖像的超像素區(qū)域.

1.2 基于區(qū)域協(xié)方差的圖像局部顯著性檢測

由于區(qū)域協(xié)方差可以自然地融合多個(gè)相關(guān)的特征,協(xié)方差計(jì)算本身具有濾波能力且效率高[29],因此,本文利用區(qū)域協(xié)方差特征進(jìn)行圖像局部顯著性檢測.

1.2.1 區(qū)域協(xié)方差特征

對每個(gè)圖像像素提取如下5個(gè)特征:圖像灰度、x和y方向一階和二階梯度的范數(shù).這樣,每個(gè)像素映射為d=5維的特征向量.

其中,I是圖像灰度,圖像梯度通過濾波器[?1 0 1]T和[?1 2?1]T來計(jì)算[30].

根據(jù)上述特征向量,區(qū)域R的協(xié)方差矩陣計(jì)算如下:

其中,μ是區(qū)域特征向量的均值,n是區(qū)域像素?cái)?shù).

為了讓區(qū)域協(xié)方差更好地體現(xiàn)圖像區(qū)域特性和便于計(jì)算相似度,Hong等[31]利用Cholesky分解將協(xié)方差矩陣轉(zhuǎn)換到歐氏空間,設(shè)計(jì)了Sigma特征,并引入一階統(tǒng)計(jì)均值得到增強(qiáng)的Sigma特征.令C是d×d維的協(xié)方差矩陣,Sigma特征的計(jì)算公式為

其中,Li是矩陣L的第i列,C=LLT,α是系數(shù).引入d維特征向量的均值,則增強(qiáng)的Sigma特征向量為

1.2.2 圖像局部顯著性

區(qū)域Ri的局部顯著性定義為區(qū)域Ri與其鄰近區(qū)域的增強(qiáng)Sigma特征的空間距離加權(quán)平均,具體為

其中,Rj屬于區(qū)域Ri的鄰域,m是鄰域中區(qū)域個(gè)數(shù),K是歸一化因子,保證空間距離加權(quán)系數(shù)的和為1,是兩個(gè)區(qū)域中心之間的歐氏距離,σ1控制著區(qū)域間距離對局部顯著性的影響,σ1越大,遠(yuǎn)距離的區(qū)域塊對當(dāng)前區(qū)域塊的顯著性影響越大;否則,影響越小.ψR(shí)i表示區(qū)域Ri的增強(qiáng)Sigma特征,D(ψR(shí)i,ψR(shí)j)是ψR(shí)i和ψR(shí)j之間的歐氏距離.

理論上,在比較鄰近的兩個(gè)區(qū)域時(shí),面積大的區(qū)域應(yīng)該對當(dāng)前區(qū)域的顯著性影響更大.同時(shí),一個(gè)顯著目標(biāo)區(qū)域不僅局部對比度高,而且與背景區(qū)域差異明顯.通常情況下,圖像邊緣的區(qū)域塊不大可能是目標(biāo)區(qū)域,可認(rèn)為是背景區(qū)域.應(yīng)該說,圖像中背景區(qū)域的界定是困難的,但是與中心位置加權(quán)的顯著性相比,適應(yīng)性能更好些[27].因此,引入?yún)^(qū)域大小和背景對比度的影響對式(5)進(jìn)行修正,結(jié)果為

其中,N(Rj)是區(qū)域Rj的像素?cái)?shù),N(I)是整個(gè)圖像的像素?cái)?shù),Rj屬于當(dāng)前區(qū)域的鄰域和圖像的邊界區(qū)域.通過上述加權(quán)修正局部顯著性,可以讓目標(biāo)和背景的顯著性差異變大,凸顯目標(biāo)的顯著性.

1.3 圖像全局顯著性檢測

每個(gè)區(qū)域灰度值出現(xiàn)的概率可以表示該區(qū)域的全局顯著性,出現(xiàn)概率低的目標(biāo)區(qū)域意味著更加顯著,反之,則可能是背景區(qū)域.因此,利用整個(gè)圖像區(qū)域特征的核密度估計(jì)來計(jì)算全局顯著性,具體為

其中,κ是高斯核密度函數(shù),表示區(qū)域的平均灰度,M是圖像區(qū)域的個(gè)數(shù).

1.4 融合顯著圖

為了更好地凸顯復(fù)雜環(huán)境的紅外目標(biāo)特征,本文將局部顯著性和全局顯著性結(jié)合,實(shí)現(xiàn)最終的紅外圖像顯著性檢測.區(qū)域Sigma特征的鄰域?qū)Ρ榷瓤梢暂^好地體現(xiàn)圖像局部顯著性.然而,由于紅外圖像背景雜波通常比較嚴(yán)重,顯著目標(biāo)的同時(shí)也會(huì)顯著背景雜波.因此,為了更好地抑制背景雜波,并考慮區(qū)域間距離和區(qū)域大小對圖像顯著性的影響,在計(jì)算圖像局部顯著性時(shí),引入了背景區(qū)域?qū)Ρ榷?、空間距離加權(quán)和區(qū)域大小加權(quán),讓局部顯著性結(jié)果更加優(yōu)化.另外,由于局部顯著性不能體現(xiàn)出目標(biāo)區(qū)域在整個(gè)圖像中的顯著程度,最終可能還會(huì)有少量背景雜波.而紅外圖像目標(biāo)通常全局稀少,又引入全局顯著性來凸顯紅外目標(biāo)和抑制背景雜波.考慮到局部顯著性通常優(yōu)于全局顯著性,而指數(shù)函數(shù)可以增加局部顯著性的重要程度,局部和全局顯著圖的結(jié)合公式設(shè)計(jì)為

其中,σ3控制著局部顯著圖的重要性.融合顯著圖可以保證目標(biāo)區(qū)域既局部顯著,又全局顯著,有利于后續(xù)目標(biāo)檢測和分割時(shí)減少背景雜波的影響.

2 基于高效子窗口搜索的圖像目標(biāo)分割

2.1 基于顯著密度最大化的目標(biāo)搜索方法

1)顯著密度最大化

分析顯著圖后發(fā)現(xiàn),顯著目標(biāo)區(qū)域的平均密度比顯著圖中任何區(qū)域的密度都要大很多.為了描述這個(gè)特征,可以從顯著圖中尋找最大顯著密度的區(qū)域[32].因此,目標(biāo)搜索的函數(shù)f(W)設(shè)計(jì)如下:

其中,W是搜索窗口,C是正的常數(shù),Area(W)用來平衡窗口面積的影響.第1項(xiàng)主要用于讓W(xué)包含更多的顯著像素,第2項(xiàng)主要保證讓檢測的區(qū)域具有高的顯著密度.通過最大化f(W),平衡了目標(biāo)大小和目標(biāo)包含顯著性之間的關(guān)系.

2)顯著密度最大化的高效子窗口搜索實(shí)現(xiàn)

從圖像中窮盡搜索W?非常耗時(shí),可采用高效子窗口搜索方法來加速[32].令W={W1,···,Wi}表示區(qū)域集合,其中Wi?I.假定存在兩個(gè)區(qū)域Wmin(Wmin∈W)和Wmax(Wmax∈W),使得對任何Wi∈W,Wmin?Wi?Wmax.令(W)表示從W中找到的最優(yōu)解的上界估計(jì),即(W)≥f(Wi),則

最后,基于顯著密度最大化的Ess方法概括總結(jié)為

算法1.基于顯著密度最大化的Ess方法

從P中檢索目標(biāo)函數(shù)定界分?jǐn)?shù)最高的矩形窗口參數(shù)作為W

UntilW僅包含一個(gè)窗口,即Wmax=Wmin.

返回W?=Wmin.

2.2 目標(biāo)區(qū)域篩選

高效子窗口搜索的結(jié)果是套住目標(biāo)的包圍盒.因此,利用目標(biāo)檢測的位置信息可以對超像素的結(jié)果進(jìn)行區(qū)域篩選.具體思路是通過判斷某個(gè)分割區(qū)域在目標(biāo)檢測包圍盒內(nèi)部的像素占該分割區(qū)域所有像素的比例Ratio來判斷該分割區(qū)域是否為真正的目標(biāo),從而可以濾掉雜波和干擾區(qū)域,實(shí)現(xiàn)紅外目標(biāo)的精確分割.

2.3 目標(biāo)分割算法

通過前面的分析,將紅外目標(biāo)分割算法概括為三步:1)超像素劃分;2)融合顯著圖生成;3)目標(biāo)檢測和篩選.整個(gè)紅外目標(biāo)分割算法流程如圖1所示.新方法的主要特點(diǎn)是:1)基于增強(qiáng)的Sigma特征,同時(shí)考慮鄰域?qū)Ρ榷?、背景對比度、空間距離和區(qū)域大小進(jìn)行局部顯著性檢測,能夠更好地體現(xiàn)圖像的局部特征;2)融合局部顯著圖和全局顯著圖,使得顯著性檢測方法的適應(yīng)性和雜波抑制效果更好;3)應(yīng)用高效子窗口搜索方法檢測和篩選目標(biāo),可以與區(qū)域顯著圖生成無縫結(jié)合,實(shí)現(xiàn)紅外目標(biāo)分割.總之,新方法可以實(shí)現(xiàn)紅外目標(biāo)的快速和精確分割.

圖1 紅外目標(biāo)分割算法流程圖Fig.1 Flow chart of infrared target segmentation algorithm

3 實(shí)驗(yàn)結(jié)果分析

首先通過算法性能分析說明顯著圖生成方法中每一個(gè)模塊的作用,然后從主觀分析和客觀評價(jià)兩個(gè)角度,比較新方法對當(dāng)前流行顯著圖生成方法的優(yōu)越性,最后結(jié)合高效子窗口搜索方法進(jìn)行目標(biāo)分割,并比較分析不同分割方法的分割精度和計(jì)算耗時(shí).新算法的參數(shù)主要有七個(gè):numSuperpixels,Compactness,σ1,σ2,σ3,C和Ratio.其中,num-Superpixels和Compactness是Slic方法的參數(shù),numSuperpixels是超像素個(gè)數(shù),該值越小,超像素塊越大;Compactness表示超像素的形狀,該值越小,超像素塊和區(qū)域塊邊界的吻合度越高.實(shí)驗(yàn)中,numSuperpixels和Compactness需要根據(jù)不同圖像進(jìn)行調(diào)整,σ1=3,σ2=10,σ3=6,C=2000,Ratio>0.5.

3.1 顯著圖算法性能分析

圖2是考慮不同影響因子的顯著圖效果.圖2(a)是?？毡尘暗呐灤繕?biāo)紅外圖像,海天線附近存在亮帶干擾.圖2(b)是Slic方法的超像素結(jié)果,視場近處三個(gè)艦船目標(biāo)區(qū)域的一致性較好.僅利用增強(qiáng)Sigma特征的鄰域?qū)Ρ榷葘D2(b)進(jìn)行顯著性檢測,結(jié)果為圖2(c),很明顯,目標(biāo)區(qū)域內(nèi)部顯著性一致,但背景雜波明顯.考慮圖像背景對比度后的顯著性檢測結(jié)果見圖2(d),目標(biāo)附近雜波得到抑制,但天空區(qū)域雜波更明顯,說明天空區(qū)域和圖像周邊的背景區(qū)域有差別.空間距離進(jìn)一步加權(quán)的顯著圖結(jié)果見圖2(e),圖像中雜波變少.區(qū)域大小進(jìn)一步加權(quán)的顯著圖結(jié)果見圖2(f),雜波變化不大,但目標(biāo)顯著性增強(qiáng).全局顯著圖結(jié)果為圖2(g),三個(gè)艦船目標(biāo)的特征明顯且鄰域無雜波,但是天空背景雜波干擾也比較嚴(yán)重.圖2(h)是局部顯著圖和全局顯著圖的融合結(jié)果,紅外目標(biāo)的顯著性突出,背景雜波得到較好抑制.因此,新方法對紅外圖像目標(biāo)的顯著性檢測是有效的.

圖3是灰度鄰域?qū)Ρ榷群驮鰪?qiáng)Sigma特征鄰域?qū)Ρ榷鹊娘@著圖,目標(biāo)區(qū)域都比較顯著,但圖3(c)中雜波更少,說明增強(qiáng)Sigma特征更能體現(xiàn)圖像的局部特征.圖4是兩幅圖像的局部顯著圖、全局顯著圖和融合顯著圖.第1行圖像局部顯著圖優(yōu)于全局顯著圖,第2行圖像全局顯著圖優(yōu)于局部顯著圖,因此,融合顯著圖時(shí)引入了參數(shù)σ3,可以控制局部顯著圖的重要性.

3.2 顯著圖算法對比分析

為了更廣泛地評價(jià)本文顯著圖方法的優(yōu)越性,對比分析了14種顯著圖生成方法(Frequency[25],Gbvs[33],Spatialcoherence[11],Hft[34],Itti[3],Mss[35],Saliency measure[36],Signature[37],Sim[38],Spectral[5],Covarince[27],SuperpixelCheng[13],SuperpixelHe[8],SuperpixelReiGlo(本文方法))對不同紅外圖像的顯著圖結(jié)果.圖5是14種方法的顯著

圖2 考慮不同影響因子的顯著圖效果Fig.2 Saliency maps considering different impact factors

圖3 增強(qiáng)Sigma特征和灰度特征的顯著圖Fig.3 Saliency map of enhanced Sigma feature and gray feature

圖4 局部和全局顯著圖的重要性Fig.4 The importance of local and global saliency map

圖5 14種方法的顯著圖Fig.5 Saliency maps of fourteen saliency detection methods

圖結(jié)果,左側(cè)標(biāo)注為原始圖像、基準(zhǔn)圖像和不同方法的顯著圖.Frequency,Mss和Spectral方法的顯著圖效果類似,可顯著高亮點(diǎn)和邊緣,其中Mss方法的顯著效果最好(圖5(e)的顯著圖);Gbvs,Hft,Itti,Signature和Sim方法的顯著圖效果類似,可顯著目標(biāo)區(qū)域,其中Sim和Signature方法雜波干擾嚴(yán)重,Itti方法目標(biāo)形狀比較好,但個(gè)別圖像干擾比較大(圖5(b)和5(d)的顯著圖),Hft和Gbvs方法目標(biāo)定位最準(zhǔn)確,但Hft方法目標(biāo)形狀信息欠缺,Gbvs方法個(gè)別圖像干擾明顯(圖5(d)的顯著圖);Spatial coherence和Saliency measure方法的顯著圖效果類似,目標(biāo)細(xì)節(jié)保留較好,但沒有顯著整個(gè)目標(biāo);Covariance可顯著目標(biāo)區(qū)域,且目標(biāo)形狀完好,但雜波干擾嚴(yán)重,邊緣模糊.SuperpixelCheng和SuperpixelHe方法都是基于區(qū)域的顯著性檢測方法,與本文方法一樣,采用Slic方法獲取圖像區(qū)域.SuperpixelCheng方法考慮了空間距離和區(qū)域大小對區(qū)域顯著性的影響,目標(biāo)細(xì)節(jié)保留較好,但是云層干擾嚴(yán)重(圖5(d)的原始圖像)或圖像非常模糊(圖5(e)的原始圖像)時(shí),顯著圖效果較差.SuperpixelHe方法進(jìn)一步考慮了相同灰度的超像素的空間分布對顯著性檢測的影響,比SuperpixelCheng方法的顯著圖效果有所改善,但是圖5(d)的顯著圖反而變得更差,這是由于和飛機(jī)目標(biāo)相同或接近灰度的超像素塊有許多是云層背景,從而降低了飛機(jī)目標(biāo)的顯著性.本文方法的顯著圖結(jié)果使得紅外目標(biāo)的顯著性更加突出,目標(biāo)區(qū)域一致性好,邊緣清晰,同時(shí)背景雜波也幾乎都被抑制,非常有利于后續(xù)的目標(biāo)檢測和分割.

為進(jìn)一步客觀評價(jià)本文方法的優(yōu)越性,采用Pr(Precision and recall)和Roc曲線對比不同方法的顯著圖效果.圖6(a)是14種方法的Pr曲線.顯然,本文方法整體上最優(yōu),但是當(dāng)檢全率(Recall)較高時(shí),檢準(zhǔn)率(Precision)并不是最優(yōu).圖6(b)是14種方法的Roc曲線.當(dāng)虛警率低時(shí),本文方法的檢測率最高,但是隨著虛警率提高,本文方法的檢測率并不是最優(yōu),其他方法(例如,Gbvs方法)雖說目標(biāo)區(qū)域模糊,但是由于覆蓋了整個(gè)目標(biāo),檢測率提升明顯.導(dǎo)致本文方法不是全面最優(yōu)的原因有兩個(gè):1)人工標(biāo)記圖像的細(xì)節(jié)不夠清晰;2)圖像模糊程度較高時(shí),目標(biāo)形狀不夠完整.這啟發(fā)我們需要進(jìn)一步研究如何有效地凸顯嚴(yán)重模糊紅外圖像的整個(gè)目標(biāo)區(qū)域.

圖6 14種方法的Pr和Roc曲線Fig.6 Pr and Roc curves of fourteen saliency detection methods

3.3 目標(biāo)檢測和篩選結(jié)果

針對本文方法的顯著圖結(jié)果,應(yīng)用顯著密度最大化的高效子窗口搜索方法進(jìn)行目標(biāo)檢測,結(jié)果見圖7的第1行,目標(biāo)區(qū)域檢測準(zhǔn)確.利用目標(biāo)檢測的包圍盒對超像素分割的結(jié)果(圖7的第2行)進(jìn)行篩選,很容易得到目標(biāo)分割結(jié)果,見圖7的第3行,干擾區(qū)域得到抑制,目標(biāo)區(qū)域形狀得到改善.

為了評價(jià)本文分割方法的優(yōu)越性,對比分析了五種分割方法,其中文獻(xiàn)[11]是紅外圖像分割方法;文獻(xiàn)[23]和文獻(xiàn)[32]的檢測結(jié)果是套住目標(biāo)的包圍盒.為了能夠?qū)Ρ确指钚Ч?本文在原圖上的包圍盒區(qū)域進(jìn)行自適應(yīng)最大Renyi熵分割;文獻(xiàn)[21]和文獻(xiàn)[25]是顯著目標(biāo)分割方法.圖7的第4～8行分別對應(yīng)文獻(xiàn)[11],[23],[32],[21]和[25]的分割結(jié)果.文獻(xiàn)[11],[21]和[25]是對整個(gè)圖像的顯著圖進(jìn)行分割,雜波較多,目標(biāo)區(qū)域也不完整,其中圖7(b),圖7(d)和7(e)中第7行的顯著圖效果異常,主要原因是這三幅原始圖像中艦船目標(biāo)和周圍環(huán)境的對比度偏低,說明文獻(xiàn)[21]方法對紅外圖像復(fù)雜程度的適應(yīng)性不好.文獻(xiàn)[23]和文獻(xiàn)[32]是對包圍盒內(nèi)圖像進(jìn)行分割,雜波較少,目標(biāo)區(qū)域分割比較完整,但前提是必須利用高效子窗口搜索方法的多目標(biāo)檢測功能濾除干擾區(qū)域.需要說明,當(dāng)前流行的顯著性檢測和分割方法的實(shí)驗(yàn)對象主要是自然界的彩色圖像,如果實(shí)驗(yàn)對象更換為紅外圖像,由于丟失了顏色信息,可到會(huì)導(dǎo)致顯著圖和分割效果不好.在主觀分析的基礎(chǔ)上,采用F值進(jìn)行分割效果的客觀平價(jià)[39],同時(shí)比較了不同分割方法的計(jì)算耗時(shí),結(jié)果見表1.很明顯,在上述六種分割方法中,本文方法不僅分割效果最優(yōu),而且計(jì)算耗時(shí)也較少.仿真實(shí)驗(yàn)時(shí)筆記本電腦的硬件性能為2.3GHz CPU,8GB內(nèi)存;操作系統(tǒng)為win7 32位,開發(fā)軟件為MATLAB7.6,代碼未優(yōu)化,圖像大小為400像素×240像素.

圖7 不同分割方法的分割結(jié)果Fig.7 The segmentation results of different segmentation methods

表1 不同分割方法的分割精度和計(jì)算耗時(shí)Table 1 Segmentation precision and computational time of different segmentation methods

4 結(jié)束語

本文將融合顯著圖和高效子窗口搜索結(jié)合,提出一種新的紅外圖像目標(biāo)分割方法.在利用Slic方法獲取圖像超像素的基礎(chǔ)上,提取每個(gè)區(qū)域增強(qiáng)的Sigma特征,并計(jì)算鄰域?qū)Ρ榷?、背景對比度、空間距離加權(quán)和區(qū)域大小加權(quán),構(gòu)建局部顯著圖,同時(shí)利用全局核密度估計(jì)生成全局顯著圖,最后融合局部和全局顯著圖實(shí)現(xiàn)顯著性檢測.在融合顯著圖上,應(yīng)用顯著密度最大化的高效子窗口搜索方法進(jìn)行目標(biāo)檢測和篩選,實(shí)現(xiàn)紅外目標(biāo)分割.實(shí)驗(yàn)結(jié)果表明,新方法的顯著圖結(jié)果目標(biāo)區(qū)域一致顯著,邊緣清晰,背景雜波抑制明顯.無論主觀評價(jià),還是客觀指標(biāo),新方法都優(yōu)于當(dāng)前流行的圖像顯著性檢測方法.同時(shí),與高效子窗口搜索結(jié)合的目標(biāo)檢測結(jié)果有效抑制了干擾,增強(qiáng)了目標(biāo)形狀信息.整個(gè)算法的計(jì)算量較小,實(shí)用價(jià)值高,主要不足是針對嚴(yán)重模糊的紅外圖像,顯著圖中目標(biāo)區(qū)域的形狀信息會(huì)有殘缺,導(dǎo)致分割結(jié)果的精度降低.