馬 巖，李 環(huán)

(沈陽理工大學(xué) 信息科學(xué)與工程學(xué)院，遼寧 沈陽 110159)

基于視覺注意機(jī)制的復(fù)雜背景下紅外小目標(biāo)檢測

馬 巖，李 環(huán)

(沈陽理工大學(xué) 信息科學(xué)與工程學(xué)院，遼寧 沈陽 110159)

針對視覺注意機(jī)制Itti模型對復(fù)雜背景下紅外小目標(biāo)檢測易受到圖像背景雜波影響，檢測結(jié)果不理想的情況，對傳統(tǒng)算法加以改進(jìn)，在Itti模型中引入背景預(yù)測算子。對圖像背景進(jìn)行預(yù)測，與原圖像進(jìn)行差減，以達(dá)到突出目標(biāo)區(qū)域的目的，消除背景區(qū)域?qū)δ繕?biāo)顯著性的影響。再提取濾除背景后的圖像視覺差異，找出圖像的顯著性區(qū)域，實現(xiàn)對紅外小目標(biāo)的檢測。將改進(jìn)后的模型應(yīng)用于復(fù)雜背景下紅外小目標(biāo)檢測中，實驗結(jié)果表明，相對于傳統(tǒng)的Itti模型的檢測算法，新提出的算法具有更高的檢測率。

視覺注意;背景預(yù)測;紅外圖像;小目標(biāo)檢測

復(fù)雜背景下的紅外小目標(biāo)檢測技術(shù)在紅外成像制導(dǎo)、紅外預(yù)警、目標(biāo)監(jiān)視搜索以及目標(biāo)跟蹤中均起著關(guān)鍵作用。小目標(biāo)為十幾個甚至幾個像素，在視場中表現(xiàn)為孤點或斑點。復(fù)雜背景是指圖像中的背景區(qū)域間差異較大起伏較明顯的圖像。在目標(biāo)檢測中引入視覺注意機(jī)制,可以快速選擇優(yōu)先處理的區(qū)域，降低紅外小目標(biāo)檢測的難度。注意機(jī)制分為基于自底向上的數(shù)據(jù)驅(qū)動的注意模型和基于自頂向下的任務(wù)驅(qū)動的注意模型兩種，數(shù)據(jù)驅(qū)動的注意模型由于計算相對簡單，運(yùn)算速度快，因此得到廣泛應(yīng)用?；跀?shù)據(jù)驅(qū)動的注意機(jī)制典型模型是1998年由Itti和C.Koch等提出的Itti模型[1]，該模型主要基于Treisman的特征整合理論，對圖像的紋理、顏色、朝向等多方面特征進(jìn)行提取，并形成各特征顯著圖，然后將這些特征顯著圖進(jìn)行分析融合得到總的顯著圖，對總顯著圖中的目標(biāo)進(jìn)行檢測。桑農(nóng)、李正龍等[2]將這一模型應(yīng)用到可見光圖像的RGB顏色空間的目標(biāo)檢測中；葉聰穎，李翠華[3]將這一模型應(yīng)用到HIS顏色空間的海上目標(biāo)船只檢測中；Sun-Gu Sun，Dong-Min Kwak等[4]將這一模型進(jìn)行修正并應(yīng)用于紅外目標(biāo)檢測。Itti模型是通過提取圖像中視覺差異較大的位置作為顯著區(qū)域，對于復(fù)雜背景紅外小目標(biāo)圖像，由于存在大量差異較大的起伏背景區(qū)域，這些區(qū)域也會引起強(qiáng)烈的視覺反差，在圖像的顯著性檢測時，這些背景反差區(qū)域也會被注意，造成紅外小目標(biāo)檢測效果不理想。因此，本文對傳統(tǒng)算法加以改進(jìn)，在Itti模型中引入基于形態(tài)學(xué)濾波算法的背景預(yù)測算子。首先，根據(jù)復(fù)雜背景下紅外小目標(biāo)圖像特點,利用新提出的改進(jìn)形態(tài)學(xué)[5]濾波算法對復(fù)雜背景紅外小目標(biāo)圖像的背景進(jìn)行預(yù)測。再將原圖像與背景預(yù)測結(jié)果進(jìn)行差減操作，有效分離圖像目標(biāo)與背景區(qū)域，削弱圖像背景雜波對紅外小目標(biāo)圖像檢測的影響。然后，再利用線性濾波器組對背景濾除后的圖像特征進(jìn)行提取，利用中央周邊差算子(Center-surround)對各特征生成具有不同差異性的特征顯著圖。最后，再將各特征顯著圖融合，提取圖像的顯著區(qū)域，對紅外小目標(biāo)進(jìn)行檢測。

1 基本原理

1.1 視覺注意機(jī)制Itti模型

視覺注意機(jī)制Itti模型[1]是基于Treisman和Gelade的特征整合理論，通過采用適當(dāng)?shù)木€性濾波器對圖像進(jìn)行濾波，提取原圖像的方向、顏色等初級視覺特征，對各初級特征分別進(jìn)行高斯濾波以及非均勻采樣生成對應(yīng)的金子塔圖像。再利用Itti模型中的中央周邊差算子對金字塔中不同層間圖像進(jìn)行差減，提取不同特征在不同尺度下目標(biāo)與周圍背景的視覺差異，并將差異圖融合形成各特征顯著圖。最后，將這些特征顯著圖線性融合，生成圖像的總顯著圖，對顯著區(qū)域內(nèi)的目標(biāo)進(jìn)行檢測。視覺注意機(jī)制Itti模型結(jié)構(gòu)如圖1所示。

圖1 視覺注意機(jī)制Itti模型結(jié)構(gòu)

1.2 背景預(yù)測

紅外小目標(biāo)圖像是由目標(biāo)和背景兩部分組成，所謂背景是指包括圖像背景、雜波干擾以及圖像噪聲等的廣義背景。

f(x,y)=fT(x,y)+fB(x,y)

(1)

式中:f(x,y)代表原輸入圖像；fT(x,y)代表目標(biāo)圖像；fB(x,y)代表背景圖像。背景預(yù)測的基本思想[6]：由于圖像中目標(biāo)與其周圍區(qū)域具有較弱的灰度相關(guān)性，而背景區(qū)域間的灰度相關(guān)性較強(qiáng)，因此圖像的背景區(qū)域可以利用其周邊的區(qū)域進(jìn)行預(yù)測，而目標(biāo)在圖像中表現(xiàn)為區(qū)域奇異性。利用這樣的差異來實現(xiàn)圖像的背景預(yù)測，分離圖像的目標(biāo)與背景，再將原圖像與背景預(yù)測結(jié)果差減，即可得到待檢測的目標(biāo)區(qū)域圖像。背景預(yù)測模型如圖2所示。

圖2 背景預(yù)測模型

2 基于視覺注意機(jī)制的復(fù)雜背下紅外小目標(biāo)檢測

基于視覺注意機(jī)制的復(fù)雜背景下紅外小目標(biāo)檢測[7]過程主要分為圖像背景預(yù)測、初級特征提取、特征差異圖計算以及顯著區(qū)域提取四個部分。

2.1 背景預(yù)測

常用的背景預(yù)測方法有高通濾波、中值濾波、高斯濾波、Butterworth濾波以及形態(tài)學(xué)濾波等。形態(tài)學(xué)濾波[8]是目前應(yīng)用較廣的濾波方法，其中,Top-hat[9]算法是一種經(jīng)典灰度形態(tài)學(xué)濾波法，設(shè)I(x,y)代表一幅灰度圖像，b(x,y)為形態(tài)學(xué)濾波的一個結(jié)構(gòu)元素。形態(tài)學(xué)定義的基本操作膨脹運(yùn)算I⊕b、腐蝕運(yùn)算IΘb、開運(yùn)算I°b、閉運(yùn)算I?b定義式分別為

(2)

(3)

(I°b)(x,y)=(IΘb)⊕b(x,y)

(4)

(I?b)(x,y)=(I⊕b)Θb(x,y)

(5)

(u,v)∈b根據(jù)圖像特征對圖像先后進(jìn)行腐蝕和膨脹運(yùn)算，再與原圖像相減，實現(xiàn)對圖像的濾波效果，如式(6)、式(7)。

WTH(x,y)=I(x,y)-(I°b)(x,y)

(6)

BTH(x,y)=(I?b)(x,y)-I(x,y)

(7)

WTH用于檢測圖像的明亮區(qū)域，BTH用于檢測圖像的陰暗區(qū)域。由于Top-hat濾波使用同一結(jié)構(gòu)元素b(x,y)對圖像進(jìn)行膨脹和腐蝕操作，在圖像的濾波結(jié)果中，一些差異較大的起伏背景未能被有效濾除，存在大量的虛警目標(biāo)，使得真實目標(biāo)難以被準(zhǔn)確識別。因此，經(jīng)典的Top-hat算法在分離復(fù)雜背景圖像的小目標(biāo)區(qū)域及背景時，濾波效果不夠理想。

本文提出一種改進(jìn)的形態(tài)學(xué)濾波方法，依據(jù)目標(biāo)與背景區(qū)域的差異適當(dāng)?shù)剡x擇不同的結(jié)構(gòu)元素[9]。設(shè)bo和bi是兩個形狀相同但尺寸大小不同的結(jié)構(gòu)元素，bo為尺寸較大的結(jié)構(gòu)元素，表示大于目標(biāo)區(qū)域的外部結(jié)構(gòu)元素。bi為尺寸較小的結(jié)構(gòu)元素，表示不大于目標(biāo)區(qū)域的內(nèi)部結(jié)構(gòu)元素。Δb=bo-bi為bo比bi多出的區(qū)域結(jié)構(gòu)元素，表示目標(biāo)周圍的背景區(qū)域。當(dāng)bo和bi為正方形結(jié)構(gòu)元素時，各元素關(guān)系如圖3所示。

圖3 結(jié)構(gòu)元素

定義新的類似開閉運(yùn)算的形態(tài)學(xué)算子如下：

I?bio(x,y)=(I⊕Δb)Θbo

(8)

I?bio(x,y)=(IΘΔb)⊕bo

(9)

bio表示新運(yùn)算的結(jié)構(gòu)元素與bi和bo有關(guān)，則新的形態(tài)學(xué)變換定義如下：

nWTH(x,y)=I(x,y)-I?bio(x,y)

(10)

nBTH(x,y)=I?bio(x,y)-I(x,y)

(11)

式中，nWTH用于檢測圖像的明亮小目標(biāo)區(qū)域，nBTH用于檢測圖像的陰暗小目標(biāo)區(qū)域。

新的形態(tài)學(xué)算法考慮到目標(biāo)區(qū)域與背景區(qū)域的差異，通過采用不同的結(jié)構(gòu)元素對圖像進(jìn)行形態(tài)學(xué)運(yùn)算，將目標(biāo)周圍區(qū)域引入運(yùn)算來體現(xiàn)目標(biāo)與其周圍區(qū)域的差異進(jìn)行目標(biāo)檢測，較準(zhǔn)確地對圖像背景進(jìn)行預(yù)測，消除起伏背景對紅外小目標(biāo)檢測的影響。

2.2 特征提取

分別提取背景濾除后圖像的亮度特征和方向特征為復(fù)雜背景下紅外小目標(biāo)圖像的初級特征[10]。將灰度化后的圖像作為圖像亮度特征，設(shè)r、g、b分別代表圖像的三種顏色通道，y代表圖像亮度特征，圖像亮度特征提取如式(12)所示。

y=0.30r+0.59g+0.11b

(12)

由于Gabor函數(shù)具有很好的方向選擇性，所以采用二維Gabor函數(shù)來提取圖像的方向特征。二維Gabor濾波器的數(shù)學(xué)表達(dá)式為

(13)

2.3 特征差異圖計算

首先，將圖像I提取的灰度特征圖和方向特征圖像分別進(jìn)行高斯平滑和降采樣操作，構(gòu)造出對應(yīng)各特征的高斯金字塔圖像I(a),a=0,1,2…代表分解后的不同尺度圖像,分解結(jié)果如圖4所示。

圖4 圖像的高斯金字塔

然后，利用中央-周邊差操作將分解后的圖像進(jìn)行不同層圖像間差減來計算目標(biāo)與周圍區(qū)域的反差,中央周邊差減算子(Center-surround)[10]的定義式如下：

F=|I(c)-I(c+s)|

(14)

式中:c代表金字塔圖像結(jié)構(gòu)的中央層，視覺注意機(jī)制模型中取c∈{2，3，4}；c+s代表金字塔圖像結(jié)構(gòu)的周邊層，視覺注意機(jī)制模型中取s∈{3，4}。將周邊層圖像分別進(jìn)行插值操作，與對應(yīng)中央層實施中央周邊差操作，生成不同層間的特征差異圖F。

2.4 顯著性區(qū)域提取

將各特征差異圖F經(jīng)過正則化算子N(·)進(jìn)行歸一化融合，即可得到對應(yīng)特征顯著圖G，G1與G2分別表示亮度顯著圖和方向顯著圖。

(15)

(16)

(17)

算法流程如圖5所示。

圖5 算法流程

3 結(jié)果分析

在2.53GHzCPU，內(nèi)存為2G的Intel PC微機(jī)上，使用Matlab7.0編程分別對多幅圖像進(jìn)行仿真。原圖像均來自參考文獻(xiàn)[11]，為自然條件背景下的兩輛坦克圖像。圖像1如圖6a所示，圖像大小為256×154，紅外小目標(biāo)區(qū)域所占像素大小約為3×3。圖像2如圖6b所示，圖像大小為258×156，紅外小目標(biāo)區(qū)域所占像素大小約為4×4。分別對原圖像的目標(biāo)區(qū)域進(jìn)行手動標(biāo)定。

圖6 原圖像

利用傳統(tǒng)形態(tài)學(xué)Top-hat算法以及本文所提改進(jìn)算法分別對兩幅不同圖像進(jìn)行背景預(yù)測以及進(jìn)行背景抑制濾波，空間分布結(jié)果如圖7所示。

通過空間分布結(jié)果圖7可知，在原圖像的空間分布中,存在大量的背景雜波，部分背景的空間分布強(qiáng)度甚至強(qiáng)于目標(biāo)區(qū)域強(qiáng)度，如圖7a所示，不利于圖像中目標(biāo)的檢測。在利用傳統(tǒng)top-hat算法對原圖像進(jìn)行背景預(yù)測時，Top-hat算法可以將圖像中差異較弱的背景區(qū)域較好地進(jìn)行預(yù)測。然而當(dāng)背景中存在差異較大的區(qū)域時，Top-hat算法的背景預(yù)測無法實現(xiàn)準(zhǔn)確的預(yù)測結(jié)果，如圖7b所示。再根據(jù)背景預(yù)測結(jié)果進(jìn)行背景抑制時，如圖7d,可以將圖像中大部分的背景雜波濾除，但是對于圖像中差異較明顯的背景區(qū)域，利用該方法無法對其實現(xiàn)有效的濾除，背景抑制后的結(jié)果中仍存在著起伏較大的背景區(qū)域突起，同時，受到噪聲凸起區(qū)域的影響，不利于紅外小目標(biāo)圖像的檢測。使用本文所提算法對原圖像進(jìn)行背景預(yù)測時，不僅可以預(yù)測出普通的強(qiáng)度差異較弱的背景區(qū)域，而且可以實現(xiàn)對強(qiáng)度差異較強(qiáng)的起伏背景區(qū)域進(jìn)行有效地預(yù)測，如圖7c所示。在背景抑制后的圖像空間分布圖中，如圖7e,目標(biāo)區(qū)域的空間分布強(qiáng)度得以加強(qiáng)，背景區(qū)域以及噪聲的空間強(qiáng)度被有效減弱。

圖7 空間分布結(jié)果圖

利用圖像的信噪比來比較兩種算法的圖像濾波結(jié)果。一般情況下，圖像的信噪比越高表明圖像中的有用信息越明顯，無用信息越微弱，更加利于圖像的檢測。圖像的信噪比計算公式為：snr=(s-μ)/σ,式中:s為目標(biāo)區(qū)域灰度強(qiáng)度;μ為區(qū)域灰度均值;σ為圖像的灰度均方差。利用信噪比公式分別計算得出原圖像、Top-hat算法以及本文算法濾波后圖像的信噪比，對比結(jié)果如表1所示。

表1 信噪比對比表

在Top-hat算法中，由于存在較多的背景雜波和噪聲等偽目標(biāo)區(qū)域，而本文算法中背景雜波和噪聲被有效地抑制，Top-hat算法的區(qū)域灰度均值大于本文算法的區(qū)域灰度均值，因此，本文所提算法的信噪比高于傳統(tǒng)Top-hat算法的信噪比。

利用傳統(tǒng)Itti模型算法以及本文所提的基于視覺注意機(jī)制的復(fù)雜背景下紅外小目標(biāo)檢測算法分別對圖像進(jìn)行目標(biāo)檢測，結(jié)果如圖8所示。

圖8中，c～f與g～j分別代表利用傳統(tǒng)Itti模型算法模型以及本文所提算法得到的亮度顯著圖、方向顯著圖、圖像總顯著圖以及自適應(yīng)閾值分割[12]后的結(jié)果對比圖。通過對比可知，在利用傳統(tǒng)視覺注意Itti模型對復(fù)雜背景下紅外小目標(biāo)進(jìn)行檢測時，由于Itti模型是通過提取圖像中差異明顯的區(qū)域作為顯著性區(qū)域，受到復(fù)雜背景下紅外小目標(biāo)圖像中差異較大的起伏背景區(qū)域的影響，圖像中的背景區(qū)域也被標(biāo)記出來，如圖8a與8b中圖e所示。同時結(jié)果中背景的顯著區(qū)域也可能將目標(biāo)覆蓋，不利于真實目標(biāo)的檢測，圖像分析難度較大，圖像檢測概率較低，無法準(zhǔn)確地實現(xiàn)對紅外弱小目標(biāo)的檢測，從而提高了圖像檢測的虛警率，如圖8a與8b中圖f所示。采用本文的算法，基于復(fù)雜背景下紅外小目標(biāo)圖像的特點，先對圖像中影響檢測結(jié)果的背景進(jìn)行預(yù)測，濾除影響目標(biāo)檢測的背景雜波，提高圖像的信噪比，降低了圖j示，再對背景預(yù)測后的圖像進(jìn)行目標(biāo)檢測。較為準(zhǔn)確地實現(xiàn)對紅外弱小目標(biāo)的檢測，圖像檢測概率較高，從而減低了圖像中目標(biāo)檢測的虛警概率。通過對多幅復(fù)雜背景下紅外弱小目標(biāo)圖像進(jìn)行仿真，實驗結(jié)果表明，本文所提算法可以較好地實現(xiàn)對復(fù)雜背景下的紅外小目標(biāo)檢測，具有較強(qiáng)魯棒性。

圖8 檢測結(jié)果對比圖

4 結(jié)論

基于復(fù)雜背景下紅外小目標(biāo)的特點，本文對傳統(tǒng)視覺注意Itti模型進(jìn)行改進(jìn)，引入背景預(yù)測算子，利用紅外小目標(biāo)區(qū)域與其周圍背景間以及圖像背景間的灰度差異，通過采用不同的結(jié)構(gòu)元素對圖像進(jìn)行形態(tài)學(xué)濾波，實現(xiàn)對復(fù)雜背景下紅外弱小目標(biāo)圖像的背景預(yù)測。對圖像的背景進(jìn)行抑制，進(jìn)而提取背景抑制后圖像的初級視覺特征差異，并將這些差異進(jìn)行融合，閾值分割后實現(xiàn)對復(fù)雜背景下的紅外小目標(biāo)檢測。實驗結(jié)果表明，利用本文所提算法對復(fù)雜背景紅外小目標(biāo)檢測，提高了圖像的信噪比，取得了比較理想的檢測結(jié)果。

[1]Itti L,Koch C,Niebur E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on pattern analysis and machine intelligence,1998,20(11):1254-1259.

[2]桑農(nóng)，李正龍，張?zhí)煨?人類視覺注意機(jī)制在目標(biāo)檢測中的應(yīng)用[J].紅外與激光工程,2004,33(1):38-41.

[3]葉聰穎,李翠華.基于HIS的視覺注意力模型及其在船只檢測中的應(yīng)用[J].廈門大學(xué)學(xué)報(自然科學(xué)版),2005,44(4):484-488.

[4]Sun-Gu Sun,Dong-Min Kwak.Small target detection using center-surround difference with locally adaptive threshold[C].Proc.ISPA05,2005:402-407.

[5]Victor T.T.,Tamar P.Morphology-based algorithm for point target detection in infrared background[A].Proc.SPIE[C],1993,1954(7):2-11.

[6]李凡.復(fù)雜背景抑制及弱小目標(biāo)檢測算法研究[D].西安：西安電子科技大學(xué)，2010:1-3.

[7]Gonzalez R.C.,Woods R.E.Digital Image Processing[M].American:Pretice Hall,2003.

[8]葉斌,彭嘉雄.基于形態(tài)學(xué)top-hat算子的小目標(biāo)檢測方法[J].中國圖像圖形學(xué)報,2002,7(7):638-642.

[9]白相志,周付根,解永春，等.Top-hat變換及其在紅外小目標(biāo)檢測中的應(yīng)用[J].數(shù)據(jù)采集與處理,2009,24(5):643-649.

[10]靳薇,張建奇.基于視覺注意力模型的紅外目標(biāo)檢測[J].紅外技術(shù),2007,29(12):720-723.

[11]Jufeng Zhao,Huajun Fen,Zhihai Xu,et al.Real-time automatic small target detection using saliency extraction and morphological theory[J].Optics & LaserTechnology,2013,44(11):268-277.

[12]OSTU N.A threshold selection method from gray-level histograms[J].IEEE Transaction on Systems,Man and Cybernetics,1979,9(1):62-66.

InfraredSmallTargetDetectionUnderComplexBackgroundBasedonVisualAttention

MA Yan,LI Huan

(Shenyang Ligong University，Shenyang 110159，China)

For the condition of infrared small target detection is vulnerable to background clutter and the results are undesirable by visual attention Itti model,the traditional Itti model is improved and background prediction is introduced.Firstly,image background is predicted and then subtracted from the original image to highlight the target area and eliminate background effects on target region.Secondly,the visual difference of filtered background is extracted to find out the significant target area and achieve the infrared small target detection.The improved model is applied to complex background infrared small target detection,the experimental results show that compared with traditional Itti model detection algorithm,the new proposed algorithm has a higher detection rate.

visual attention;background prediction;infrared image;small target detection

2013-07-10

馬巖(1988—)，女，碩士研究生；通訊作者：李環(huán)(1964—)，女，教授，研究方向:擴(kuò)頻通信技術(shù)及應(yīng)用，信號處理等.

1003-1251(2014)01-0018-06

TP391.4

A

馬金發(fā))