董亞盼,高陳強(qiáng),諶 放,劉芳岑

(1.重慶郵電大學(xué) 通信與信息工程學(xué)院,重慶 400065; 2.信號與信息處理重慶市重點(diǎn)實(shí)驗(yàn)室,重慶 400065)

0 引 言

紅外小目標(biāo)檢測在紅外成像系統(tǒng)研究中起著重要的作用,被廣泛應(yīng)用于預(yù)警、遠(yuǎn)距離目標(biāo)跟蹤等任務(wù)。然而,當(dāng)存在云雜波或者海雜波時(shí),小目標(biāo)通常被淹沒在具有低信噪比的復(fù)雜背景中。此外,由于成像距離遠(yuǎn),小目標(biāo)沒有具體的形狀和紋理。因此,紅外小目標(biāo)檢測一直被認(rèn)為是一個(gè)困難且具有挑戰(zhàn)性的任務(wù)。

在早期的研究中,根據(jù)紅外圖像背景的連續(xù)性特征,一些學(xué)者提出了背景預(yù)測的方法[1-5]。隨后,結(jié)合小目標(biāo)與背景的差異特性,一些基于局部對比度測量的檢測方法[6-7]被提出。此外,根據(jù)紅外背景圖像非局部相關(guān)性方法[8-10],文獻(xiàn)[8]把紅外小目標(biāo)檢測看作稀疏矩陣和低秩矩陣分解的問題,提出了IPI(infrared patch-images)模型。上述傳統(tǒng)方法對符合一定先驗(yàn)知識的小目標(biāo)具有不錯(cuò)的檢測效果,但存在泛化性不強(qiáng)的問題。

在實(shí)際應(yīng)用中,紅外小目標(biāo)的先驗(yàn)知識是未知的。因此,需要能夠適應(yīng)多種小目標(biāo)特性的檢測方法。基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法能夠通過學(xué)習(xí)大量數(shù)據(jù)賦予神經(jīng)網(wǎng)絡(luò)模型強(qiáng)大的擬合能力,部分學(xué)者也嘗試?yán)蒙疃葘W(xué)習(xí)的方法進(jìn)行紅外小目標(biāo)檢測的研究[11-21],通過讓網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)小目標(biāo)的特征分布來進(jìn)行紅外小目標(biāo)的算法設(shè)計(jì)。實(shí)驗(yàn)結(jié)果表明,這些方法可以提升紅外小目標(biāo)檢測的泛化性。

受背景雜波的影響,小目標(biāo)檢測結(jié)果中通常會出現(xiàn)大量虛警。本文設(shè)計(jì)了一個(gè)注意力機(jī)制模塊,該模塊能夠有效地抑制背景雜波信息,增強(qiáng)小目標(biāo)的特征信息,以此減少檢測結(jié)果中的虛警。紅外小目標(biāo)圖像背景雜波信息重復(fù)度較高,導(dǎo)致網(wǎng)絡(luò)容易出現(xiàn)過擬合的現(xiàn)象。針對此問題,文獻(xiàn)[22]提出通過數(shù)據(jù)增強(qiáng)的方法有效提高網(wǎng)絡(luò)的泛化能力,同時(shí)抑制過擬合現(xiàn)象?？紤]到紅外圖像通常都伴隨著高斯噪聲,本文利用高斯噪聲作數(shù)據(jù)增強(qiáng),讓網(wǎng)絡(luò)自動(dòng)分配不同的權(quán)值給噪聲和原圖,再進(jìn)行相加,從而有效地保留了小目標(biāo)的輸入特征,增強(qiáng)了網(wǎng)絡(luò)的魯棒性。本文提出的方法包含注意力機(jī)制模塊和紅外小目標(biāo)檢測模塊,在原圖與噪聲通道堆疊的數(shù)據(jù)增強(qiáng)輸入方式下,注意力機(jī)制模塊能夠有效地抑制背景雜波和增強(qiáng)小目標(biāo)特征,并使用紅外小目標(biāo)檢測模塊實(shí)現(xiàn)檢測任務(wù)。

1 本文方法

1.1 高斯噪聲通道堆疊模式

傳統(tǒng)利用噪聲的數(shù)據(jù)增強(qiáng)方法直接在紅外小目標(biāo)圖像I上疊加高斯噪聲Z,網(wǎng)絡(luò)第1層中的卷積核ω分配給Z和I相同的權(quán)重值ω1,噪聲疊加方式如圖1a所示。本文將高斯噪聲Z和紅外小目標(biāo)圖像I通過通道堆疊的方式作為輸入送入網(wǎng)絡(luò),噪聲堆疊方式如圖1b所示。圖1b中,網(wǎng)絡(luò)第1層中的卷積核ω會隨機(jī)分配給Z和I不同的權(quán)重值ω1和ω2。

圖1 噪聲的兩種增強(qiáng)方式Fig.1 Two ways of noise enhancement

網(wǎng)絡(luò)的輸入Iin可表示為

(1)

經(jīng)過第1層卷積操作后為

(2)

(2)式中:Iin_1表示經(jīng)過網(wǎng)絡(luò)第1層卷積核的輸出;*表示卷積操作。采用噪聲與原圖通道堆疊的方式,網(wǎng)絡(luò)會給噪聲和紅外圖像分配不同的卷積核參數(shù),再進(jìn)行相加。

通過網(wǎng)絡(luò)的學(xué)習(xí)與參數(shù)更新,無須人為干預(yù)輸入高斯噪聲的強(qiáng)度,便可以保證在小目標(biāo)信息不丟失的情況下,自適應(yīng)地調(diào)整輸入噪聲的強(qiáng)度,有效地保留了小目標(biāo)的特征,從而增強(qiáng)網(wǎng)絡(luò)的魯棒性。

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的基于注意力機(jī)制的紅外小目標(biāo)檢測方法如圖2所示。

圖2中,網(wǎng)絡(luò)注意力機(jī)制模塊共有8層,紅外小目標(biāo)檢測模塊共有14層,每一層均由卷積層、歸一化層和激活層組成。每層卷積核的初始大小為3×3,采用空洞卷積方式,通過填充補(bǔ)零的操作改變該層卷積核的尺寸,并使用膨脹系數(shù)表示在3×3卷積核中間填充零的個(gè)數(shù)。本文檢測方法通過空洞卷積的方式擴(kuò)大感受野,保留小目標(biāo)的特征信息,增強(qiáng)目標(biāo)的上下文信息,同時(shí)保持網(wǎng)絡(luò)每層的輸入輸出大小一致,使得任何尺寸的圖像都可以作為測試進(jìn)行輸入。另外,為了保證紅外小目標(biāo)檢測模塊更加精準(zhǔn)地提取小目標(biāo)特征,本文采用跨層連接的方式,使得網(wǎng)絡(luò)深度可以更深,并在有效避免梯度消失的同時(shí)高效復(fù)用該模塊的淺層信息。

圖2 本文提出的基于注意力機(jī)制的紅外小目標(biāo)檢測方法Fig.2 Proposed infrared small target detection method based on attention mechanism

網(wǎng)絡(luò)對背景雜波進(jìn)行抑制,得到輸出結(jié)果Im的表達(dá)式為

Im=G(Z,I;wG)

(3)

(3)式中:G表示注意力機(jī)制模塊;Z表示高斯噪聲圖像;I表示紅外小目標(biāo)原圖;wG表示G模塊的網(wǎng)絡(luò)參數(shù)。G模塊抑制了紅外圖像中大量的雜波信息,增強(qiáng)了關(guān)鍵目標(biāo)信息。

注意力機(jī)制模塊的輸出與原圖進(jìn)行通道堆疊,送入紅外小目標(biāo)檢測模塊中,得到小目標(biāo)檢測結(jié)果Y為

Y=H(Im,I;wH)

(4)

(4)式中:H表示紅外小目標(biāo)檢測模塊;Im表示注意力機(jī)制模塊的輸出結(jié)果;wH表示H模塊的網(wǎng)絡(luò)參數(shù),該模塊在注意力機(jī)制模塊輸出信息的指導(dǎo)下實(shí)現(xiàn)小目標(biāo)的精準(zhǔn)檢測。為防止兩個(gè)模塊之間誤差的直接影響,Im和原圖I采用通道堆疊輸入的方式讓網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)兩者不同的權(quán)重值。

1.3 損失函數(shù)

本文利用均方差損失函數(shù)loss對網(wǎng)絡(luò)進(jìn)行訓(xùn)練,定義為

(5)

1.4 網(wǎng)絡(luò)的訓(xùn)練與測試

在訓(xùn)練階段,基于注意力機(jī)制的紅外小目標(biāo)檢測方法的輸入樣本包含兩種形式:高斯噪聲與原圖的通道堆疊、全零圖像與原圖的通道堆疊。本文方法在損失函數(shù)的引導(dǎo)下,通過迭代方式得到最終的檢測模型。

測試階段,由于網(wǎng)絡(luò)輸入端設(shè)計(jì)的是兩通道輸入方式,因此本文采用全零圖像與原圖通道堆疊的方法,使得測試樣本只包含原圖像的信息。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集

本文使用MDvsFA[14]所提供的公開數(shù)據(jù)集來評估提出方法的性能。數(shù)據(jù)集包含10 000張訓(xùn)練圖像(圖像像素大小均為128×128)和100張測試圖像(圖像像素大小在128×128左右)。數(shù)據(jù)集中的圖像包含真實(shí)合成的紅外小目標(biāo)圖像,這些紅外小目標(biāo)圖像由紅外背景圖像集和小目標(biāo)圖像集組成。紅外背景圖像集通過互聯(lián)網(wǎng)和紅外設(shè)備采集和拍攝得到,包含海天、樹木、建筑、云層等場景的高分辨率圖像。小目標(biāo)圖像集是從真實(shí)紅外小目標(biāo)圖像中分離出來或是使用二維高斯函數(shù)生成的目標(biāo)。

2.2 評價(jià)指標(biāo)

本文采用IPI[8]中的評價(jià)指標(biāo),即檢測率Pd和虛警率Fa,具體定義為

(6)

(7)

(6)—(7)式中:Na是在圖像序列中檢測到的真實(shí)目標(biāo)個(gè)數(shù);Nb是序列中真實(shí)目標(biāo)的總個(gè)數(shù);Nf是在序列中檢測到的虛假目標(biāo)個(gè)數(shù);Nl為序列中圖像的幀數(shù)。Pd和Fa通過對整個(gè)檢測圖像序列的實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)得出。本文采用Pd(Fa=0.2/I)表示每種方法的檢測性能,即平均每幅圖像的虛警率Fa為0.2時(shí)的檢測概率Pd,并根據(jù)Pd和Fa≤0.2/I的比值得出AUC(area under curve)[23]指標(biāo),更好地評價(jià)每種方法在一定虛警率下的平均檢測性能。

另外,在實(shí)際性能評價(jià)中,本文將從目標(biāo)級和像素級兩方面分別對本文方法與其他紅外小目標(biāo)檢測方法的檢測性能進(jìn)行全面評價(jià),評價(jià)指標(biāo)均包含準(zhǔn)確率Pr、召回率Re和兩者的調(diào)和平均值F1,F1的具體表達(dá)式為

(8)

用目標(biāo)級評級指標(biāo)target-level判斷檢測結(jié)果,要使判斷是正確的必須滿足兩個(gè)條件:①檢測的小目標(biāo)與真實(shí)小目標(biāo)有像素重疊;②小目標(biāo)檢測結(jié)果的中心點(diǎn)與真實(shí)小目標(biāo)的中心點(diǎn)的距離要在一定閾值范圍內(nèi)(4個(gè)像素內(nèi))。

像素級評級指標(biāo)pixel-level與大多數(shù)利用神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測的實(shí)驗(yàn)指標(biāo)設(shè)置一樣,均采用以像素為單位的方式。標(biāo)簽圖像中值為255的像素表示小目標(biāo)在紅外圖像中的位置,將檢測結(jié)果圖像通過與標(biāo)簽圖像做像素對像素的比對,就可以知道檢測圖像中被正確分割的像素個(gè)數(shù)。

2.3 實(shí)驗(yàn)細(xì)節(jié)

本文模型采用Python和Pytorch實(shí)現(xiàn),并使用Adam[24]算法來進(jìn)行迭代優(yōu)化。Adam算法能基于訓(xùn)練數(shù)據(jù)迭代更新神經(jīng)網(wǎng)絡(luò)權(quán)重,參數(shù)的學(xué)習(xí)率設(shè)置為10-4, 用于計(jì)算梯度的平方系數(shù)為[0.5,0.999],網(wǎng)絡(luò)每批次輸入20張圖像。整個(gè)網(wǎng)絡(luò)一共迭代30輪。在未加說明的情況下,下文實(shí)驗(yàn)中所有模型的訓(xùn)練過程均不加載任何預(yù)訓(xùn)練參數(shù)。

2.4 實(shí)驗(yàn)結(jié)果與分析

2.4.1 定量分析

表1給出了本文方法與MaxMedian[1]、MaxMean[1]、IPI[8]、MPCM[16]、ADMD[17]、GST[18]、MDvsFA[14]等方法在數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。

根據(jù)表1可以看出,基于神經(jīng)網(wǎng)絡(luò)方法的指標(biāo)要明顯高于傳統(tǒng)的紅外小目標(biāo)檢測方法,說明神經(jīng)網(wǎng)絡(luò)的方法更能適應(yīng)多種背景的紅外小目標(biāo)檢測。相比于MDvsFA[14]神經(jīng)網(wǎng)絡(luò)方法,本文方法在相同虛警率(Fa=0.2/I)的情況下,檢測率Pd提升了5.9%,說明本文方法在誤檢率相同的情況下具有更高的檢測率;本文的準(zhǔn)確率、召回率的調(diào)和平均值F1分別比MDvsFA[14]方法都有提高,說明本文網(wǎng)絡(luò)能更加精準(zhǔn)檢測到紅外小目標(biāo);本文目標(biāo)級的準(zhǔn)確率Pr更是達(dá)到95.73%,說明網(wǎng)絡(luò)通過對訓(xùn)練集的學(xué)習(xí),對同分布的測試集具有更穩(wěn)定的檢測;本文AUC指標(biāo)有提高,說明本文方法對小目標(biāo)和背景的二分類能力顯著高于MDvsFA[14]方法。

表1 不同方法實(shí)驗(yàn)結(jié)果

2.4.2 定性分析

圖3所示為本文方法與MDvsFA[14]、Max-Mean[1]、IPI[8]、ADMD[17]方法的實(shí)驗(yàn)結(jié)果對比。本文采用背景信息干擾性強(qiáng)且復(fù)雜的紅外小目標(biāo)圖像進(jìn)行實(shí)驗(yàn)方法對比。傳統(tǒng)方法中,MaxMean、IPI難以檢測到圖像中的小目標(biāo),容易出現(xiàn)漏檢現(xiàn)象;ADMD方法對于圖像中的小目標(biāo)有一定的檢測能力,但也出現(xiàn)了誤檢問題。神經(jīng)網(wǎng)絡(luò)方法MDvsFA容易受背景重復(fù)性信息和雜波的干擾,出現(xiàn)虛警現(xiàn)象。本文方法可以在虛警少的情況下,保持較高的檢測率。

圖3 5種方法在不同復(fù)雜背景的檢測結(jié)果Fig.3 Detection results of five methods in different complex backgrounds

2.4.3 注意力機(jī)制模塊的背景抑制效果

圖4所示為注意力機(jī)制模塊輸出可視化結(jié)果。

由圖4b可以看出,本文方法能夠?qū)Ρ尘半s波進(jìn)行抑制,增強(qiáng)小目標(biāo)的特征信息;由圖4c可以看出,在注意力機(jī)制模塊的輸出信息指導(dǎo)下,紅外小目標(biāo)檢測模塊的輸出結(jié)果中沒有出現(xiàn)虛警,說明了該方法能夠有效減少虛警。

2.4.4 消融實(shí)驗(yàn)

本文驗(yàn)證了高斯噪聲不同的疊加方式、不同噪聲種類、兩模塊的作用和注意力機(jī)制模塊的輸出作用方式對實(shí)驗(yàn)結(jié)果的影響。表2所示為本文網(wǎng)絡(luò)的消融實(shí)驗(yàn)結(jié)果。

表2 消融實(shí)驗(yàn)結(jié)果

表2第1—2行表明,從高斯噪聲的疊加方式上看,與不加高斯噪聲相比,原圖直接與高斯噪聲圖像進(jìn)行像素疊加的方式在像素級的檢測準(zhǔn)確率、召回率和兩者的調(diào)和平均值(Pr、Re和F1)上均有顯著提升,但是在其他指標(biāo)上沒有。本文利用原圖與噪聲通道堆疊的方式進(jìn)行圖像疊加所取得的實(shí)驗(yàn)結(jié)果優(yōu)于原圖與噪聲直接疊加,說明通道堆疊的噪聲疊加方式更有利于保留小目標(biāo)特征信息,增強(qiáng)網(wǎng)絡(luò)魯棒性。

圖4 注意力機(jī)制模塊輸出可視化Fig.4 Attentional mechanism module output visualization

表2第3—4行表明,從堆疊不同的噪聲種類來看,在利用通道堆疊的噪聲疊加方式下,均勻噪聲和泊松噪聲的實(shí)驗(yàn)指標(biāo)整體上要低于本文方法引入的高斯噪聲,說明利用高斯噪聲更適合紅外小目標(biāo)圖像的數(shù)據(jù)增強(qiáng)任務(wù)。

表2第5行表明,從兩模塊的作用來看,僅使用單個(gè)紅外小目標(biāo)檢測模塊進(jìn)行紅外小目標(biāo)檢測任務(wù)的效果顯著低于采用兩模塊的網(wǎng)絡(luò)設(shè)計(jì)。圖5比較了僅使用紅外小目標(biāo)檢測模型進(jìn)行檢測與本文使用了注意力機(jī)制模塊進(jìn)行檢測的結(jié)果。由圖5可見,采用注意力機(jī)制模塊的方法能夠有效地抑制背景雜波,減少虛警,提高檢測率。

表2第6—7行表明,從注意力機(jī)制的輸出作用方式上看,采用注意力機(jī)制的輸出與原圖直接相加的方式比只使用紅外小目標(biāo)檢測模塊的方式在指標(biāo)Pd(Fa=0.2/I)和AUC上都有較大提高,證明注意力機(jī)制模塊對紅外小目標(biāo)檢測任務(wù)起到正向作用,但是采用注意力機(jī)制的輸出與原圖相乘的方式出現(xiàn)了負(fù)向作用。對于本文的網(wǎng)絡(luò),直接相加的方式能有效增強(qiáng)小目標(biāo)信息,但是也容易直接引入多余的背景;而直接相乘的方式能有效減少背景信息,但是容易漏檢小目標(biāo)。因此,本文提出的注意力機(jī)制的輸出與原圖通道堆疊的方式能有效復(fù)用注意力機(jī)制模塊的輸出,抑制背景雜波的同時(shí)提升小目標(biāo)的檢測精度。

圖5 兩模塊的作用Fig.5 Function of two modules

表2第8行表明,本文方法在指標(biāo)Pd(Fa=0.2/I)和AUC上分別達(dá)到了88.16%、85.42%,具有較好的檢測性能,說明本文方法中高斯噪聲與原圖通道堆疊的數(shù)據(jù)增強(qiáng)方式,適用于紅外小目標(biāo)圖像的數(shù)據(jù)增強(qiáng)任務(wù),避免了小目標(biāo)信息被淹沒在背景與噪聲中的問題。本文方法將注意力機(jī)制模塊的輸出與原圖通道堆疊的融合方式,有效地抑制了背景雜波并增強(qiáng)了小目標(biāo)信息,從而提高了小目標(biāo)檢測性能。

3 結(jié)束語

針對紅外小目標(biāo)檢測網(wǎng)絡(luò)容易受背景中大量雜波干擾的問題,本文提出了基于注意力機(jī)制的紅外小目標(biāo)檢測方法。一方面,所提出的高斯噪聲與原圖通道堆疊的輸入方式增強(qiáng)了網(wǎng)絡(luò)的魯棒性;另一方面,本文通過注意力機(jī)制模塊抑制背景雜波,增強(qiáng)小目標(biāo)特征,并使用紅外小目標(biāo)檢測模塊實(shí)現(xiàn)檢測任務(wù)。經(jīng)實(shí)驗(yàn)驗(yàn)證,本文所提出的方法在性能上優(yōu)于其他傳統(tǒng)紅外小目標(biāo)檢測方法和基于卷積神經(jīng)網(wǎng)絡(luò)的方法。