王強(qiáng), 吳樂(lè)天, 李紅, 王勇, 王歡, 楊萬(wàn)扣*

(1.東南大學(xué) 自動(dòng)化學(xué)院, 江蘇 南京 210096; 2.東南大學(xué) 復(fù)雜工程系統(tǒng)測(cè)量與控制教育部重點(diǎn)實(shí)驗(yàn)室, 江蘇 南京 210096;3.江蘇自動(dòng)化研究所, 江蘇 連云港 222061; 4.南京理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院, 江蘇 南京 210094)

0 引言

當(dāng)前主流的目標(biāo)探測(cè)系統(tǒng)可分為3類(lèi): 基于可見(jiàn)光圖像的目標(biāo)探測(cè)、基于熱紅外圖像的目標(biāo)探測(cè)和雷達(dá)信號(hào)的目標(biāo)探測(cè)系統(tǒng)。其中,熱紅外探測(cè)系統(tǒng)只對(duì)目標(biāo)的溫度與本身的材料特性敏感,使得其在3類(lèi)探測(cè)系統(tǒng)中脫穎而出,具有顯著優(yōu)勢(shì)[1-2]:1)不依賴(lài)光照條件,可以全天時(shí)工作;2)非主動(dòng)發(fā)射探測(cè)波方式,隱蔽性好;3)穿透能力強(qiáng),基本不受環(huán)境因素如灰塵、云層等的影響,可以更好地識(shí)別虛假的偽裝目標(biāo)。上述優(yōu)勢(shì)使得基于熱紅外圖像的目標(biāo)探測(cè)系統(tǒng)成為傳統(tǒng)基于可見(jiàn)光圖像與基于雷達(dá)信號(hào)的目標(biāo)探測(cè)系統(tǒng)的有效補(bǔ)充。

鑒于此,紅外弱小目標(biāo)檢測(cè)具有廣泛的應(yīng)用,常用于軍事領(lǐng)域,例如跟蹤、防御及預(yù)警等[3]。除了軍事領(lǐng)域以外,它在其他多個(gè)領(lǐng)域都有著應(yīng)用價(jià)值,如在醫(yī)學(xué)成像病理分析、海上救援等任務(wù)中,紅外弱小目標(biāo)檢測(cè)技術(shù)有助于獲取很多用信息。因?yàn)闄z測(cè)方法的效果極大地影響這些應(yīng)用系統(tǒng)的性能,所以檢測(cè)的準(zhǔn)確性至關(guān)重要。

然而,紅外弱小目標(biāo)檢測(cè)面臨諸多挑戰(zhàn)。紅外圖像一般由背景、目標(biāo)和噪聲3部分組成。一方面,紅外圖像的信雜比低,由于距離遠(yuǎn)和大氣對(duì)紅外輻射的影響,紅外弱小目標(biāo)信號(hào)通常非常微弱,且與背景差異不明顯,極易淹沒(méi)在背景中;另一方面,紅外弱小目標(biāo)尺寸非常小、缺少結(jié)構(gòu)性特征[3-7],增加了在實(shí)際應(yīng)用中檢測(cè)紅外弱小目標(biāo)的難度。

深度學(xué)習(xí)方法極大地推動(dòng)了紅外圖像處理領(lǐng)域的發(fā)展,包括紅外檢測(cè)任務(wù)。通常紅外弱小目標(biāo)檢測(cè)方法分為直接目標(biāo)檢測(cè)方法和圖像語(yǔ)義分割方法。婁康[8]提出一種基于生成式對(duì)抗神經(jīng)網(wǎng)絡(luò)的紅外目標(biāo)檢測(cè)算法,并通過(guò)Gabor核函數(shù)實(shí)現(xiàn)對(duì)紅外圖像降噪處理。黃樂(lè)弘[9]針對(duì)空中紅外目標(biāo)圖像的固有特點(diǎn),在YOLOv3模型[10]的基礎(chǔ)上改進(jìn)了邊緣損失函數(shù),從而提高了檢測(cè)定位精度。楊其利等[11]通過(guò)在網(wǎng)絡(luò)中增加遞歸和殘差模塊來(lái)提升檢測(cè)效果。在紅外弱小目標(biāo)檢測(cè)領(lǐng)域中,若直接使用通用的目標(biāo)檢測(cè)或語(yǔ)義分割網(wǎng)絡(luò),則檢測(cè)效果不理想,原因有:

1)紅外弱小目標(biāo)的特點(diǎn)[12]:

①目標(biāo)信號(hào)弱。目標(biāo)和背景之間的對(duì)比度很小,導(dǎo)致目標(biāo)容易被背景淹沒(méi)而抹去。

②目標(biāo)尺寸小。目標(biāo)的尺寸很小,通常低于9×9個(gè)像素,因此其結(jié)構(gòu)特征很少。深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)通常都是采用卷積、池化等方法來(lái)提取目標(biāo)的特征,通過(guò)堆疊多個(gè)卷積層、池化層或其他的下采樣層來(lái)提取淺層和深層特征,然后根據(jù)特征圖進(jìn)行上采樣恢復(fù)。在此過(guò)程中圖像的分辨率會(huì)降低,紅外弱小目標(biāo)特征幾乎可以忽略不計(jì),甚至完全消失,容易導(dǎo)致下采樣過(guò)程中的小目標(biāo)丟失,因此上采樣也無(wú)法恢復(fù)。在訓(xùn)練過(guò)程中,網(wǎng)絡(luò)在靠后的特征層中失去了小物體的特征信息,因此會(huì)造成檢測(cè)性能的下降。

2)擴(kuò)大網(wǎng)絡(luò)感受野帶來(lái)的問(wèn)題。原因1進(jìn)一步導(dǎo)致紅外弱小目標(biāo)的結(jié)構(gòu)特征非常少,局部來(lái)看,弱小目標(biāo)與噪聲和背景干擾極為相似,需要借助全局分析來(lái)區(qū)分。在深度學(xué)習(xí)中表現(xiàn)為需要更大的感受野,在深度卷積網(wǎng)絡(luò)中,一般通過(guò)不斷降低特征圖像的分辨率來(lái)提高感受野,然而,這一過(guò)程一定程度降低了目標(biāo)定位精度。

3)占空比不均衡問(wèn)題。紅外圖像中,目標(biāo)少且稀疏,絕大部分是背景區(qū)域,目標(biāo)和背景的占空比極不均衡,導(dǎo)致一般語(yǔ)義分割網(wǎng)絡(luò)模型會(huì)傾向于關(guān)注背景像素識(shí)別為目標(biāo)像素的錯(cuò)誤,忽略目標(biāo)像素識(shí)別為背景像素的錯(cuò)誤,導(dǎo)致目標(biāo)欠分割,甚至丟失。

此外,已有的基于圖像語(yǔ)義分割的紅外弱小目標(biāo)檢測(cè)方法只設(shè)計(jì)了一個(gè)網(wǎng)絡(luò),難以同時(shí)保持低虛警率和漏檢率。

本文針對(duì)紅外弱小目標(biāo)圖像特點(diǎn),提出一種基于兩支網(wǎng)絡(luò)協(xié)作的紅外弱小目標(biāo)檢測(cè)模型(DualNet模型)。DualNet模型包含兩個(gè)分別針對(duì)紅外弱小目標(biāo)檢測(cè)虛警率和漏檢率任務(wù)的子網(wǎng)絡(luò),通過(guò)對(duì)兩個(gè)子網(wǎng)絡(luò)的結(jié)果進(jìn)行融合輸出,進(jìn)一步提高紅外弱小目標(biāo)檢測(cè)的準(zhǔn)確性。

1 圖像語(yǔ)義分割相關(guān)工作

圖像語(yǔ)義分割任務(wù)是輸入一個(gè)圖像(多通道或單通道),然后輸出與源圖像分辨率相同的圖像,每個(gè)像素點(diǎn)帶有分類(lèi)標(biāo)簽。圖像語(yǔ)義分割的基本算法思想是給出一張圖像I,將問(wèn)題轉(zhuǎn)化為函數(shù)求解,從I映射到掩碼Mask,分割出物體的輪廓。

1.1 基于圖像塊的分割方法

針對(duì)一個(gè)像素,使用該像素為中心的鄰域圖像塊作為輸入用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和預(yù)測(cè)[12-14],其缺點(diǎn)有:

1)占用內(nèi)存量大。以圖像塊的大小為11×11為例,每次滑動(dòng)窗口將得到一個(gè)分類(lèi)結(jié)果,隨著滑動(dòng)次數(shù)的增加,消耗的存儲(chǔ)量將不斷上升。

2)冗余計(jì)算。相鄰的圖像塊只在邊緣部分存在差別,因此針對(duì)每個(gè)圖像塊進(jìn)行計(jì)算會(huì)有大量重復(fù),導(dǎo)致計(jì)算效率較低。

3)圖像塊的大小限制了感受野大小。以全局觀來(lái)看待圖像較局部圖像塊來(lái)判別分類(lèi)更加準(zhǔn)確,因此圖像塊的大小限制了分類(lèi)的性能。

1.2 基于全卷積網(wǎng)絡(luò)的圖像分割

全卷積網(wǎng)絡(luò)(FCN)用全連接層得到特征向量,再進(jìn)行判別分類(lèi)。FCN的輸入不受尺寸限制,將分類(lèi)網(wǎng)絡(luò)的全連接層用卷積層替換,對(duì)最后一個(gè)特征圖進(jìn)行反卷積操作。因此網(wǎng)絡(luò)輸出的圖像分辨率與輸入圖像保持一致,將每個(gè)像素當(dāng)成一個(gè)樣本進(jìn)行訓(xùn)練,從抽象的特征圖中得到判別結(jié)果,同時(shí)保留輸入圖像中的空間結(jié)構(gòu)信息。最后,在網(wǎng)絡(luò)輸出的特征圖上實(shí)現(xiàn)像素級(jí)的分類(lèi)操作,得到輸出結(jié)果。經(jīng)典CNN結(jié)構(gòu)和FCN結(jié)構(gòu)如圖1和圖2所示。

圖1 經(jīng)典CNN結(jié)構(gòu)Fig.1 Classic CNN network structure

圖2 FCN結(jié)構(gòu)Fig.2 FCN simulation structure

1.3 基于U型網(wǎng)絡(luò)(U-net)的圖像分割

U-net采用對(duì)稱(chēng)網(wǎng)絡(luò)結(jié)構(gòu)[15-16],形狀如U形。下采樣過(guò)程稱(chēng)為編碼器,它用來(lái)提取特征,得到深層和淺層特征,上采樣過(guò)程稱(chēng)為解碼器,它結(jié)合了淺層相同分辨率的特征圖和深層信息,跨聯(lián)之后作為上采樣過(guò)程的輸入,因此逐級(jí)提升圖像精度。與FCN網(wǎng)絡(luò)特征拼接不同的是,U-net按照通道的維度進(jìn)行拼接,在同樣大小的分辨率處形成更厚的特征。FCN融合時(shí)將對(duì)應(yīng)像素點(diǎn)相加,特征維度不變。U-net 結(jié)構(gòu)如圖3所示。

圖3 U-net結(jié)構(gòu)Fig.3 U-net simulation architecture

2 基于DualNet協(xié)作的紅外弱小目標(biāo)檢測(cè)方法

由于第1節(jié)中3類(lèi)網(wǎng)絡(luò)模型包含較多的下采樣結(jié)構(gòu),導(dǎo)致網(wǎng)絡(luò)用于紅外弱小目標(biāo)檢測(cè)的性能不佳。網(wǎng)絡(luò)設(shè)計(jì)中一個(gè)關(guān)鍵性的挑戰(zhàn)是在紅外圖像的漏檢率和虛警率之間找到一種平衡,盡可能地降低二者。然而這二者在一定程度上是對(duì)立的關(guān)系,通常在實(shí)驗(yàn)中是采取相反的策略去減小二者的大小,正如傳統(tǒng)的圖像處理方法的最后一步是選取合適的閾值來(lái)進(jìn)行圖像的二值化:為了降低虛警率,增大閾值;為了降低漏檢率,減小閾值。針對(duì)CNN框架固化圖像全局閾值的缺陷,本文將整個(gè)紅外弱小目標(biāo)檢測(cè)任務(wù)劃分成兩個(gè)子任務(wù)來(lái)進(jìn)行,提出了一種兼顧漏檢和虛警的圖像分割網(wǎng)絡(luò)DualNet。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

傳統(tǒng)深度CNN方法使用單個(gè)網(wǎng)絡(luò)同時(shí)降低漏檢率和虛警率。與傳統(tǒng)的網(wǎng)絡(luò)訓(xùn)練不一樣,本文將整個(gè)圖像語(yǔ)義分割任務(wù)分成兩個(gè)子任務(wù),即采用兩個(gè)子網(wǎng)絡(luò)來(lái)完成圖像語(yǔ)義分割任務(wù)。子網(wǎng)絡(luò)分支1的目的是降低目標(biāo)的漏檢率,即學(xué)習(xí)較低的閾值,使網(wǎng)絡(luò)具有較高的召回率,子網(wǎng)絡(luò)分支2的目的是在降低目標(biāo)的虛警率,即學(xué)習(xí)較高的閾值,使網(wǎng)絡(luò)具有較高的精確率,最后采取一定的比例將兩個(gè)網(wǎng)絡(luò)輸出的結(jié)果融合得到分割結(jié)果。DualNet的整體結(jié)構(gòu)設(shè)計(jì)如圖4 所示。

圖4 DualNet結(jié)構(gòu)Fig.4 DualNet architecture

DualNet分為兩個(gè)子網(wǎng)絡(luò),紅色框標(biāo)記為子網(wǎng)絡(luò)分支1,綠色框標(biāo)記為子網(wǎng)絡(luò)分支2,兩個(gè)網(wǎng)絡(luò)的輸入均為圖像I,分別經(jīng)過(guò)多個(gè)模塊得到網(wǎng)絡(luò)分支1的輸出為S1,網(wǎng)絡(luò)分支2的輸出為S2,網(wǎng)絡(luò)最終的分割結(jié)果為S。S由S1和S2經(jīng)過(guò)加權(quán)融合得到。為了更清晰地了解DualNet結(jié)構(gòu)設(shè)計(jì),圖5和圖6分別顯示了網(wǎng)絡(luò)分支1和網(wǎng)絡(luò)分支2的詳細(xì)結(jié)構(gòu),說(shuō)明了各模塊的選取原因,從理論上闡明了網(wǎng)絡(luò)設(shè)計(jì)的合理性。

圖5 網(wǎng)絡(luò)分支1結(jié)構(gòu)Fig.5 Architecture of SubNetwork 1

2.2 網(wǎng)絡(luò)分支1結(jié)構(gòu)

圖6 網(wǎng)絡(luò)分支2結(jié)構(gòu)Fig.6 Thearchitecture of SubNetwork 2

網(wǎng)絡(luò)分支1設(shè)計(jì)原則包含兩點(diǎn):1)為了避免池化模塊可能丟失小目標(biāo),本文舍棄了池化模塊與標(biāo)準(zhǔn)卷積模塊,而是使用了空洞卷積,不僅保證了特征圖的空間分辨率,同時(shí)也保證了圖像的感受野[17-20];2)由于空洞卷積可能造成“棋盤(pán)”效應(yīng),網(wǎng)絡(luò)添加了空洞空間金字塔池化(ASPP)模塊[19],通過(guò)使用不同空洞率的卷積來(lái)提取不同感受野下的信息,高效利用了整張圖片信息。

記輸入圖像標(biāo)記為I,分割結(jié)果標(biāo)記為S1,網(wǎng)絡(luò)分支1對(duì)應(yīng)的函數(shù)為F1,則網(wǎng)絡(luò)輸入到輸出之間的映射記為

F1(I)=S1

(1)

為了實(shí)現(xiàn)降低目標(biāo)的漏檢率的目的,本文基于平滑的絕對(duì)值損失(Smooth L1),構(gòu)建網(wǎng)絡(luò)分支1的損失函數(shù):

(2)

MD1=SmoothL1Loss(S1,G)·G

(3)

FA1=SmoothL1Loss(S1,G)·(1-G)

(4)

Loss1=λ1MD1+FA1

(5)

式中:MD1和FA1分別代表網(wǎng)絡(luò)分支1的漏檢率和虛警率;G代表輸入圖像的真值;λ1是MD1的權(quán)重參數(shù)。

2.3 網(wǎng)絡(luò)分支2結(jié)構(gòu)

語(yǔ)義分割模型大多是類(lèi)似于U-net這樣的編碼器——解碼器形式[15],先進(jìn)行下采樣,再上采樣到與原圖一樣的尺寸。設(shè)計(jì)思想包含3點(diǎn):1)為了避免下采樣過(guò)程中小目標(biāo)消失,防止上采樣過(guò)程中無(wú)法恢復(fù),采用空間金字塔池化(SPP)模塊[21-23]來(lái)構(gòu)造空間池化層,使特征圖的淺層特征和深層特征得到有效融合;2)依據(jù)經(jīng)典的編碼器—解碼器架構(gòu),構(gòu)建對(duì)稱(chēng)網(wǎng)絡(luò)結(jié)構(gòu),將對(duì)應(yīng)層的特征圖按通道級(jí)聯(lián),充分的結(jié)合低層級(jí)精確的位置信息與高層級(jí)的高語(yǔ)義信息[22];3)標(biāo)準(zhǔn)卷積無(wú)法精確的學(xué)習(xí)不規(guī)則形狀的目標(biāo)特征,因此在輸出部分舍棄了標(biāo)準(zhǔn)卷積,采用可形變卷積,通過(guò)學(xué)習(xí)偏置量使卷積的區(qū)域?qū)崿F(xiàn)變形,從而挖掘更為準(zhǔn)確的目標(biāo)的形狀和尺寸信息,而標(biāo)準(zhǔn)卷積的卷積核則無(wú)法做到這一點(diǎn)[24-27]。

網(wǎng)絡(luò)分支2設(shè)計(jì)模塊如下:

1)通道注意力模塊[28],特征圖的尺寸由C×H×W變換為C×1×1,其中C、H、W分別代表特征圖的通道數(shù)、高度和寬度。通過(guò)卷積激活函數(shù)等運(yùn)算得到對(duì)應(yīng)掩碼,與原特征圖按通道相乘,從而分配給了每個(gè)通道不同的權(quán)重。

2)空間注意力模塊[29],與通道注意力模塊類(lèi)似,特征圖的尺寸由C×H×W變換為1×H×W,經(jīng)過(guò)激活函數(shù)后添加到原始的特征圖中,對(duì)原特征圖的每個(gè)像素點(diǎn)分配了不同的權(quán)重。

3)將通道注意力與空間注意力模塊并聯(lián),目的是得到具有更強(qiáng)語(yǔ)義信息的特征圖。在編碼解碼的過(guò)程中,每個(gè)塊后面均添加通道—空間注意力模塊,從而提高了網(wǎng)絡(luò)提取圖片內(nèi)部語(yǔ)義信息的能力,使得分割的結(jié)果更加精確。

4)ASPP模塊[21],通過(guò)將不同尺寸的池化層并聯(lián),有效地提取了圖像的多尺度信息。ASPP模塊將圖像的局部特征和全局特征高效融合,有效地提取了特征圖的上下文信息。

5)可形變卷積[24],可形變卷積通過(guò)對(duì)特征圖的每個(gè)位置學(xué)習(xí)一個(gè)偏移量,使卷積核具有變形的效果。

記輸入圖像標(biāo)記為I,分割結(jié)果標(biāo)記為S2,網(wǎng)絡(luò)分支2對(duì)應(yīng)的函數(shù)為F2,輸入圖像到輸出圖像之間的變換記為

F2(I)=S2

(6)

同樣地網(wǎng)絡(luò)分支2為了達(dá)到降低目標(biāo)的虛警率的目的,本文也基于Smooth L1,構(gòu)建網(wǎng)絡(luò)分支2的損失函數(shù),如式(7)～式(9)所示:

MD2=SmoothL1Loss(S2,G)·G

(7)

FA2=SmoothL1Loss(S2,G)·(1-G)

(8)

Loss2=MD2+λ2FA2

(9)

式中:MD2和FA2分別表示網(wǎng)絡(luò)分支2分支的漏檢率和虛警率;λ2為FA2的權(quán)重參數(shù)。

2.4 兩支網(wǎng)絡(luò)融合

兩個(gè)網(wǎng)絡(luò)獨(dú)立訓(xùn)練,即分別按照各自定義的損失函數(shù)完成訓(xùn)練,獲得各自網(wǎng)絡(luò)的最優(yōu)參數(shù)。為了使二者在整個(gè)分割任務(wù)中有機(jī)結(jié)合起來(lái),需要設(shè)計(jì)讓網(wǎng)絡(luò)信息在二者之間協(xié)作合作,統(tǒng)一地抵近真實(shí)結(jié)果,采用式(10)融合二者分割結(jié)果:

S=αS1+βS2

(10)

式中:α和β為超參數(shù),根據(jù)實(shí)驗(yàn)效果取α=0.1,β=0.9最佳。

上述融合策略將網(wǎng)絡(luò)分支1和2的結(jié)果作線(xiàn)性加權(quán),雖然簡(jiǎn)單,但卻能充分利用兩支網(wǎng)絡(luò)的互補(bǔ)優(yōu)勢(shì)。從表2實(shí)驗(yàn)中的可視化結(jié)果觀察發(fā)現(xiàn),網(wǎng)絡(luò)分支2的弱小目標(biāo)識(shí)別能力(識(shí)別真假目標(biāo))強(qiáng)于網(wǎng)絡(luò)分支1,雖然會(huì)存在目標(biāo)的欠分割,例如目標(biāo)有3個(gè)像素,只分割出1個(gè),但較少出現(xiàn)虛假目標(biāo);而網(wǎng)絡(luò)分支1的定位能力(檢測(cè)定位真目標(biāo))則強(qiáng)于網(wǎng)絡(luò)分支2,即網(wǎng)絡(luò)分支1雖容易檢測(cè)出了一些虛假目標(biāo),但真實(shí)目標(biāo)都能全部檢測(cè)出來(lái),并且分割較為完整。為此,加權(quán)融合策略可以一定程度上避免網(wǎng)絡(luò)分支2的目標(biāo)欠分割、抑制網(wǎng)絡(luò)分支1輸出的虛假目標(biāo)。

3 紅外弱小目標(biāo)檢測(cè)結(jié)果與分析

3.1 紅外弱小目標(biāo)檢測(cè)數(shù)據(jù)集

由于缺少紅外弱小目標(biāo)檢測(cè)領(lǐng)域的標(biāo)準(zhǔn)數(shù)據(jù)集,本文在仿真合成的紅外圖像數(shù)據(jù)集上驗(yàn)證算法的有效性。該數(shù)據(jù)集包括2類(lèi)包含弱小目標(biāo)的數(shù)據(jù)集,分別記為All Seqs和Single,其中All Seqs數(shù)據(jù)集包含504張圖像,Single數(shù)據(jù)集共有100張圖像。這里對(duì)數(shù)據(jù)集進(jìn)行了擴(kuò)充,從原本的圖像中隨機(jī)抽樣128×128的圖像塊作為輸入,依此將訓(xùn)練集中圖像的數(shù)量擴(kuò)充到10 000幅圖像。相關(guān)合成用于訓(xùn)練的紅外圖像部分樣本如圖7所示。

圖7 紅外弱小目標(biāo)檢測(cè)數(shù)據(jù)集中的典型訓(xùn)練樣本Fig.7 Samples of the training set

3.2 評(píng)價(jià)標(biāo)準(zhǔn)

由于本文將弱小目標(biāo)檢測(cè)看成目標(biāo)分割問(wèn)題,目的是將圖像分為目標(biāo)和背景,采用二分類(lèi)模型的評(píng)價(jià)標(biāo)準(zhǔn),即精度Precision、召回率Recall和F1測(cè)量F1-measure:

(11)

(12)

(13)

式中:TP、FP和FN分別為正確檢測(cè)出的目標(biāo)像素個(gè)數(shù)、虛檢的像素個(gè)數(shù)和漏檢的像素個(gè)數(shù)。Precision被定義為被正確預(yù)測(cè)的目標(biāo)數(shù)據(jù)占所有預(yù)測(cè)為目標(biāo)數(shù)據(jù)的比例;Recall被定義為被正確預(yù)測(cè)的目標(biāo)像素占全部目標(biāo)像素的比例。由于Precision和Recall之間存在一定的矛盾性,單獨(dú)看Precision和Recall這兩個(gè)指標(biāo)均有局限性,衡量目標(biāo)分割算法的有效性應(yīng)該注重F1-measure的大小。

3.3 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)硬件環(huán)境為8 GB RAM、1.8 GHz Intel i7 CPU和Tesla P40 GPU;軟件環(huán)境為Ubuntu 18.04系統(tǒng)、Python語(yǔ)言和Pytorch深度學(xué)習(xí)開(kāi)發(fā)軟件框架。實(shí)驗(yàn)相關(guān)參數(shù)設(shè)置為:λ1=100,λ2=10,α=0.1,β=0.9;學(xué)習(xí)率每10次迭代降低20%,一共訓(xùn)練30個(gè)周期。兩個(gè)網(wǎng)絡(luò)分支獨(dú)立訓(xùn)練,分別按照各自定義的損失函數(shù)完成訓(xùn)練,獲得各自網(wǎng)絡(luò)的最優(yōu)參數(shù)后進(jìn)行融合。

3.4 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)與當(dāng)前基于深度學(xué)習(xí)的優(yōu)勢(shì)方法進(jìn)行對(duì)比,包含F(xiàn)CN-RSTN[30]、cGAN[31]、U-net[15]、DeepLab-v3[19],實(shí)驗(yàn)結(jié)果如表1所示。表1顯示了在All Seqs和Single數(shù)據(jù)集上Recall、Precision以及F1-measure指標(biāo)的大小,三者的數(shù)值均為越大越好,通過(guò)F1-measure平衡了Precision和Recall單一度量的局限性。由表1可以看出,本文DualNet方法在兩個(gè)數(shù)據(jù)集上均獲得了最高的F1-measure值,在保證召回率在可接受的條件下有著較高的精確率,這顯示了DualNet方法具有更好的檢測(cè)效果,在像素級(jí)別使得漏檢率和虛警率達(dá)到了最優(yōu)的平衡。

表1 不同方法的結(jié)果對(duì)比Table 1 Experimental results using different methods

DualNet方法的檢測(cè)效果見(jiàn)表2,表2每一行為一組,從左往右分別為輸入紅外圖像、真實(shí)標(biāo)簽圖、網(wǎng)絡(luò)分支1檢測(cè)結(jié)果、網(wǎng)絡(luò)分支2檢測(cè)結(jié)果和最終融合結(jié)果。由表2可以看出,網(wǎng)絡(luò)分支1為了達(dá)到漏檢率較低的要求,會(huì)將部分背景噪聲當(dāng)作目標(biāo)分割出來(lái),繼而提高了目標(biāo)的召回率,但同時(shí)也增加了虛警率。網(wǎng)絡(luò)分支2為了達(dá)到降低虛警率目的,導(dǎo)致其輸出的結(jié)果中目標(biāo)對(duì)比度降低,沒(méi)有網(wǎng)絡(luò)分支1中目標(biāo)與背景的對(duì)比度明顯,最后通過(guò)加權(quán)融合這一協(xié)作操作較好地緩解了兩個(gè)網(wǎng)絡(luò)的各自缺點(diǎn),從而提升了整體網(wǎng)絡(luò)的精度。

本文實(shí)驗(yàn)分析了DualNet各個(gè)模塊的影響,DualNet各個(gè)模塊的消融實(shí)驗(yàn)如表3所示,包括空洞卷積Dilated-Conv、ASPP模塊、PPM模塊、注意力模塊scSE以及可形變卷積DCNv2。根據(jù)實(shí)驗(yàn)結(jié)果:在網(wǎng)絡(luò)分支2不變的情況下,網(wǎng)絡(luò)分支1添加ASPP模塊相較于直接使用空洞卷積時(shí),F1-measure值更高,分割效果更好;在網(wǎng)絡(luò)分支1不變的情況下,網(wǎng)絡(luò)分支2添加SPP模塊要優(yōu)于添加PPM模塊[32];在網(wǎng)絡(luò)編碼模塊中添加注意力機(jī)制達(dá)到了最高的分割精度,針對(duì)本文實(shí)驗(yàn)中的紅外圖像數(shù)據(jù)集,將可形變卷積DCNv2應(yīng)用于網(wǎng)絡(luò)輸出部分無(wú)明顯的提升效果。

表2 DualNet方法的分割效果

表3 DualNet方法的消融實(shí)驗(yàn)

進(jìn)一步分析可知,空洞卷積是在不增加網(wǎng)絡(luò)參數(shù)的前提下用于擴(kuò)大卷積操作的感受野。SPP模塊用于多尺度特征提取,ASPP模塊則是將空洞卷積與SPP模塊相結(jié)合,同時(shí)擴(kuò)大感受野和提取多尺度特征。在本文的模型中,網(wǎng)絡(luò)分支1專(zhuān)注于避免漏檢,需要局部信息來(lái)盡可能地檢測(cè)和定位目標(biāo),因此其感受野不需要太大;而網(wǎng)絡(luò)分支2專(zhuān)注于避免虛警,需要較大的全局上下文信息來(lái)鑒別目標(biāo),因此需要較大的感受野(使用空洞卷積)。此外,無(wú)論網(wǎng)絡(luò)分支1和網(wǎng)絡(luò)分支2,都需要在各自的感受野范圍內(nèi)提取多尺度信息,故兩支網(wǎng)絡(luò)都需要采用SPP(或ASPP)模塊用于提取多尺度特征。

本文分析了式(10)中權(quán)重參數(shù)α和β對(duì)DualNet性能影響,對(duì)比結(jié)果如表4所示。通過(guò)合理分配權(quán)重,可以獲得最佳的融合效果。表4中,根據(jù)α和β的變化可以看出網(wǎng)絡(luò)分支1的分割結(jié)果所占的比例較低,網(wǎng)絡(luò)分支2的分割結(jié)果所占的比例較高時(shí),分割的精度更高。因?yàn)榫W(wǎng)絡(luò)分支2旨在降低圖像的虛警率,用它的分割結(jié)果去定位網(wǎng)絡(luò)分支1的分割結(jié)果,即二者比例分配為2高1低時(shí),效果較好。

表4 不同權(quán)重對(duì)DualNet方法影響Table 4 Influence of α and β on DualNet method

本文對(duì)比了配置不同損失函數(shù)DualNet的性能,如表5所示,其中包括Focal Loss、L1 Loss、L2 Loss、Smooth L1 Loss和Balanced L1 Loss。表5中,實(shí)驗(yàn)比較了5種損失函數(shù)的分割效果,其中目標(biāo)檢測(cè)中多分類(lèi)場(chǎng)景中使用的Focal Loss[33-34]、L1 Loss和Balanced L1 Loss在本文實(shí)驗(yàn)中沒(méi)有效果,這可能與損失函數(shù)中的參數(shù)選取有關(guān)。根據(jù)表5中數(shù)據(jù)比較,實(shí)驗(yàn)最終選取了Smooth L1 Loss函數(shù)。其中損失函數(shù)公式定義為

L1 Loss:loss=abs(pred-target)

(14)

(15)

Balanced L1 Loss:

(16)

(17)

Focal Loss:loss=-(1-p)γlog2(p)

(18)

式中:pred和x為預(yù)測(cè)值;target為標(biāo)簽值;p為預(yù)測(cè)類(lèi)別概率;其余為網(wǎng)絡(luò)訓(xùn)練中可調(diào)節(jié)的參數(shù)。

表5 不同損失函數(shù)的DualNet方法效果Table 5 Influence of different loss functions on DualNet method

表6給出了參數(shù)λ1和λ2在選取不同值時(shí)的性能比較結(jié)果。實(shí)驗(yàn)表明取λ1=100和λ2=10時(shí),模型在兩個(gè)數(shù)據(jù)集上均達(dá)到最好性能。

表6 參數(shù)λ1和λ2的不同選取對(duì)性能的影響Table 6 Influence of different values of λ1 and λ2

DualNet的模型大小以及在GPU上對(duì)單張圖像的檢測(cè)速度如表7所示。表7顯示DualNet模型非常小,速度很快,利于部署。

表7 DualNet模型的參數(shù)量以及檢測(cè)速度Table 7 Speed and model size of DualNet model

表2直觀顯示了DualNet的側(cè)重點(diǎn),網(wǎng)絡(luò)分支1旨在降低圖像的漏檢率,所以為了防止目標(biāo)被濾去,網(wǎng)絡(luò)分支1的輸出結(jié)果中會(huì)包含少許背景噪聲,相當(dāng)于圖像進(jìn)行二值化分割時(shí)選取了較低的閾值;而網(wǎng)絡(luò)分支2旨在降低圖像的虛警率,所以為了防止將背景噪聲誤認(rèn)為是目標(biāo),網(wǎng)絡(luò)分支2的輸出結(jié)果會(huì)盡可能地減少虛警,因此可能會(huì)導(dǎo)致目標(biāo)欠分割,相當(dāng)于圖像二值化分割時(shí)選取了較高的閾值。最終融合兩支網(wǎng)絡(luò)結(jié)果時(shí),通過(guò)調(diào)整合適的融合比例,達(dá)到較高的融合效果。即:網(wǎng)絡(luò)分支2關(guān)注虛警的消除,給出的結(jié)果提供了較高的目標(biāo)定位準(zhǔn)確性,但也會(huì)存在目標(biāo)的欠分割問(wèn)題;網(wǎng)絡(luò)分支1 避免漏檢的產(chǎn)生,給出的結(jié)果中提供了目標(biāo)較為完整的分割結(jié)果,但會(huì)存在一些虛警;融合模塊將兩者很好的結(jié)合,能在定位準(zhǔn)確的基礎(chǔ)上進(jìn)一步保證目標(biāo)分割的準(zhǔn)確性,達(dá)到更好的檢測(cè)效果。圖8 表明兩支網(wǎng)絡(luò)的損失函數(shù)都隨著訓(xùn)練輪數(shù)的增加而穩(wěn)定地降低,最終都達(dá)到收斂。

由表1可以看出,直接使用通用的目標(biāo)檢測(cè)網(wǎng)絡(luò)和語(yǔ)義分割網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)紅外弱小目標(biāo)檢測(cè)任務(wù),效果往往不佳,而經(jīng)過(guò)設(shè)計(jì)后的DualNet方法提升了紅外弱小目標(biāo)檢測(cè)的準(zhǔn)確性。

表3顯示了本實(shí)驗(yàn)的模塊設(shè)計(jì)對(duì)分割效果的影響,根據(jù)實(shí)驗(yàn)數(shù)據(jù),最終的DualNet結(jié)構(gòu)設(shè)計(jì)為:網(wǎng)絡(luò)分支1:ASPP結(jié)構(gòu)+空洞卷積;網(wǎng)絡(luò)分支2:參考U-net結(jié)構(gòu)實(shí)現(xiàn)特征圖跨聯(lián)+SPP結(jié)構(gòu)+注意力機(jī)制。

表4顯示了實(shí)驗(yàn)中不同融合方式對(duì)分割效果的影響,根據(jù)表3中數(shù)據(jù),可以得出網(wǎng)絡(luò)分支1的比重較低,網(wǎng)絡(luò)分支2的比重較高時(shí),融合的效果較好。需要注意的是,網(wǎng)絡(luò)分支1權(quán)重比較低并不意味著網(wǎng)絡(luò)分支1沒(méi)有意義。當(dāng)進(jìn)一步降低網(wǎng)絡(luò)分支1權(quán)重,提高網(wǎng)絡(luò)分支2權(quán)重,即權(quán)重系數(shù)組合為(0.05,0.95)時(shí),模型處理效果反而比系數(shù)組合(0.1,0.9)更差,在AllSeqs和Single數(shù)據(jù)集上F1-measure分別從0.4降到0.38,以及從0.53降低到0.51,由此可見(jiàn),網(wǎng)絡(luò)分支1是有作用、有意義的。

表5顯示了實(shí)驗(yàn)中配置不同損失函數(shù)對(duì)分割效果的影響,根據(jù)表5中數(shù)據(jù),復(fù)雜設(shè)計(jì)的損失函數(shù)對(duì)紅外弱小目標(biāo)檢測(cè)任務(wù)無(wú)甚效果,相反選取較為簡(jiǎn)單的距離損失函數(shù)L2 Loss和Smooth L1 Loss函數(shù)效果更好,其中Smooth L1 Loss用于網(wǎng)絡(luò)的學(xué)習(xí)性能更為顯著。此外,對(duì)于All Seqs和Single兩類(lèi)數(shù)據(jù)集,DualNet對(duì)于Single數(shù)據(jù)集中紅外圖像樣本更有效果,而All Seqs數(shù)據(jù)集中背景噪聲與目標(biāo)更為相似,其網(wǎng)絡(luò)性能指標(biāo)不如Single數(shù)據(jù)集。

最后,為了進(jìn)一步驗(yàn)證本文提出的新模型在真實(shí)數(shù)據(jù)集上的泛化能力,在近期公開(kāi)發(fā)布的真實(shí)數(shù)據(jù)集SIRST上進(jìn)行測(cè)試。測(cè)試遵循該數(shù)據(jù)集評(píng)測(cè)指標(biāo),即交并比IoU、檢測(cè)率Pd和漏檢率Fa,這3個(gè)指標(biāo)的計(jì)算方式分別為

(19)

(20)

(21)

式中:pre為預(yù)測(cè)的二值標(biāo)簽圖;Label是真實(shí)的二值標(biāo)簽圖;Tcorrect為檢測(cè)正確的目標(biāo)的數(shù)量;Tall為所有目標(biāo)的數(shù)量;Pfalse為檢測(cè)錯(cuò)誤的目標(biāo)的數(shù)量;Pall為整張圖片的像素大小。判斷檢測(cè)是否正確的方法是計(jì)算預(yù)測(cè)的目標(biāo)的中心點(diǎn)坐標(biāo)與真實(shí)的目標(biāo)的中心點(diǎn)坐標(biāo)之間的像素偏差小于閾值(2個(gè)像素)。

將所提模型與已發(fā)表的在該數(shù)據(jù)集上測(cè)試過(guò)的基于頂帽變換(Top-Hat)方法、基于最大中值濾波(Max-Median)方法、基于加權(quán)增強(qiáng)局部對(duì)比度度量(WSLCM)方法、基于三層窗口的局部對(duì)比度度量(TLLCM)方法、基于紅外塊分解(IPI)方法、基于非凸秩近似最小化(NRAM)方法、基于重加權(quán)塊圖像張量(RIPT)方法、基于張量核范數(shù)部分和(PSTNN)方法、基于多子空間學(xué)習(xí)和時(shí)空塊張量模型(MSLSTIPT)方法、基于非對(duì)稱(chēng)上下文調(diào)制(ACM)方法、基于漏檢與虛警的生成對(duì)抗網(wǎng)絡(luò)(MDvsFA-cGAN)方法這11種方法進(jìn)行了比較。具體試驗(yàn)步驟如下,先使用10 000幅仿真數(shù)據(jù)訓(xùn)練本文模型得到預(yù)訓(xùn)練模型,然后使用SIRST的訓(xùn)練集對(duì)模型進(jìn)行微調(diào)10個(gè)epoch,最后使用其測(cè)試集測(cè)試模型。從表8中可以看出,DualNet方法的IoU指標(biāo)排第1、Pd指標(biāo)排第1、Fa指標(biāo)排第3。綜合起來(lái)看,本文方法的性能指標(biāo)要明顯高于多個(gè)代表性的傳統(tǒng)方法,也高于兩個(gè)基于深度卷積網(wǎng)絡(luò)的弱小目標(biāo)檢測(cè)方法ACM和MDvsFA-cGAN。同時(shí),表9給出了DualNet、MDvsFA-cGAN和ACM方法對(duì)SIRST數(shù)據(jù)集中4幅代表性圖像的可視化檢測(cè)效果,不難發(fā)現(xiàn),較MDvsFA-cGAN和ACM方法,DualNet方法的結(jié)果更接近真實(shí)標(biāo)簽圖。

表8 SIRST數(shù)據(jù)集上泛化性能測(cè)試Table 8 Generalization capability tests over SIRST dataset

表9 可視化檢測(cè)結(jié)果比較

4 結(jié)論

本文分析了通用深度CNN直接遷移到紅外弱小目標(biāo)檢測(cè)任務(wù)的局限性,指出紅外弱小目標(biāo)檢測(cè)任務(wù)的難點(diǎn)。針對(duì)單個(gè)網(wǎng)絡(luò)對(duì)紅外弱小目標(biāo)特征提取的有限性,基于通用的目標(biāo)檢測(cè)網(wǎng)絡(luò)和語(yǔ)義分割網(wǎng)絡(luò)模型,提出DualNet模型。與以往單個(gè)網(wǎng)絡(luò)模型不同,DualNet將整個(gè)任務(wù)劃分成兩個(gè)子任務(wù):一個(gè)網(wǎng)絡(luò)用來(lái)學(xué)習(xí)低閾值分割,負(fù)責(zé)降低漏檢率;另一個(gè)網(wǎng)絡(luò)用來(lái)學(xué)習(xí)高閾值分割,負(fù)責(zé)降低虛警率。最后將兩個(gè)網(wǎng)絡(luò)的輸出結(jié)果進(jìn)行加權(quán)融合,以取得最佳的分割效果。得出主要結(jié)論如下:

1)本文通過(guò)將紅外弱小目標(biāo)檢測(cè)任務(wù)劃分為兩個(gè)子任務(wù),有效地兼顧了紅外弱小目標(biāo)的漏檢率和虛警率。

2)相比于傳統(tǒng)方法和通用語(yǔ)義分割檢測(cè)方法,本文方法獲得的檢測(cè)結(jié)果更準(zhǔn)確、魯棒性更強(qiáng);在自建數(shù)據(jù)集上,相比于FCN、DeepLabv3、cGAN以及U-net語(yǔ)義分割網(wǎng)絡(luò)模型,本文方法的F1-measure提高了8%;在SIRST公開(kāi)數(shù)據(jù)集上,本文方法的檢測(cè)性能也顯著超過(guò)了基于深度學(xué)習(xí)的紅外目標(biāo)檢測(cè)模型ACM、MDvsFA-cGAN和多個(gè)經(jīng)典的非深度學(xué)習(xí)紅外弱小目標(biāo)檢測(cè)方法。

3)在紅外弱小目標(biāo)檢測(cè)任務(wù)中,本文方法能有效的提高目標(biāo)檢測(cè)的精度。