劉 芬,程勇策,鄭 堯,趙 濤

(1.中煤科工集團(tuán)重慶研究院有限公司,重慶 400039；2.中國電子科技集團(tuán)公司第三研究所,北京 100015；3.陸航研究所,北京 101121)

1 引 言

隨著紅外成像技術(shù)的逐漸成熟,基于紅外目標(biāo)的檢測或跟蹤方法已被廣泛應(yīng)用于諸多領(lǐng)域中。其中,紅外小目標(biāo)的檢測尤其重要[1-6]。在過去幾十年中,學(xué)者們提出了許多不同的檢測算法,但這些方法僅僅依賴的是圖像底層特征。當(dāng)背景變得復(fù)雜時,使用傳統(tǒng)方法得到的結(jié)果可能并不理想,如圖1所示。從圖中可得知,當(dāng)紅外圖像模糊不清,存在大量噪聲時,有些方法不能檢測出小目標(biāo)。傳統(tǒng)方法存在以下不足:1.依賴的結(jié)構(gòu)化特征缺乏魯棒性,導(dǎo)致在復(fù)雜場景下不能區(qū)分背景和小目標(biāo)；2.雖然已有一些方法采用了局部對比,但這些對比是在低層的視覺特征上進(jìn)行的,缺乏高層特征的認(rèn)知和理解。

圖1 不同方法的檢測結(jié)果

近年來,深度學(xué)習(xí)技術(shù)已被應(yīng)用到許多計算機視覺中,包括圖像分類,目標(biāo)跟蹤和目標(biāo)檢測[7-8]。其中,深度卷積神經(jīng)網(wǎng)絡(luò)能夠提取高層特征,大大提高了目標(biāo)檢測的性能。通過一定樣本的訓(xùn)練,CNN能夠?qū)W習(xí)到豐富的語義特征,相比于傳統(tǒng)底層特征,這些特征更能準(zhǔn)確代表物體的本質(zhì)。因此將CNN應(yīng)用到紅外小目標(biāo)檢測是可行的。但由于紅外小目標(biāo)不是十分明顯,并且只有灰度信息,與自然圖像的目標(biāo)存在巨大差異,所以一些基于CNN的自然圖像目標(biāo)檢測方法并不適用于紅外小目標(biāo)的檢測,這要求我們尋求新的方法。

2 算法概述

CNN包括卷積層、池化層、全連接層、輸出層四種網(wǎng)絡(luò)結(jié)構(gòu),通過多層卷積和池化逐步擴大圖像的局部特征,從而實現(xiàn)從底層到高層的認(rèn)知過程。但是CNN由于池化層的存在,會損失目標(biāo)本身的信息,所以CNN無法應(yīng)用于小尺寸目標(biāo)的識別問題。另外CNN網(wǎng)絡(luò)體現(xiàn)的是機器認(rèn)知過程,最終體現(xiàn)的特征也是目標(biāo)高層紋理解析,并沒有結(jié)合泛化良好的結(jié)構(gòu)化特征,因此CNN網(wǎng)絡(luò)不具備弱紋理目標(biāo)的識別能力。

針對上述問題,需要研究基于結(jié)構(gòu)化特征融合的SCNN算法,具體需要解決的關(guān)鍵問題包括:

(1)針對目標(biāo)尺度的變化,如何設(shè)計不同的卷積核,使得整個框架對弱小目標(biāo)的尺度變化具有魯棒性；

(2)直接使用傳統(tǒng)的池化操作會直接損失弱小目標(biāo)的信息,如何在不使用池化操作的同時還可以擴大感受野而又不損失特征圖分辨率；

(3)泛化良好的結(jié)構(gòu)化特征如何引入傳統(tǒng)的CNN網(wǎng)絡(luò),如何與CNN自身獲取的高層語義特征相融合而又不互相沖突。

將SCNN算法應(yīng)用于紅外弱小目標(biāo)空間檢測時,泛化良好的紅外弱小目標(biāo)結(jié)構(gòu)化特征包括:

(1)局部對比度特征

復(fù)雜背景下的紅外弱小目標(biāo)周圍9×9區(qū)域的局部對比度如圖2所示。

圖2 紅外弱小目標(biāo)在局部對比度示意

定義中心區(qū)域3×3鄰域的平均灰度為:

(1)

則目標(biāo)周圍9×9鄰域內(nèi),目標(biāo)局部對比度滿足:gc>gi(i=1,2,……,8),即在一定局部區(qū)域內(nèi)目標(biāo)平均灰度高于其鄰域灰度。

(2)灰度空間分布的高斯特性

在實際工程應(yīng)用中因目標(biāo)或成像探測設(shè)備的姿態(tài)、位置的變化,紅外成像圖像中的點目標(biāo)也很難有一個固定的形狀。當(dāng)成像距離足夠遠(yuǎn)的時候,對于探測系統(tǒng)來說,它的灰度分布特性符合光學(xué)點擴散函數(shù)(PSF),即目標(biāo)灰度分布符合高斯分布。

(2)

在SCNN算法中引入上述結(jié)構(gòu)化特征后,通過去除池化層、改變卷積擴展性、加入分層融合機制等算法,使其改進(jìn)后的SCNN更加適合紅外弱小目標(biāo)的空間檢測。

3 算法實現(xiàn)

本文提出一種雙通道CNN的結(jié)構(gòu)模型來進(jìn)行弱小目標(biāo)檢測,通過將紅外弱小目標(biāo)的局部對比度等結(jié)構(gòu)化空間特征在低層卷積階段引入CNN網(wǎng)絡(luò),去除池化層,從而構(gòu)建SCNN弱紋理小尺寸目標(biāo)識別算法。

3.1 算法框架流程

模型的輸入是一幅紅外圖像,輸出是其對應(yīng)的檢測結(jié)果圖像,其中每個像素的大小表示該像素屬于小目標(biāo)的概率,值越大,越可能屬于小目標(biāo)?？蚣芰鞒虉D如圖3所示。每個通道的前部分所使用的卷積核大小是不同的,這樣每個通道能夠適應(yīng)不同大小的小目標(biāo),從而使得整個框架能夠?qū)π∧繕?biāo)的尺度變化具有魯棒性。由于弱小目標(biāo)的尺度很小,若使用池化操作,會損失關(guān)于小目標(biāo)的信息,這樣會導(dǎo)致后續(xù)的檢測不準(zhǔn)確。因此在中間部分,每個通道使用了不同的膨脹率進(jìn)行擴張卷積,擴張卷積的作用是擴大感受野而又不會損失特征圖的分別率,從而能夠有效地保留小目標(biāo)的信息。通過進(jìn)行不同膨脹率的擴張卷積操作,學(xué)習(xí)到了不同的語義特征,為了在不同層次上突出小目標(biāo),提出一種多層次局部對比(multi-level local contrast,MLLC)的模型,如圖4中MLLC部分所示。之所以計算局部對比,是因為小目標(biāo)與周邊背景差異大,若所得局部對比越大,越可能是小目標(biāo)。在得到不同層次的局部對比之后,需要把他們進(jìn)行融合起來,本文提出一種分層次融合(hierarchical merge,HM)的方法,如圖4中HM部分所示。分層次融合即是把兩個通道中相同層次的局部對比進(jìn)行兩兩融合。然后把兩兩融合后的多層次結(jié)果再次融合,從而得到最終的融合特征。框架的后部分首先整合了分層次融合的結(jié)果以及兩個通道的淺層特征,這樣做是為了保留更多的語義信息,然后經(jīng)過多個卷積操作生成最后的檢測圖像。

圖4 MLLC和HM結(jié)構(gòu)

圖3中,卷積層參數(shù)表示為:conv-(卷積核大小)-(特征圖數(shù)量)-(膨脹率);“C”表示特征圖合并。

圖3 方法流程圖

圖3中,實際上每個通道計算4個層次的局部對比,即膨脹率取1,2,3,4,為了演示方便,這里只取膨脹率為1,2作為示例,“+”表示特征圖相加。

3.2 計算操作

其中本算法框架所涉及的計算操作如下:

(1)卷積操作可表示為:

Fl=W*Fl-1+b

(3)

其中,Fl表示第l層的特征圖;Fl-1表示第(l-1)的特征圖;W表示卷積核;b表示偏置項;* 表示卷積操作。在卷積操作之后,一般采用非線性激活函數(shù),而使用的比較多的是修正線性單元(Rectified Linear Unit,ReLU)。

ReLU(x)=max(0,x)

(4)

(2)擴張卷積可表示為:

(5)

其中,y(u,v)表示通過擴張卷積后x(u,v)位置的對應(yīng)輸出;M,N分別表示卷積核的高和寬;r表示膨脹率。當(dāng)r=1時,擴張卷積變回傳統(tǒng)的卷積操作。圖5展示了使用不同膨脹率時對應(yīng)的卷積感受野。

圖5 膨脹率為1,2,3的3×3擴張卷積(灰色塊為有效的卷積位置)

(3)局部對比[9](local contrast)表示為:

Fc=F-AvgPool(F)

(6)

其中,AvgPool(·)表示計算特征圖3×3范圍的均值。

(4)分層次融合表示為:

(7)

(5)兩通道合并表示為:

M=σ(W*Concat(H,C1,2,C2,2)+b)

(8)

(6)損失函數(shù)使用交叉熵?fù)p失,表示為:

(9)

其中,X={xi,i=1,…,|X|} 為圖像訓(xùn)練集;Z={zi,i=1,…,|Z|} 為對應(yīng)的真值圖像;Pr(zi=1|X;θ)由計算框架的輸出預(yù)測結(jié)果的sigmoid激活函數(shù)而得;θ表示整個框架所有權(quán)重參數(shù)的集合。

3.3 網(wǎng)絡(luò)訓(xùn)練

對300幅圖像(真實圖像以及合成圖像)進(jìn)行數(shù)據(jù)增廣,共2400張圖像進(jìn)行訓(xùn)練,訓(xùn)練直到損失函數(shù)收斂,共迭代了150次。圖6展示了部分原始圖像及對應(yīng)的人工標(biāo)注圖像示例。

圖6 紅外圖像及其人工標(biāo)注

4 實驗結(jié)果及分析

圖7展示了不同方法在測試集上的部分代表場景下的檢測結(jié)果。第1列是原圖像,最后一列是本文方法的檢測結(jié)果,第2～5列是對比方法的檢測結(jié)果。

圖7 不同方法的檢測結(jié)果示例

表1給出了不同方法在部分圖像上的檢測率,可以看到,本文給出的算法性能最優(yōu),且具有良好的場景適應(yīng)能力。

表1 不同方法的檢測率

本文采用局部SNR增益(SNR gain,SNRG)來評估不同方法的檢測性能。局部SNR增益定義為:

(10)

(11)

其中,μt和μb分別是在檢測結(jié)果圖像中目標(biāo)區(qū)域和其周圍局部鄰域的平均像素值。

表2展示了不同方法在測試圖像上的SNRG結(jié)果,從表中可以看出本項工作取得的效果基本上優(yōu)于其他所對比的方法,說明本項工作的檢測性能得到較大的提升。

表2 不同方法的LCG對比

表2中“-”表示不存在,即小目標(biāo)以及其局部領(lǐng)域像素值均為0,導(dǎo)致計算檢測圖像的LC時出現(xiàn)分子和分母為0的情況。

5 結(jié) 論

提出了一種基于結(jié)構(gòu)化特征卷積神經(jīng)網(wǎng)絡(luò)(SCNN)的紅外弱小目標(biāo)檢測算法。通過將紅外弱小目標(biāo)灰度高斯分布,局部對比度強烈這兩個結(jié)構(gòu)化特征作為先驗知識引入CNN網(wǎng)絡(luò)中,并對網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測試,實現(xiàn)了對紅外弱小目標(biāo)的高可靠檢測。實驗結(jié)果表明:與4種代表性紅外小目標(biāo)檢測方法相比,本文提出的方法能達(dá)到了更優(yōu)的效果,能夠滿足穩(wěn)定、準(zhǔn)確的要求。

復(fù)雜背景下的紅外弱小目標(biāo)所面臨的應(yīng)用場景非常復(fù)雜多變,面臨的干擾類型包括:多樣性地物、云層邊緣、云層的亮斑、傳感器壞元及閃元等。所以依靠起始訓(xùn)練的數(shù)據(jù)集很難實現(xiàn)所有場景的覆蓋,因此如何進(jìn)一步研究分布式遷移學(xué)習(xí)機理和較好地應(yīng)用深度學(xué)習(xí)方法進(jìn)行紅外弱小目標(biāo)檢測是未來研究工作的重點。