鞠默然，羅海波，劉廣琦，劉云鵬

（1.中國科學(xué)院 沈陽自動(dòng)化研究所，遼寧 沈陽110016；2.中國科學(xué)院機(jī)器人與智能制造創(chuàng)新研究院，遼寧 沈陽110016；3.中國科學(xué)院大學(xué)，北京100049；4.中國科學(xué)院光電信息處理重點(diǎn)實(shí)驗(yàn)室，遼寧 沈陽110016；5.遼寧省圖像理解與視覺計(jì)算重點(diǎn)實(shí)驗(yàn)室，遼寧 沈陽110016）

1 引言

隨著圖像處理技術(shù)的不斷發(fā)展，目標(biāo)檢測(cè)已經(jīng)廣泛應(yīng)用到了軍事和民用等多個(gè)領(lǐng)域。作為目標(biāo)檢測(cè)中的一個(gè)關(guān)鍵技術(shù)，紅外弱小目標(biāo)檢測(cè)已經(jīng)成為研究的熱點(diǎn)。由于紅外弱小目標(biāo)占有像素少、缺少形狀特征和紋理特征，且紅外弱小目標(biāo)常處在復(fù)雜背景和低信噪比的條件下，因此，紅外弱小目標(biāo)檢測(cè)仍然是一個(gè)具有挑戰(zhàn)性的課題。根據(jù)國際光學(xué)工程學(xué)會(huì)（SPIE）的定義，紅外弱小目標(biāo)的像素?cái)?shù)量一般不超過整幅圖像的0.15%。即對(duì)于一個(gè)尺寸為256×256的圖像來說，紅外弱小目標(biāo)的尺寸通常不超過9×9［1］。

傳統(tǒng)的紅外弱小目標(biāo)檢測(cè)算法包括基于數(shù)學(xué)形態(tài)學(xué)的算法［2］，利用Top-Hat算子來抑制背景噪聲，進(jìn)而對(duì)紅外弱小目標(biāo)進(jìn)行檢測(cè)。最大中值濾波器［3］利用差分運(yùn)算來抑制背景信號(hào)和圖片中邊緣紋理信息，來提高對(duì)紅外弱小目標(biāo)的檢測(cè)率。Chen等人［4］在多個(gè)尺度下通過尋找局部對(duì)比度（LCM）最大值來檢測(cè)紅外弱小目標(biāo)，此方法對(duì)背景抑制的效果不明顯。Zhang等人［5］將目標(biāo)檢測(cè)任務(wù)轉(zhuǎn)化成對(duì)非凸張量魯棒主成分分析模型的求解，提出了基于張量核范數(shù)部分和的魯棒紅外面片張量模型（Partial Sum of Tensor Nucle?ar Norm，PSTNN）。Wang等人［6］提出了一種基于圖像塊鄰域?qū)Ρ忍匦缘募t外弱小目標(biāo)檢測(cè)算法，該方法利用大尺度圖像塊鄰域?qū)Ρ忍匦宰赃m應(yīng)的分割感興趣區(qū)域，通過自適應(yīng)閾值來精確的檢測(cè)小目標(biāo)。Gu等人［7］基于地毯覆蓋法的分型位數(shù)提出了一種改進(jìn)多尺度分形特征的紅外弱小目標(biāo)檢測(cè)算法。

隨著計(jì)算機(jī)技術(shù)的發(fā)展，許多基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的目標(biāo)檢測(cè)算法［8］被提出，例如Fast RCNN［9］，F(xiàn)aster RCNN［10］，SSD［11］，YOLO［12］，YOLO V 2［13］，YO?LO V 3［14］，RFBnet［15］等。與 傳 統(tǒng) 的 目 標(biāo) 檢 測(cè) 算法相比，基于CNN的目標(biāo)檢測(cè)算法具有強(qiáng)大的泛化能力，不僅可以自動(dòng)提取目標(biāo)深層次的語義特征，還可以將不同任務(wù)，如：特征提取、特征選擇和特征分類融合在同一個(gè)網(wǎng)絡(luò)中［16］。通過對(duì)網(wǎng)絡(luò)的訓(xùn)練，來優(yōu)化網(wǎng)絡(luò)，實(shí)現(xiàn)網(wǎng)絡(luò)對(duì)目標(biāo)的檢測(cè)。雖然，基于CNN的目標(biāo)檢測(cè)算法已經(jīng)取得了不錯(cuò)的檢測(cè)效果。然而，以上基于CNN的目標(biāo)檢測(cè)算法都用于日常目標(biāo)的檢測(cè)，目前基于CNN的紅外弱小目標(biāo)檢測(cè)算法還比較少。Yang等人［17］將紅外弱小目標(biāo)檢測(cè)任務(wù)與語義分割聯(lián)系起來，為解決弱小目標(biāo)檢測(cè)提高了新的思想。Chen［18］等人提出了基于YOLOV 3的紅外末制導(dǎo)典型目標(biāo)檢測(cè)算法。通過優(yōu)化損失權(quán)重，提高了網(wǎng)絡(luò)的定位和分類能力。雖然該算法將CNN應(yīng)用到紅外目標(biāo)檢測(cè)，由于是末制導(dǎo)，檢測(cè)的目標(biāo)相對(duì)較大，并不適用于紅外弱小目標(biāo)檢測(cè)。

本文針對(duì)紅外弱小目標(biāo)檢測(cè)，提出了一個(gè)簡單高效的實(shí)時(shí)紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)。檢測(cè)網(wǎng)絡(luò)利用自適應(yīng)感受野融合模塊來增加小目標(biāo)周圍的上下文信息，并通過引入空間注意力機(jī)制來建立不同區(qū)域之間的關(guān)系模型，使不同區(qū)域之間的相關(guān)性和緊湊性得到強(qiáng)化。為了提高網(wǎng)絡(luò)對(duì)目標(biāo)的定位和正負(fù)樣本的判別能力，利用GIOU loss［19］和Focal loss［20］來設(shè)計(jì)損失函數(shù)。在3個(gè)紅外弱小目標(biāo)序列和單幀紅外圖像上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，該紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)復(fù)雜背景和低信噪比條件下的紅外弱小目標(biāo)具有較好的檢測(cè)效果。

2 基于CNN的目標(biāo)檢測(cè)算法

基于CNN的目標(biāo)檢測(cè)算法可以分為：雙階段（two-stage）目標(biāo)檢測(cè)算法和單階段（onestage）目標(biāo)檢測(cè)算法?；陔p階段目標(biāo)檢測(cè)算法，如Fast RCNN，F(xiàn)aster RCNN，將目標(biāo)檢測(cè)分為兩個(gè)階段，首先提取候選區(qū)域的特征信息，將圖像分成前景區(qū)域和背景區(qū)域。然后再經(jīng)過檢測(cè)網(wǎng)絡(luò)進(jìn)一步完成對(duì)候選目標(biāo)的位置和類別的預(yù)測(cè)和識(shí)別；基于單階段目標(biāo)檢測(cè)算法，如SSD，YOLO，YOLOV 2，YOLOV 3，直接利用檢測(cè)網(wǎng)絡(luò)來預(yù)測(cè)目標(biāo)的位置和類別，是一種端到端的目標(biāo)檢測(cè)算法。因此，單階段目標(biāo)檢測(cè)算法具有更快的檢測(cè)速度，而雙階段目標(biāo)檢測(cè)算法具有更高的檢測(cè)精度。

作為雙階段目標(biāo)檢測(cè)算法的代表，F(xiàn)ast RCNN在網(wǎng)絡(luò)中增加了感興趣區(qū)域池化層（Re?gion of Interest Pooling，ROI Pooling），ROI Pooling可以對(duì)不同的輸入圖片輸出相同大小的特征圖。并且，F(xiàn)ast RCNN利用Softmax分類器對(duì)目標(biāo)進(jìn)行分類，通過引入類內(nèi)競爭來提升目標(biāo)檢測(cè)的精度。Faster RCNN引入錨點(diǎn)框（anchor box）來初始化候選框，然后利用區(qū)域候選網(wǎng)絡(luò)（Region Proposal Network，RPN）來生成候選區(qū)域，使得目標(biāo)的檢測(cè)精度和速度得到進(jìn)一步的提高。

作為單階段目標(biāo)檢測(cè)算法的代表，YOLO V 3借鑒殘差網(wǎng)絡(luò)［21］的思想通過建立Darknet53網(wǎng)絡(luò)來提取目標(biāo)特征，并利用FPN（Feature Pyra?mid Network）［22］完成對(duì)大、中、小3個(gè)尺度目標(biāo)的檢測(cè)，使其對(duì)各尺度的目標(biāo)都有較高的檢測(cè)精度。Zhou等人［23］提出了CenterNet，利用目標(biāo)中心點(diǎn)來呈現(xiàn)目標(biāo)，然后在中心點(diǎn)位置回歸出目標(biāo)的一些屬性，如：尺寸、方向和姿態(tài)等。將目標(biāo)檢測(cè)問題變成了一個(gè)標(biāo)準(zhǔn)的關(guān)鍵點(diǎn)估計(jì)問題。RFBnet通過模仿人類視覺系統(tǒng)中感受野的結(jié)構(gòu)設(shè)計(jì)了一個(gè)高效的目標(biāo)檢測(cè)器。

3 基于注意力機(jī)制的紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

檢測(cè)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示。首先，利用基于Darknet53［14］的主干網(wǎng)絡(luò)來提取紅外弱小目標(biāo)的特征。然后，利用自適應(yīng)感受野融合模塊來增加紅外弱小目標(biāo)周圍的上下文信息，將融合的特征輸入到空間注意力機(jī)制模塊中，通過引入空間注意力機(jī)制模塊來強(qiáng)化不同區(qū)域之間的相關(guān)性和緊湊性。最后利用1個(gè)1×1卷積來預(yù)測(cè)紅外弱小目標(biāo)的位置和類別信息。

圖1 紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)的結(jié)構(gòu)圖Fig.1 Structure of network for infrared small target detection

采用Darknet53作為提取特征的主干網(wǎng)絡(luò)，Darknet53借鑒了殘差神經(jīng)網(wǎng)絡(luò)的思想，使得網(wǎng)絡(luò)深度可以更深，有效地避免了梯度消失，同時(shí)使淺層的特征得到了復(fù)用。Darknet53是由多個(gè)殘差單元所構(gòu)成，每個(gè)殘差單元是由1×1卷積和3×3卷積構(gòu)成的，如圖2所示。

圖2 殘差單元Fig.2 Residual unit

YOLO V 3采用了3個(gè)尺度對(duì)不同大小的目標(biāo)進(jìn)行檢測(cè)，分別采用8倍、16倍和32倍下采樣特征圖對(duì)小、中和大目標(biāo)進(jìn)行檢測(cè)。本文針對(duì)紅外弱小目標(biāo)進(jìn)行檢測(cè)，所以刪掉16倍和32倍下采樣特征圖，采用8倍下采樣的特征圖對(duì)紅外弱小目標(biāo)進(jìn)行檢測(cè)，如圖3所示。

圖3 網(wǎng)絡(luò)主干Fig.3 Backbone of the network

Hu等人［24］證明了增加小目標(biāo)周圍的上下文信息可以有效的提高網(wǎng)絡(luò)對(duì)小目標(biāo)的檢測(cè)率。受Scale-aware trident network［25］的 啟 發(fā)，采 用3個(gè)膨脹系數(shù)為1，2，4的膨脹卷積組成自適應(yīng)感受野融合模塊來擴(kuò)大感受野，通過融合不同感受野的特征來增加小目標(biāo)周圍的上下文信息。自適應(yīng)感受野融合模塊，如圖1所示。由于不同感受野的特征對(duì)輸出的貢獻(xiàn)是不同的，為了能夠使網(wǎng)絡(luò)自適應(yīng)的融合具有不同感受野的特征，在該模塊中增加一個(gè)可以自動(dòng)學(xué)習(xí)的參數(shù)W來自適應(yīng)地改變各膨脹卷積的權(quán)重。用W i來表示分配給具有不同感受野特征的權(quán)重，用F i來表示具有不同感受野的特征，則融合后特征可以用式（1）來表示。

為了使網(wǎng)絡(luò)訓(xùn)練的過程更加穩(wěn)定，利用（2）式將不同感受野特征的權(quán)重系數(shù)限制在0到1之間：

3.2 空間注意力機(jī)制

在紅外弱小目標(biāo)圖像中，由于成像系統(tǒng)作用距離遠(yuǎn)，導(dǎo)致紅外圖像中的小目標(biāo)信號(hào)往往很弱，圖像的信噪比低。受Zhang等人［26］的啟發(fā)，空間注意力機(jī)制可以通過對(duì)圖像中不同區(qū)域之間的相關(guān)性進(jìn)行建模，來增強(qiáng)不同區(qū)域之間的緊湊性，使紅外弱小目標(biāo)的特征響應(yīng)得到加強(qiáng)。空間注意力機(jī)制的結(jié)構(gòu)如圖4所示。

圖4 空間注意力機(jī)制Fig.4 Spatial attention mechanism

首先，把自適應(yīng)感受野融合模塊輸出的特征F∈R C×H×W輸入到3個(gè)1×1卷積，將第1個(gè)1×1卷積輸出的特征經(jīng)過維度變換和轉(zhuǎn)置變換為F1∈R(H×W)×C，將第2個(gè)1×1卷積輸出的特征經(jīng)過維度變換為F2∈R C×(H×W)。然后對(duì)F1和F2進(jìn)行矩陣乘法，并用softmax函數(shù)來獲得空間注意力機(jī)制矩陣H∈R(H×W)×(H×W)，H反映了特征圖上各個(gè)像素點(diǎn)之間的相關(guān)性。最后，將第3個(gè)1×1卷積輸出的特征與H進(jìn)行矩陣乘法和維度變換，得到基于空間注意力機(jī)制的輸出特征Fout∈R C×H×W。通過與空間注意力矩陣H相乘，使輸出特征Fout不同區(qū)域之間的相關(guān)性得到增強(qiáng)。

3.3 loss函數(shù)

為了進(jìn)一步提高模型的檢測(cè)精度，利用GIOU loss和Focal loss來設(shè)計(jì)紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)的損失函數(shù)。與通用目標(biāo)相比，小目標(biāo)檢測(cè)中對(duì)位置預(yù)測(cè)的要求更高。本文采用GIOUloss對(duì)目標(biāo)進(jìn)行位置回歸，GIOU loss可以反映出預(yù)測(cè)框與目標(biāo)框之間的遠(yuǎn)近關(guān)系。并且，GIOU loss可以有效避免因?yàn)轭A(yù)測(cè)框與ground truth不相交而導(dǎo)致?lián)p失函數(shù)梯度為0的問題。GIOU可以表示為：

其中：BGT表示目標(biāo)框的ground truth，BP表示預(yù)測(cè)框，B表示包圍BGT和BP最小的矩形框。則GIOU loss可以表示為：

由于訓(xùn)練樣本中包含了大量容易分辨的負(fù)樣本，會(huì)導(dǎo)致這些簡單負(fù)樣本對(duì)loss函數(shù)起主要作用。為了增強(qiáng)網(wǎng)絡(luò)對(duì)困難樣本的預(yù)測(cè)，本文采用Focal loss來對(duì)目標(biāo)的置信度進(jìn)行回歸，緩解正負(fù)樣本不均衡的問題：其中：yGT表示目標(biāo)置信度的ground truth，y P表示預(yù)測(cè)目標(biāo)的置信度，α和γ分別設(shè)為0.25和2。

對(duì)于分類損失，采用二進(jìn)制交叉熵，如式（6）所示：式中：CGT表示目標(biāo)類別的ground truth，CP表示預(yù)測(cè)目標(biāo)的類別。

則總loss可以表示為：

4 實(shí)驗(yàn)結(jié)果與分析

在本節(jié)中，分別介紹實(shí)驗(yàn)數(shù)據(jù)集和度量指標(biāo)，并分別從定性和定量兩個(gè)方面對(duì)提出的紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)檢測(cè)性能進(jìn)行了驗(yàn)證。

實(shí)驗(yàn)條件：操作系統(tǒng)為Ubuntu 14.04，深度學(xué)習(xí)框架為Pytorch 0.4.1，CPU為i7-5930K，內(nèi)存為64G，GPU為NVIDIA GeForce GTX TI?TAN X，CUDA 8.0。

訓(xùn)練細(xì)節(jié)：所有的模型均在1個(gè)NVIDIA GeForce GTX TITAN X顯卡上采用隨機(jī)梯度下降法（Stochastic Gradient Descent，SGD）進(jìn)行訓(xùn)練。利用圖像旋轉(zhuǎn)，隨機(jī)裁剪等方法來進(jìn)行圖像增 強(qiáng)。采 用cosine learning rate［27］策 略 來 調(diào) 節(jié) 學(xué)習(xí)率的變化。權(quán)值衰減和沖量分別設(shè)為0.0005和0.9。網(wǎng)絡(luò)訓(xùn)練過程中，每次輸入32張圖片，一共訓(xùn)練100輪次，每10次迭代保存一次損失值，每隔5個(gè)輪次保存一次訓(xùn)練權(quán)重。為了進(jìn)一步緩解訓(xùn)練過程中正負(fù)樣本不均衡的問題，選擇目標(biāo)框與錨點(diǎn)框之間IOU≥0.3的錨點(diǎn)框作為正樣本，來增加正樣本的數(shù)量。網(wǎng)絡(luò)訓(xùn)練的損失曲線如圖5所示。

圖5 Loss曲線Fig.5 The loss curve

4.1 實(shí)驗(yàn)數(shù)據(jù)集

本文所使用的數(shù)據(jù)集是來自Hui［28］等人通過外場(chǎng)實(shí)地拍攝和數(shù)據(jù)準(zhǔn)備加工，提供的一套以一架和多架固定機(jī)翼無人機(jī)目標(biāo)為探測(cè)對(duì)象的紅外弱小目標(biāo)數(shù)據(jù)集。本文選取3個(gè)具有代表性的紅外弱小目標(biāo)序列來測(cè)試所提出的紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)的性能。另外，為了驗(yàn)證紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)在不同背景下的檢測(cè)結(jié)果，我們采用單幀紅外圖像進(jìn)行了測(cè)試。3個(gè)紅外弱小目標(biāo)序列和單幀紅外圖像的樣本如圖6所示（彩圖見期刊電子版），紅色框代表目標(biāo)的位置，詳細(xì)信息如表1所示。

表1 數(shù)據(jù)集的詳細(xì)信息Tab.1 Detailed information of dataset

圖6 紅外弱小目標(biāo)圖像（a）序列1，（b）序列2，（c）序列3，（d-f）單幀紅外圖像Fig.6 Infrared small target image（a）Sequence 1，（b）Sequence 2，（c）Sequence 3，（d-f）single frame image set

4.2 度量指標(biāo)

采用平均精準(zhǔn)度（Average Precision，AP）和準(zhǔn)確率與召回率曲線（Precision-Recall curve，PR curve）來測(cè)量每一類目標(biāo)的檢測(cè)精度。平均精準(zhǔn)度是從召回率和準(zhǔn)確率兩個(gè)角度來衡量檢測(cè)算法的準(zhǔn)確性，是評(píng)價(jià)檢測(cè)模型準(zhǔn)確性的直觀評(píng)價(jià)標(biāo)準(zhǔn)，可以用來分析單個(gè)類別的檢測(cè)效果。利用每秒幀數(shù)（Frame per Second，F(xiàn)PS）來衡量目標(biāo)檢測(cè)器的檢測(cè)速度。以預(yù)測(cè)的目標(biāo)框和目標(biāo)的標(biāo)簽框之間的交并比（Intersection Over Union，IOU）是否大于0.5來確定檢測(cè)結(jié)果是正樣本還是負(fù)樣本。

4.3 檢測(cè)結(jié)果與性能分析

為了評(píng)估提出的基于空間注意力機(jī)制的紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)的性能，分別從定量和定性兩個(gè)方面對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析。

4.3.1 定量分析

表2～表4和表5分別為紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)在序列1、序列2、序列3和單幀紅外圖像上的檢測(cè)結(jié)果，其中YOLOV 3和RFBnet是基于CNN目標(biāo)檢測(cè)算法中的代表。并且，YOLOV 3和RFBnet都具有專門檢測(cè)小目標(biāo)的尺度。表中的Baseline代表沒有增加空間注意力機(jī)制的紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)，Input代表輸入網(wǎng)絡(luò)的圖像的分辨率。圖7為各算法在3個(gè)序列和單幀紅外圖像上的PR曲線。

圖7 PR曲線Fig.7 PR curve

表2 序列1實(shí)驗(yàn)結(jié)果Tab.2 Experimental results for Sequence 1

表4 序列3實(shí)驗(yàn)結(jié)果Tab.4 Experimental results for Sequence 3

表5 單幀紅外圖像實(shí)驗(yàn)結(jié)果Tab.5 Experimental results for single frame image set

表3 序列2實(shí)驗(yàn)結(jié)果Tab.3 Experimental results for Sequence 2

在序列1中，紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)取得了91.62%的AP值，通過引入空間注意力機(jī)制，AP值進(jìn)一步提高了1.22%，檢測(cè)速度仍然保持在167.29 FPS。與YOLO V 3相比，AP值提高了19.11%，由于刪掉了Darknet的16倍和32倍下采樣特征圖，檢測(cè)速度幾乎是YOLO V 3的3倍。與RFBnet相比，AP值提高了15.28個(gè)百分點(diǎn)。

在序列2中，紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)取得了71.54%的AP值，通過引入空間注意力機(jī)制，AP值進(jìn)一步提高了4.52%，檢測(cè)速度仍然保持在162.75 FPS。與YOLO V 3相比，AP值提高了6.99%，檢測(cè)速度同樣幾乎是YOLO V 3的3倍。與RFBnet相比，AP值提高了9.34個(gè)百分點(diǎn)。

在序列3中，紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)取得了81.77%的AP值，通過引入空間注意力機(jī)制，AP值進(jìn)一步提高了1.44%，檢測(cè)速度仍然保持在164.16 FPS。與YOLO V 3相比，AP值提高了5.11%，檢測(cè)速度幾乎是YOLO V 3的3倍。與RFBnet相比，AP值提高了3.40%。

在單幀紅外圖像上，紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)取得了90.67%的AP值，通過引入空間注意力機(jī)制，AP值進(jìn)一步提高了2.54%，檢測(cè)速度仍然保持在167.93 FPS。與YOLO V 3相比，AP值提高了9.06%，檢測(cè)速度幾乎是YOLO V 3的3倍。與RFBnet相比，AP值提高了7.09%。

紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)在序列1上取得了最高的AP值，因?yàn)樾蛄?是一個(gè)長序列，共有3000張樣本，網(wǎng)絡(luò)可以得到充分訓(xùn)練。紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)在序列2上的AP值較序列1和3低，這是由于序列2的目標(biāo)小且微弱，并且小目標(biāo)呈現(xiàn)出由遠(yuǎn)到近的變化過程。通過引入空間注意力機(jī)制，可以增強(qiáng)不同區(qū)域之間的相關(guān)性和緊湊性，使網(wǎng)絡(luò)對(duì)紅外弱小目標(biāo)的檢測(cè)性能進(jìn)一步提高。本文提出的紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)無論在精度和速度方面都要高于YOLO V 3和RFBnet。實(shí)驗(yàn)結(jié)果證明了所提出的基于注意力機(jī)制的紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)紅外弱小目標(biāo)具有較好的檢測(cè)性能，并且保持了較快的檢測(cè)速度。

4.3.2 定性分析

圖8～圖10和圖11分別顯示了紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)在序列1、序列2、序列3和單幀紅外圖像上的可視化結(jié)果。大圖為紅外弱小目標(biāo)的檢測(cè)結(jié)果，小圖是檢測(cè)到目標(biāo)附近區(qū)域的放大圖。可視化結(jié)果表明，所提出的紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)可以有效的檢測(cè)出不同復(fù)雜環(huán)境下的紅外弱小目標(biāo)。

圖8 紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)在序列1上的可視化結(jié)果Fig.8 Visual detection results of infrared small target de?tection network on Sequence 1

圖9 紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)在序列2上的可視化結(jié)果Fig.9 Visual detection results of infrared small target de?tection network on Sequence 2

圖10 紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)在序列3上的可視化結(jié)果Fig.10 Visual detection results of infrared small target detection network on Sequence 3

圖11 紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)在單幀紅外圖像上的可視化結(jié)果Fig.11 Visual detection results of infrared small target detection network on single frame image set

為了說明空間注意力機(jī)制的作用，對(duì)增加空間注意力機(jī)制前后的特征圖進(jìn)行可視化對(duì)比，如圖12所示（彩圖見期刊電子版）。其中：圖12（a）為紅外弱小目標(biāo)圖像，其中紅框表示紅外弱小目標(biāo)的位置，圖12（b）為未增加空間注意力機(jī)制的可視化特征圖，圖12（c）為增加空間注意力機(jī)制的可視化特征圖。由圖12可以看出，增加空間注意力機(jī)制的紅外弱小目標(biāo)響應(yīng)更強(qiáng)，這是由于引入空間注意力機(jī)制模塊后，不同區(qū)域之間的相關(guān)性和緊湊性得到加強(qiáng)，有利于紅外弱小目標(biāo)的檢測(cè)。

圖12 增加空間注意力機(jī)制前后的特征圖可視化結(jié)果對(duì)比Fig.12 Comparison of visual results of feature map be?fore and after increasing spatial attention mecha?nism

5 結(jié)論

針對(duì)紅外弱小目標(biāo)檢測(cè)問題，提出了基于卷積神經(jīng)網(wǎng)絡(luò)的實(shí)時(shí)紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)。檢測(cè)網(wǎng)絡(luò)利用自適應(yīng)感受野融合模塊來增加小目標(biāo)周圍的上下文信息，為了強(qiáng)化不同區(qū)域之間的相關(guān)性和緊湊性，利用空間注意力機(jī)制來優(yōu)化檢測(cè)網(wǎng)絡(luò)。為了提高網(wǎng)絡(luò)對(duì)目標(biāo)的定位能力，利用GIOU loss來回歸目標(biāo)的位置。并采用Focal loss來設(shè)計(jì)置信度損失，讓網(wǎng)絡(luò)更關(guān)注于困難樣本。在3個(gè)紅外弱小目標(biāo)序列和單幀紅外圖像上進(jìn)行實(shí)驗(yàn)，來驗(yàn)證所提出的紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)的性能。檢測(cè)網(wǎng)絡(luò)分別取得了91.62%，71.54%，81.77%和90.67%的AP值，且檢測(cè)速度接近165 FPS。實(shí)驗(yàn)結(jié)果表明，該紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)復(fù)雜背景和低信噪比的紅外弱小目標(biāo)具有較好的檢測(cè)效果。目前，基于深度學(xué)習(xí)的紅外弱小目標(biāo)檢測(cè)算法還很少，希望本文可以為紅外弱小目標(biāo)檢測(cè)提供一個(gè)新的思路。

未來與展望：基于深度學(xué)習(xí)的紅外弱小目標(biāo)檢測(cè)算法，依賴于紅外目標(biāo)數(shù)據(jù)集，而目前公開的紅外目標(biāo)數(shù)據(jù)集非常少。制作開發(fā)更多的紅外數(shù)據(jù)集將有利于基于深度學(xué)習(xí)的紅外目標(biāo)檢測(cè)算法的發(fā)展。

紅外弱小目標(biāo)圖像中，大部分都是背景，紅外弱小目標(biāo)只占很少像素，且小目標(biāo)信號(hào)一般都很弱，設(shè)計(jì)合適的網(wǎng)絡(luò)來增強(qiáng)目標(biāo)，抑制背景和噪聲，將會(huì)進(jìn)一步提高基于深度學(xué)習(xí)紅外弱小目標(biāo)檢測(cè)算法的檢測(cè)能力。