王悅行，吳永國(guó)，徐傳剛

（天津津航技術(shù)物理研究所，天津 300308）

0 引 言

卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）在圖像分類、人臉識(shí)別等領(lǐng)域的巨大成功依賴于大規(guī)模數(shù)據(jù)集的訓(xùn)練［1-2］。研究和實(shí)踐表明，CNN在圖像識(shí)別任務(wù)中，當(dāng)訓(xùn)練數(shù)據(jù)集達(dá)到千萬(wàn)量級(jí)時(shí)，可以接近甚至超過(guò)人眼識(shí)別能力［3-5］。但是在紅外目標(biāo)檢測(cè)任務(wù)［6-8］中，受客觀條件限制，真實(shí)紅外目標(biāo)圖像數(shù)據(jù)量有限，無(wú)法按傳統(tǒng)方法對(duì)算法進(jìn)行訓(xùn)練［9］。因此，必須開(kāi)展基于遷移學(xué)習(xí)的CNN 訓(xùn)練方法研究，將通過(guò)大數(shù)據(jù)集充分訓(xùn)練的CNN 模型遷移到用于識(shí)別紅外艦船特征的CNN模型［10］。

遷移學(xué)習(xí)［11］可以從現(xiàn)有數(shù)據(jù)遷移知識(shí)來(lái)幫助將來(lái)的學(xué)習(xí)，而且遷移學(xué)習(xí)不像傳統(tǒng)機(jī)器學(xué)習(xí)那樣做同分布假設(shè)。采用仿真紅外圖像數(shù)據(jù)集上預(yù)先訓(xùn)練的成熟CNN 特征，對(duì)提取出的特征在真實(shí)紅外圖像數(shù)據(jù)集上進(jìn)行二次訓(xùn)練，具體流程如圖1所示。

將遷移學(xué)習(xí)應(yīng)用到神經(jīng)網(wǎng)絡(luò)中，就是將一層層網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)的權(quán)重從一個(gè)訓(xùn)練好的網(wǎng)絡(luò)遷移到一個(gè)全新的網(wǎng)絡(luò)里，而不是從頭開(kāi)始，為每一個(gè)特定任務(wù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。遷移學(xué)習(xí)相當(dāng)于讓神經(jīng)網(wǎng)絡(luò)有了語(yǔ)言。新一代神經(jīng)網(wǎng)絡(luò)可以在前人的基礎(chǔ)上更進(jìn)一步，使用一個(gè)由他人預(yù)先訓(xùn)練好并可作為我們訓(xùn)練模型的起點(diǎn)。因此，本文使用大量仿真紅外艦船圖像和少量真實(shí)紅外艦船圖像作為訓(xùn)練樣本，利用由粗到細(xì)的深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)遷移學(xué)習(xí)，以解決仿真紅外艦船圖像和真實(shí)紅外艦船圖像的跨域適應(yīng)性問(wèn)題，從而實(shí)現(xiàn)對(duì)真實(shí)紅外艦船目標(biāo)的檢測(cè)識(shí)別功能。

1 紅外艦船目標(biāo)跨域自適應(yīng)檢測(cè)算法

在復(fù)雜海面場(chǎng)景條件下，能夠準(zhǔn)確地檢測(cè)目標(biāo)對(duì)于實(shí)際作戰(zhàn)應(yīng)用有重要意義。但是由于客觀條件限制，海面紅外目標(biāo)場(chǎng)景數(shù)據(jù)較少，因此，為了降低深度學(xué)習(xí)對(duì)真實(shí)紅外艦船數(shù)據(jù)量的需求，本文使用大量仿真紅外艦船圖像數(shù)據(jù)集和少量真實(shí)紅外艦船圖像，通過(guò)特征自適應(yīng)遷移學(xué)習(xí)（feature adaption transfer learning，F(xiàn)ATL）方法實(shí)現(xiàn)從仿真紅外目標(biāo)到真實(shí)紅外目標(biāo)的跨域目標(biāo)檢測(cè)功能。

檢測(cè)器通常由兩部分組成：backbone 和head。前者在ImageNet上進(jìn)行預(yù)訓(xùn)練，后者用來(lái)預(yù)測(cè)類別信息和目標(biāo)物體的邊界框。在最近幾年，目標(biāo)檢測(cè)器會(huì)在backbone 和head 之間插入一些網(wǎng)絡(luò)層，這些網(wǎng)絡(luò)層通常用來(lái)收集不同的特征圖，我們將其稱之為目標(biāo)檢測(cè)器的neck。通常，一個(gè)neck 由多個(gè)bottom-up 路徑和top-down路徑組成。

圖2 介紹了本文設(shè)計(jì)的用于跨域?qū)ο髾z測(cè)的網(wǎng)絡(luò)結(jié)構(gòu)框架，目標(biāo)檢測(cè)器的backbone 采用DenseNet預(yù)訓(xùn)練模型，模型參數(shù)在ImageNet 上進(jìn)行預(yù)訓(xùn)練，能夠高效地逐層提取輸入圖像不同的深度特征；目標(biāo)檢測(cè)器的neck 采用路徑聚合網(wǎng)絡(luò)（path aggregation network，PAN）結(jié)構(gòu)，使低層信息更容易傳播到頂層；目標(biāo)檢測(cè)器的head 采用粗細(xì)分類模塊，粗分類模塊會(huì)從不同層輸出的特征圖中提取當(dāng)前特征圖的前景信息，進(jìn)行粗粒度特征自適應(yīng)；經(jīng)過(guò)全連接層后，細(xì)分類模塊區(qū)分不同類型目標(biāo)并對(duì)齊同一類型目標(biāo)，進(jìn)行細(xì)粒度特征自適應(yīng)。在數(shù)據(jù)增廣方法上，本文采用自對(duì)抗訓(xùn)練方法（self-adversarial training，SAT）提高模型泛化能力。

與目前常用的Yolov3 檢測(cè)器［12］相比（Yolov3 網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示），本文算法采用DenseNet 結(jié)構(gòu)作為骨架網(wǎng)絡(luò)，與Darknet53 結(jié)構(gòu)相比，DenseNet 結(jié)構(gòu)能夠在小數(shù)據(jù)集情況下更好地解決過(guò)擬合的問(wèn)題。另外，本文網(wǎng)絡(luò)增加PAN 結(jié)構(gòu)連通淺層特征和深層特征，使得網(wǎng)絡(luò)在提取目標(biāo)高層次語(yǔ)義信息時(shí)能夠更好地保留目標(biāo)細(xì)節(jié)特征，從而提高對(duì)小目標(biāo)的檢測(cè)性能。同時(shí)，通過(guò)SAT方法在原有模型的訓(xùn)練過(guò)程中注入對(duì)抗樣本，提升了模型對(duì)于微小擾動(dòng)的魯棒性。并且，本文網(wǎng)絡(luò)設(shè)置粗分類和精細(xì)分類模塊，能夠達(dá)到對(duì)目標(biāo)類型進(jìn)行精準(zhǔn)分類的目的。

2 檢測(cè)器結(jié)構(gòu)

本文檢測(cè)器由提取特征的backbone、用于輸出目標(biāo)檢測(cè)結(jié)果的head 以及連接兩者的neck 組成。通過(guò)對(duì)檢測(cè)網(wǎng)絡(luò)進(jìn)行設(shè)計(jì)優(yōu)化，使網(wǎng)絡(luò)在提取圖像高層次語(yǔ)義信息的同時(shí)，能夠充分利用目標(biāo)的低層次表觀特征，并且通過(guò)多尺度設(shè)計(jì)，使網(wǎng)絡(luò)能夠在不同空間分辨率下檢測(cè)目標(biāo)。

2.1 檢測(cè)器backbone

本文選用DenseNet 作為檢測(cè)網(wǎng)絡(luò)的backbone。DenseNet 網(wǎng)絡(luò)結(jié)構(gòu)由多個(gè)Dense Block 組成，一個(gè)Dense Block 包含多個(gè)卷積層，如圖4 所示，每層結(jié)構(gòu)由 卷 積、batch normalization（BN）和ReLU 組 成。Dense Block 的輸入并不是只使用之前最后一層的輸出，而是將之前所有Dense Block的輸出以及原始層的輸出作為輸入，即x0，x1，…，xi-1。DenseNet 不同層特征能夠復(fù)用，從而減少計(jì)算量，并且緩解梯度消失問(wèn)題，加強(qiáng)特征傳播。

圖4 Dense Block網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Dense Block network structure

2.2 檢測(cè)器neck

特征圖經(jīng)過(guò)上一節(jié)backbone 特征提取網(wǎng)絡(luò)后，會(huì)輸入到檢測(cè)器head 中來(lái)得到檢測(cè)結(jié)果。為了豐富檢測(cè)器head 的信息，本文采用PAN 結(jié)構(gòu)作為檢測(cè)器的neck，使特征圖在送入head 之前，首先經(jīng)過(guò)自底向上和自頂向下的PAN結(jié)構(gòu)，相鄰特征圖按元素順序添加到一起。

圖5是本文采用的PAN結(jié)構(gòu)。PAN結(jié)構(gòu)是在常用的特征金字塔網(wǎng)絡(luò)（feature pyramid networks，F(xiàn)PN）基礎(chǔ)上，增加了自底向上的結(jié)構(gòu)，參見(jiàn)圖5（b）中橙色框結(jié)構(gòu)，能夠使網(wǎng)絡(luò)的底層信息更容易傳播到頂層。在FPN中，局部空間信息在圖5（a）中由紅色箭頭向上傳遞，紅色路徑經(jīng)過(guò)約100層。PAN引入了short-cut路徑，只需約10層就可到達(dá)頂部的N5層。short-circuit結(jié)構(gòu)設(shè)計(jì)使最上層可以獲得精確的局部信息。因此，PAN結(jié)構(gòu)能夠連通淺層特征和深層特征，PAN輸出特征包含了自底向上的空間豐富信息和自上而下的語(yǔ)義豐富信息，能夠提高對(duì)小目標(biāo)的檢測(cè)性能。

圖5 PAN結(jié)構(gòu)Fig.5 PAN structure

2.3 檢測(cè)器head

檢測(cè)器head是在neck之后，用于輸出檢測(cè)網(wǎng)絡(luò)結(jié)果，即目標(biāo)檢測(cè)位置和目標(biāo)類別。為了減小不同領(lǐng)域特征空間的域偏移以實(shí)現(xiàn)跨域目標(biāo)檢測(cè)，本文采用文獻(xiàn)［13］的方法，分別在backbone 和neck 網(wǎng)絡(luò)結(jié)構(gòu)的輸出特征層設(shè)置粗分類head 和細(xì)分類head。首先，本文利用DenseNet網(wǎng)絡(luò)提取多層目標(biāo)特征，然后采用粗分類head 對(duì)DenseNet 網(wǎng)絡(luò)提取的前景目標(biāo)和背景特征進(jìn)行特征對(duì)齊，實(shí)現(xiàn)前景和背景的分類。細(xì)分類head將PAN 網(wǎng)絡(luò)融合的目標(biāo)表觀特征和深度特征進(jìn)行提取，細(xì)分類head 在充分利用目標(biāo)類別信息的基礎(chǔ)上，突出每個(gè)類別的分布并對(duì)不同類別目標(biāo)進(jìn)行特征對(duì)齊，從而達(dá)到對(duì)目標(biāo)類型精分類的目的。

因此，F(xiàn)ATL 算法設(shè)計(jì)了兩個(gè)分類模塊head：第一個(gè)模塊（粗分類head）從不同領(lǐng)域圖像中識(shí)別出前景信息，但是對(duì)目標(biāo)類別不作區(qū)分；第二個(gè)模塊（細(xì)分類head）通過(guò)建立每個(gè)類別的原型實(shí)現(xiàn)同一類別目標(biāo)的語(yǔ)義對(duì)齊。具體分類過(guò)程如圖6所示。

圖6 適配模塊原理示意圖Fig.6 The schematic diagram of the adaptation module

在粗粒度階段，通過(guò)基于注意力的區(qū)域轉(zhuǎn)移模塊來(lái)突出前景的重要性，它以一種不區(qū)分類的粗糙方式工作。利用高級(jí)特征中的注意機(jī)制提取感興趣的前景目標(biāo)，并在特征分布對(duì)齊時(shí)對(duì)其進(jìn)行標(biāo)記。通過(guò)多層對(duì)抗性學(xué)習(xí)，利用復(fù)雜的檢測(cè)模型可以實(shí)現(xiàn)有效的領(lǐng)域交叉。粗分類網(wǎng)絡(luò)采用經(jīng)典的對(duì)抗生成網(wǎng)絡(luò)模型，由分類器D 和主干網(wǎng)絡(luò)G 構(gòu)成，具體來(lái)說(shuō)，分類器D 試圖區(qū)分特征來(lái)自真實(shí)圖像和仿真圖像，而主干網(wǎng)絡(luò)G旨在混淆分類器。G和D之間通過(guò)梯度反向?qū)舆M(jìn)行連接。當(dāng)訓(xùn)練過(guò)程收斂時(shí)，G 傾向于提取域不變的特征表示。第l個(gè)卷積塊中對(duì)抗學(xué)習(xí)的目標(biāo)函數(shù)Ll可以表示為

式中：Gl和Dl分別是分類器D 和主干網(wǎng)絡(luò)G 的第l個(gè)卷積塊；θGl和θDl是Gl和Dl對(duì)應(yīng)的權(quán)重因子；xs和xt分別是來(lái)自源域DS和目標(biāo)域DT的輸入圖像；Dl（·）表示源域輸入圖像的目標(biāo)特征概率。

在細(xì)粒度階段，通過(guò)基于原型的語(yǔ)義對(duì)齊模塊來(lái)構(gòu)建跨域的每個(gè)類別的全局原型。原型在每次迭代中都進(jìn)行自適應(yīng)更新，從而抑制了假偽標(biāo)簽和類不匹配的負(fù)面影響。由于從粗到細(xì)的特征自適應(yīng)，前景區(qū)域中的領(lǐng)域知識(shí)能夠得到有效傳遞。本文提出的結(jié)構(gòu)將跨領(lǐng)域具有相同類別的一對(duì)原型（WSi，WTi）之間的距離最小化，從而保持特征空間中的語(yǔ)義一致性。原型可以定義為

式中：WSi和WTi表示分別來(lái)自源域S和目標(biāo)域T的第i類原型；F（f）表示在頭部網(wǎng)絡(luò)經(jīng)過(guò)第2 個(gè)全連接層后前景區(qū)域f的特征；|·|表示區(qū)域個(gè)數(shù)。本文采用頭部網(wǎng)絡(luò)提供的Ri作為目標(biāo)域的偽標(biāo)簽，采用真實(shí)數(shù)據(jù)Gi提取源域中前景區(qū)域。

因此，檢測(cè)器head 能夠利用粗分類器高級(jí)特征的注意機(jī)制提取感興趣的前景目標(biāo)，然后通過(guò)細(xì)分類器基于原型的語(yǔ)義對(duì)齊模塊將跨領(lǐng)域具有相同類別的目標(biāo)原型進(jìn)行對(duì)齊，從而實(shí)現(xiàn)跨域自適應(yīng)目標(biāo)檢測(cè)功能。

2.4 數(shù)據(jù)增廣方法

本文采用自對(duì)抗訓(xùn)練方法（SAT）中的數(shù)據(jù)增廣方法。首先，對(duì)一個(gè)訓(xùn)練樣本執(zhí)行前向傳遞。在傳統(tǒng)的反向傳播中，通常是通過(guò)調(diào)整模型權(quán)重來(lái)改進(jìn)檢測(cè)器對(duì)圖像中目標(biāo)檢測(cè)的準(zhǔn)確率。本文采取相反的方向，通過(guò)改變圖像來(lái)降低檢測(cè)器的性能，從而創(chuàng)建一個(gè)針對(duì)當(dāng)前模型的對(duì)抗性攻擊，而新圖像在視覺(jué)上看起來(lái)是一樣的。然后，用帶有原始邊界框和類標(biāo)簽的新圖像對(duì)模型進(jìn)行訓(xùn)練，從而提高模型泛化能力，并減少過(guò)擬合。

3 紅外艦船目標(biāo)仿真方法

經(jīng)過(guò)幾十年發(fā)展，仿真紅外圖像可以很好地模仿紅外探測(cè)器接收到的來(lái)自物體和背景的紅外輻射。在滿足客觀物理規(guī)律的同時(shí)，還能提供與真實(shí)紅外船只圖像類似的邊緣、輪廓、紋理和辨別性特征等細(xì)節(jié)，以及豐富的高級(jí)語(yǔ)義信息。

當(dāng)深度學(xué)習(xí)技術(shù)與仿真紅外船只圖像相結(jié)合，就可以從大量仿真紅外船只圖像中學(xué)習(xí)到本應(yīng)從真實(shí)紅外船只圖像中學(xué)習(xí)的信息。這些信息可以幫助神經(jīng)網(wǎng)絡(luò)優(yōu)化各層參數(shù)，強(qiáng)化其對(duì)各個(gè)特征的提取、分析和判斷能力，從而提高網(wǎng)絡(luò)對(duì)海上紅外船只圖像的特征適應(yīng)能力，最終實(shí)現(xiàn)對(duì)真實(shí)紅外船只目標(biāo)的準(zhǔn)確檢測(cè)。通過(guò)該方法生成的紅外艦船目標(biāo)圖像具有自然的圖像紋理特征，符合紅外輻射特性，可有效提高紅外艦船數(shù)據(jù)集的完整性和可用性。

圖7 是利用仿真生成的紅外船只目標(biāo)仿真序列，為模擬海上船只可能出現(xiàn)的尺度變化和角度變化，讓船只在視場(chǎng)內(nèi)產(chǎn)生從0 到360°的角度變化，間隔30°；產(chǎn)生從0 到8000 m 的高度變化，間隔100 m；產(chǎn)生從0到80°的視角變化，間隔5°。

為了評(píng)估仿真紅外圖像與真實(shí)紅外圖像的相似性，本文用結(jié)構(gòu)相似性（SSIM）指標(biāo)來(lái)進(jìn)行評(píng)價(jià)。SSIM 值越大，意味著仿真紅外圖像與真實(shí)紅外圖像的差異越小，圖像的仿真效果越好。SSIM 的定義如下：

式中：x、y為兩幅圖像（在這里分別代表仿真紅外圖像與真實(shí)紅外圖像）；μx和μy分別為x和y的灰度平均值；σx和σy分別為x和y的灰度方差；σxy為x和y的灰度協(xié)方差；c1和c2用于維持SSIM 數(shù)值的穩(wěn)定，c1＝k1L，c2＝k2L（其中，L為圖像灰度值的動(dòng)態(tài)范圍，k1和k2是試驗(yàn)總結(jié)的經(jīng)驗(yàn)值，k1＝0.01，k2＝0.03）。

SSIM 的計(jì)算結(jié)果為-1 到1 之間的小數(shù)。若結(jié)果為1，說(shuō)明對(duì)比的兩幅圖像在結(jié)構(gòu)上完全一致，當(dāng)兩張圖像之間滿足SSIM ≥0.7時(shí)，就可以認(rèn)為兩個(gè)圖像相似。計(jì)算仿真紅外艦船圖像與真實(shí)紅外艦船圖像的SSIM 值，得出本文仿真生成的紅外圖像SSIM 均值達(dá)到0.795 1，方差為0.003 2。由于SSIM＞0.7，可知基于此方法生成的仿真紅外圖像與真實(shí)紅外圖像高度相似。

4 試驗(yàn)驗(yàn)證情況

本文針對(duì)上述海上紅外艦船圖像的小樣本問(wèn)題，利用海上紅外艦船圖像中特征的不變性，研究了一種基于深度遷移學(xué)習(xí)的紅外艦船目標(biāo)檢測(cè)方法。采用大量仿真紅外艦船數(shù)據(jù)集和少量真實(shí)紅外艦船數(shù)據(jù)集訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，試驗(yàn)采用2×TITAN V顯卡，單卡5 120個(gè)CUDA核，顯存12G，測(cè)試結(jié)果如圖8所示。

如圖8 所示，采用大量仿真紅外艦船數(shù)據(jù)集和少量真實(shí)紅外艦船數(shù)據(jù)集進(jìn)行訓(xùn)練，用真實(shí)圖像進(jìn)行檢測(cè)時(shí)，可以做到準(zhǔn)確檢測(cè)。將FATL算法與Yolov3算法進(jìn)行對(duì)比試驗(yàn)，如表1所示，在大量仿真圖像的訓(xùn)練條件下，Yolov3 的適應(yīng)能力較差，對(duì)正確目標(biāo)的檢出率較低，對(duì)錯(cuò)誤目標(biāo)有較高的誤檢率。而本文提出的算法顯著提升了目標(biāo)檢測(cè)準(zhǔn)確率，降低了目標(biāo)檢測(cè)虛警率，而且對(duì)于存在火光干擾和部分遮擋的紅外艦船目標(biāo)以及島岸背景條件下的紅外艦船目標(biāo)都有準(zhǔn)確的檢測(cè)結(jié)果。由此可以證明，本文提出的結(jié)構(gòu)具有跨域遷移性和環(huán)境適應(yīng)性，在面對(duì)真實(shí)海上紅外艦船目標(biāo)時(shí)具有較好的檢測(cè)效果。

表1 FATL算法與Yolov3算法的對(duì)比Tab.1 The comparison of the FATL algorithm with the Yolov3 algorithm

圖8 真實(shí)紅外艦船目標(biāo)檢測(cè)效果Fig.8 Real infrared ship target detection effect

5 結(jié)束語(yǔ)

對(duì)于復(fù)雜海面場(chǎng)景，能夠準(zhǔn)確地檢測(cè)紅外艦船目標(biāo)對(duì)于實(shí)際作戰(zhàn)應(yīng)用有重要意義。由于客觀條件限制，海面紅外目標(biāo)場(chǎng)景數(shù)據(jù)較少，因此，為了降低深度學(xué)習(xí)對(duì)紅外圖像數(shù)據(jù)量的需求，本文創(chuàng)新性地使用大量仿真紅外艦船數(shù)據(jù)和少量真實(shí)紅外艦船數(shù)據(jù)，利用FATL 方法實(shí)現(xiàn)跨域目標(biāo)檢測(cè)功能。通過(guò)試驗(yàn)證明，本文提出的算法對(duì)于真實(shí)紅外艦船目標(biāo)具有較好的檢測(cè)效果。