楊 曦，張 鑫，郭浩遠，王楠楠，高新波，2

（1. 西安電子科技大學綜合業(yè)務(wù)網(wǎng)理論及關(guān)鍵技術(shù)國家重點實驗室，陜西西安 710071；2. 重慶郵電大學圖像認知重慶市重點實驗室，重慶 400065）

1 引言

遙感圖像中艦船目標檢測是海洋監(jiān)管和國防建設(shè)中的重要基礎(chǔ)工作［1］，旨在分類和定位一幅遙感圖像中的所有艦船. 近年來，隨著遙感衛(wèi)星技術(shù)的快速發(fā)展，多源遙感數(shù)據(jù)不斷擴增. 光學遙感圖像具有判讀直觀性強及數(shù)據(jù)翻譯便捷等優(yōu)點，引起了廣大學者的重視和研究. 但是光學圖像容易受到云霧遮擋、強烈光照等氣候的影響. 相對地，合成孔徑雷達（Synthetic Aperture Radar，SAR）憑借其不依賴光照條件且不受天氣影響的優(yōu)勢，能夠?qū)崿F(xiàn)全天時、全天候大面積海域偵查工作.由于上述差異性，針對不同成像機理的遙感圖像，需要設(shè)計專門的算法進行艦船目標檢測.

恒虛警率算法［2～5］是傳統(tǒng)艦船目標檢測的經(jīng)典方法，該算法通過對背景雜波統(tǒng)計建模來檢測艦船目標，從而保持恒定的虛警率. 然而，這類算法利用淺層弱語義信息進行預測，對復雜環(huán)境下的艦船檢測效果不佳.近年來，人工智能領(lǐng)域迅速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）憑借其強大的特征提取能力，成為艦船目標檢測的有力工具. 目前基于CNN 的檢測器主要分為2 類：（1）單階段檢測器，如EFGRNet［6］，CenterNet［7］；（2）雙階段檢測器，如Faster R-CNN［8］，Libra R-CNN［9］. 因此，眾多學者開始研究基于深度學習的艦船目標檢測系統(tǒng).

盡管這些艦船檢測算法已經(jīng)取得重要進展，但通常是針對特定域的. 圖1 是單源和多源遙感圖像艦船目標檢測器的對比圖，其中紫羅蘭色框表示預測結(jié)果.如圖1（a）所示，由于不同源數(shù)據(jù)之間存在域偏移，現(xiàn)有艦船目標檢測算法大多是有針對性地為各個數(shù)據(jù)源分別訓練一個檢測器用于對應(yīng)數(shù)據(jù)的檢測. 若需要檢測多源遙感圖像，模型的總體尺寸會隨著數(shù)據(jù)源的數(shù)量線性增加，造成資源浪費. 此外，在實際應(yīng)用中，若艦船數(shù)據(jù)來源模糊，無法為其選擇特定的檢測器. 由于數(shù)據(jù)源的多樣性以及它們之間存在著一定域偏移，錯誤地選擇檢測器會帶來精度的急劇下降. 而多源遙感圖像檢測器只需要訓練一個通用的模型，在處理多源圖像時只需要執(zhí)行一次推理過程，如圖1（b）所示. 這使得多源遙感圖像檢測器能夠節(jié)省計算資源和提升計算速度，更符合實際工程的實時檢測需求，在解決模糊數(shù)據(jù)源檢測問題的同時，也充分利用了多源數(shù)據(jù)之間的共享知識，實現(xiàn)了不同數(shù)據(jù)源之間的信息互補，進一步提高了檢測性能. 因此，如何使用一種方法同時檢測來自不同源的艦船目標，即多源數(shù)據(jù)艦船目標檢測，對于我國國防智能化建設(shè)具有重要研究意義.

圖1 單源和多源遙感圖像艦船目標檢測器對比圖

本文提出了一種新穎的多源遙感圖像艦船目標檢測算法，基于多源艦船目標不變特征（不隨域改變而影響艦船目標判別的特征，例如艦船形態(tài)、海陸中的分布位置等）之間的信息互補，使用一個通用網(wǎng)絡(luò)檢測不同源艦船目標并提升檢測準確率，總體框架如圖2 所示.該方法由基于圖像級的風格轉(zhuǎn)換網(wǎng)絡(luò)和特征級的域自適應(yīng)網(wǎng)絡(luò)兩個模塊組成. 首先，為學習多源數(shù)據(jù)圖像層面上的不變特征，利用循環(huán)生成對抗網(wǎng)絡(luò)［10］（Cycle Generative Adversarial Network，Cycle GAN）將光學風格圖像轉(zhuǎn)換成偽SAR 圖像，并將SAR 風格圖像轉(zhuǎn)換成偽光學圖像. 為了促進生成對抗網(wǎng)絡(luò)的轉(zhuǎn)換效果，引入循環(huán)一致性損失隱式相互約束. 接著將生成的偽多源遙感圖像與原始遙感圖像同時輸入到主干網(wǎng)絡(luò)以提取多源特征. 最后，為學習多源數(shù)據(jù)特征層面上的不變特征，利用多個適應(yīng)網(wǎng)絡(luò)對多源特征進行解耦表示，同時由域注意力網(wǎng)絡(luò)進行權(quán)重分配實現(xiàn)重組合. 本文提出的通用多源檢測模型與單源檢測模型相比，不需要感興趣域的先驗知識，所有的參數(shù)和計算都是跨域共享的. 該模型通過提取圖像級和特征級2 個層面上具有判別性的不變特征，減輕不同域之間存在的域偏移，同時實現(xiàn)多源數(shù)據(jù)不變特征之間的信息互補，這些都是單源檢測器所不具備的優(yōu)勢. 實驗結(jié)果表明，所提方法在多源艦船目標檢測任務(wù)中的平均準確率高于其他前沿方法.

圖2 多源遙感圖像艦船目標檢測框架

2 相關(guān)工作

本節(jié)從單源檢測和多源檢測兩方面對相關(guān)工作進行了總結(jié)和回顧. 單源檢測部分首先介紹通用目標檢測的代表性工作，然后聚焦艦船檢測問題，介紹已有的艦船檢測算法. 多源檢測部分首先總結(jié)了常用的多源檢測算法，其次對圖像風格轉(zhuǎn)換相關(guān)工作進行了回顧.

2.1 單源檢測

2.1.1 目標檢測

作為計算機視覺的基礎(chǔ)任務(wù)，目標檢測旨在檢測一幅輸入圖像中的所有特定目標. 目前基于CNN 的檢測器大致分為2類：雙階段檢測器和單階段檢測器.

（1）雙階段檢測器首先利用區(qū)域建議框生成網(wǎng)絡(luò)（Region Proposal Network，RPN）提取感興趣區(qū)域，然后基于感興趣區(qū)域進行分類和回歸特定目標. Faster RCNN［8］通過增加RPN 以擴展Fast R-CNN［11］，實現(xiàn)了首個基于深度學習的端到端雙階段檢測器. 為了提升檢測器的精度，F(xiàn)PN［12］采用一種自上而下的路徑，同時通過橫向連接進一步豐富了各層特征的語義信息. 為了解決分類和回歸任務(wù)之間的不平衡問題，IoU-Net［13］采用精準的RoI 池化層取代了原始的RoI 池化層，并提出了IoU指導下的非極大值抑制算法.

（2）單階段檢測器直接在大量密集分布的錨框中檢測特定的目標，而不需要依賴RPN.RetinaNet［14］通過引入焦點損失解決了單階段算法中正負樣本不平衡的問題. 為了滿足實時檢測需求，YOLO 系列算法［15，18］陸續(xù)被提出，以提升目標檢測速度. 近年來，無錨框檢測器興起，CornerNet［19］將目標檢測任務(wù)轉(zhuǎn)換為關(guān)鍵點檢測任務(wù)，通過預測檢測框的左上角和右下角2對關(guān)鍵點進行定位，同時不再設(shè)置錨框的超參數(shù).CenterNet［7］直接預測每個目標的中心點坐標并且無需非極大值抑制等后處理，大幅度提升了檢測速度.

2.1.2 艦船檢測

近十年來，基于遙感圖像的艦船目標檢測越來越受到人們的關(guān)注. 傳統(tǒng)的艦船目標檢測方法是基于恒虛警率算法的. 為了引入更多的空間信息，Wang 等人［2］提出了一種基于空間域的恒虛警率算法，該方法將像素的灰度和像素之間的相關(guān)性融合為一個特征，利用恒虛警率算法提取對應(yīng)像素的融合特征以增強艦船檢測效果. 隨后，Pappas 等人［3］提出利用超像素代替矩形滑動窗口來增強恒虛警率算法，旨在實現(xiàn)更好的背景波段目標過濾，降低艦船目標的誤檢率. 為了有效檢測復雜背景中的艦船目標，Huo 等人［4］首先通過最大穩(wěn)定極值區(qū)域方法對輸入圖像進行預篩選以獲得低計算復雜度的候選區(qū)域，然后利用加權(quán)信息熵評估候選區(qū)域與鄰域之間的相似性，最后進行艦船目標檢測. 但是這些傳統(tǒng)方法不能提取深層次強語義信息的特征，因此無法有效檢測多源遙感圖像艦船目標.

由于卷積神經(jīng)網(wǎng)絡(luò)具有較強的判別特征提取能力，研究者們開始更加關(guān)注基于CNN 的艦船目標檢測算法.Cui等人［20］提出了一種基于密集連接的特征金字塔網(wǎng)絡(luò)，采用金字塔結(jié)構(gòu)將卷積注意力模塊與自上而下的每層特征密切連接，提升了SAR圖像檢測精度. 為了快速定位多角度艦船目標并對其準確分類，Yang 等人［21］提出了一種端到端的精修單階段檢測器，通過引入特征細化模塊以實現(xiàn)特征的重構(gòu)和對齊.Fu 等人［22］提出了一種特征平衡和細化網(wǎng)絡(luò)，采用注意力機制引導的平衡特征金字塔以平衡多層次特征，同時通過特征精修模塊實現(xiàn)特征對齊. 上述方法雖然針對單源遙感圖像具有較好的檢測準確率，但是不善于同時處理多源圖像中的艦船目標.

不同源數(shù)據(jù)之間存在著信息鴻溝，上述方法由于缺少域自適應(yīng)思想無法直接處理多源數(shù)據(jù). 為此，基于上述工作，學者們廣泛研究了多源目標檢測的相關(guān)算法.

2.2 多源檢測

2.2.1 多源檢測算法

多源目標檢測首要解決的是不同源數(shù)據(jù)之間的域偏移問題.DA Faster R-CNN［23］通過圖像和實例層面的域遷移，構(gòu)建了一個域自適應(yīng)網(wǎng)絡(luò)用于檢測多源圖像.但該方法沒有關(guān)注特征層面域自適應(yīng)表征對檢測的影響. 文獻［24］提出了全局特征弱對齊和局部特征強對齊策略，通過不同域數(shù)據(jù)之間的特征對齊，拉近不同域的數(shù)據(jù)分布.Universal DA［25］采用域注意力機制構(gòu)建了一個通用檢測器，能夠使用單一網(wǎng)絡(luò)處理所有域. 但是上述方法未能考慮圖像級別域自適應(yīng)對檢測的影響.由于風格轉(zhuǎn)換領(lǐng)域的迅猛發(fā)展，可借助風格轉(zhuǎn)換思想，從圖像級層面上減小域偏移難題.

2.2.2 風格轉(zhuǎn)換策略

風格轉(zhuǎn)換一直是重要的研究領(lǐng)域，其目的是通過紋理特征的學習將圖像從源域轉(zhuǎn)換至目標風格域.Gatys 等人［26］提出一種基于CNN 的風格轉(zhuǎn)換網(wǎng)絡(luò)，將自然圖像的內(nèi)容和風格進行分離和重組，從而獲得高質(zhì)量的新圖像. Berger 等人［27］在圖像生成中添加長期一致性約束，通過引入局部特征和全局特征的空間信息以生成具有全局對稱性的紋理，并將紋理用于風格轉(zhuǎn)換中. Gu 等人［28］提出了一種漸進特征優(yōu)化方法，通過排列特征圖的空間位置實現(xiàn)任意圖像風格的轉(zhuǎn)換，避免局部風格轉(zhuǎn)換失真并保持原圖像的全局相似性. 為緩解紋理尺度不匹配問題，Wang 等人［29］提出了一種多模態(tài)卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)利用分層訓練的策略分別訓練顏色和亮度通道. Zhu 等人［10］提出了一種基于循環(huán)一致?lián)p失風格轉(zhuǎn)換網(wǎng)絡(luò)，利用2個生成對抗網(wǎng)絡(luò)實現(xiàn)非成對圖像的風格轉(zhuǎn)換. 與以往的方法主要考慮生成樣本質(zhì)量不同，本文旨在利用風格轉(zhuǎn)換樣本提升多源遙感圖像艦船目標檢測的性能.

3 圖像級風格轉(zhuǎn)換網(wǎng)絡(luò)

來自不同源傳感器的遙感圖像具有背景復雜多變的特點，在分辨率、紋理和細節(jié)等方面各不相同. 為了學習不同源傳感器下數(shù)據(jù)的魯棒性特征，需要采集大量多源遙感數(shù)據(jù). 但是在實際應(yīng)用中，多源遙感數(shù)據(jù)獲取成本高. 為了降低成本并實現(xiàn)多源艦船目標檢測，本文從圖像風格適應(yīng)角度出發(fā)利用Cycle GAN 進行數(shù)據(jù)生成.風格轉(zhuǎn)換網(wǎng)絡(luò)具有以下優(yōu)點：（1）實現(xiàn)數(shù)據(jù)自動擴增，解決數(shù)據(jù)匱乏問題；（2）生成數(shù)據(jù)同時具有不同源數(shù)據(jù)的特點，有助于網(wǎng)絡(luò)學習數(shù)據(jù)之間的不變特征；（3）生成數(shù)據(jù)與原始數(shù)據(jù)內(nèi)容信息保持一致，只是圖像風格發(fā)生變化，因此無需人工標注，進一步降低了專家標注的成本.

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

如圖3所示，圖像風格轉(zhuǎn)換網(wǎng)絡(luò)由左右兩個鏡像對稱的子網(wǎng)絡(luò)組成，每個子網(wǎng)絡(luò)由2 個生成器（G1和G2）和1 個判別器（D1或D2）組成. 為使圖像風格轉(zhuǎn)換網(wǎng)絡(luò)學習到不同源傳感器的魯棒性特征，2個生成器共享參數(shù)且以端到端學習的方式連接. 其中一個生成器用來生成偽風格圖像，而另一個生成器將偽風格圖像重構(gòu)為原始風格圖像. 因此，本網(wǎng)絡(luò)的目標是學習2 個映射函數(shù)G1：A→B和G2：B→A，從而實現(xiàn)G1和G2生成的圖像和真實圖像在數(shù)學分布上無法區(qū)分. 其中，域A表示光學圖像域，域B表示SAR 圖像域. 特別地，在訓練和測試過程中，均不需要SAR 圖像和光學圖像是一一配對的，本網(wǎng)絡(luò)做的僅僅是風格轉(zhuǎn)換.

圖3 風格轉(zhuǎn)化網(wǎng)絡(luò)

3.2 目標函數(shù)

2 個子網(wǎng)絡(luò)損失函數(shù)形式相同，下面僅介紹圖3 左邊子網(wǎng)絡(luò)的損失函數(shù). 對于圖像級風格轉(zhuǎn)換網(wǎng)絡(luò)，為保證生成圖像能夠保留更多的艦船信息，引入圖像對抗損失來引導生成圖像的分布接近目標域分布. 對于映射函數(shù)G1：A→B以及對應(yīng)的判別器D1，圖像對抗損失函數(shù)的定義為

其中E 表示數(shù)學期望. 為了使偽SAR 風格圖像轉(zhuǎn)換為重建光學圖像時艦船目標像素準確對齊，利用循環(huán)一致性損失函數(shù)進行約束，函數(shù)的定義為

其中‖ · ‖1表示L1距離. 因此，圖像級風格轉(zhuǎn)換網(wǎng)絡(luò)的目標函數(shù)為

其中，λ表示平衡因子，用于平衡對抗損失任務(wù)和循環(huán)一致?lián)p失任務(wù)，經(jīng)驗上，取λ=10.

通過使用圖像級風格轉(zhuǎn)換網(wǎng)絡(luò)，訓練集被擴充為原始圖像和風格轉(zhuǎn)換圖像的組合. 如圖4 所示，經(jīng)過循環(huán)一致性損失的約束，每個生成圖像保留了原始內(nèi)容，新樣本和原始圖像具有相同的標注. 因此，可利用生成圖像以及對應(yīng)的相關(guān)標注來訓練多源遙感圖像艦船目標檢測網(wǎng)絡(luò).

圖4 光學圖像和SAR圖像之間的風格轉(zhuǎn)換示例

4 特征級域自適應(yīng)網(wǎng)絡(luò)

經(jīng)過圖像級風格轉(zhuǎn)換網(wǎng)絡(luò)后，將原始圖像和生成的風格轉(zhuǎn)換圖像相結(jié)合，輸入到后續(xù)的檢測網(wǎng)絡(luò)中. 利用特征級域自適應(yīng)網(wǎng)絡(luò)提取得到判別性特征，包括利用適應(yīng)網(wǎng)絡(luò)來提取不同域的一致性表征以及利用域注意力網(wǎng)絡(luò)進行權(quán)重分配，從而實現(xiàn)多源信息的解耦以及重組. 同時，引入焦點損失函數(shù)和L1 損失函數(shù)來約束檢測網(wǎng)絡(luò)的分類和回歸任務(wù).

4.1 網(wǎng)絡(luò)結(jié)構(gòu)

為了提取含有豐富語義信息的一般性特征，本文提出一種域自適應(yīng)網(wǎng)絡(luò)（圖5）. 域自適應(yīng)網(wǎng)絡(luò)分為適應(yīng)網(wǎng)絡(luò)和域注意力網(wǎng)絡(luò)2 個模塊. 首先利用多個適應(yīng)網(wǎng)絡(luò)實現(xiàn)多源特征的解耦，分別提取輸入數(shù)據(jù)的適應(yīng)性特征，不同的適應(yīng)特征反映了其在不同域空間特征表示；然后使用域注意力網(wǎng)絡(luò)計算所有域空間對應(yīng)的權(quán)重向量，實現(xiàn)對適應(yīng)特征新的線性組合；最后利用矩陣運算實現(xiàn)權(quán)重的分配和多源信息的一致性空間表征.

圖5 域自適應(yīng)網(wǎng)絡(luò)結(jié)構(gòu)

4.1.1 適應(yīng)網(wǎng)絡(luò)

本文利用迭代深層聚合（Deep Layer Aggregation，DLA）網(wǎng)絡(luò)［30］作為特征提取的主干網(wǎng)絡(luò). 基于SE（Squeeze-and-Excitation）模塊［31］的適應(yīng)網(wǎng)絡(luò)能夠表征多源信息. 每個適應(yīng)網(wǎng)絡(luò)具有相同的結(jié)構(gòu)，包含2 個全連接（Full Connection，F(xiàn)C）層以及2 個激活層（ReLU 函數(shù)和Sigmoid 函數(shù)）. 適應(yīng)網(wǎng)絡(luò)的輸入是DLA 網(wǎng)絡(luò)提取的多源特征x. 其計算過程可以表示為

其中fGAP(·)表示全局平均池化（Global Average Pooling，GAP）操作，該操作能夠提取關(guān)鍵信息，避免過擬合并且不會引入待學習參數(shù)，另外，全局平均池化通過對特征求平均，可以整合輸入的空間信息，對艦船目標的空間平移有更好的魯棒性；fSE(·)表示全連接層、ReLU函數(shù)、全連接層和Sigmoid 函數(shù)的組合；δi表示第i個適應(yīng)網(wǎng)絡(luò)輸出的適應(yīng)特征，i=1，2，…，N，由實驗結(jié)果可得此處N=3；Γ表示N個適應(yīng)特征經(jīng)過拼接操作得到的N×C大小的拼接適應(yīng)特征. 為了減少適應(yīng)網(wǎng)絡(luò)參數(shù)量，全連接層的維度下采樣率為16. 相比使用2 個檢測器分別檢測光學遙感圖像和SAR 圖像，域自適應(yīng)網(wǎng)絡(luò)整體的參數(shù)量大約減少了一半，這對于特定需求的場景具有重要意義.

4.1.2 域注意力網(wǎng)絡(luò)

基于特征的注意力機制借鑒了人類視覺機理，使感知行為適應(yīng)不同的任務(wù)和環(huán)境. 因此，使用基于特征的注意力機制來輔助多源數(shù)據(jù)艦船目標檢測任務(wù)是合理的. 域注意力網(wǎng)絡(luò)結(jié)構(gòu)簡單，包含1 個GAP 層、1 個FC 層和1 個激活層（Softmax 函數(shù)）. 此處的GAP 層可以視為一種結(jié)構(gòu)正則化器，它可以將特征強制映射為概率置信度的權(quán)重. 其計算過程可以表示為

其中，ω表示權(quán)重向量；σ表示激活函數(shù)Softmax.

拼接適應(yīng)性特征Γ本質(zhì)上是一個尺寸為N×C大小的特征向量，不同的適應(yīng)網(wǎng)絡(luò)可以看作將輸入特征轉(zhuǎn)換為不同域上的一個空間投影. 注意力特征實際上是一個尺寸為C×1 大小的域敏感權(quán)重向量，以數(shù)據(jù)驅(qū)動的方式組合這些投影. 如圖6 所示，對域注意力網(wǎng)絡(luò)輸出的權(quán)重向量進行統(tǒng)計分析. 其中橫坐標為權(quán)重，縱坐標為響應(yīng)的樣本數(shù)量，3種不同顏色的統(tǒng)計圖分別對應(yīng)著適應(yīng)網(wǎng)絡(luò)的3 個分支. 可以發(fā)現(xiàn)，各個分支中不同權(quán)重下所響應(yīng)的樣本數(shù)目接近正態(tài)分布，因此本文對其進行了高斯擬合. 對于NWPU VHR-10 數(shù)據(jù)，適應(yīng)網(wǎng)絡(luò)第一個分支的權(quán)重均值為0.16，第二個分支的權(quán)重均值為0.65，第三個分支的權(quán)重均值為0.18；而對于SSDD數(shù)據(jù)，網(wǎng)絡(luò)3個分支的權(quán)重均值分別為0.16，0.66，0.18.2種數(shù)據(jù)集的權(quán)重分布十分相近，這表明該網(wǎng)絡(luò)在應(yīng)對多源數(shù)據(jù)時并非是只響應(yīng)其中一個分支屏蔽另一個分支，而是針對不同的數(shù)據(jù)同時響應(yīng)所有分支，同時側(cè)面說明網(wǎng)絡(luò)各個分支能夠提取表征多源數(shù)據(jù)中艦船目標的一致性特征. 整體上看，域自適應(yīng)網(wǎng)絡(luò)就是借鑒了類似正交坐標系的概念，對解耦后的多源特征進行線性組合.

圖6 域注意力網(wǎng)絡(luò)學習的權(quán)重向量統(tǒng)計圖

4.2 目標函數(shù)

該多源遙感圖像檢測網(wǎng)絡(luò)將進行分類預測（分類置信度conf）和回歸預測（中心點偏移point、預測框偏移wh）. 為了避免簡單樣本主導模型的訓練過程，引入焦點損失函數(shù)來挖掘難樣本. 分類損失函數(shù)Lcls由焦點損失函數(shù)實現(xiàn)，可以表示為

其中，α表示焦點損失函數(shù)的超參數(shù)，用于平衡難易樣本，經(jīng)驗上取α=2.0. 另外，回歸損失函數(shù)由Lwh和Lpoint兩部分組成，使用L1 損失函數(shù)來微調(diào)預測框使其逼近真實標注框. 真實標注框由左上角(x1，y1)和右下角(x2，y2)表示，中心點p對應(yīng)的計算公式可以表示為

損失函數(shù)Lwh的表達式為

其中，n表示輸入特征中心點的數(shù)目；和分別表示真實標注框?qū)挘ǜ撸┖皖A測框?qū)挘ǜ撸┢屏? 此外，由于下采樣操作的影響，網(wǎng)絡(luò)在前向傳播過程中會出現(xiàn)特征像素未對齊的問題. 為了解決該問題，采用中心點偏移point 的預測值Δp實現(xiàn)特征像素對齊. 中心點偏移對應(yīng)的損失函數(shù)Lpoint可以表示為

其中，R表示下采樣因子，經(jīng)驗上設(shè)置R=4表示下取整操作；n表示分類置信度特征中的像素點數(shù)目.

5 實驗結(jié)果及分析

5.1 數(shù)據(jù)集和評估指標

本節(jié)主要介紹多源遙感圖像艦船目標檢測數(shù)據(jù)集，其中包括光學遙感數(shù)據(jù)NWPU VHR-10，HRSC，SSDD，SAR-Ship-Dataset. 本文在NWPU VHR-10 和SSDD這2種不同數(shù)據(jù)源上進行消融實驗，驗證所提方法的有效性. 接著在這2 個數(shù)據(jù)集上進行對比實驗，將所提算法與現(xiàn)有前沿算法進行比較. 為了進一步驗證本文方法對任意多源數(shù)據(jù)具有普適性，本節(jié)還在上述4種不同源數(shù)據(jù)上進行了對比實驗.

NWPU VHR-10［32］是由西北工業(yè)大學自動化學院發(fā)布的光學高分遙感數(shù)據(jù)集.NWPU VHR-10 遙感數(shù)據(jù)集一共有800幅圖像，總計10個類別，圖像尺寸在958×556 到1003×808 不等. 其中含有艦船目標的圖像57張，這些圖像包含民用港口以及遠海等豐富的場景. 由于原始光學圖像較少，因此對原始數(shù)據(jù)進行旋轉(zhuǎn)、顏色抖動和隨機裁剪等操作進行數(shù)據(jù)擴增，最終得到圖像共798 張. 訓練集、驗證集和測試集以6∶2∶2 的比例進行隨機劃分.

SSDD［33］是由中國人民解放軍海軍航空大學發(fā)布的SAR數(shù)據(jù)集，用于艦船目標檢測任務(wù). 圖像主要采集自RadarSat-2，TerraSAR-X，Sentinel-1，采 用VH，VV，HV，HH 四種極化方式，分辨率大致在1 m 到15 m 不等. 圖像采樣場景豐富，在遠海和近海區(qū)域均具有艦船目標. 該數(shù)據(jù)集一共有1160幅圖像，總計2456艘艦船.為了訓練多源遙感圖像艦船目標檢測網(wǎng)絡(luò)，將SSDD 數(shù)據(jù)隨機劃分成訓練集、驗證集和測試集3 部分，比例為6∶2∶2.

HRSC［34］是由中國科學院大學劉子坤等人發(fā)布的包含海面場景圖像和近岸艦船圖像的數(shù)據(jù)集，圖像的尺寸范圍在300×300 到1500×900 之間. 本文將所有類型的船只都視為艦船這一大類，按照原論文的數(shù)據(jù)劃分，即測試集為444張圖片，另外本文將訓練集按照8∶2的比例隨機劃分出一部分數(shù)據(jù)作為驗證集.

SAR-Ship-Dataset［35］是由中國科學院空天信息研究院王原原等人發(fā)布的數(shù)據(jù)集，該數(shù)據(jù)集來源于Gaofen-3和Sentinel-1成像，共有43819張圖片，大小為256×256.本文以7∶2∶1的比例將數(shù)據(jù)集隨機劃分為訓練集、驗證集和測試集.

為了評估不同艦船目標檢測算法的性能，評估指標采用平均精度均值（Mean Average Precision，mAP）.mAP 能夠反映艦船目標檢測算法的全局性能，對應(yīng)的計算公式為

其中，P表示準確率；R表示召回率.

5.2 實驗設(shè)置

為了保證算法的正常運行，本文在Ubuntu v16.04系統(tǒng)上搭建PyTorch 深度學習環(huán)境，即CUDA v8.0 +cuDNN v6.0 + PyTorch. 所有試驗均在有24 GB 顯存的TITAN RTX 上運行. 所提算法將采用CenterNet 作為基準網(wǎng)絡(luò)，DLA-34 作為判別特征提取網(wǎng)絡(luò). 為了公平比較，對比算法所使用的參數(shù)都是其論文中公布的參數(shù)，所有數(shù)據(jù)集的圖像尺寸被縮放至512×512 大小. 此外，模型在訓練階段采用Adam 算法進行優(yōu)化，其中動量參數(shù)momentum 設(shè)置為0.9，權(quán)重參數(shù)設(shè)置為0.000 1. 整個訓練過程共140 個epochs，batch size 設(shè)置為32. 模型的初始學習率為1.25e-4，并在第90 個epoch 衰減為1.25e-5，在第120 個epoch 衰減為1.25e-6. 本文的實驗首先在多源數(shù)據(jù)集上訓練一個模型，然后分別在各個數(shù)據(jù)集對應(yīng)的測試集上計算mAP.

5.3 消融實驗

為了驗證所提方法中圖像級風格轉(zhuǎn)換網(wǎng)絡(luò)和特征級域自適應(yīng)網(wǎng)絡(luò)的有效性，在多源數(shù)據(jù)集上進行了消融實驗，如表1 所示. 為了公平比較，在消融實驗過程中依次添加圖像級風格轉(zhuǎn)換網(wǎng)絡(luò)和特征級域自適應(yīng)網(wǎng)絡(luò)進行艦船目標檢測. 相比基準模型CenterNet，加入圖像級風格轉(zhuǎn)換網(wǎng)絡(luò)后，模型在2 種數(shù)據(jù)集上mAP 均有提升：在NWPU VHR-10 上提升了0.5%，在SSDD 上提升了0.7%，平均檢測精度提升了約0.5%. 這說明圖像級風格轉(zhuǎn)換網(wǎng)絡(luò)在SAR 數(shù)據(jù)和光學遙感數(shù)據(jù)的互相生成過程中起到重要的作用，能夠在圖像級別實現(xiàn)域遷移并拉近2 種圖像之間的聯(lián)系，保證生成圖像的質(zhì)量.由于SAR 數(shù)據(jù)和光學遙感數(shù)據(jù)存在域偏移，因此僅依賴圖像級別的風格轉(zhuǎn)換網(wǎng)絡(luò)難以進一步提取多源圖像的判別性特征. 引入特征級域自適應(yīng)網(wǎng)絡(luò)后，模型的檢測精度進一步獲得提升：在NWPU VHR-10 上提升了0.9%，在SSDD 上提升了1.3%，平均檢測精度提升了約1.2%. 這說明在判別特征的提取階段，特征級域自適應(yīng)網(wǎng)絡(luò)能夠在多維空間上表征多源信息并有效檢測多源數(shù)據(jù)中的艦船目標.

表1 多源數(shù)據(jù)集上消融實驗mAP

5.4 與現(xiàn)有方法對比實驗

為了驗證本文方法的有效性和優(yōu)越性，本節(jié)將其與現(xiàn)有前沿算法進行了比較，包括雙階段算法（Faster R-CNN［8］，Cascade R-CNN［36］，Libra R-CNN［9］）、單階段算 法（RetinaNet［14］，EFGRNet［6］，CenterNet［7］，Center-Net++［37］）以及域自適應(yīng)算法（Universal DA［25］，DA Faster R-CNN［23］）.

各種算法在數(shù)據(jù)集NWPU VRH-10和SSDD 上的結(jié)果如表2 所示. 整體上看，本文方法性能穩(wěn)定且能夠?qū)崟r檢測艦船目標.Cascade R-CNN 由于采用級聯(lián)策略優(yōu)化預測模型，因此平均檢測精度達到82.8%，且優(yōu)于Faster R-CNN 的性能. RetinaNet 只解決了網(wǎng)絡(luò)在正負樣本采樣階段的不均衡問題，而Libra R-CNN 從特征、采樣以及損失3 個層面解決了艦船目標檢測存在不均衡的問題. 因此，在2 種數(shù)據(jù)集上的平均mAP 為83.1%，優(yōu)于RetinaNet（81.8%）. 相比于RetinaNet，EFGRNet 平均檢測精度提升了0.5%，這是因為EFGRNet引入上下文信息增強網(wǎng)絡(luò)，緩解了多尺度艦船目標檢測難題.CenterNet 直接將每個艦船目標建模為目標邊界框的中心點，避免對復雜背景產(chǎn)生冗余計算并提升檢測準確率. 所以，CenterNet 相比于EFGRNet 方法平均檢測精度提升了0.9%. 相比于CenterNet，Center-Net++的平均檢測精度提升了0.7%，這是因為Center-Net++通過特征精修和再分類操作提取到了更細粒度的特征. 相比于Universal DA，DA Faster R-CNN 的平均檢測精度提升了0.1%，主要原因是DA Faster R-CNN 通過對抗訓練方式學習了多源數(shù)據(jù)的判別特征.

表2 各種算法在SSDD和NWPU VRH-10數(shù)據(jù)集上的mAP和Runtime

此外，表2給出了不同N設(shè)置下本文方法的檢測準確率. 總體上看，特征級域自適應(yīng)網(wǎng)絡(luò)對適應(yīng)網(wǎng)絡(luò)的個數(shù)N比較穩(wěn)健，所測mAP均高于其他方法. 但當N過小或過大時，準確率會受到一定影響. 當N特別小時，域自適應(yīng)網(wǎng)絡(luò)結(jié)構(gòu)簡單，會影響多源圖像信息的表征. 當N特別大時，域自適應(yīng)網(wǎng)絡(luò)結(jié)構(gòu)冗余，會影響域自適應(yīng)特征的判別性. 圖7 展示了不同N下，本方法在NWPU VRH-10 和SSDD 數(shù)據(jù)集上的檢測曲線（PR 曲線），可直觀看出算法的穩(wěn)定性. 最后，當N取3 時，本文方法取得了最高的平均檢測準確率84.9%，并且在2 種數(shù)據(jù)集上均取得最高檢測準確率. 這是因為所提算法通過引入風格轉(zhuǎn)換網(wǎng)絡(luò)和域自適應(yīng)網(wǎng)絡(luò)，在圖像級和特征級2個層面實現(xiàn)多源數(shù)據(jù)的域自適應(yīng)，從而提取到多源數(shù)據(jù)的一致性特征進行艦船目標檢測.

圖7 不同N設(shè)置下NWPU VRH-10和SSDD數(shù)據(jù)集的檢測曲線

為了進一步驗證本文方法對任意多源數(shù)據(jù)集的普適性，本節(jié)在上文提到的4 種數(shù)據(jù)源上進行實驗，結(jié)果如表3 所示. 和理論分析一致，所提方法取得了較好性能. 相比于2 種數(shù)據(jù)源的平均mAP，4 種數(shù)據(jù)源的檢測性能可以提高5.9%. 這是因為數(shù)據(jù)源越豐富，所提算法可以更好地提取不同域的一致性表征，從而更有利于對多源特征進行信息解耦與耦合. 圖8 給出了不同N設(shè)置下本文方法對多源數(shù)據(jù)的檢測曲線. 同樣地，本算法對任意多源數(shù)據(jù)也足夠穩(wěn)定，當適應(yīng)網(wǎng)絡(luò)個數(shù)為3時取得最高檢測準確率. 綜上所述，本文方法在一定程度上緩解了多源數(shù)據(jù)存在的域偏移問題，適用于多源遙感圖像艦船目標檢測.

圖8 不同N設(shè)置下多源數(shù)據(jù)的檢測曲線

表3 多源數(shù)據(jù)集上各種算法的mAP %

5.5 可視化實驗與分析

圖9展示了本方法在4 種數(shù)據(jù)集上的部分檢測結(jié)果，檢測框全部正確. 所提方法不僅能檢測多尺度艦船目標，尤其是小目標，在復雜背景（SAR 圖像中島嶼和陸地，光學圖像中云霧）的干擾下也有不錯的檢測效果. 這表明域自適應(yīng)網(wǎng)絡(luò)通過解耦操作避免了復雜背景的干擾同時提取了關(guān)鍵特征，提升了艦船目標檢測準確率. 本文方法能夠從圖像級和特征級拉近不同域，是更為通用的艦船目標檢測器. 此外，圖10 對比了不同算法在多源數(shù)據(jù)集上的部分檢測結(jié)果，包括雙階段算法Libra R-CNN、單階段算法RetinaNet、無錨框艦船檢測算法CenterNet++、多源檢測算法Universal DA 以及本文算法. 其中深藍色框為ground truths，紫羅蘭色框為true positives，紅色框為false positives，綠色框為false negatives. 從上到下依次為NWPU VHR-10，SSDD，HRSC，SAR-Ship-Dataset 數(shù)據(jù)集中的圖像. 可以看出，本算法明顯優(yōu)于其他算法，減少了漏檢和誤檢，檢測準確率更高.

圖9 本文方法在多源數(shù)據(jù)集上的部分檢測結(jié)果

圖10 不同方法在多源數(shù)據(jù)集上的部分檢測結(jié)果

圖11是本文方法在4 種數(shù)據(jù)集上不理想的檢測結(jié)果. 對于處于更加復雜背景的艦船目標，本文方法會漏檢和誤檢其中的個別艦船. 這是因為SAR圖像自身缺乏細節(jié)紋理信息，背景噪聲很容易對其檢測造成干擾，而光學遙感圖像中存在和艦船外表相似的目標. 因此，為了更進一步提升算法的檢測能力，可以使用圖像超分辨率重建網(wǎng)絡(luò)提升艦船目標的分辨率以獲得更優(yōu)秀的判別性特征. 具體地，可以采用基于無監(jiān)督PULSE算法［38］，通過探索生成模型的潛在空間實現(xiàn)遙感圖像的超分重建.

圖11 本文方法不理想的檢測結(jié)果

6 結(jié)束語

為了實現(xiàn)一個通用方法檢測多源數(shù)據(jù)中的艦船，本文提出了一種基于不變特征的多源遙感圖像艦船目標檢測算法，實現(xiàn)圖像級和特征級2 個層面域自適應(yīng).通過引入風格轉(zhuǎn)換網(wǎng)絡(luò)在圖像級拉近光學遙感圖像域和SAR 圖像域，這有利于后續(xù)網(wǎng)絡(luò)在圖像層面上學習多源數(shù)據(jù)的不變特征，同時實現(xiàn)數(shù)據(jù)擴增. 另外，通過采用域自適應(yīng)網(wǎng)絡(luò)實現(xiàn)對多源特征的解耦以提取到多域的一致性特征，經(jīng)過注意力機制的自適應(yīng)權(quán)重分配實現(xiàn)特征重組，在特征層面上學習多源數(shù)據(jù)的不變特征. 本文在NWPU VHR-10，SSDD，HRSC，SAR-Ship-Dataset 數(shù)據(jù)集上進行了大量實驗并分析了其算法性能.實驗表明，所提方法實現(xiàn)了最佳檢測準確率并且能夠滿足實時性的需求.

本文方法雖然相比現(xiàn)有方法取得了最佳檢測精度，但是在面臨更復雜背景時，由于背景噪聲對目標特征的干擾，會出現(xiàn)漏檢和誤檢情況. 在未來，將使用圖像超分辨率重建網(wǎng)絡(luò)來緩解此問題，以進一步提升檢測準確率.