嚴繼偉， 李廣帥， 蘇 娟

(1.火箭軍工程大學核工程學院，西安 710000； 2.中國人民解放軍96882部隊，江西 贛州 341000)

0 引言

隨著SAR成像技術的發(fā)展和數據源的不斷增加，傳統(tǒng)的目標檢測算法難以適應復雜背景、處理海量數據等現實需求。近年來，計算機硬件和深度學習理論不斷發(fā)展，基于深度學習的目標檢測算法逐漸被提出并得到成功應用。深度學習目標檢測算法大多應用于可見光數據集，遷移應用于SAR圖像領域往往面臨著數據集不足的問題。

針對該問題，各類型的數據增廣方式不斷被提出：Mixup[1]是一種在計算機視覺中對圖像進行混類增強的算法，其將不同類別的圖像進行混合來擴充訓練集；Augmix[2]對圖像進行變換、旋轉、多色調等并行操作后按比率融合得到新的訓練圖像；Fmix[3]將圖像按照高頻和低頻區(qū)域進行二值化區(qū)分，然后分像素加權融合形成新的圖像；YOLOv4[4]在訓練過程中加入Mosaic[4]數據增強模塊，區(qū)別于Cutmix[5]方法，Mosaic同時對4幅圖像進行處理，具有豐富檢測物體背景的優(yōu)勢。

生成對抗網絡(Generative Adversarial Networks,GAN)[6]作為一種無監(jiān)督學習，利用博弈理論和對抗思想可以在短時間內生成高質量圖像，成為樣本生成領域的研究熱點。針對GAN訓練中出現的問題，學者們又提出許多GAN的改進版本，典型的變體有LSGAN[7]，BigGAN[8]和SinGAN[9]等。其中，文獻[7]針對原始生成對抗式網絡生成的圖像質量不高及訓練過程不穩(wěn)定的問題，提出將目標函數由交叉熵損失改進為最小二乘損失；BigGAN[8]增加參數量使得網絡性能得到巨大提升，同時使用截斷技巧保證訓練的穩(wěn)定性；SinGAN[9]提出了金字塔型網絡，不需要制作大量數據集，可實現單幅圖像訓練。另外，以GAN結構為基礎也衍生出了許多遷移網絡結構，常見的有pix2pix[10]，CycleGAN[11]，DiscoGAN[12]，DualGAN[13]和StarGAN[14]等，在數據增廣方面都有優(yōu)異的表現。

一般而言，SAR圖像獲取成本高、數據集制作困難，因此，在SAR圖像目標檢測領域生成對抗網絡常常被用來對SAR圖像目標數據集進行增廣。文獻[15]使用像素到像素的生成對抗網絡對SAR艦船數據集增廣，并使用SSD算法進行驗證；文獻[16]使用對抗網絡生成SAR圖像艦船目標的難例樣本增強檢測器適應性，同時利用線上難例挖掘技術避免了少量的難例樣本在采樣時被忽略，提高了模型的檢測精度，使得其在SSDD上平均準確率達到70.2%。目前相對成熟的GAN生成圖像方法在SAR艦船檢測領域應用較多，但是鮮有學者將其用于SAR飛機圖像的生成。因此，本文考慮將多尺度生成式對抗網絡SinGAN應用于SAR圖像飛機目標數據增廣，基于單幅圖像進行訓練生成避免了制作大量數據對的繁瑣過程，可在短時間內得到數量多、質量較好的生成樣本，并將生成樣本標注好后加入訓練集中，采用Faster R-CNN[17]算法進行檢測實驗。通過多組對比實驗驗證了SinGAN數據增廣的可行性和改進算法的檢測性能。

1 SAR飛機數據集增廣算法

1.1 SinGAN結構

SHAHAM等[9]在2019年提出SinGAN模型，通過構建金字塔型GAN，實現了基于單幅圖像訓練生成高質量圖像的目標。本文利用SinGAN對SAR圖像飛機數據集進行增廣，增廣過程如圖1所示。

圖1 SinGAN數據增廣過程Fig.1 Data augmentation process of SinGAN

(1)

(2)

(3)

圖2 生成器結構Fig.2 Structure of generator

生成器和判別器中組合操作結構相同，5個卷積層均采用3×3卷積核，本文采用多尺度分組卷積進行改進，以更好地捕捉圖像分布信息。同時使用改進的二進制交叉熵損失作為對抗損失，增強訓練的穩(wěn)定性。

1.2 多尺度分組卷積

SinGAN中的每個生成器Gn，使用卷積網絡ψn來學習圖像內部信息的分布情況。ψn結構使用3×3單一卷積核尺寸，只能獲得固定感受野下的特征分布，因此借鑒文獻[18]中的思想，融合多尺度分組卷積設計了改進的SinGAN，其結構如圖3所示。

圖3 改進SinGAN的結構Fig.3 Structure of improved SinGAN

改進的SinGAN在ψ2中融入多尺度分組卷積，使用3×3,5×5,7×7這3種卷積核，從不同尺度下挖掘圖像特征分布，增加生成圖像的細節(jié)信息。同時，對卷積核尺寸較大的5×5和7×7卷積進行分組操作，將輸入的特征圖分組，并在組內獨立進行卷積操作，以減少網絡參數量，高效地提取SAR圖像中飛機目標豐富、獨立的特征，最后將不同尺度的特征進行融合。多尺度分組卷積結構示意圖見圖4。

圖4 多尺度分組卷積Fig.4 Multi-scale group convolution

假設輸入的特征圖通道數為M，則有M/4個通道的特征圖進行普通的3×3卷積；有M/4個通道的特征圖進行5×5卷積，分組數為4；有M/2個通道的特征圖進行7×7卷積，分組數為8。一般而言，卷積核尺寸越大，其參數量越多，所以分組數目設置的也越大，以更好地降低計算成本。在分組多尺度卷積后，輸入至批歸一化BN層和Leaky ReLU激活層，提升網絡收斂速度和非線性特征映射能力。

1.3 損失函數

對于第n個固定尺度的圖像生成過程，其訓練損失包括對抗損失La和重建損失Lr，從而建立多任務損失函數，其表達式為

(4)

(5)

式中:LLoss為總損失函數；La為生成器與判別器的對抗損失；Lr為圖像生成的重建損失，當n=N時，重建損失保證最粗尺度下由噪聲圖直接生成相似的圖像；α為重建損失權重；z*為特定噪聲映射。對抗損失使用改進的二進制交叉熵損失(Binary Cross Entropy Loss,BCE Loss)，其算式為

(6)

li=-ωi·[yi·lnpi+(1-yi)·ln(1-pi)]

(7)

(8)

式中：pi為生成數據的概率分布；NB為批尺寸；li為二進制交叉熵損失；ωi為損失權重；La為對抗損失。將sigmoid函數和BCE Loss融合在同一層中，不要求輸入在[0，1]之間，利用對數-求和-指數的組合方式有效防止數值計算溢出，增強訓練的穩(wěn)定性。

1.4 圖像增廣過程

SinGAN中設計多層GAN結構以學習不同尺度的圖像塊分布，從粗糙到精細逐步生成更高分辨率的圖像，粗尺度下更好地學習圖像整體布局和結構，細尺度下增加紋理等細節(jié)特征的學習。圖5為金字塔數據集的示例。

圖5 金字塔數據集示例Fig.5 Examples of pyramid dataset

1.5 數據集制作

通過人工判讀、標注的方式制作了一個共含647幅(共2294架飛機)SAR圖像的飛機數據集SAD(SAR Aircraft Dataset)[19]，圖像數據來源為高分3號衛(wèi)星、Terra SAR-X衛(wèi)星、機載SAR等，圖像分辨率從0.5～3 m不等，圖像為3通道、尺寸均裁剪為900像素×600像素，圖像中的飛機類型、朝向、尺寸多樣化。采用留出法將SAD數據集隨機劃分訓練集和測試集，劃分比例取6∶4?，F有公開的常用數據集VOC2007，其有15類目標(共含20類目標)圖像數量小于647幅，因此只有一類目標的SAD數據集可用于驗證本文檢測算法在SAR圖像飛機檢測中的性能。考慮數據提供方要求，SAD數據集目前未公開發(fā)表。

利用Labelimg開源軟件按照PASCAL VOC格式[20]對SinGAN網絡生成的SAR飛機圖像進行標注，將目標信息保存為“xml”文件，圖像標注示例見圖6。將標注好的數據集加入訓練集之中，用于檢測SinGAN數據增廣在Faster R-CNN檢測算法中的作用。

圖6 圖像標注示例Fig.6 Examples of image annotation

2 實驗結果與分析

2.1 數據增廣實驗

本文使用多尺度生成式對抗網絡進行SAR飛機圖像的數據增廣實驗。實驗數據：使用SAD數據集。該數據集的圖像來源為高分3號、TerraSAR-X衛(wèi)星、機載SAR等，分辨率為0.5～3 m，使用Labelimg進行標注，共647幅圖像，包含各類型尺寸的飛機目標2294個。

實驗平臺：Ubuntu16.04系統(tǒng)，深度學習框架為Pytorch0.4.0版本和TensorFlow1.7.0版本，并使用CUDA8.0和CUDNN6.0進行加速訓練，編程語言為Python語言和C語言，CPU為Intel?CoreTM7-6850K CPU@3.60 GHz×12，GPU為NVIDIA TITAN XP GPU，內存64 GiB。

SinGAN數據增廣參數設置：最粗尺度圖像尺寸設置為25像素×25像素，金字塔尺度數量設置為11，上采樣尺度因子取4/3，生成器和判別器的初始學習率均取0.000 5，參數更新方法采用適應性矩估計算法，一階矩估計的指數衰減率取0.5，重建損失權重取100。

2.2 圖像質量分析

2.2.1 圖像質量定性分析

本文分別使用原始SinGAN和改進SinGAN對SAR飛機數據集進行增廣，生成圖像和真實圖像的對比結果如圖7所示。

圖7 生成圖像與真實圖像對比Fig.7 Comparison of generated and real images

由于SinGAN是一種非條件性生成模型，生成圖像中目標的位置、尺寸等具有一定的可變性。通過視覺分析對比4組圖像發(fā)現，原始的SinGAN僅使用3×3卷積核，對飛機目標整體輪廓和紋理信息的學習欠缺，在生成圖像中存在機翼、機尾等組件缺失的問題。而改進后的SinGAN利用7×7卷積核獲取更大的感受野，增強了對飛機整體輪廓的學習，使用不同尺寸的卷積核捕捉多種尺度下的圖像特征，豐富了飛機目標內部紋理分布信息。

2.2.2 圖像質量定量分析

客觀的圖像質量定量評價指標主要分為有參考評價方法和無參考評價方法。本文為更好地評估生成的SAR圖像的質量，采用等效視數(Equivalent Number of Looks，ENL)[21]、結構相似性(Structural Similarity，SSIM)[22]、特征相似度(Feature Similarity，FSIM)[23]和余弦相似性作為生成圖像的評價指標。

等效視數用于衡量SAR圖像中斑點噪聲的相對強度。等效視數越大，圖像斑點噪聲越多，對比度越強，其算式為

(9)

式中：μ為圖像的均值；σ為圖像的標準差。

SSIM從亮度、對比度和結構上反映2幅圖像的相似程度，SSIM值越大，圖像結構越相似。其算式為

(10)

式中：μ1是圖像I1的平均值；μ2是圖像I2的平均值；σ1和σ2分別為圖像I1，I2的標準差；l∈L，L為像素的取值范圍；k1=0.000 1，k2=0.000 9,均設為默認值。

特征相似度選擇了兩個特征進行計算，即相位一致性與梯度幅度。相位一致性提取圖像的信息特征，但無法影響對比度變化，所以引入梯度幅度來提取對比度信息。

余弦相似性使用向量夾角的余弦值度量2幅圖像的差異度，余弦距離能更好地描述2幅圖像在灰度分布上的差異，余弦相似性算式為

(11)

式中：a，b分別表示2幅圖像的直方圖向量；θ為向量間夾角。

表1為使用不同指標對兩種數據增廣方法在圖7(a)中4幅圖像上進行評價的結果。從評價指標對比來看，改進SinGAN得到的生成圖像的質量優(yōu)于原始SinGAN，改進SinGAN生成圖像的等效視數更小，說明圖像噪聲強度相對較弱，圖像更加清晰、對比度更好；同時，圖像特征相似度、結構相似性和直方圖余弦相似性均與真實圖像更加接近。通過視覺分析和定量評估可知，使用改進SinGAN網絡生成的SAR飛機圖像與真實圖像整體效果和各評價指標較為接近，可滿足圖像檢測需求。

2.3 目標檢測實驗與評估

本文將使用SinGAN網絡訓練生成的增廣圖像添加到SAR飛機數據集中，并使用Faster R-CNN對數據集進行目標檢測實驗來驗證數據增廣對SAR飛機目標檢測性能的影響。其中，Faster R-CNN訓練參數設置：批訓練數取1，初始學習率取0.001，權重衰減系數取0.000 5，訓練代數取100，參數更新方法采用隨機梯度下降法(Stochastic Gradient Descent，SGD)，動量因子設為0.9。本文使用平均檢測精度(Average Precision，AP)作為檢測算法的評價指標。

實驗采用改進SinGAN網絡生成400幅SAR圖像擴充樣本，記為SAD-2，同時采用平移、旋轉、加噪裁剪等有監(jiān)督數據增廣方式生成400幅擴充樣本，記為SAD-1，將生成樣本標注好，分別加入SAD數據集中，在Faster R-CNN檢測器中進行多組對比實驗驗證，檢測結果對比如表2所示，表2中“√”表示該部分參加了實驗。對比表2的結果可以看出，在Faster R-CNN檢測器中，結合SinGAN增廣方式檢測精度由73.5%提高至77.6%，提升了4.1%，結合有監(jiān)督數據增廣方式檢測精度由73.5%提高至74.2%，提升了0.7%。相比之下，SinGAN增廣方式通過多尺度GAN模型學習SAR圖像的內部信息分布，對檢測性能提升有積極作用，能帶來約3%的精度提高。

表2 檢測結果對比Table 2 Comparison of detection results

圖8為不同典型場景下SAR飛機圖像的檢測結果，圖像中包含單架或多架飛機目標，背景中包含跑道、建筑物和人造目標等信息，圖像內容較為豐富和復雜，跑道旁邊建筑物和部分人造目標表現為高亮區(qū)域，易引起誤檢。為突出顯示檢測結果，圖8中使用綠色框表示正確的檢測結果，使用黃色框表示誤檢結果。

圖8 SAR飛機圖像檢測結果Fig.8 Detection results of SAR aircraft images

從圖8中可看出，使用Faster R-CNN算法雖能較好地檢測出飛機目標，但檢測結果受相似目標的干擾較大，引起的誤檢較多。在圖8(b)的Faster R-CNN+SAD檢測結果中，第1幅圖像中的5架飛機目標全部檢測出，但左下方對建筑物區(qū)域有3處誤檢(黃色框)；第2幅圖像中成像效果較差的3架飛機目標也能很好地檢測出，但中間出現2處誤檢；第3幅圖像和第4幅圖像分別出現了2處誤檢。圖8(c)為加入數據增廣擴充樣本的Faster R-CNN檢測結果，增強SAR飛機樣本多樣性，在前3幅圖像中分別引起了1處誤檢，第4幅圖像中沒有誤檢。通過加入400幅仿真圖像樣本，使網絡更加充分地學習到目標特征，更好地與背景、相似目標區(qū)分開來，使得檢測更加準確。

3 結束語

本文提出一種基于改進SinGAN的SAR飛機數據集增廣方法，通過改進網絡訓練生成了400幅SAR飛機圖像樣本，并添加到SAD數據集中使用Faster R-CNN算法進行測試驗證。主要得到以下結論：

1) 使用多尺度分組卷積對SinGAN進行改進，將原始網絡中單一的卷積核替換為多卷積核，獲取了圖像中更大的感受野，加強網絡對SAR飛機的特征學習能力，提高了生成的SAR飛機圖像的質量；

2) 使用圖像評價指標對新生成的SAR飛機圖像進行定量分析，生成的SAR飛機圖像與真實圖像的效果接近，滿足目標檢測需求，且改進SinGAN生成圖像的質量高于原始SinGAN生成圖像；

3) 當把生成的SAR飛機數據加入到Faster R-CNN中后，檢測器的平均準確率由73.5%提高到了77.6%。

通過生成對抗網絡產生SAR飛機目標的前提是收集大量的SAR飛機圖像并制作訓練樣本，生成的SAR飛機圖像仍然需要進行標記才能夠添加到檢測器中，因此過程中需要消耗大量的人力、物力。從實驗結果中發(fā)現，生成的SAR飛機數據行為單一，對Faster R-CNN的檢測性能提升仍然存在限制。在將來的工作中，將進一步對SAD數據集進行補充，改進SinGAN結構，以滿足生成復雜環(huán)境下SAR飛機目標的需要，使之能夠更好地提高目標檢測性能。