王可 喬琪
摘? 要:近年來,基于數據驅動的SAR自動目標識別研究技術取得了很大進展。雖然這類方法識別性能較好,但是在實際應用場景中很難采集到足夠的真實SAR數據用于訓練。文章通過引入仿真SAR數據來擴充訓練數據集,彌補真實SAR數據的不足。為了解決仿真和真實SAR數據之間差異導致的跨域和跨任務遷移問題,提出了一種基于跨域元學習機制的知識遷移算法。利用特征變換和數據增強方法來解決跨領域遷移,利用元學習機制來解決跨任務遷移。實驗證明算法可以在有限的訓練數據下取得良好的識別性能。
關鍵詞:合成孔徑雷達;知識遷移;元學習
中圖分類號:TP18;TN957.52 文獻標識碼:A 文章編號:2096-4706(2023)04-0057-04
Research on SAR Automatic Target Recognition Based on Cross-Domain Meta-Learning
WANG Ke, QIAO Qi
(Jiangsu Vocational College of Electronics and Information, Huai'an? 223003, China)
Abstract: In recent years, SAR automatic target recognition research technology based on data driven has made great progress. Although the recognition performance of such methods is better, it is difficult to collect enough real SAR data for training. This paper expands the training data set by introducing simulation SAR data to make up for the shortage of real SAR data. To solve cross-domain and cross-task transfer problems caused by the differences between simulation and real SAR data, a knowledge transfer algorithm based on cross-domain Meta-Learning mechanism is proposed. Feature transformation and data enhancement are used to solve cross-domain transfer, and Meta-Learning mechanism is used to solve cross-task transfer. Experiments demonstrate that the algorithm can achieve good recognition performance with limited training data.
Keywords: synthetic aperture radar; knowledge transfer; Meta-Learning
0? 引? 言
合成孔徑雷達(Synthetic Aperture Radar, SAR)是利用合成孔徑技術來對地物目標進行高分辨率成像的傳感器系統(tǒng)。SAR工作在微波波段,在軍用和民用領域都得到了廣泛應用。與光學圖像相比,SAR圖像存在一些缺陷,如分辨率相對較低、圖像為缺乏對比度的灰度圖等。這些缺陷使得SAR圖像難以通過人工方式進行解譯和分類,導致了SAR圖像目標自動識別(Synthetic Aperture Radar Automatic Target Recognition, SAR-ATR)技術的產生[1]。目前,SAR-ATR是SAR圖像應用中最重要的任務之一。
隨著人工智能和大數據技術的迅猛發(fā)展,如深度學習這樣的數據驅動方法被廣泛應用于SAR-ATR領域中,并取得了優(yōu)異的分類效果。復旦大學的Chen等人[2]首次將卷積神經網絡(Convolutional Neural Network, CNN)引入到SAR-ATR領域,并設計了一種去除全連接層的全卷積網絡(A-ConvNet)。文獻[3]利用多通道CNN來提取多視角圖像的特征圖,這些特征圖通過傅里葉特征融合模塊處理后再進行分類。Min等人[4]采用知識蒸餾技術將網絡結構復雜的大型CNN壓縮為微型 CNN(Micro CNN, MCNN)。MCNN 結構簡單,網絡參數很少,所需要的內存和CPU資源都很少,可以部署在嵌入式設備上。文獻[5]基于目標散射機理來挖掘并優(yōu)選SAR圖像極化特征,這些特征包含旋轉不變特征和旋轉域零角特征。這些優(yōu)選出來的特征有助于訓練CNN網絡,提高了CNN的泛化性能。數據增強[6]也是一種提高CNN分類精度和穩(wěn)健性的有效手段,可以在SAR訓練集中添加了平移、加噪處理后的人工合成圖像。此外,類別依賴結構保持投影(Class-Dependent Structure Preserving Projection, CDSPP)[7]和核穩(wěn)健局部判別投影(Kernel Robust Locality Discriminant Projection, KRLDP)[8]等多種非線性投影方法被用于在變換域提取 SAR 圖像特征。
近年來,遷移學習、元學習等知識遷移技術在光學圖像領域取得成功。SAR-ATR領域的研究者們開始引入這類技術來解決訓練數據有限條件下的目標識別問題。遷移學習引入外部數據集(光學圖像或仿真SAR圖像)并設計相應的知識遷移框架。與采集真實SAR圖像相比,光學圖像和仿真SAR圖像的采集工作要方便得多,這有助于建立更加完備的,含有大量樣本的訓練數據集。Malmgren-Hansen等人[9]構建各種車輛目標的CAD模型,將CAD模型送入電磁計算軟件得到仿真SAR圖像。CNN首先采用這些仿真圖像進行預訓練,然后利用真實圖像微調所有的網絡參數。文獻[10]首先生成測試目標的精確仿真圖像,然后采用平移、加噪、MIX-UP[11]等多種方法進行數據增強,僅利用很少的訓練樣本就可以獲得很高的識別率。文獻[12]在圖像特征提取器中額外插入了一個特征變換層,在訓練階段通過仿射變換增強圖像特征來模擬不同領域中的特征分布,有利于解決跨域知識遷移問題。
知識遷移可以從源域中挖掘先驗知識,然后將這些知識遷移到目標域的分類任務中,從而解決訓練樣本不足導致的SAR-ATR方法識別率下降,訓練穩(wěn)定性惡化等問題。但是源域和目標域數據之間的差異(圖像的背景、成像角度、干擾程度不同)導致了跨領域遷移問題。源域和目標域圖像的目標類別不完全一致產生了跨任務遷移問題。本文提出了一種基于跨域元學習的一種識別算法,利用特征變換和數據增強方法來解決跨領域遷移問題,利用元學習機制來解決跨任務遷移問題。
1? 算法介紹
1.1? 算法框架
本文提出的跨域元學習識別算法框架由特征提取器和分類器組成。特征提取器負責提取對應領域圖像的特征,分類器用于確定圖像特征的所屬類別,如圖1所示。算法基于元學習的訓練機制來解決任務遷移問題,所以模型的輸入數據被分為支撐集和查詢集。模型的每一次訓練迭代分為元訓練和元測試兩個階段。在元訓練階段,模型利用支撐集的圖像和標簽對特征提取器和分類器的參數進行更新。在元測試時,模型首先用Mix-Up方法[11]對查詢集的數據進行變換增強,然后利用多個特征變換層(Feature-Wise Transform, FWT)[12]來強化特征提取器,并利用強化后的特征提取器來提取查詢集的特征。特征變換層通常部署在卷積層之下,負責對卷積層輸出的特征圖進行尺度和平移變換,以增強特征穩(wěn)健性。模型的元訓練和元測試都在源域中進行,當訓練完成后,模型利用少量目標域的數據來微調特征提取器和分類器的參數,就可以完成目標域中的識別任務。
算法框架中的特征提取器和分類器都是基于CNN實現的,其中特征提取器由多層卷積模塊組成,分類器則是單層全連接層。如圖2所示,特征提取器由4個卷積模塊串接而成,依次對圖像的特征進行提取和精煉。Conv代表卷積層,16×5×5說明該層含有16個卷積核,卷積核的尺寸為4×4,BN代表批量歸一化操作層,Relu是非線性激活層。分類器由單個全連接層(FC)實現,其中N為輸出向量的維度。
1.2? 領域泛化
源域和目標域數據分布之間的差異導致了跨領域遷移問題,該問題可以通過領域適配或者領域泛化方法來解決。領域適配在訓練階段就需要目標域的數據,所以采用領域泛化來解決跨領域遷移的問題??紤]到數據采集的困難,源域當中僅有一個數據集,本文利用Mix-Up方法[11]對該數據集進行變換混合,生成多種多樣的偽域數據,利用這種偽域數據在元測試階段更新模型的參數,提升模型對未知領域數據的泛化能力。此外,還使用特征變換層對卷積層提取的特征進行變換增強,期望提取出來的特征可以適用于未知領域的識別。
Mix-Up是一種生成數據集的近鄰分布的方法,而且對類別標簽進行近鄰關系建模。Mix-Up在查詢集中隨機選擇不同類別的數據和標簽,進行凸組合,將凸組合作為數據增強后的查詢集,用于訓練特征提取器。其公式為:
(1)
(2)
其中xi和xj是從查詢集中隨機抽取的樣本,yi和yj為對應標簽, 和? 是混合后的數據。 可以模擬來自未知領域的數據,提升特征提取器在未知領域上的泛化能力。
當訓練樣本較少,而CNN的參數較多的時候,CNN容易過擬合,網絡參數得不到充分的訓練。鑒于特征提取器是基于CNN實現的,通過向特征提取器中插入特征變換層,對CNN各卷積層的輸出進行仿射變換,使得特征提取器提取的特征分布更加多樣化,增強其領域泛化能力。給定某卷積層的輸出z∈RC×H×W,其仿射變換的尺度系數γ和偏置系數β從高斯分布中采樣得到:
(3)
其中θγ∈RC×1×1和θβ∈RC×1×1為γ和β對應標準差的參數,可以通過訓練更新。仿射變換的輸出? 為:
(4)
可見仿射變換是逐個通道進行,每個特征通道上用的系數都是一樣的。
1.3? 元學習
本文利用元學習[12]解決跨任務的知識遷移問題,此時源域和目標域的圖像類別不同。元學習通過一系列相似任務歸納這些任務的共同特性,借助這些信息進行新任務的快速學習。通過在源域中構建各種識別任務來訓練算法參數,使得算法能夠快速適應目標域數據上的新任務。給定特征提取器 ,分類器 ,特征變換層 。每一次訓練迭代t在源域數據中隨機抽樣出支撐集τs={xs,ys}和查詢集τq={xq,yq}。首先在支撐集τs上利用梯度下降法來更新 和 ,公式為:
(5)
其中α為梯度下降的步長,Lcls為交叉熵。然后對查詢集
τq進行Mix-Up操作,得到混合后的新查詢集 ,
接下來將變換層融入特征提取器并計算查詢集上的分類誤差Lq:
(6)
Lq體現了Mix-Up和特征變換層的應用效果,用來更新算法的所有參數,即:
(7)
在源域中的元學習過程(含有元訓練和元測試)結束后,將特征變換層移除,在目標域中只要用幾個樣本微調參數? 就可以適應未知新任務,剛好滿足了小樣本SAR-ATR任務的需求。
2? 實驗驗證
2.1? 實驗數據
本文提出的識別算法在訓練階段利用仿真SAR數據進行元學習。在測試階段,算法首先利用少量真實SAR數據微調算法參數,然后在剩余的真實SAR數據中進行測試。仿真SAR數據集由電磁仿真工具生成,共包含七類車輛目標,即汽車、卡車、摩托車、坦克、推土機、皮卡和公共汽車。每類仿真目標共含有72個方位角,6個俯角的不同圖像。真實SAR數據來自移動和靜止目標獲取和識別(MSTAR)數據集。該數據集被廣泛用于SAR目標識別的基準性能評估。MSTAR數據集中包括不同方位角、不同俯角和不同地面目標的圖像。地面目標分為10類,類型分別為T72、BMP2、BTR70、BTR60、2S1、BRDM2、D7、T62、ZIL131和ZSU234。俯角為17°的真實圖像用來微調參數,15°和30°俯角的目標用于測試。
2.2? 算法的識別性能評估
本實驗測試了算法在有限真實數據下獲得的識別率。對比方法包括CNN和微調了參數的CNN(CNN_TF)。圖3顯示了這些方法的識別率曲線。當利用10%的真實SAR數據(俯角為17°的MSTAR圖像)進行微調時,本文算法、CNN和CNN_TF的識別精度為85.5%。76.9%,81.3%。當使用50%的真實SAR數據進行微調時,這三種方法的準確率分別提高到95.4%、93.2%和93.9%。如果使用全部真實SAR數據,三種方法的識別率分別達到96.3%、95.2%、和95.2%。CNN的識別率最低,因為它從頭開始訓練,沒有從仿真SAR數據集中遷移知識。CNN_TF識別率稍高,因為它利用仿真SAR數據來初始化網絡參數,并用真實數據來微調網絡參數。本文算法的識別率最高,因為它考慮到了仿真SAR數據和真實SAR數據之間的差異,利用跨域元學習來解決了這一問題。本文提出算法僅用10%的真實數據就可以獲取85.5%識別率,證明了當缺乏真實訓練數據時,本文算法依然可以取得良好的識別性能。
2.3? 和主流SAR識別算法的比較
本文算法還與近年來提出的多種類別的 SAR-ATR方法進行了比較。測試數據采用了俯角分別為15°和30°的真實SAR圖像。如圖4所示,本文提出的算法在兩種測試俯角下分別取得了96.3和96.0的識別率。當測試俯角變大時,SAR目標的圖像的形狀輪廓會出現較大的變化,從而造成目標外形的改變并影響識別率。本文算法在30°測試俯角下依然表現良好,表現出一定的俯角穩(wěn)健性。從圖4中還可以看出,采用CNN來提取圖像特征的算法(本文算法、A-ConvNet、MCNN)的識別率要明顯高于采用投影變換來提取圖像特征的算法(CDSPP和KRLDP)。CNN能自動提取圖像的高層語義特征,優(yōu)于傳統(tǒng)的機器學習方法。
3? 結? 論
基于數據驅動的SAR-ATR算法往往缺乏足夠的真實SAR數據用于訓練。本文引入仿真SAR數據來彌補真實數據的不足。對于仿真和真實SAR數據之間差異導致的跨域和跨任務遷移問題,本文算法利用特征變換和數據增強方法解決跨領域遷移,利用元學習機制解決跨任務遷移。實驗證明,本文算法在訓練數據有限條件下的識別率要高于CNN和遷移學習方法。
參考文獻:
[1] 保錚,刑孟道,王彤.雷達成像技術 [M].北京:電子工業(yè)出版社,2005.
[2] CHEN S Z,WANG H P,XU F,et al. Target classification using the deep convolutional networks for SAR images [J].IEEE Transactions on Geoscience and Remote Sensing,2016,54(8):4806-4817.
[3] ZHAO P,LIU K,ZOU H,et al. Multi-stream convolutional neural network for SAR automatic target recognition [J].Remote Sensing,2018,10(9):1473.
[4] MIN R,LAN H,CAO Z J,et al. A gradually distilled CNN for SAR target recognition [J].IEEE Access,2019,7:42190-42200.
[5] DING B Y,WEN G J. A region matching approach based on 3-D scattering center model with application to SAR target recognition [J].IEEE Sensors Journal,2018,18(11):4623-4632.
[6] DING J,CHEN B,LIU H W,et al. Convolutional neural network with data augmentation for SAR target recognition [J].IEEE Geoscience and Remote Sensing Letters,2016,13(3):364-368.
[7] LIU M,CHEN S C,WU J,et al. Configuration recognition via class-dependent structure preserving projections with application to targets in SAR images [J],IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2018,1(11):2134–2146.
[8] YU M T,ZHANG S Q,DONG G,et al. Target recognition in SAR image based on robust locality discriminant projection [J],IET Radar,Sonar & Navigation,2018,12(11):1285–1293.
[9] MALMGREN-HANSEN D,KUSK A,DALL J,et al. Improving SAR automatic target recognition models with transfer learning from simulated data [J].IEEE Geoscience and Remote Sensing Letters,2017,14(9):1484-1488.
[10] INKAWHICH N,INKAWHICH M J,DAVIS E K,et al. Bridging a gap in SAR-ATR: Training on fully synthetic and testing on measured data [J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2021,14:2942-2955.
[11] ZHANG H,CISSE M,DAUPHIN Y N,et al. mixup: Beyond empirical risk minimization [J/OL].arXiv:1710.09412 [cs.LG].[2022-09-13]. https://arxiv.org/abs/1710.09412.
[12] TSENG H Y,LEE H Y,HUANG J B,et al. Cross-domain few-shot classification via learned feature-wise transformation [J/OL].arXiv:2001.08735 [cs.CV].[2022-09-13].https://arxiv.org/abs/2001.08735v1.
作者簡介:王可(1981—),男,漢族,江蘇淮安人,講師,博士,研究方向:人工智能和大數據技術;喬琪(1982—),男,漢族,江蘇淮安人,副教授,碩士,研究方向:通信技術和大數據技術。
收稿日期:2022-12-16
基金項目:江蘇省電子信息職業(yè)教育研究常規(guī)課題(JSDX2021-51);江蘇電子信息職業(yè)學院校級科研基金項目(JSEIYY2020003)