李汪華,張貞凱

(江蘇科技大學(xué) 海洋學(xué)院,江蘇 鎮(zhèn)江 212100)

0 引 言

合成孔徑雷達(dá)(Synthetic Aperture Radar,SAR)[1]是一種主動式微波傳感器,因其具有全天時、全天候、高分辨成像等特點,已被廣泛應(yīng)用在現(xiàn)代軍事和國防安全等眾多領(lǐng)域中。自動目標(biāo)識別(Automatic Target Recognition,ATR)[2]技術(shù)致力于從傳感器信號中提取信息和實現(xiàn)目標(biāo)類別鑒定,也是實現(xiàn)SAR圖像解譯的重要組成部分。在早期的SAR ATR研究中,常用的是基于模板的方法和基于模型的方法[3]。但由于分類準(zhǔn)確率十分依賴于構(gòu)建的特征庫或模型庫,所以此類方法魯棒性不強,泛化能力差。

近年來,隨著人工智能技術(shù)的快速發(fā)展,將深度學(xué)習(xí)應(yīng)用到SAR ATR領(lǐng)域,已經(jīng)成為了SAR圖像目標(biāo)識別技術(shù)研究的熱點。由于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)具有獨特的特征提取方式,因而具有了強大的模式捕獲能力,在SAR圖像目標(biāo)識別任務(wù)中已經(jīng)取得了一定的成功。文獻(xiàn)[4]提出了將CNN和卷積自編碼器相結(jié)合的識別方法,大幅降低了算法的時間復(fù)雜度且沒有降低識別精度。文獻(xiàn)[5]提出了將CNN和支持向量機(Support Vector Machine, SVM)結(jié)合的 SAR圖像目標(biāo)識別方法,具有較準(zhǔn)確的識別率和較好的魯棒性。

然而,現(xiàn)有的基于CNN的目標(biāo)識別方法在網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化設(shè)計上還存在一些不足,例如:文獻(xiàn)[6]提出了一種基于多特征聚合的CNN網(wǎng)絡(luò)架構(gòu),雖然能夠在數(shù)據(jù)量較少時獲得較好的識別精度,但是特征提取步驟繁瑣,耗時長;文獻(xiàn)[7]為了減少自由參量,使用稀疏連接層代替全連接層設(shè)計了一款全CNN算法,既減少了訓(xùn)練數(shù)據(jù)的規(guī)模,又提高了識別精度,但該網(wǎng)絡(luò)結(jié)構(gòu)的噪聲魯棒性較差,泛化能力較弱;文獻(xiàn)[8]采用并聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)以不同的尺度同步提取圖像特征,能從多方面刻畫目標(biāo)并提高分類精度,但由于數(shù)據(jù)量較少,易出現(xiàn)過擬合現(xiàn)象。

為了彌補網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化過程中存在的一些不足,并進一步提高SAR圖像目標(biāo)識別的識別準(zhǔn)確率和收斂速度,本文提出了一種將改進的卷積神經(jīng)網(wǎng)絡(luò)進行集成的SAR圖像目標(biāo)識別方法。為解決SAR圖像樣本不足的問題,對SAR圖像進行了數(shù)據(jù)增強的操作。為解決模型泛化能力不足的問題,在改進的CNN中引入了Dropout[9]和Padding操作。為減少各CNN網(wǎng)絡(luò)帶來的偏差,提高分類器的泛化能力,通過利用Bagging方法對各改進CNN的初步的分類結(jié)果進行集成決策。為提高網(wǎng)絡(luò)的訓(xùn)練速度與收斂精度,采用Ada_Nesterov動量法對網(wǎng)絡(luò)進行優(yōu)化。實驗結(jié)果驗證了本文所提算法的有效性。

1 SAR圖像特征提取

1.1 SAR圖像預(yù)處理

與光學(xué)圖像相比,SAR圖像存在明顯的相干斑噪聲,因此需要進行適當(dāng)處理以降低其對識別性能的影響。

本文在TensorFlow平臺上對數(shù)據(jù)集進行預(yù)處理。首先采用圖像旋轉(zhuǎn)、縮放等幾種途徑進行數(shù)據(jù)增強[10],獲得了更多的訓(xùn)練樣本;然后通過對增強的圖像進行裁剪得到了輸入大小為128×128的目標(biāo)切片圖像,除以255.0,使圖像灰度等級位于[0,1]之間。這些操作不僅減弱了相干噪聲的影響,而且提高了模型的泛化能力。此外,為了提高網(wǎng)絡(luò)訓(xùn)練效率,對輸入數(shù)據(jù)進行批處理,批大小設(shè)置為32。

1.2 集成學(xué)習(xí)

集成學(xué)習(xí)算法是目前比較流行的機器學(xué)習(xí)算法之一,一般是先通過某種集成學(xué)習(xí)算法產(chǎn)生若干個基分類器,再通過某種集成策略對其結(jié)合以完成分類識別,能夠?qū)崿F(xiàn)優(yōu)勢互補[11]。

本文采用的集成學(xué)習(xí)方法是Bagging算法[12],它的思想是從訓(xùn)練集中進行有放回重采樣來獲得每個基分類器所需要的子訓(xùn)練集,對所有基分類器預(yù)測的結(jié)果基于某種結(jié)合策略產(chǎn)生最終的預(yù)測結(jié)果。本文采用的集成策略是相對多數(shù)投票法[13],它是分類問題中最常用的一種結(jié)合策略。個體分類器的輸出類型包含類標(biāo)簽和類概率兩種,以類標(biāo)簽為基礎(chǔ)的投票被稱作“硬投票”,以類概率為基礎(chǔ)的投票被稱作“軟投票”。一般情況下,以類概率為基礎(chǔ)的集成結(jié)合效果更優(yōu)。Bagging算法原理圖如圖1所示。

圖1 Bagging算法原理圖

1.3 CNN基本原理

CNN[14]是一種特殊的多層前饋神經(jīng)網(wǎng)絡(luò),具有強大的特征學(xué)習(xí)與特征表達(dá)能力,主要包括輸入層、卷積層、激活層、池化層、全連接層和輸出層。

卷積層主要用來提取圖像特征。激活層是把卷積層的結(jié)果做非線性映射,使得神經(jīng)網(wǎng)絡(luò)可以逼近任何非線性函數(shù),賦予了網(wǎng)絡(luò)非線性的性質(zhì),從而可避免線性模型表達(dá)不夠的問題。常用的激活函數(shù)有Sigmoid函數(shù)、Tanh函數(shù)、ReLu函數(shù)等,其中ReLu函數(shù)可以避免梯度消失的問題且能有效緩解過擬合問題,因此被廣泛應(yīng)用。池化層主要是對卷積層輸出的特征圖進行特征選擇和信息過濾。通過卷積、非線性和池化等操作,CNN可以從低級特征中分層挖掘出高級特征,從而獲得更好的分類識別學(xué)習(xí)能力。最終通過若干個全連接層完成分類識別任務(wù)。

CNN的前向傳播是把上一層的輸出用作當(dāng)前層的輸入,它的主要作用是對輸入圖像進行逐層特征提取,如式(1)和式(2)所示:

(1)

(2)

本文激活函數(shù)選用ReLu函數(shù),如式(3)所示:

(3)

池化操作選用最大池化,如式(4)所示:

(4)

式中:p1和p2是池化窗口的大小。

Dropout的思想是在網(wǎng)絡(luò)訓(xùn)練時按照一定概率隨機失活部分神經(jīng)元,它可以有效減少相鄰神經(jīng)元之間的依賴性。采用Dropout后的網(wǎng)絡(luò)計算公式如(5)～(8)所示:

(5)

(6)

(7)

(8)

式中:Bernoulli函數(shù)作用是生成r向量,即隨機生成一個[0,1]向量;p為Dropout概率。

2 基于集成CNN的SAR圖像目標(biāo)識別算法

本文提出的基于集成CNN的SAR圖像目標(biāo)識別算法的流程框圖如圖2所示。首先對輸入的原始SAR圖像數(shù)據(jù)進行數(shù)據(jù)增強以達(dá)到擴充訓(xùn)練數(shù)據(jù)集的目的,然后通過有放回的重采樣操作從訓(xùn)練集中獲得能夠輸入到各基分類器中的子數(shù)據(jù)集,接著根據(jù)Bagging方法將4個結(jié)構(gòu)不同的卷積神經(jīng)網(wǎng)絡(luò)集成,最后基于相對多數(shù)投票法進行投票表決,得到目標(biāo)識別結(jié)果。

圖2 基于投票法的集成網(wǎng)絡(luò)模型流程框圖

2.1 基于改進CNN的基分類器構(gòu)建

本文設(shè)計了4個10層的CNN架構(gòu)并分別對其改進,引入Dropout和Padding操作,同時采用Ada_Nesterov動量法作為最小化損失函數(shù)的優(yōu)化算法,以此組成一個Multi-CNN。將構(gòu)建的4個改進CNN分別命名為CNN1、CNN2、CNN3、CNN4,其中CNN1模型設(shè)計如表1所示。

表1 基分類器CNN1網(wǎng)絡(luò)結(jié)構(gòu)

在CNN1的基礎(chǔ)上,通過改變卷積核的尺寸和數(shù)目,構(gòu)建了CNN2、CNN3和CNN4網(wǎng)絡(luò)模型。CNN2是將CNN1中第6層中卷積核尺寸改為5×5,其他參數(shù)不變。CNN3是將CNN1中第4,6,7層中卷積核數(shù)目分別改為96,96,48,其他參數(shù)不變。CNN4是將CNN1中第4,6,7層卷積核數(shù)目分別改為96,64,64,其他參數(shù)不變。

2.2 基于Ada_Nesterov動量法的基分類器訓(xùn)練

網(wǎng)絡(luò)訓(xùn)練的目標(biāo)是得到最小化損失函數(shù),因此在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中,需要使用優(yōu)化算法來最小化損失函數(shù)。本文采用的損失函數(shù)為交叉熵?fù)p失函數(shù),如式(9)所示:

(9)

式中:zL是Softmax層的輸入,由上一個全連接層計算得到;N為類別數(shù)。

Adadelta算法具有自適應(yīng)學(xué)習(xí)率的功能,它是對AgaGrad算法的一種改進,主要解決了AgaGrad算法在訓(xùn)練后期學(xué)習(xí)率很小和參數(shù)更新時參數(shù)不一致的問題[15]。Nesterov動量法[16]雖然能很好地改進梯度下降方向,但是其所有參數(shù)都具有一樣的學(xué)習(xí)率,并且需要人為設(shè)定。因此,本文在計算Nesterov動量法的梯度下降時引入Adadelta算法的自適應(yīng)學(xué)習(xí)率策略,使其同時具有自適應(yīng)學(xué)習(xí)率和梯度下降方向準(zhǔn)確的能力。本文從兩個方面改進參數(shù)更新方式,有效避免了陷入局部最優(yōu)解的問題,提高了網(wǎng)絡(luò)收斂精度。該算法的更新規(guī)則如下:

Require:初始化變量θ,初始化參數(shù)E[Δθ2]0=0

Fort=1:T,循環(huán):

訓(xùn)練樣本中采用得到的m個小批次樣本{x(1)…x(m)},對應(yīng)目標(biāo)為y(i)

計算學(xué)習(xí)率:η=RMS[Δθ]t-1

應(yīng)用更新:θ←θ+Δθ

End For

2.3 基于相對多數(shù)投票法的基分類器集成

為了得到最終的目標(biāo)分類結(jié)果,在各基分類器訓(xùn)練完成后,需要對所有分類器預(yù)測結(jié)果進行相對多數(shù)投票。

(10)

式中:T為基分類器個數(shù)。

3 實驗結(jié)果與分析

3.1 實驗設(shè)置

為了驗證本文所提出方法的有效性,采用了由美國DAPRA發(fā)布的MSTAR公開數(shù)據(jù)集[17]進行性能評估與驗證。該數(shù)據(jù)集包括BMP2、2S1、BTR70、BTR60、BRDM2、T72、T62、ZIL131、D7、ZSU23/4等10類地面軍事目標(biāo)。在本文中,選用標(biāo)準(zhǔn)操作條件(Standard Operation Condition,SOC)下SAR圖像進行訓(xùn)練和測試,將17°俯仰角下的圖像作為訓(xùn)練樣本,15°俯仰角下的圖像作為測試樣本。SOC下訓(xùn)練與測試目標(biāo)的類別和數(shù)目如表2所示。在SOC條件下對10類地面軍事目標(biāo)進行分類識別,分類評價指標(biāo)[18]選擇總體分類精度(Overall Accuracy,OA)和平均分類精度(Average Accuracy,AA),網(wǎng)絡(luò)的穩(wěn)健性選用平均分類精度標(biāo)準(zhǔn)差(Standard Deviation,STD)作為評價指標(biāo)。所有實驗均在配置為Intel(R)Core(TM)i5-6500CPU@3.20 GHz,4.0 GB RAM,NVIDIA GeForce GTX1060 GPU的計算機上完成。

表2 SOC下訓(xùn)練與測試目標(biāo)類別與數(shù)目

3.2 實驗結(jié)果

3.2.1 實驗1:Padding操作對各基分類器網(wǎng)絡(luò)性能的影響

為了驗證在各基分類器中引入Padding操作對各基分類器網(wǎng)絡(luò)性能的影響,做了對照實驗,結(jié)果如表3所示。

表3 是否使用Padding操作對各基分類器網(wǎng)絡(luò)性能的影響

由表3可以看出,在各基分類器中引入Padding操作后,各基分類器的平均分類精度與總體分類精度都有0.5%左右的提高。這是因為引入Padding操作后減少了邊緣信息的丟失,進而提取到了更多的圖像特征,有效抑制了過擬合。出于綜合考量,在設(shè)計本文集成網(wǎng)絡(luò)時,各基分類器中均使用Padding操作。

3.2.2 實驗2:Dropout操作對網(wǎng)絡(luò)性能的影響

為了驗證Dropout操作對網(wǎng)絡(luò)性能的影響,在各基分類器都引入Padding操作的情況下,分別在Dropout概率為0,0.3,0.5和0.7時進行實驗,結(jié)果如表4和表5所示。

表4 不同Dropout概率對各基分類器AA的影響

表5 不同Dropout概率對各基分類器OA的影響

由表4和表5可以看出,隨著Dropout概率的增加,各基分類器的平均分類精度與總體分類精度均是先增加后減小,這也意味著并不是Dropout概率越大越好。當(dāng)Dropout概率為0.5時,各基分類器的識別率最高且效果最好。這是因為當(dāng)Dropout概率為0.5時,Dropout隨機生成的網(wǎng)絡(luò)結(jié)構(gòu)最多。故本文在設(shè)計集成網(wǎng)絡(luò)時,各基分類器中Dropout概率均設(shè)置為0.5。

3.2.3 實驗3:基分類器的有效性驗證

為了驗證所構(gòu)建的基分類器的有效性,本文使用每種基分類器重復(fù)進行5次實驗,分別得到了各基分類器在SOC下的分類識別性能,如表6所示。

表6 各種基分類器在SOC下的識別性能

由表6可以看出,不同的基分類器均有較好的識別效果,并且分類器之間的分類識別性能相差不大。而且,經(jīng)過反復(fù)試驗發(fā)現(xiàn),通過對超參數(shù)的調(diào)整,很難在準(zhǔn)確率上再有明顯提升。但是,各基分類器的平均分類精度標(biāo)準(zhǔn)差均在0.60左右,這意味著單個網(wǎng)絡(luò)的穩(wěn)健性不足,即存在偏向性。

實驗過程當(dāng)中各基分類器的訓(xùn)練及測試損失曲線圖如圖3～6所示。

圖3 CNN1的損失值曲線

圖4 CNN2的損失值曲線

圖5 CNN3的損失值曲線

圖6 CNN4的損失值曲線

由圖3～6可以看出,網(wǎng)絡(luò)在訓(xùn)練前期損失均有快速下降,大概在epoch為20次時開始收斂,且在訓(xùn)練后期損失值波動較小,網(wǎng)絡(luò)收斂效果較好。

3.2.4 實驗4:相對多數(shù)投票集成實驗

用訓(xùn)練好的基分類器對測試樣本進行預(yù)測,然后分別以“硬投票”和“軟投票”方式對已經(jīng)訓(xùn)練好的基分類器進行相對多數(shù)投票集成,每種投票方式進行5次實驗,集成結(jié)果如表7所示。

表7 相對多數(shù)投票集成實驗結(jié)果

由表7可以看出,利用相對多數(shù)投票法將各基分類器分類結(jié)果集成以后的分類精度會有一定的提升。與各個基分類器相比,“硬投票”方式的平均分類精度與總體分類精度均可以提高大約0.15%,“軟投票”方式的平均分類精度與總體分類精度均可以提高大約0.23%。從表7實驗結(jié)果可以看出,集成后的平均分類精度的標(biāo)準(zhǔn)差比各個基分類器的均小。由此可見,集成網(wǎng)絡(luò)的分類識別性能優(yōu)于單個卷積神經(jīng)網(wǎng)絡(luò)識別性能,并且集成后的網(wǎng)絡(luò)降低了各基分類器的標(biāo)準(zhǔn)差。

3.2.5 實驗5:SOC下的識別性能比較

在MSTAR的SOC下采集的10類目標(biāo)上,與現(xiàn)有的其他SAR圖像目標(biāo)識別方法進行對比,每種方法重復(fù)進行5次實驗。文獻(xiàn)[19]、文獻(xiàn)[6]及文獻(xiàn)[8]中的方法分別記為遷移VGG16、MFCNNs、并聯(lián)CNN,不同方法的對比結(jié)果如表8所示。

表8 幾種方法在SOC下的識別性能比較

由表8可以看出,本文所提方法的平均分類精度最高,相比遷移VGG16、MFCNNs和并聯(lián)CNN的平均分類精度分別提高了4.9%,3.78%和0.2%。雖然本文方法對于并聯(lián)CNN方法平均分類精度提高不明顯,但是本文算法的訓(xùn)練時間更短。另外,從表8的實驗結(jié)果可以看出,相較于幾種對比方法,本文所提方法平均分類精度的標(biāo)準(zhǔn)差最小。由此可見,本文提出的集成卷積神經(jīng)網(wǎng)絡(luò)可以獲得穩(wěn)健且最優(yōu)的分類識別性能。

4 結(jié) 論

本文采用集成卷積神經(jīng)網(wǎng)絡(luò)作為SAR圖像目標(biāo)識別的網(wǎng)絡(luò)架構(gòu),通過將各個基分類器的識別結(jié)果進行集成決策,可以明顯地提高整個網(wǎng)絡(luò)的識別能力和穩(wěn)健能力。為了優(yōu)化所提出的網(wǎng)絡(luò),引入了Dropout和Padding操作,并采用Ada_Nesterov動量法作為優(yōu)化算法,有效抑制了網(wǎng)絡(luò)的過擬合,提高了網(wǎng)絡(luò)收斂精度。在MSTAR數(shù)據(jù)集SOC下的10類目標(biāo)的實驗結(jié)果表明,所提方法的平均分類精度達(dá)到了99.30%,標(biāo)準(zhǔn)差僅有0.27,有效抑制了過擬合,網(wǎng)絡(luò)性能較好。