倉明杰, 喻玲娟, 謝曉春
(1.江西理工大學(xué)信息工程學(xué)院, 江西贛州 341000; 2.贛南師范大學(xué)物理與電子信息學(xué)院, 江西贛州 341000)
近年來,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)已廣泛應(yīng)用于合成孔徑雷達(dá)(Synthetic Aperture Radar, SAR)目標(biāo)識別。由于SAR數(shù)據(jù)采集難度大,用于目標(biāo)識別的數(shù)據(jù)集通常較小,如MSTAR數(shù)據(jù)集[1-3]、極化SAR數(shù)據(jù)集[4-5],以及船只數(shù)據(jù)集[6-7]等,因此,基于CNN的SAR目標(biāo)識別容易產(chǎn)生過擬合問題。為了解決該問題,4個(gè)方面的改進(jìn)方法被提出。網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)方面:Chen等提出用卷積層替代全連接層的方法[1];Pei等提出多視深度學(xué)習(xí)框架[8];Shao等提出基于注意力機(jī)制的輕量級CNN[9];Gao等提出雙通道CNN[10]。數(shù)據(jù)集擴(kuò)充方面:Ding等提出了3種數(shù)據(jù)擴(kuò)充方法[11];Lu等提出了一種改進(jìn)的目標(biāo)旋轉(zhuǎn)擴(kuò)充方法[12]。遷移學(xué)習(xí)和CNN相結(jié)合方面:Huang等利用大場景圖像對卷積自編碼器進(jìn)行訓(xùn)練,然后遷移到SAR圖像目標(biāo)識別[13];Wang等利用ImagNet數(shù)據(jù)集上訓(xùn)練好的VGG16模型遷移到SAR圖像目標(biāo)識別,然后用SAR數(shù)據(jù)對預(yù)訓(xùn)練好的模型進(jìn)行微調(diào)[14]。無監(jiān)督預(yù)訓(xùn)練和CNN相結(jié)合方面:卷積自編碼器是一種無監(jiān)督訓(xùn)練方法,先將訓(xùn)練好的卷積自編碼器的編碼器參數(shù)初始化CNN,然后再對CNN模型進(jìn)行微調(diào)[15-16]。
生成對抗網(wǎng)絡(luò)(Generative Adversarial Network, GAN)也是一種無監(jiān)督訓(xùn)練網(wǎng)絡(luò),通過生成器和鑒別器兩者之間的博弈,使得生成的圖像難以被鑒別器鑒別[17]。目前基于GAN的SAR目標(biāo)識別研究較少,Gao等提出一種包含多個(gè)生成器、一個(gè)鑒別器和一個(gè)多分類器的GAN,并應(yīng)用于SAR圖像目標(biāo)識別[18]。本文采用多層特征匹配[19]的思想改進(jìn)GAN,并采用多層特征合成的思想改進(jìn)CNN,進(jìn)而提出一種基于改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)(Improved Convolutional Neural Network, ICNN)和改進(jìn)的生成對抗網(wǎng)絡(luò)(Improved Generative Adversarial Network, IGAN)的SAR目標(biāo)識別方法。MSTAR實(shí)驗(yàn)結(jié)果表明,該方法比直接采用ICNN的方法,不僅具有較高的識別率,而且具有更強(qiáng)的抗噪聲能力。
基于ICNN和IGAN的SAR目標(biāo)識別方法如圖1所示,先采用訓(xùn)練樣本對IGAN進(jìn)行無監(jiān)督預(yù)訓(xùn)練,然后將訓(xùn)練好的IGAN鑒別器參數(shù)初始化ICNN,再利用訓(xùn)練樣本對ICNN微調(diào),最后利用訓(xùn)練好的ICNN進(jìn)行測試樣本的分類。該方法的詳細(xì)步驟如下:
1) 將隨機(jī)噪聲作為IGAN的輸入,經(jīng)生成器G得到生成樣本;
2) 將真實(shí)或生成樣本輸入到鑒別器D,D的輸出為屬于真實(shí)樣本或生成樣本的概率;
3) 利用后向傳播算法更新G和D的參數(shù),直到達(dá)到納什平衡;
4) 將訓(xùn)練好的D參數(shù)初始化ICNN;
5) 利用帶標(biāo)簽訓(xùn)練樣本對ICNN微調(diào);
6) 將測試樣本輸入到訓(xùn)練好的ICNN,得到其所屬類別。
傳統(tǒng)的CNN包括輸入層、隱藏層和輸出層,其中,隱藏層又包括卷積層、池化層和全連接層。在CNN基礎(chǔ)上,ICNN對隱藏層結(jié)構(gòu)進(jìn)行了改進(jìn),輸出層仍為常用的Softmax分類器。ICNN隱藏層的改進(jìn)之處主要有:1) 采用步長為s(s≥2,s∈N+)的卷積層替代池化層;2) 采用池化層以實(shí)現(xiàn)不同層次特征圖的尺寸相同化;3) 增加特征合成層,將不同層次特征圖進(jìn)行合成。因此,ICNN的結(jié)構(gòu)可以概括為卷積層、池化層、特征合成層、全連接層及Softmax分類層,如圖1所示。由于特征合成層的運(yùn)算為特征圖的簡單合并,接下來詳細(xì)分析其他層的運(yùn)算過程。
1) 卷積層
2) 池化層
ICNN的池化運(yùn)算是將不同卷積層的輸出特征圖的尺寸相同化,以在隱藏層的最后一層實(shí)現(xiàn)不同層次特征的合成。假定第L+1層為特征合成層,則第l(1≤l≤L)層第j通道的特征圖的池化運(yùn)算結(jié)果為
(2)
式中,G表示池化窗口大小,(x,y)表示第L+1層特征圖的像素坐標(biāo)位置。
3) 全連接層
(3)
4) Softmax分類層
假定目標(biāo)總共有K類,將全連接層的輸出進(jìn)行Softmax分類,則輸入樣本屬于第k(k=1, 2,…,K)類的概率為
(4)
在ICNN的訓(xùn)練過程中,采用后向傳播算法進(jìn)行網(wǎng)絡(luò)參數(shù)的更新,并采用交叉熵作為損失函數(shù),
(5)
式中,qk表示訓(xùn)練樣本的真實(shí)分類結(jié)果。如果訓(xùn)練樣本的標(biāo)簽為k,則qk=1;否則,qk=0。
傳統(tǒng)的GAN包括生成器G和鑒別器D兩部分。IGAN是在GAN的基礎(chǔ)上,按照1.1節(jié)中ICNN的結(jié)構(gòu)進(jìn)行了改進(jìn),對D增加了特征合成層,如圖1所示。其中,D的結(jié)構(gòu)包括卷積層、池化層、特征合成層以及全連接層;G包括全連接層和反卷積層。
IGAN的工作原理和GAN相同,表現(xiàn)為G和D兩者之間的博弈。G的輸入為噪聲z,服從先驗(yàn)分布pz(z),輸出為生成樣本G(z);D的輸入為真實(shí)樣本x或生成樣本G(z),輸出為屬于x或G(z)的概率。若x服從分布pdata,G(z)服從分布pg,則G的目標(biāo)是使生成樣本的分布pg盡可能接近pdata,而D的目標(biāo)是正確區(qū)分x和G(z)。因此,IGAN的目標(biāo)函數(shù)可表示為
Ez:pz(z)[log(1-D(G(z)))]
(6)
在IGAN訓(xùn)練過程中,分別對D和G進(jìn)行訓(xùn)練。當(dāng)訓(xùn)練D時(shí),先固定G的網(wǎng)絡(luò)參數(shù)。一方面,對x而言,期望D(x)最大;另一方面,對G(z)而言,期望D(G(z))最小,即最大化1-D(G(z))。當(dāng)訓(xùn)練G時(shí),固定D的網(wǎng)絡(luò)參數(shù),G的目標(biāo)是期望D(G(z))最大,即最小化1-D(G(z))。
此外,進(jìn)一步采用特征匹配方法提高IGAN的穩(wěn)定性[19]。假設(shè)F(x)表示D中不同層的特征,則G的特征匹配損失函數(shù)為
Lfeature_match=‖Ex:pdata(x)F(x)-Ez:pz(z)F(G(z))‖
(7)
本節(jié)采用上節(jié)提出的方法,對MSTAR數(shù)據(jù)集(詳見第3節(jié))進(jìn)行SAR目標(biāo)識別。按照ICNN和IGAN的前向傳播過程,詳細(xì)地介紹它們的結(jié)構(gòu)參數(shù)。
ICNN包括6個(gè)卷積層、2個(gè)最大池化層、1個(gè)特征合成層、1個(gè)全連接層和Softmax分類層,所有卷積核的大小均為5×5,每個(gè)卷積層后采用LReLU激活函數(shù),如圖2所示。ICNN的前向傳播過程和各層參數(shù)如下:
圖2 ICNN的結(jié)構(gòu)和參數(shù)
1) 輸入為一幅128×128的SAR圖像,經(jīng)過第一層16個(gè)s=2的卷積核卷積后,輸出為16幅64×64的特征圖;
2) 經(jīng)過第二層32個(gè)s=2的卷積核卷積后,輸出為32幅32×32的特征圖;
3) 經(jīng)過第三層64個(gè)s=2的卷積核卷積后,輸出為64幅16×16的特征圖;
4) 經(jīng)過第四層128個(gè)s=1的卷積核卷積后,輸出為128幅16×16的特征圖;
5) 經(jīng)過第五層256個(gè)s=2的卷積核卷積后,輸出為256幅8×8的特征圖;
6) 經(jīng)過第六層512個(gè)s=2的卷積核卷積后,輸出為512幅4×4的特征圖;
7) 將步驟4)得到的特征圖,經(jīng)過大小為4×4且s=4的最大池化層后,輸出為128幅4×4的特征圖;
8) 將步驟5)得到的特征圖,經(jīng)過大小為2×2且s=2的最大池化層后,輸出為256幅4×4的特征圖;
9) 將步驟6)~8)得到的特征圖進(jìn)行合成,輸出為896幅4×4的特征圖;
10) 將合成特征圖展平,并經(jīng)過全連接層,輸出為1×10的矢量;
11) 經(jīng)過Softmax分類器輸出目標(biāo)所屬類別的概率。
IGAN的鑒別器D和ICNN的隱藏層結(jié)構(gòu)參數(shù)相同,生成器G包括6個(gè)反卷積層和2個(gè)全連接層,前5個(gè)反卷積層后采用ReLU激活函數(shù),最后1個(gè)反卷積層后采用tanh激活函數(shù),如圖3所示。為了減輕反卷積層帶來的棋盤偽影,所有卷積核的大小均為4×4。G的前向傳播過程和各層參數(shù)如下:
圖3 IGAN的結(jié)構(gòu)和參數(shù)
1) 隨機(jī)產(chǎn)生1×100的噪聲,經(jīng)過2個(gè)全連接層后,輸出為1×8 192的矢量;
2) 將矢量變形為512幅4×4的圖像,經(jīng)過第一層256個(gè)反卷積核反卷積后,輸出為256幅8×8的圖像;
3) 經(jīng)過第二層128個(gè)反卷積核反卷積后,輸出為128幅16×16的圖像;
4) 經(jīng)過第三層64個(gè)反卷積核反卷積后,輸出為64幅16×16的圖像;
5) 經(jīng)過第四層32個(gè)反卷積核反卷積后,輸出為32幅32×32的圖像;
6) 經(jīng)過第五層16個(gè)反卷積核反卷積后,輸出為16幅64×64的圖像;
7) 經(jīng)過第六層1個(gè)反卷積核反卷積后,輸出為1幅128×128的圖像。
實(shí)驗(yàn)采用的MSTAR數(shù)據(jù)集共包括10種不同類別的地面目標(biāo),其光學(xué)圖像及相應(yīng)的SAR圖像如圖4所示。MSTAR訓(xùn)練集和測試集中包含的各類目標(biāo)的數(shù)量如表1所示,顯然,共有2 747個(gè)訓(xùn)練樣本和2 425個(gè)測試樣本,訓(xùn)練集為17°下視角數(shù)據(jù),測試集為15°下視角數(shù)據(jù)。實(shí)驗(yàn)前將所有的SAR圖像切割成128×128大小,且保持目標(biāo)在圖像中心。實(shí)驗(yàn)按照采用全部的數(shù)據(jù)集、減少訓(xùn)練樣本數(shù)、加不同比例的噪聲,以及加不同功率的噪聲四種情況分別進(jìn)行。為了驗(yàn)證基于ICNN和IGAN方法的有效性,將其與直接采用基于ICNN的方法進(jìn)行對比。
表1 MSTAR數(shù)據(jù)集
圖4 10類目標(biāo)的光學(xué)圖像及相應(yīng)的SAR圖像
網(wǎng)絡(luò)訓(xùn)練前,在基于ICNN和IGAN方法中,隨機(jī)初始化IGAN的G和D網(wǎng)絡(luò)參數(shù);在直接采用基于ICNN的方法中,隨機(jī)初始化ICNN的參數(shù)。兩種方法在訓(xùn)練過程中,設(shè)置批尺寸大小為64,并采用Adam算法[20]完成網(wǎng)絡(luò)參數(shù)的更新。為了保持對抗平衡,IGAN的G和D的更新次數(shù)比設(shè)定為1∶2。
1) 采用全部的數(shù)據(jù)集
采用全部的訓(xùn)練和測試樣本進(jìn)行實(shí)驗(yàn),基于ICNN和IGAN的識別方法得到的10類目標(biāo)的混淆矩陣如表2所示,該方法與直接基于ICNN的方法得到的各類目標(biāo)的正確識別率及平均正確識別率如表3所示。結(jié)果表明,基于ICNN和IGAN方法的平均正確識別率為98.72%,而直接基于ICNN的方法的平均正確識別率為97.32%,即前者比后者高1.4%。
表2 基于ICNN和IGAN的SAR目標(biāo)識別結(jié)果
續(xù)表2
表3 兩種方法的實(shí)驗(yàn)結(jié)果對比
2) 減少訓(xùn)練樣本數(shù)
當(dāng)訓(xùn)練樣本數(shù)從100%減少到10%,而測試樣本數(shù)量不變時(shí),兩種方法得到的平均正確識別率隨訓(xùn)練樣本數(shù)減少的變化情況如圖5所示。結(jié)果表明,當(dāng)訓(xùn)練樣本數(shù)大于30%時(shí),兩種方法得到的平均正確識別率都較高;當(dāng)樣本數(shù)減少至30%時(shí),基于ICNN和IGAN的方法和直接基于ICNN的方法得到的平均正確識別率分別為96.37%和92.78%。當(dāng)樣本數(shù)低于30%時(shí),兩種方法得到的平均正確識別率都下降比較快,其原因是多數(shù)方位角下的訓(xùn)練樣本被丟棄,網(wǎng)絡(luò)難以學(xué)習(xí)到各方位角下的目標(biāo)特征。
圖5 平均正確識別率隨訓(xùn)練樣本數(shù)減少的變化情況
3) 加不同比例的噪聲
定義噪聲比例為SAR原圖像中的像素單元被噪聲取代的數(shù)量占所有像素單元數(shù)量的比例[1]。若噪聲服從均勻分布,則加入5%、10%、15%、20%噪聲后的SAR圖像分別如圖6(a)~(d)所示。采用100%、50%、30%的訓(xùn)練樣本和100%的測試樣本分別進(jìn)行實(shí)驗(yàn),當(dāng)噪聲比例從5%增加到20%時(shí),兩種方法的平均正確識別率隨噪聲比例的變化情況如圖7所示。結(jié)果表明,兩種方法的平均正確識別率隨噪聲比例的增加而降低。此外,在訓(xùn)練樣本數(shù)相同的情況下,基于ICNN和IGAN的方法比直接基于ICNN的方法具有更高的識別率,即前者比后者具有更強(qiáng)的抗噪聲能力。
圖6 加不同比例噪聲后的SAR圖像
圖7 平均正確識別率隨噪聲比例增加的變化情況
4) 加不同功率的噪聲
圖8 不同信噪比的SAR圖像
圖9 平均正確識別率隨信噪比下降的變化情況
本文針對基于CNN的SAR圖像目標(biāo)識別中,因數(shù)據(jù)集小易產(chǎn)生過擬合問題,提出了一種基于ICNN和IGAN相結(jié)合的方法。該方法先用訓(xùn)練樣本對IGAN進(jìn)行無監(jiān)督預(yù)訓(xùn)練,然后將訓(xùn)練好的IGAN鑒別器參數(shù)初始化ICNN,再利用訓(xùn)練樣本對ICNN微調(diào),最后利用訓(xùn)練好的ICNN進(jìn)行測試樣本的分類輸出。為了驗(yàn)證該方法的有效性,采用MSTAR數(shù)據(jù)集分別進(jìn)行了全部數(shù)據(jù)集、減少訓(xùn)練樣本數(shù)、加不同比例噪聲和不同功率噪聲的實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,基于ICNN和IGAN的方法比直接基于ICNN的方法,不僅具有更高的平均正確識別率,而且具有更強(qiáng)的抗噪聲能力。