侯宇超,白艷萍,郝 巖,張明星
(中北大學(xué) 理學(xué)院, 太原 030051)
目前,基于微波遙感成像的合成孔徑雷達(dá)(synthetic aperture radar,SAR)系統(tǒng)在軍事和民用領(lǐng)域都得到了廣泛的應(yīng)用。SAR是利用合成孔徑技術(shù)和脈沖壓縮技術(shù),以小孔徑天線(xiàn)獲得方位向和距離向的二維高分辨率遙感成像雷達(dá)系統(tǒng)。相比于光學(xué)傳感器,SAR具有透射性強(qiáng)的特點(diǎn),可以在氣候條件差的情況下對(duì)目標(biāo)進(jìn)行全天、實(shí)時(shí)監(jiān)測(cè)。隨著成像質(zhì)量的提高,SAR目標(biāo)自動(dòng)識(shí)別已經(jīng)成為國(guó)內(nèi)外研究的熱點(diǎn)。
Tao等[1]提出了基于支持向量機(jī)(SVM)的SAR目標(biāo)分類(lèi)算法,Sun等[2]成功地將Adaboost方法應(yīng)用到SAR目標(biāo)分類(lèi)中。然而這些方法前期需要人工提取特征,容易受到人的主觀性影響。近年來(lái),深度學(xué)習(xí)因其可以自動(dòng)提取樣本特征被廣泛應(yīng)用在行人檢測(cè)[3]、人臉識(shí)別[4]、飛機(jī)目標(biāo)分類(lèi)[5]和物品識(shí)別[6]等領(lǐng)域,且取得了很好的效果。Ni等[7]將自編碼神經(jīng)網(wǎng)絡(luò)應(yīng)用在SAR目標(biāo)分類(lèi)中,趙娟萍等[8]提出了基于概率轉(zhuǎn)移卷積神經(jīng)網(wǎng)絡(luò)的含噪標(biāo)記SAR圖像分類(lèi)算法。
本文主要針對(duì)面向SAR目標(biāo)分類(lèi)的卷積神經(jīng)網(wǎng)絡(luò)算法展開(kāi)研究,首先介紹了卷積神經(jīng)網(wǎng)絡(luò)的基本原理并引入了Relu激活函數(shù),降低了梯度消失的可能性;接著設(shè)計(jì)了一種分?jǐn)?shù)漸變學(xué)習(xí)率并建立了帶類(lèi)別約束的損失函數(shù),提高了目標(biāo)識(shí)別能力;最后將優(yōu)化后的二層卷積神經(jīng)網(wǎng)絡(luò)算法應(yīng)用在SAR目標(biāo)分類(lèi)中,該算法在3類(lèi)MSTAR實(shí)測(cè)數(shù)據(jù)集上達(dá)到了94.87%的分類(lèi)準(zhǔn)確率,較經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)算法提高了5.93%。本文提出的算法相比于傳統(tǒng)的模式識(shí)別方法和經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)算法得到了更好的分類(lèi)結(jié)果,測(cè)試結(jié)果也驗(yàn)證了算法的有效性。
卷積神經(jīng)網(wǎng)絡(luò)[9]是一種具有代表性的前饋深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò),由輸入層、卷積層、池化層、全連接層和輸出層組成。卷積層用于學(xué)習(xí)圖像的各種特征;池化層將上一層的特征二次提取,降低需處理的數(shù)據(jù)量;全連接層將特征展開(kāi)成列向量并利用Softmax分類(lèi)器進(jìn)行目標(biāo)的分類(lèi)判別。
1.1.1 卷積層
由一些可訓(xùn)練的卷積核組成的卷積層是卷積神經(jīng)網(wǎng)絡(luò)中最重要的部分,通過(guò)局部連接和權(quán)值共享的機(jī)制降低運(yùn)算的復(fù)雜程度。卷積層利用多個(gè)卷積核進(jìn)行卷積操作學(xué)習(xí),得到不同的特征圖,其表達(dá)式為:
常用的非線(xiàn)性激活函數(shù)為Sigmoid函數(shù)和雙曲正切(Tanh)函數(shù)。在誤差反向傳播過(guò)程中,這兩種函數(shù)會(huì)發(fā)生梯度的“飽和效應(yīng)”,在原點(diǎn)附近梯度爆炸,在曲線(xiàn)兩端梯度消失(如圖1),容易導(dǎo)致網(wǎng)絡(luò)參數(shù)的更新停滯。本文引入修正線(xiàn)性(Relu)函數(shù)[10]作為激活函數(shù)。當(dāng)x>0時(shí)梯度恒為1,x≤0時(shí)梯度為0,可以降低參數(shù)停滯更新的可能性,加快卷積神經(jīng)網(wǎng)絡(luò)的收斂速度。
1.1.2 池化層
卷積層在完成卷積運(yùn)算之后將特征圖傳入池化層。池化層是將鄰域的多個(gè)像素聚合為一個(gè)像素的操作。池化層可以減少訓(xùn)練參數(shù),降低計(jì)算的復(fù)雜度,此外還可以增強(qiáng)網(wǎng)絡(luò)對(duì)位移的魯棒性[11]。常見(jiàn)的池化形式有平均值池化、最大值池化等(如圖2)。本文采用尺寸為2×2,步長(zhǎng)為2的最大值池化方法。實(shí)驗(yàn)結(jié)果證明[12]:最大值池化比平均值池化能更好地保存全局特性,其表達(dá)式為:
圖1 非線(xiàn)性激活函數(shù)及其梯度
圖2 兩種常見(jiàn)的池化形式
卷積神經(jīng)網(wǎng)絡(luò)使用反向傳播(BP)算法[13]以最小化均方誤差損失函數(shù)為目標(biāo)進(jìn)行網(wǎng)絡(luò)參數(shù)的更新。BP算法使用梯度下降法進(jìn)行訓(xùn)練,更新各層的權(quán)值和偏置項(xiàng),使網(wǎng)絡(luò)達(dá)到最優(yōu)解。假設(shè)樣本集共有c類(lèi)樣本,第n個(gè)訓(xùn)練樣本的損失函數(shù)為
反向傳播參數(shù)更新的方向正好與前向傳播相反。全連接層輸出函數(shù)表示為
xk=f(uk)=f(Wkxk-1+bk)
(4)
輸出層的殘差為δk=f′(uk)°(yn-tn),其他層的殘差為δk=(Wk+1)Tδk+1°f′(uk)。
因?yàn)?uk/?bk=1,此時(shí)對(duì)于權(quán)值Wk和偏置bk的偏導(dǎo)數(shù)可以表示為:
(5)
網(wǎng)絡(luò)參數(shù)更新函數(shù)為:
Wk-ηxk-1(δk)T
(7)
其中η為學(xué)習(xí)率。
理想的學(xué)習(xí)率可以促進(jìn)模型的收斂。但若學(xué)習(xí)率過(guò)大,網(wǎng)絡(luò)可能陷入局部最優(yōu)解或無(wú)法完成訓(xùn)練;若學(xué)習(xí)率過(guò)小,參數(shù)的有效更新可能達(dá)不到要求,網(wǎng)絡(luò)收斂速度過(guò)慢。在常見(jiàn)的卷積神經(jīng)網(wǎng)絡(luò)算法中學(xué)習(xí)率一般為定值?,F(xiàn)提出一種隨迭代次數(shù)增加而減緩的分?jǐn)?shù)漸變學(xué)習(xí)率:采用ηe=ηf/(1+αte)對(duì)學(xué)習(xí)率進(jìn)行微調(diào),其中:ηe為第te次迭代的學(xué)習(xí)率;ηf為初始學(xué)習(xí)率;α為學(xué)習(xí)率更新權(quán)值。ηf、α因?qū)嶒?yàn)數(shù)據(jù)和網(wǎng)絡(luò)結(jié)構(gòu)的不同有較大差異,需由實(shí)驗(yàn)確定。
其中numq為第q類(lèi)樣本的樣本數(shù)。
λin、λout需通過(guò)實(shí)驗(yàn)確定,本文選取λin=0.5、λout=0.000 02。
本文選用通用的運(yùn)動(dòng)和靜止目標(biāo)獲取與識(shí)別(MSTAR)實(shí)測(cè)數(shù)據(jù)集[16]中3類(lèi)SAR車(chē)輛目標(biāo)(裝甲車(chē):BMP2、BTR70;坦克:T72)對(duì)算法進(jìn)行測(cè)試。該數(shù)據(jù)集是由一系列分辨率為0.3 m×0.3 m且覆蓋360°方向的SAR圖像組成。使用俯仰角為17°的車(chē)輛目標(biāo)作為訓(xùn)練樣本,俯仰角為15°的目標(biāo)作為測(cè)試樣本,裁剪每一幅圖片中央98×98大小的區(qū)域用作本文實(shí)驗(yàn)(如圖3),并將每類(lèi)訓(xùn)練樣本以隨機(jī)取樣的方式擴(kuò)充為1 000張,達(dá)到提高樣本數(shù)量,平衡樣本規(guī)模的目的(如表1)。在此過(guò)程中未使用任何姿態(tài)修正算法。
圖3 裁剪后的3類(lèi)SAR軍事車(chē)輛目標(biāo)示例
目 標(biāo)BMP2(9563)BMP2(9566)BMP2(C21)BTR70(C71)T72(132)T72(812)T72(S7)總計(jì)原訓(xùn)練樣本
本文提出一個(gè)包含2個(gè)卷積層和2個(gè)池化層的卷積神經(jīng)網(wǎng)絡(luò)(如圖4所示)。第1個(gè)卷積層包含8個(gè)7×7的卷積核,輸出8個(gè)92×92的特征圖;第2個(gè)卷積層包含16個(gè)7×7的卷積核,輸出16個(gè)40×40的特征圖;第2個(gè)池化層后將輸出的16個(gè)20×20的特征圖輸入全連接層。
圖4 基于SAR目標(biāo)分類(lèi)的2層卷積神經(jīng)網(wǎng)絡(luò)算法結(jié)構(gòu)
使用CPU為Intel Xeon E5-2640 2.6 GHz、內(nèi)存為64 GB的計(jì)算機(jī)在Windows7(64位),Matlab2016b的環(huán)境下進(jìn)行實(shí)驗(yàn)。在使用Relu激活函數(shù)、最大值池化方法、損失函數(shù)帶類(lèi)別約束(CNN-4)的情況下利用不同的學(xué)習(xí)率做20組實(shí)驗(yàn),結(jié)果如圖5所示。
實(shí)驗(yàn)結(jié)果表明:當(dāng)學(xué)習(xí)率在0.05左右時(shí),分類(lèi)準(zhǔn)確率較高,并且學(xué)習(xí)率為0.05時(shí)準(zhǔn)確率達(dá)到最高值94.58%?,F(xiàn)使用分?jǐn)?shù)漸變學(xué)習(xí)率公式ηe=ηf/(1+αte),ηf=0.055,te=0.001對(duì)學(xué)習(xí)率進(jìn)行微調(diào),加快算法收斂速度,提高分類(lèi)準(zhǔn)確率,其分類(lèi)結(jié)果如表2所示。
圖5 在不同學(xué)習(xí)率下目標(biāo)分類(lèi)準(zhǔn)確率
本文算法最終分類(lèi)準(zhǔn)確率為94.87%。通過(guò)比較不同的算法模型,驗(yàn)證本文算法的有效性。模型參數(shù)及分類(lèi)準(zhǔn)確率如表3所示。
表2 SAR目標(biāo)分類(lèi)結(jié)果
表3 算法對(duì)比
從表3可以看出:相比于其他算法,本文算法分類(lèi)準(zhǔn)確率均有提升。其中,相比CNN-1(經(jīng)典算法),本文算法分類(lèi)準(zhǔn)確率提高了5.93%。同樣針對(duì)3類(lèi)SAR軍事車(chē)輛目標(biāo)分類(lèi)的幾種不同方法分類(lèi)準(zhǔn)確率如表4所示。與文獻(xiàn)[17]和文獻(xiàn)[1]相比,本文算法在未經(jīng)過(guò)姿態(tài)修正預(yù)處理的情況下分類(lèi)準(zhǔn)確率仍高于其基于模式識(shí)別的傳統(tǒng)方法。與文獻(xiàn)[18]所提出的CNN算法相比,本文所提出的二層卷積神經(jīng)網(wǎng)絡(luò)算法在層數(shù)較少的情況下達(dá)到了更好的分類(lèi)效果。
表4 不同方法分類(lèi)準(zhǔn)確率對(duì)比
針對(duì)傳統(tǒng)方法人工預(yù)提取特征困難的問(wèn)題,本文提出了一種面向SAR目標(biāo)分類(lèi)的2層卷積神經(jīng)網(wǎng)絡(luò)算法。本文設(shè)計(jì)了一種隨迭代次數(shù)增加而減緩的分?jǐn)?shù)漸變學(xué)習(xí)率,在損失函數(shù)中引入類(lèi)內(nèi)、類(lèi)間相似度量函數(shù),并且在卷積層中引入了Relu激活函數(shù)。該算法在未經(jīng)過(guò)任何姿態(tài)修正的情況下,在3類(lèi)MSTAR實(shí)測(cè)數(shù)據(jù)集上分類(lèi)準(zhǔn)確率達(dá)到了94.87%。相比于傳統(tǒng)的模式識(shí)別方法和經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)算法,該算法分類(lèi)準(zhǔn)確率更高,在SAR目標(biāo)分類(lèi)領(lǐng)域有很好的應(yīng)用價(jià)值。本文算法訓(xùn)練時(shí)間較長(zhǎng),后續(xù)可對(duì)基于GPU架構(gòu)的并行化卷積神經(jīng)網(wǎng)絡(luò)算法在SAR目標(biāo)分類(lèi)中的應(yīng)用進(jìn)行更深入的研究。
重慶理工大學(xué)學(xué)報(bào)(自然科學(xué))2018年7期