康 妙計(jì)科峰*冷祥光邢相薇鄒煥新

①(國(guó)防科學(xué)技術(shù)大學(xué)電子科學(xué)與工程學(xué)院 長(zhǎng)沙 410073)

②(北京市遙感信息研究所 北京 100192)

基于棧式自編碼器特征融合的SAR圖像車輛目標(biāo)識(shí)別

康 妙①計(jì)科峰*①冷祥光①邢相薇②鄒煥新①

①(國(guó)防科學(xué)技術(shù)大學(xué)電子科學(xué)與工程學(xué)院 長(zhǎng)沙 410073)

②(北京市遙感信息研究所 北京 100192)

該文提出了一種基于棧式自編碼器(Stacked AutoEncoder,SAE)特征融合的合成孔徑雷達(dá)(Synthetic Aperture Rader,SAR)圖像車輛目標(biāo)識(shí)別算法。首先，該算法提取了SAR圖像的25種基線特征(baseline features)和局部紋理特征(Three-Patch Local Binary Patterns,TPLBP)。然后將特征串聯(lián)輸入SAE網(wǎng)絡(luò)中進(jìn)行融合，采用逐層貪婪訓(xùn)練法對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練。最后利用softmax分類器微調(diào)網(wǎng)絡(luò)，提高網(wǎng)絡(luò)融合性能。另外，該文提取了SAR圖像的Gabor紋理特征，進(jìn)行了不同特征之間的融合實(shí)驗(yàn)。結(jié)果表明基線特征與TPLBP特征冗余性小，互補(bǔ)性好，融合后的特征區(qū)分性大。與直接利用SAE,CNN (Convolutional Neural Network)進(jìn)行目標(biāo)識(shí)別的算法相比，基于SAE的特征融合算法簡(jiǎn)化了網(wǎng)絡(luò)結(jié)構(gòu)，提高了識(shí)別精度與識(shí)別效率?；贛STAR數(shù)據(jù)集的10類目標(biāo)分類精度達(dá)95.88%，驗(yàn)證了算法的有效性。

SAR；目標(biāo)識(shí)別；特征融合；棧式自編碼器；MSTAR

1 引言

在合成孔徑雷達(dá)(Synthetic Aperture Rader,SAR)圖像目標(biāo)識(shí)別應(yīng)用中，單一特征難以全面描述目標(biāo)特性，達(dá)到較高的識(shí)別精度。SAR圖像的特征級(jí)融合不僅可以增加圖像的特征信息，進(jìn)行綜合分析及融合處理，而且能有效綜合各特征之間的優(yōu)勢(shì)獲得目標(biāo)更全面的特征表達(dá)，最大程度降低訓(xùn)練學(xué)習(xí)的復(fù)雜性。不同的特征組合對(duì)特征融合的影響不同，為提高識(shí)別的準(zhǔn)確率和效率，需要針對(duì)SAR目標(biāo)識(shí)別的具體問題選取最有效的識(shí)別特征。研究表明[1]，在分類識(shí)別過程中，人的視覺系統(tǒng)會(huì)自動(dòng)提取圖像的局部區(qū)域信息和全局結(jié)構(gòu)信息，并對(duì)全局和局部信息進(jìn)行融合。因此，在計(jì)算機(jī)視覺領(lǐng)域，很多學(xué)者探究了全局特征與局部特征的融合在人臉識(shí)別、場(chǎng)景分類、目標(biāo)識(shí)別等各個(gè)方面的有效性[2–4]。目前，用于SAR目標(biāo)識(shí)別的特征融合算法主要分為3類[5]：第1類是特征組合的方法，即按一定的權(quán)值將特征串接或并聯(lián)成新的特征向量[6,7]；第2類是特征選擇，利用各種優(yōu)選方法，選擇最優(yōu)的特征組合，得到區(qū)分度更好的低維特征[8]；第3類是特征變換，將原始特征變換為新的特征表達(dá)方式[9]。傳統(tǒng)的特征融合方法融合效率較低，融合后的特征冗余性較大，區(qū)分性不高。

棧式自編碼器[10](Stacked AutoEncoder,SAE)是一種無監(jiān)督的學(xué)習(xí)網(wǎng)絡(luò)，能通過非線性的簡(jiǎn)單模型將原始數(shù)據(jù)轉(zhuǎn)化為更為抽象的表達(dá)，再利用最優(yōu)化的學(xué)習(xí)算法，實(shí)現(xiàn)有效的特征融合?；赟AE的特征融合，能充分減少特征之間的冗余，綜合特征之間的互補(bǔ)信息。另外，SAE結(jié)構(gòu)相對(duì)簡(jiǎn)單，能有效適應(yīng)SAR圖像快速解譯的需求，在樣本較少的情況下訓(xùn)練得到的網(wǎng)絡(luò)泛化能力更強(qiáng)。因此，在特征融合方面具有高效、魯棒的特點(diǎn)。目前，很多學(xué)者已經(jīng)在這方面做了研究，文獻(xiàn)[11]利用灰度共生矩陣和Gabor小波變換提取SAR圖像的紋理特征，利用SAE對(duì)紋理特征進(jìn)行融合優(yōu)化，提取出更高層的特征。但由于同一圖像的紋理特征之間冗余性較大，因而融合后信息量增加較小，融合效果提高不明顯。文獻(xiàn)[12]中利用主成分分析(Principal Components Analysis,PCA)對(duì)高光譜圖像的空間特征降維后，再利用SAE將光譜信息與空間特征進(jìn)行融合，從而達(dá)到了較好的分類效果。由于光譜信息未進(jìn)行處理，因此特征的維度較高，網(wǎng)絡(luò)結(jié)構(gòu)較復(fù)雜。文獻(xiàn)[13]采用多層自編碼器提取SAR目標(biāo)和陰影輪廓特征，并融合送入?yún)f(xié)同神經(jīng)網(wǎng)絡(luò)(Synergetic Neural Network,SNN)進(jìn)行識(shí)別，提升了分類精度。該算法需要分割目標(biāo)陰影區(qū)域，預(yù)處理較復(fù)雜。

本文針對(duì)SAR圖像的目標(biāo)識(shí)別問題，提取了SAR圖像的全局基線特征和TPLBP(Three-Patch Local Binary Patterns)局部紋理特征。一方面，基線特征在提取目標(biāo)幾何特征參數(shù)時(shí)，將圖像進(jìn)行了二值化處理，能有效減少相干斑噪聲的影響，但舍棄了大量的SAR圖像灰度信息。而SAR圖像的灰度值能反映目標(biāo)在結(jié)構(gòu)、粗糙度和物理特性上的差異。TPLBP特征通過對(duì)比局部區(qū)域內(nèi)SAR圖像的灰度值得到圖像的紋理特性，能有效彌補(bǔ)基線特征灰度信息的缺失。同時(shí)，TPLBP特征通過對(duì)比圓形模塊之間的紋理特征，能有效應(yīng)對(duì)幾何結(jié)構(gòu)特征對(duì)方位角變化敏感的問題。另一方面TPLBP在提取特征的過程中，對(duì)目標(biāo)像素和背景像素進(jìn)行相同的特征提取步驟，對(duì)目標(biāo)特性的描述不夠細(xì)致，而基線特征綜合了多種幾何結(jié)構(gòu)參數(shù)，針對(duì)SAR目標(biāo)區(qū)域的特性進(jìn)行具體描述。因此，兩種特征能實(shí)現(xiàn)特征之間的優(yōu)勢(shì)互補(bǔ)，在維度較低的情況下，較為全面的描述SAR圖像特征。利用SAE對(duì)兩種特征進(jìn)行融合，能有效綜合特征之間的優(yōu)勢(shì)，SAE的無監(jiān)督學(xué)習(xí)算法，在樣本較少的情況下，能有效防止網(wǎng)絡(luò)出現(xiàn)過擬合現(xiàn)象，得到更有效的深度融合特征。

2 特征提取

為選取冗余性小，互補(bǔ)性大的融合特征，本文提取了SAR圖像的100維基線特征與128維的TPLBP (Three-Patch Local Binary Patterns)局部紋理特征?；€特征利用Fisher score[14,15]的方法對(duì)SAR圖像的幾何形狀特征進(jìn)行選擇，將最有效的幾何形狀特征組成圖像的基線特征。TPLBP紋理特征則利用圖像區(qū)域之間LBP碼值對(duì)比，有效刻畫了SAR圖像目標(biāo)的局部紋理特性。

2.1 基線特征

基線特征[16]是SAR圖像目標(biāo)的幾何形狀特征參數(shù)的集合，能細(xì)致描述目標(biāo)的結(jié)構(gòu)特性。對(duì)于復(fù)值SAR圖像中(x,y)位置的像素點(diǎn)其幅值可表示為其中i(x,y)和q(x,y)分別為復(fù)值SAR圖像的實(shí)部和虛部。對(duì)像素點(diǎn)的幅值能量檢測(cè)，如式(1)所示。

為減少相干斑噪聲的影響，利用Kapur等人[17]提出的基于熵的自適應(yīng)門限，得到二值化的圖像，通過形態(tài)學(xué)的膨脹[18]，去除圖像區(qū)域內(nèi)部非連通的部分。最后提取出膨脹后的二值圖像或原始二值圖像的幾何形狀特征，組成一個(gè)多維度的基線特征，如圖1所示。

再利用Fisher score衡量特征之間的類間與類內(nèi)距離，對(duì)提取出的多個(gè)特征進(jìn)行排序，選擇區(qū)分性最好的25種特征，組成100維的基線特征向量。具體特征見表1。

表1 基線特征Tab. 1 The selected baseline features

圖2為提取的MSTAR數(shù)據(jù)庫(kù)中BMP2的SAR切片的部分特征。圖中從左至右分別為能量檢測(cè)后的SAR切片、二值圖像和膨脹后的二值圖像。同時(shí)，圖像目標(biāo)區(qū)域的質(zhì)心、邊界矩形、極值和重心分別用藍(lán)、紫、綠和紅在圖中標(biāo)出。

2.2 TPLBP特征

由于結(jié)構(gòu)、粗糙度和物理特性的不同，目標(biāo)對(duì)雷達(dá)回波的反射能力差異較大，在SAR圖像中產(chǎn)生豐富的紋理信息。SAR圖像紋理反映的目標(biāo)信息隨目標(biāo)方位角的變化不大，因此可以利用紋理特征進(jìn)行目標(biāo)識(shí)別。局部二值模式(Local Binary Patterns,LBP)是一種簡(jiǎn)單有效的局部紋理提取算子，具有灰度不變性和旋轉(zhuǎn)不變性，能有效的利用圖像的空間信息，充分反映圖像的局部空間相關(guān)性。

傳統(tǒng)的LBP算子定義為在3×3的窗口內(nèi)，以窗口中心像素灰度值為閾值，將相鄰的8個(gè)像素的灰度值與其進(jìn)行比較，若周圍像素值大于中心像素值，則該像素點(diǎn)的位置被標(biāo)記為1，否則為0。這樣，3×3鄰域內(nèi)的8個(gè)點(diǎn)可產(chǎn)生8 bit的無符號(hào)數(shù)，即得到該窗口的LBP值，并用這個(gè)值來反映該區(qū)域的紋理信息。圖3為MSTAR數(shù)據(jù)庫(kù)中目標(biāo)切片的LBP值的計(jì)算過程。受鄰域大小的限制，LBP算子不能描述大尺度的紋理信息，另外原始的LBP算子不具有旋轉(zhuǎn)不變性。因此不適合描述多方位角的SAR圖像目標(biāo)。

Wolf等[19]對(duì)LBP算子進(jìn)行了改進(jìn)，提出了三斑塊局部二值模式 (TPLBP)。首先，對(duì)于圖像中的每個(gè)像素點(diǎn)，以該像素點(diǎn)為中心得到一個(gè)w×w大小的模塊Cp，以該模塊為中心，在距離半徑為r的范圍內(nèi)，生成S個(gè)同等大小的模塊，每個(gè)模塊的中心像素點(diǎn)均通過LBP算法生成相應(yīng)的LBP碼值。如圖4所示，選取MSTAR數(shù)據(jù)庫(kù)中SAR切片的某像素值作為中心點(diǎn)，當(dāng)S=8,ω=3,a=2時(shí)，得到S個(gè)模塊的LBP值。

從S個(gè)模塊中取出圓周上間隔a個(gè)模塊的兩個(gè)模塊，將其中心像素點(diǎn)LBP碼值與中心模塊的中心像素點(diǎn)LBP碼值進(jìn)行相似度計(jì)算。

然后，將兩模塊與中心模塊的中心像素點(diǎn)得到的相似度進(jìn)行差值計(jì)算，從而得到一組二進(jìn)制串，將其加權(quán)計(jì)算得到相應(yīng)的TPLBP碼值，其定義如下：

其中，本文中設(shè)定τ=0.01。根據(jù)式(2)計(jì)算得到圖像中每個(gè)像素點(diǎn)的TPLBP碼值。然后將整幅圖像分割成非重疊的同等大小的矩形窗(B×B)，并計(jì)算每個(gè)矩形窗中各TPLBP碼值的頻率值，即TPLBP碼值的統(tǒng)計(jì)直方圖。最后，將每個(gè)矩形窗的直方圖向量串聯(lián)形成整幅圖像的TPLBP特征向量。

TPLBP算子將像素間的灰度對(duì)比變?yōu)槟K之間的LBP值的比較，描述了鄰域模塊LBP編碼之間的相互關(guān)系，因而能有效抑制SAR相干斑噪聲的影響。圓形區(qū)域內(nèi)的模塊選取使提取出的特征具有旋轉(zhuǎn)不變性，能有效克服幾何結(jié)構(gòu)特征對(duì)方位角變化敏感的問題。另外參數(shù)r的選取使得TPLBP能夠?qū)Ρ炔煌叨鹊膮^(qū)域內(nèi)的紋理特征值，克服了LBP只能提取局部紋理特征的缺點(diǎn)，能更有效的描述大尺度的SAR圖像的紋理特征。

3 特征融合

為提取基線特征和TPLBP特征之間的互補(bǔ)信息，實(shí)現(xiàn)特征之間的優(yōu)勢(shì)互補(bǔ)，本文采用了棧式自編碼器和softmax分類器對(duì)特征進(jìn)行融合分類。為使網(wǎng)絡(luò)達(dá)到更好的融合效果，利用逐層貪婪訓(xùn)練法對(duì)SAE網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，再利用softmax分類器對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)。

3.1 棧式自編碼器

自編碼人工神經(jīng)網(wǎng)絡(luò)是一種無監(jiān)督的學(xué)習(xí)網(wǎng)絡(luò)，由3層網(wǎng)絡(luò)組成，輸入層和隱層組成編碼器，將輸入信號(hào)x編碼轉(zhuǎn)換為a。隱層和輸出層之間構(gòu)成解碼器，將編碼a變換為輸出信號(hào)y。如圖5(a)所示，即

其中，xi和yi分別表示自編碼器第i個(gè)樣本的輸入和輸出，表示第l層第i單元與第l+1層第j單元之間的連接權(quán)值，b表示偏置項(xiàng)，nl和sl分別表示網(wǎng)絡(luò)層數(shù)和第l層的神經(jīng)元數(shù)。公式第1項(xiàng)是一個(gè)均方差項(xiàng)，第2項(xiàng)是一個(gè)正則化項(xiàng)(也叫權(quán)重衰減項(xiàng))，其目的是減小權(quán)重的幅度，防止過度擬合。正則化可以視作一種能夠折中考慮小權(quán)值和最小化原來代價(jià)函數(shù)的方法。兩個(gè)要素的相對(duì)重要性由λ的值決定。

為了實(shí)現(xiàn)網(wǎng)絡(luò)稀疏性限制，需要在優(yōu)化目標(biāo)函數(shù)中加入一個(gè)額外的稀疏懲罰因子，從而使得隱藏神經(jīng)元的平均活躍度保持在較小范圍內(nèi)。稀疏后的代價(jià)函數(shù)為：

其中β是控制稀疏性懲罰因子的權(quán)重，利用后向傳播算法，計(jì)算代價(jià)函數(shù)的偏導(dǎo)數(shù)，最后利用批量梯度下降法迭代更新參數(shù)W和b來求解模型的最優(yōu)解。

將前一層稀疏自編碼器的輸出作為其后一層自編器的輸入，多層稀疏自編碼器可組成棧式自編碼器。如圖5(b)所示。

采用逐層貪婪訓(xùn)練法進(jìn)行訓(xùn)練，即在訓(xùn)練某一層的參數(shù)時(shí)，將其它各層參數(shù)保持不變，逐層訓(xùn)練。為得到更好的結(jié)果，預(yù)訓(xùn)練過程完成之后，利用softmax分類器，對(duì)SAE進(jìn)行微調(diào)。通過計(jì)算概率：

其中θj為參數(shù)向量，輸入xi所屬類別為概率最大的類別。利用softmax的分類結(jié)果與輸入樣本的標(biāo)簽，構(gòu)建分類器的代價(jià)函數(shù)，通過反向傳播算法，微調(diào)網(wǎng)絡(luò)的權(quán)值，訓(xùn)練得到最優(yōu)的模型參數(shù)θ。微調(diào)過程利用全局監(jiān)督，使網(wǎng)絡(luò)進(jìn)而收斂至全局最小解。因此棧式自編碼具有強(qiáng)大的特征表達(dá)能力，能更好的學(xué)習(xí)到輸入的特征中的深層特征。與隨機(jī)初始化網(wǎng)絡(luò)參數(shù)相比，棧式自編碼器通過無監(jiān)督的預(yù)訓(xùn)練過程，使網(wǎng)絡(luò)參數(shù)初始化至容易收斂的值，相當(dāng)于暗示了隱含層需要學(xué)習(xí)的內(nèi)容，再引入稀疏性，防止網(wǎng)絡(luò)過擬合，提高了網(wǎng)絡(luò)的泛化能力。

3.2 融合框架

本文提出的特征融合框架主要分為三大部分，如圖6所示。

(1) 特征提取

首先，提取圖像的幾何形狀參數(shù)，得到100維的基線特征。再統(tǒng)計(jì)SAR圖像的TPLBP碼值的直方圖，將直方圖串接成SAR圖像的128維紋理特征向量。將基線特征和紋理特征串聯(lián)成特征向量。

(2) 特征融合

將得到的串聯(lián)向量作為SAE的輸入，利用SAE，融合原始特征中的互補(bǔ)信息，去除冗余信息。采用逐層貪婪訓(xùn)練法，預(yù)訓(xùn)練網(wǎng)絡(luò)。

(3) 分類

預(yù)訓(xùn)練結(jié)束后，再利用帶標(biāo)簽的訓(xùn)練數(shù)據(jù)，將SAE得到的融合特征送入softmax分類器進(jìn)行分類，根據(jù)分類結(jié)果與數(shù)據(jù)標(biāo)簽之間的距離，利用反向傳播算法對(duì)網(wǎng)絡(luò)權(quán)值進(jìn)行微調(diào)，得到訓(xùn)練好的網(wǎng)絡(luò)。最后對(duì)測(cè)試樣本提取特征，送入網(wǎng)絡(luò)進(jìn)行分類，得到識(shí)別結(jié)果。

4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證算法的有效性，本文在MSTAR數(shù)據(jù)集上做了10類目標(biāo)的識(shí)別實(shí)驗(yàn)。該數(shù)據(jù)集是美國(guó)預(yù)先研究計(jì)劃局和空軍實(shí)驗(yàn)室(DARPA/AFRL)聯(lián)合資助的面向SAR自動(dòng)目標(biāo)識(shí)別的公測(cè)數(shù)據(jù)集。利用X波段、HH極化方式聚束式合成孔徑雷達(dá)采集而來，分辨率為0.3 m×0.3 m。圖像大小主要有128×128像素、129×128像素、158×158像素等。該數(shù)據(jù)集包括BMP2,BRDM2,BTR60,BTR70,D7,T62,T72,ZIL131,ZSU234,2S1等10類軍事目標(biāo)(見圖7)，每類目標(biāo)樣本均包含方位角間隔1°的樣本數(shù)據(jù)。本文分別選取了17°和15°俯仰角的SAR圖像作為訓(xùn)練樣本和測(cè)試樣本。具體數(shù)據(jù)見表2。

表2 10類目標(biāo)訓(xùn)練、測(cè)試樣本數(shù)Tab. 2 Number of training samples and test samples

實(shí)驗(yàn)設(shè)置：根據(jù)文獻(xiàn)[2]TPLBP算子的參數(shù)設(shè)為S=8,ω=3,a=1,r=12,τ=0.01,B=64，提取出圖像的128維TPLBP特征，再與提取的100維基線特征串聯(lián)，得到228維的特征向量，送入含兩個(gè)隱層的SAE中進(jìn)行特征融合，再利用softmax分類器對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)，最后利用融合特征分類。本文所有算法均在2.6 GHz CPU,8 G內(nèi)存的條件下，使用Matlab R2014a編程實(shí)現(xiàn)。

4.1 SAE網(wǎng)絡(luò)結(jié)構(gòu)對(duì)實(shí)驗(yàn)結(jié)果的影響

神經(jīng)網(wǎng)絡(luò)在訓(xùn)練中，容易出現(xiàn)“過擬合”和“欠擬合”的問題。網(wǎng)絡(luò)結(jié)構(gòu)太復(fù)雜，網(wǎng)絡(luò)會(huì)將噪聲當(dāng)作信號(hào)一起擬合時(shí)，網(wǎng)絡(luò)產(chǎn)生較大的方差，此時(shí)網(wǎng)絡(luò)產(chǎn)生“過擬合”。若需要學(xué)習(xí)復(fù)雜的樣本，而網(wǎng)絡(luò)結(jié)構(gòu)又過于簡(jiǎn)單時(shí)，網(wǎng)絡(luò)將“欠擬合”。因此本文研究了棧式自編碼器結(jié)構(gòu)對(duì)網(wǎng)絡(luò)性能的影響。

在訓(xùn)練樣本一定的情況下，網(wǎng)絡(luò)神經(jīng)元數(shù)目越多，網(wǎng)絡(luò)結(jié)構(gòu)越復(fù)雜，“過擬合”現(xiàn)象越容易產(chǎn)生。因此，在達(dá)到相當(dāng)精度的情況下，網(wǎng)絡(luò)的層數(shù)越少越好。我們選擇含兩個(gè)隱層的自編碼器進(jìn)行特征融合，深入探究各層神經(jīng)元數(shù)目對(duì)網(wǎng)絡(luò)泛化能力的影響。

施彥[20]等人指出，為防止網(wǎng)絡(luò)“過擬合”，一般來說網(wǎng)絡(luò)隱層神經(jīng)元的數(shù)目與輸入層和輸出層數(shù)目之和相當(dāng)比較合適，本文中原始輸入特征為228維，因此輸入層的數(shù)目為228，輸出層數(shù)目為10。因此設(shè)SAE兩個(gè)隱層的神經(jīng)元的數(shù)目分別為L(zhǎng)1,L2，其

權(quán)重衰減參數(shù)λ用于控制代價(jià)函數(shù)中均方差項(xiàng)和權(quán)重衰減項(xiàng)的相對(duì)重要性，當(dāng)λ較小時(shí)，網(wǎng)絡(luò)偏好最小化原本的代價(jià)函數(shù)，而λ較大時(shí)網(wǎng)絡(luò)偏好更小的權(quán)值。本文取較小的λ值使網(wǎng)絡(luò)均方差項(xiàng)占的比例更多，權(quán)重衰減項(xiàng)的作用較小。稀疏性參數(shù)ρ通常是一個(gè)接近于0的較小的值，使網(wǎng)絡(luò)能獲得更好的泛化能力。參數(shù)β用于控制稀疏性懲罰因子的權(quán)重，β越大，網(wǎng)絡(luò)越稀疏。因此，設(shè)置參數(shù)如下ρ=0.1，β=3，λ=5e–4。

設(shè)置相同的網(wǎng)絡(luò)參數(shù)，將相同的特征數(shù)據(jù)輸入網(wǎng)絡(luò)，改變自編碼器兩個(gè)隱層神經(jīng)元數(shù)目L1,L2的值，記錄分類精度。為保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，對(duì)于L1,L2的每一組取值，將網(wǎng)絡(luò)訓(xùn)練和測(cè)試過程進(jìn)行5次，取平均分類精度作為最終的實(shí)驗(yàn)結(jié)果。結(jié)果如圖8。

由結(jié)果可知，自編碼器各層神經(jīng)元個(gè)數(shù)對(duì)網(wǎng)絡(luò)性能有很大影響。當(dāng)?shù)?個(gè)隱層的神經(jīng)元數(shù)目L2固定時(shí)，分類準(zhǔn)確度隨第1個(gè)隱層神經(jīng)元的數(shù)目L1變化而變化，當(dāng)L1取值在250附近時(shí)，網(wǎng)絡(luò)分類性能較好。同理，當(dāng)L1固定時(shí)，L2取值160附近時(shí)，網(wǎng)絡(luò)性能較好。當(dāng)L1=250,L2=160時(shí)，SAE融合得到的特征識(shí)別精度最高，達(dá)95.878%。從圖中我們也可以發(fā)現(xiàn)，網(wǎng)絡(luò)性能隨L1的變化起伏較L2而言更大，也就是說，第1個(gè)隱層數(shù)目對(duì)特征融合效果的影響較大。當(dāng)特征輸入棧式自編碼器時(shí)，若第1個(gè)隱層對(duì)數(shù)據(jù)的重構(gòu)誤差較大，則這種誤差將會(huì)在網(wǎng)絡(luò)中累積，因此，網(wǎng)絡(luò)的第1個(gè)隱層神經(jīng)元數(shù)目取得相對(duì)多時(shí)，能增加其對(duì)輸入數(shù)據(jù)的擬合程度，有效提升網(wǎng)絡(luò)整體的性能。另外，在樣本數(shù)量一定的情況下，網(wǎng)絡(luò)神經(jīng)元的數(shù)目并不是越多網(wǎng)絡(luò)性能越好。隨著神經(jīng)元的增加，網(wǎng)絡(luò)模型的參數(shù)會(huì)增多，網(wǎng)絡(luò)參數(shù)的自由度增大，更有可能導(dǎo)致網(wǎng)絡(luò)過擬合。

4.2 SAE特征融合前后對(duì)比實(shí)驗(yàn)

為探究基于SAE特征融合的算法有效性，本實(shí)驗(yàn)分別提取了MSTAR數(shù)據(jù)集中17°俯仰角的SAR切片目標(biāo)的100維基線特征與128維TPLBP特征。將特征串聯(lián)成228維向量后與SAE融合特征進(jìn)行比較。利用文獻(xiàn)[21]中提出的t分布的隨機(jī)鄰域嵌入(tdistributed stochastic neighbor embeddingt-SEN)將串聯(lián)特征和融合特征可視化，可以在2維空間中得到特征的分布，結(jié)果如圖9。

從特征分布圖中可以看出，串聯(lián)后的特征在2維空間中存在類間混疊，類內(nèi)分散。對(duì)于外形結(jié)構(gòu)相似性大的目標(biāo)，如BMP2,BTR70,T72,BRDM2,BTR60這5類目標(biāo)，串聯(lián)特征在2維空間中的混疊程度較大，區(qū)分性較差。而經(jīng)過棧式自編碼器融合后，10類目標(biāo)的融合特征在空間分布上類間距離更大，類內(nèi)距離更加緊湊，彼此之間基本沒有混疊?？梢钥闯觯琒AE改變了原始特征的空間分布，從而實(shí)現(xiàn)特征之間的深度融合。而BMP2,BTR70,BTR60這3類目標(biāo)的融合特征在特征空間中分布仍然相對(duì)緊湊，一方面是因?yàn)檫@3類目標(biāo)在外形結(jié)構(gòu)，紋理特征上較為相似，其特征表達(dá)本身相似度也較高。同時(shí)，也說明融合后的特征性能受原始特征性能的影響較大。雖然SAE能夠通過重構(gòu)輸入特征，從輸入數(shù)據(jù)中挖掘了更有效的信息，實(shí)現(xiàn)特征之間的優(yōu)勢(shì)互補(bǔ)，但融合后的特征性能仍然受到原始特征的約束。

另外，論文分別利用基線特征、紋理特征作為SAE網(wǎng)絡(luò)的訓(xùn)練樣本，與融合特征的識(shí)別性能比較。其中，SAE網(wǎng)絡(luò)含兩個(gè)隱層，調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)使分類性能達(dá)到最好。結(jié)果見表3。

表3 特征分類結(jié)果Tab. 3 Classification accuracy of features

上述結(jié)果可以看出，基線特征和TPLBP特征得到的目標(biāo)識(shí)別精度分別為90.19%,90.40%，融合后的特征識(shí)別精度達(dá)95.88%，平均識(shí)別精度提高了5%以上。除BRDM2與ZSU234之外，其余目標(biāo)類別的識(shí)別精度均高于單特征。另外，TPLBP特征對(duì)BTR60具有最差的分類性能，而基線特征在該類別上區(qū)分度較好，通過特征融合，該類別的分類精度提高至91.79%。當(dāng)目標(biāo)紋理特征區(qū)分度不大時(shí)，利用基線特征對(duì)目標(biāo)幾何結(jié)構(gòu)特性的描述，有效彌補(bǔ)了單一特征在某一類目標(biāo)上的劣勢(shì)。說明基于SAE的特征融合充分綜合了基線特征中的幾何結(jié)構(gòu)信息和TPLBP中的紋理信息，利用兩種特征中的互補(bǔ)信息，提高融合特征的可區(qū)分度。但總體上，融合特征在各個(gè)類別上的分類趨勢(shì)基本和原始特征保持一致，在BMP2這一類別上，兩類特征都表現(xiàn)較差，融合后雖然性能提升了近17%，但與別的類別相比，分類精度仍然最低。這說明特征融合在性能上受原始特征性能的限制，特征融合能實(shí)現(xiàn)特征間的優(yōu)勢(shì)互補(bǔ)，但不能完全彌補(bǔ)共同的劣勢(shì)，因此，選擇互補(bǔ)性大的特征能在特征維度較低的情況下有效提高融合效果。

4.3 不同特征的融合算法比較

為比較不同特征組合之間的融合性能，本文提取了SAR圖像的Gabor紋理特征，根據(jù)文獻(xiàn)[22]，設(shè)置參數(shù)本文選取了5個(gè)尺度(v=｛0,1,2,3,4})，8個(gè)方向(μ=｛1,2,3,4,5,6,7,8})的Gabor濾波器，與SAR圖像卷積后，再將卷積后的圖像分成同等大小的兩個(gè)圖像塊，分別計(jì)算每一圖像塊的均值和方差，得到SAR圖像的160維Gabor紋理特征。利用棧式自編碼器，分別將基線特征和Gabor紋理特征、Gabor紋理特征和TPLBP局部紋理特征進(jìn)行特征融合，得到融合精度為93.65%,92.00%，各類別的分類精度見表4。

表4 不同特征融合分類結(jié)果Tab. 4 Classification accuracy of different features

上述結(jié)果可以看出，基線特征與Gabor紋理特征的融合結(jié)果優(yōu)于Gabor特征和TPLBP特征的融合結(jié)果，原因在于基線特征與Gabor紋理特征分別描述了SAR圖像的幾何結(jié)構(gòu)屬性和紋理特性，不同屬性的特征之間互補(bǔ)性較大，融合后的特征能更全面的描述目標(biāo)。而Gabor特征和TPLBP特征都屬于紋理特征，特征之間的冗余性較大，互補(bǔ)性相對(duì)較小，因此融合后性能提高較少。而本文提出的將基線特征和TPLBP紋理特征進(jìn)行融合的方法，融合后的分類結(jié)果比基線特征與Gabor特征的融合效果更好。主要原因如下：第一，與Gabor特征相比，TPLBP特征在描述SAR圖像的紋理特征上更具優(yōu)勢(shì)。TPLBP特征利用模塊之間的紋理對(duì)比，使得特征抗噪性更強(qiáng)，其對(duì)于大尺度的紋理描述也更具優(yōu)勢(shì)。第二，TPLBP特征與基線特征具有更強(qiáng)的互補(bǔ)性。TPLBP特征不僅彌補(bǔ)了基線特征在灰度信息上的缺失，其旋轉(zhuǎn)不變性對(duì)目標(biāo)方位角變化不敏感。兩種特征在原理上相互補(bǔ)充，因此融合后識(shí)別性能提升較大。

4.4 與其他分類算法對(duì)比

為驗(yàn)證算法的有效性，將本文算法與其他算法進(jìn)行比較，如表5所示。文獻(xiàn)[23]利用稀疏表示(Sparse Representation based Classification,SRC)對(duì)MSTAR數(shù)據(jù)集的10類目標(biāo)進(jìn)行了分類，其分類精度為89.76%。將串聯(lián)的SAR圖像的基線特征和TPLBP紋理特征利用支持向量機(jī)(Support Vector Machines,SVM)分類器進(jìn)行分類，得到的平均識(shí)別精度為90.73%。與SRC相比，基于SAE的特征融合特征表達(dá)更為有效，在分類性能上有所提高。與串聯(lián)特征直接送入SVM中分類相比，基于棧式自編碼器的特征融合算法在特征融合過程中，不僅能降低特征維度，同時(shí)通過改變特征在空間上的分布，提取出了區(qū)分性更好的融合特征。

表5 不同算法識(shí)別精度對(duì)比Tab. 5 Classification accuracy comparison of different algorithms

文獻(xiàn)[24]中提出了直接利用卷積神經(jīng)網(wǎng)絡(luò)提取SAR圖像特征，再訓(xùn)練softmax分類器，得到MSTAR數(shù)據(jù)集10類目標(biāo)的分類精度為92.3%。本文利用含兩個(gè)隱層的SAE網(wǎng)絡(luò)，直接對(duì)SAR圖像進(jìn)行特征提取，經(jīng)預(yù)訓(xùn)練和微調(diào)后，得到目標(biāo)分類精度為93.6%。直接將圖片作為神經(jīng)網(wǎng)絡(luò)的輸入，雖然網(wǎng)絡(luò)能提取的信息更豐富，但與輸入特征相比，其輸入數(shù)據(jù)量大大增加，原始SAR圖像切片的大小為128×128，而串聯(lián)特征的維度為228，復(fù)雜的輸入數(shù)據(jù)需要更多的標(biāo)注樣本去擬合。在樣本數(shù)據(jù)一定的情況下，復(fù)雜的網(wǎng)絡(luò)輸入，更容易使網(wǎng)絡(luò)陷入欠擬合，導(dǎo)致網(wǎng)絡(luò)性能不夠穩(wěn)定。

另外，基于特征融合的SAE算法在時(shí)間復(fù)雜度也更具優(yōu)勢(shì)。直接將SAR圖像切片輸入SAE中，網(wǎng)絡(luò)輸入層的神經(jīng)元數(shù)目為16384，而融合算法中用到的SAE網(wǎng)絡(luò)輸入層的數(shù)目為228，因此，在訓(xùn)練過程中，本文算法需要訓(xùn)練的參數(shù)數(shù)目大大減少，兩種算法的訓(xùn)練時(shí)間和測(cè)試時(shí)間見表6，本文算法再測(cè)試時(shí)間和訓(xùn)練時(shí)間上，速度提高了8～9倍。因此，在訓(xùn)練樣本一定的情況下，基于SAE的特征融合能有效的減少神經(jīng)元的數(shù)目，簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)，提高算法效率。

表6 不同算法訓(xùn)練時(shí)間與測(cè)試時(shí)間對(duì)比Tab. 6 Training time and testing time of different methods

5 結(jié)束語

本文探討了基于SAE的特征融合算法在SAR圖像自動(dòng)目標(biāo)識(shí)別問題上的有效性。選取了冗余性小，互補(bǔ)性大的TPLBP局部紋理特征和基線特征，利用棧式自編碼器的特征表達(dá)能力，將特征進(jìn)行深度融合，提取出了區(qū)分度更大的深度特征。與其他算法相比，基于SAE的特征融合算法在特征選取、分類精度和時(shí)間效率上都具有優(yōu)勢(shì)。主要具有以下3個(gè)方面的特點(diǎn)：第一，選擇了互補(bǔ)性大的特征，為SAE提供了更豐富的融合信息，實(shí)現(xiàn)了特征之間優(yōu)勢(shì)互補(bǔ)，融合效果提升較大。第二，特征提取降低了數(shù)據(jù)維度，從而簡(jiǎn)化了SAE的網(wǎng)絡(luò)結(jié)構(gòu)，降低了算法時(shí)間復(fù)雜度。第三，SAE的無監(jiān)督學(xué)習(xí)算法，降低了深度模型對(duì)標(biāo)注樣本的需求，改變了原始特征的空間分布，使特征融合更加有效。融合特征的選擇對(duì)目標(biāo)識(shí)別具有較大的影響，本文應(yīng)進(jìn)一步研究合適的特征選擇算法，更深入的探究不同特征之間的關(guān)系，從而選擇出更具融合價(jià)值的特征，進(jìn)一步提升識(shí)別的性能。

[1]Jiang Y,Chen J,and Wang R. Fusing local and global information for scene classification[J].Optical Engineering,2010,49(4): 047001–047001-10.

[2]Liu Z and Liu C. Fusion of color,local spatial and global frequency information for face recognition[J].Pattern Recognition,2010,43(8): 2882–2890.

[3]Mohamed R and Mohamed M. A Hybrid feature extraction for satellite image segmentation using statistical global and local feature[C]. Proceedings of the Mediterranean Conference on Information & Communication Technologies 2015. Springer International Publishing,2016: 247–255.

[4]Zou J,Li W,Chen C,et al.. Scene classification using local and global features with collaborative representation fusion[J].Information Sciences,2016,348: 209–226.

[5]王大偉,陳定榮,何亦征. 面向目標(biāo)識(shí)別的多特征圖像融合技術(shù)綜述[J]. 航空電子技術(shù),2011,42(2): 6–12. Wang Dawei,Chen Dingrong,and He Yizheng. A survey of feature-level image fusion based on target recognition[J].Avionics Technology,2011,42(2): 6–12.

[6]王璐,張帆,李偉,等. 基于Gabor濾波器和局部紋理特征提取的SAR目標(biāo)識(shí)別算法[J]. 雷達(dá)學(xué)報(bào),2015,4(6): 658–665. Wang Lu,Zhang Fan,Li Wei,et al.. A method of SAR target recognition based on Gabor filter and local texture feature extraction[J].Journal of Radars,2015,4(6): 658–665.

[7]Lin C,Peng F,Wang B H,et al.. Research on PCA and KPCA self-fusion based MSTAR SAR automatic targetrecognition algorithm[J].Journal of Electronic Science Technology,2012,10(4): 352–357.

[8]Huan R,Liang R,and Pan Y. SAR target recognition with the fusion of LDA and ICA[C]. 2009 International Conference on Information Engineering and Computer Science,IEEE,Wuhan,China,2009: 1–5.

[9]Chaudhary M D and Upadhyay A B. Fusion of local and global features using stationary wavelet transform for efficient content based image retrieval[C]. 2014 IEEE Students' Conference on Electrical,Electronics and Computer Science (SCEECS),IEEE,Bhopal,India,2014: 1–6.

[10]Hinton G E and Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786): 504–507.

[11]Geng J,Fan J,Wang H,et al.. High-Resolution SAR image classification via deep convolutional autoencoders[J].IEEE Geoscience&Remote Sensing Letters,2015,12(11): 1–5.

[12]Chen Y,Lin Z,Zhao X,et al.. Deep learning-based classification of hyperspectral data[J].IEEE Journal of Selected Topics in Applied Earth Observations&Remote Sensing,2014,7(6): 2094–2107.

[13]Sun Z,Xue L,and Xu Y. Recognition of SAR target based on multilayer auto-encoder and SNN[J].International Journal of Innovative Computing,Information and Control,2013,9(11): 4331–4341.

[14]Chen Y W and Lin C J. Combining SVMs with Various Feature Selection[M]. In Feature Extraction: Foundations and Applications,Guyon I,Gunn S,Nikravesh M,and Zadeh L A Berlin,Germany: Springer,2006: 315–324.

[15]Chen Y W. Combining SVMs with various feature selection strategies[D]. [Master. dissertation],National Taiwan University,2005.

[16]El Darymli K,Mcguire P,Gill E W,et al.. Characterization and statistical modeling of phase in single-channel synthetic aperture radar imagery[J].IEEE Transactions on Aerospace and Electronic Systems,2015,51(3): 2071–2092.

[17]Kapur J N,Sahoo P K,and Wong A K C. A new method for gray-level picture thresholding using the entropy of the histogram[J].Computer Vision,Graphics,and Image Processing,1985,29(3): 273–285.

[18]Mathworks. Morphology Fundamentals: Dilation and Erosion[OL]. http://tinyurl.com/q6zf.

[19]Wolf L,Hassner T,and Taigman Y. Descriptor based methods in the wild[C]. Workshop on Faces in Real-Life Images: Detection,Alignment,and Recognition,2008.

[20]施彥,韓力群,廉小親. 神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)方法與實(shí)例分析[M]. 北京: 北京郵電大學(xué)出版社,2009: 32–108. Shi Yan,Han Liqun,and Lian Xiao qin. Neural Network Design and Case Analysis[M]. Beijing: Beijing University of Posts and Telecommunications Press,2009: 32–108.

[21]Maaten L and Hinton G. Visualizing data using t-SNE[J].Journal of Machine Learning Research,2008,9: 2579–2605.

[22]Hu F,Zhang P,Yang R,et al.. SAR target recognition based on Gabor filter and sub-block statistical feature[C]. 2009 IET International Radar Conference,2009: 1–4.

[23]Song H,Ji K,Zhang Y,et al.. Sparse Representation-based SAR image target classification on the 10-class MSTAR data set[J].Applied Sciences,2016,6(1): 26.

[24]Morgan D A. Deep convolutional neural networks for ATR from SAR imagery[C]. SPIE Defense Security. International Society for Optics and Photonics,2015: 94750F-94750F-13.

康 妙(1992–)，女，湖南新化人，2015年獲得大連理工大學(xué)學(xué)士學(xué)位，現(xiàn)攻讀國(guó)防科學(xué)技術(shù)大學(xué)碩士學(xué)位，研究方向?yàn)镾AR自動(dòng)目標(biāo)識(shí)別、SAR艦船目標(biāo)檢測(cè)。

E-mail: kangmiao15@gmail.com

計(jì)科峰(1974–)，男，陜西長(zhǎng)武人，博士，國(guó)防科學(xué)技術(shù)大學(xué)副教授，碩士生導(dǎo)師。主要研究方向?yàn)镾AR圖像處理、判讀解譯、目標(biāo)識(shí)別及海洋監(jiān)視應(yīng)用。

E-mail: jikefeng@nudt.edu.cn

冷祥光(1991–)，男，江西修水人，2015年畢業(yè)于國(guó)防科學(xué)技術(shù)大學(xué)攝影測(cè)量與遙感專業(yè)，獲得工學(xué)碩士學(xué)位，現(xiàn)在攻讀博士學(xué)位，主要研究方向?yàn)檫b感信息處理。

E-mail: luckight@163.com

SAR Target Recognition with Feature Fusion Based on Stacked Autoencoder

Kang Miao①Ji Kefeng①Leng Xiangguang①Xing Xiangwei②Zou Huanxin①
①(School of Electronic Science and Engineering,National University of Defense Technology,Changsha410073,China)
②(Beijing Institute of Remote Sensing Information,Beijing100192,China)

A feature fusion algorithm based on a Stacked AutoEncoder (SAE) for Synthetic Aperture Rader (SAR) imagery is proposed in this paper. Firstly,25 baseline features and Three-Patch Local Binary Patterns (TPLBP) features are extracted. Then,the features are combined in series and fed into the SAE network,which is trained by a greedy layer-wise method. Finally,the softmax classifier is employed to fine tune the SAE network for better fusion performance. Additionally,the Gabor texture features of SAR images are extracted,and the fusion experiments between different features are carried out. The results show that the baseline features and TPLBP features have low redundancy and high complementarity,which makes the fused feature more discriminative. Compared with the SAR target recognition algorithm based on SAE or CNN (Convolutional Neural Network),the proposed method simplifies the network structure and increases the recognition accuracy and efficiency. 10-classes SAR targets based on an MSTAR dataset got a classification accuracy up to 95.88%,which verifies the effectiveness of the presented algorithm.

Synthetic Aperture Rader (SAR); Target recognition; Feature fusion; Stacked AutoEncoder (SAE); Moving and Stationary Target Acquisition and Recognition (MSTAR)

TP751

A

2095-283X(2017)02-0167-10

10.12000/JR16112

康妙,計(jì)科峰,冷祥光,等. 基于棧式自編碼器特征融合的SAR圖像車輛目標(biāo)識(shí)別[J]. 雷達(dá)學(xué)報(bào),2017,6(2): 167–176.

10.12000/JR16112.

Reference format:Kang Miao,Ji Kefeng,Leng Xiangguang,et al.. SAR target recognition with feature fusion based on stacked autoencoder[J].Journal of Radars,2017,6(2): 167–176. DOI: 10.12000/JR16112.

2016-09-29；改回日期：2017-01-24；

2017-03-22

*通信作者： 計(jì)科峰 jikefeng@nudt.edu.cn

國(guó)家自然科學(xué)基金(61372163,61331015,61601035)

Foundation Items: The National Natural Science Foundation of China (61372163,61331015,61601035)