孫志軍*① 薛 磊①② 許陽明①② 孫志勇①②

?

基于多層編碼器的SAR目標(biāo)及陰影聯(lián)合特征提取算法

孫志軍薛 磊許陽明孫志勇

(電子工程學(xué)院 合肥 230037)(安徽省電子制約技術(shù)重點實驗室 合肥 230037)

針對合成孔徑雷達(dá)(SAR)圖像目標(biāo)識別問題，提出一種基于多層自動編碼器的特征提取算法。該方法利用隨機(jī)神經(jīng)網(wǎng)絡(luò)受限波爾茲曼機(jī)學(xué)習(xí)建模環(huán)境概率分布的能力，通過組建更具函數(shù)表達(dá)能力的多層神經(jīng)網(wǎng)絡(luò)，提取描述目標(biāo)及其陰影輪廓形狀的綜合特征。利用兩種分類模型實現(xiàn)目標(biāo)自動識別?；贛STAR數(shù)據(jù)的仿真實驗結(jié)果驗證了算法的有效性。

SAR；特征提?。欢鄬幼詣泳幋a器；陰影

1 引言

綜合目標(biāo)圖像及其陰影信息的識別問題已成為合成孔徑雷達(dá)(Synthetic Aperture Radar, SAR)自動目標(biāo)識別(Automatic Target Recognition, ATR)領(lǐng)域的研究熱點。文獻(xiàn)[1]利用目標(biāo)及陰影輪廓特征通過串聯(lián)方式對目標(biāo)進(jìn)行識別。文獻(xiàn)[2]和文獻(xiàn)[3]研究了多視角SAR陰影的目標(biāo)識別。文獻(xiàn)[4]引入高分辨距離像及陰影信息進(jìn)行目標(biāo)識別。

目前，多數(shù)研究均將目標(biāo)及其陰影視作獨(dú)立特征進(jìn)行處理。然而，這兩類數(shù)據(jù)均含目標(biāo)類別的特征信息，并在識別率意義上存在相互作用。提取兩類數(shù)據(jù)的聯(lián)合特征將更有助于分類任務(wù)。SAR陰影形成機(jī)理使陰影輪廓反映目標(biāo)空間結(jié)構(gòu)特性，這使得基于綜合目標(biāo)及陰影輪廓特征的SAR ATR成為可能。本文引入聲學(xué)識別領(lǐng)域中一種可獲取多模表示的多層自動編碼器，采用聯(lián)合編碼的方式提取反映目標(biāo)及陰影輪廓信息的綜合特征，引入?yún)f(xié)同神經(jīng)網(wǎng)絡(luò)在特征空間對目標(biāo)進(jìn)行識別?；谑芟薏柶澛鼨C(jī)(Restricted Boltzman Machine)的多層神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)框架下較為成功的特征提取模型。利用其生成性的訓(xùn)練可以獲取輸入數(shù)據(jù)集的本質(zhì)特征。協(xié)同神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)意義上嚴(yán)格控制網(wǎng)絡(luò)演化，避免了其它神經(jīng)網(wǎng)絡(luò)訓(xùn)練的隨意性。此外，兩類模型均為基于神經(jīng)網(wǎng)絡(luò)，更加便于算法的實現(xiàn)。

本文內(nèi)容安排如下：第2節(jié)主要對本文所采用的深度編碼模型進(jìn)行說明；在此特征提取基礎(chǔ)上，第3節(jié)介紹了基于協(xié)同神經(jīng)網(wǎng)絡(luò)的分類模型；第4節(jié)給出了實驗細(xì)節(jié)、結(jié)果及分析；最后是本文的結(jié)論部分。

2 深度編碼模型

人們在聆聽話音時，若可同時觀察到發(fā)音口型，即使音量微弱也可辨別出講話的內(nèi)容。人腦這種對聯(lián)合特征的提取更適合于分類任務(wù)?；谶@種思想，多層自動編碼器已被成功應(yīng)用于可視環(huán)境下的魯棒語音特征提取問題。本文基于此類多層自動編碼器，對SAR圖像中目標(biāo)和陰影輪廓兩類數(shù)據(jù)進(jìn)行編碼。旨在獲取一種綜合目標(biāo)及陰影輪廓的特征提取算法。

深度學(xué)習(xí)算法通過訓(xùn)練多層非線性網(wǎng)絡(luò)結(jié)構(gòu)，表征輸入數(shù)據(jù)概率分布，展現(xiàn)了學(xué)習(xí)數(shù)據(jù)本質(zhì)特征的能力。自2006年Hinton等人在Science發(fā)表利用深層神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)降維的論文后，深度學(xué)習(xí)的研究引起機(jī)器學(xué)習(xí)領(lǐng)域廣泛關(guān)注。多層自動編碼器就是深度學(xué)習(xí)研究領(lǐng)域典型模型之一。

多層編碼模型如圖1所示，編碼部分將預(yù)處理數(shù)據(jù)映射到共模特征層；解碼部分利用共模特征對輸入樣本重建。考慮到目標(biāo)數(shù)據(jù)是實數(shù)據(jù)，而陰影輪廓是整形數(shù)據(jù)。目標(biāo)編碼和解碼部分采用稀疏高斯-伯努利RBM模型；其它互聯(lián)模型均采用稀疏伯努利-伯努利RBM模型。

圖1 共模深度編碼模型

多層自動編碼器的訓(xùn)練分3個步驟：子模型預(yù)訓(xùn)練，多層模型組建，模型修正。

2.1 子模型預(yù)訓(xùn)練

我們的多層編碼模型由多組RBM組成，首先分別利用目標(biāo)及陰影數(shù)據(jù)訓(xùn)練稀疏RBM模型。然后利用各自隱層輸出作為新一級模型的輸入數(shù)據(jù)，訓(xùn)練隱層之間的稀疏RBM模型。

RBM是一種典型神經(jīng)網(wǎng)絡(luò)，如圖2所示。為使獲取特征具備一定的稀疏性，利用如式(1)所示的正則化因子對隱單元進(jìn)行約束。

圖2 RBM模型

在一個RBM中，模型聯(lián)合概率分布可用能量函數(shù)來表示：

(3)

伯努利(顯)-伯努利(隱)RBM能量函數(shù)定義為

(4)

(6)

對應(yīng)的條件概率可寫成式(7)所示：

2.2多層模型組建

預(yù)訓(xùn)練結(jié)束后，對各模型進(jìn)行松綁，即將圖2所示的子模型按圖3所示進(jìn)行拆解。構(gòu)成僅有一個隱層的編解碼模型，其中，下層對應(yīng)編碼模型，上層對應(yīng)解碼模型。然后組建成如圖1所示的多層編碼器。

2.3模型修正

模型組建完成后，需要對網(wǎng)絡(luò)權(quán)值進(jìn)行修正。本文采用文獻(xiàn)[13]提出的邊際Fisher準(zhǔn)則進(jìn)行修正，如式(9)所示。自動編碼器包括參數(shù)

圖3 RBM編解碼模型

由于深度學(xué)習(xí)網(wǎng)絡(luò)具有靈活的函數(shù)表征能力，往往造成過擬合訓(xùn)練。算法的泛化性急劇下降，為此需在目標(biāo)函數(shù)中進(jìn)一步采用正則化手段。

提取特征應(yīng)遵循數(shù)據(jù)分布的內(nèi)在結(jié)構(gòu)，通常獲取數(shù)據(jù)本質(zhì)分布結(jié)構(gòu)的方法是最小化重建誤差。由于自動編碼網(wǎng)絡(luò)的解碼部分自然形成了重建函數(shù)，因此非監(jiān)督數(shù)據(jù)決定的正則化定義為

因此優(yōu)化的目標(biāo)函數(shù)變成式(11)所示：

(12)

(13)

同理，

(14)

按式(11)所示的目標(biāo)函數(shù)以及式(15)所示的梯度函數(shù)，采用共軛梯度法獲取最小化目標(biāo)對應(yīng)的解。

3 識別模型

在特征提取的基礎(chǔ)上，引入?yún)f(xié)同神經(jīng)網(wǎng)絡(luò)(Synergetic Neural Network, SNN)對雷達(dá)目標(biāo)進(jìn)行分類。對待識別模式(初始輸入向量)可以構(gòu)造一個動力學(xué)過程，使經(jīng)過識別模式(中間狀態(tài))進(jìn)入到諸原型模式中的一個原型模式。網(wǎng)絡(luò)模型類似如圖4所示3層前饋型神經(jīng)網(wǎng)絡(luò)，中間序參量按動力學(xué)方程進(jìn)行演化。

圖4 協(xié)同神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

Fig. 4 Structure of synergetic neural network

(17)

并且序參量的動力學(xué)方程：

協(xié)同神經(jīng)網(wǎng)絡(luò)的識別步驟如圖5所示，其中原型向量和輸入模式特征向量均為訓(xùn)練樣本及測試樣本在特征提取后的特征向量，伴隨向量以及各模式的序參量可由式(16)、式(17)獲取，動力學(xué)演化方程如式(18)所示。

4 仿真實驗

4.1實驗數(shù)據(jù)

利用美國DARPA/AFRL MSTAR工作組提供的實測SAR地面靜止目標(biāo)數(shù)據(jù)對算法進(jìn)行仿真實驗，該數(shù)據(jù)集中目標(biāo)圖像大小為128×128，分辨率為0.3 m×0.3 m。每類目標(biāo)樣本均包含間隔1°的樣本數(shù)據(jù)。本實驗中所采用的訓(xùn)練樣本如表1所示，為測試在不同樣本集規(guī)模情況下算法的性能，給出了不同實驗帶標(biāo)簽訓(xùn)練樣本規(guī)模。表2給出了測試數(shù)據(jù)的樣本集描述。

圖5 協(xié)同模式識別過程

4.2 預(yù)處理

本文在分析現(xiàn)有SAR圖像處理領(lǐng)域的分割技術(shù)基礎(chǔ)上，在算法復(fù)雜度及分割精度上折中采用如下的預(yù)處理分割算法。首先利用冪變換將噪聲分布由近似瑞利分布轉(zhuǎn)換為近似高斯分布。采用維納濾波方法對圖像相干斑噪聲進(jìn)行去噪。根據(jù)圖像的統(tǒng)計均值及方差對目標(biāo)圖像的前景、背景及陰影進(jìn)行標(biāo)記。通過中值濾波方法對圖像進(jìn)行平滑。利用sobel算子進(jìn)行陰影邊界提取。并實現(xiàn)對目標(biāo)區(qū)域的分割。圖像預(yù)處理結(jié)果如圖6所示。

表1訓(xùn)練數(shù)據(jù)集數(shù)量

Tab. 1 Training dataset description

表2測試數(shù)據(jù)集數(shù)量

Tab. 2 Test dataset description

圖6 SAR目標(biāo)切片及其陰影輪廓

4.3仿真設(shè)定

為進(jìn)一步降低訓(xùn)練圖像大小，對圖像進(jìn)行剪切。其中陰影圖像切割的像素范圍是(4089)×(2069)；目標(biāo)圖像切割的像素范圍是(4089)×(4089)。

RBM的步驟訓(xùn)練按2.1節(jié)所述進(jìn)行，訓(xùn)練迭代次數(shù)epoch=2000；陰影輪廓和目標(biāo)圖像的稀疏度分別為；本實驗中稀疏度按照不同的訓(xùn)練集規(guī)模在以上范圍取值。在建模陰影區(qū)域時采用伯努利-伯努利RBM，在對目標(biāo)進(jìn)行建模時采用高斯-伯努利RBM；兩模型尺寸均為2500×1000，第2層RBM訓(xùn)練的稀疏度取值范圍，模型訓(xùn)練尺寸為2000×1000。

預(yù)訓(xùn)練完成后按圖3所示的共模學(xué)習(xí)模型進(jìn)行組建。監(jiān)督式訓(xùn)練的回合數(shù)為200次。

4.4實驗結(jié)果

(1) 輸入樣本對比實驗結(jié)果

實驗分別采用整幅(未分割)圖像，目標(biāo)圖像(已分割)，和目標(biāo)及陰影輪廓作為輸入，在相同的學(xué)習(xí)模型及修正準(zhǔn)則下，利用NC(Nearest Center) 分類器和SNN對目標(biāo)進(jìn)行分類。圖7給出了一次判決的識別演化過程曲線。仿真結(jié)果如表3所示，其中括號內(nèi)為所采用的分類器。

圖7 序參量識別演化曲線

表3不同輸入數(shù)據(jù)時算法的識別率對比(%)

Tab. 3 Rate comparison of different input data(%)

(2) 特征提取對比實驗結(jié)果

作為對比，本文給出同類特征提取算法的識別結(jié)果。文獻(xiàn)[15]提出PCA及KPCA特征分析算法，提取主分量特征及基于核變換后的主分量信息。文獻(xiàn)[16]提出最大異類距離特征提取算法，同時也給出了基于KLDA特征提取算法的識別結(jié)果。本文對不同算法的識別性能進(jìn)行對比。不同特征提取算法的識別性能對比結(jié)果如表4所示。

(3) 與其他淺層結(jié)構(gòu)模型對比實驗結(jié)果

如表5中所示，文獻(xiàn)[1]分別利用傅里葉描述子描述目標(biāo)輪廓和陰影輪廓數(shù)據(jù)，并用最大相關(guān)法進(jìn)行模板匹配后采用串接準(zhǔn)則融合識別。文獻(xiàn)[17]利用SVM識別模型直接在原始圖像樣本上進(jìn)行分類。文獻(xiàn)[18]引入HMM模型對SAR目標(biāo)進(jìn)行識別。

表4不同特征提取算法識別性能對比(%)

Tab. 4 Performance comparison of different feature extraction algorithm (%)

Tab. 5 Recognition performance comparison of different classification (%)

4.5實驗結(jié)果分析

為考察輸入數(shù)據(jù)對分類性能的影響，利用如表3中所述的輸入數(shù)據(jù)，采用邊際深度Fisher模型進(jìn)行特征提取。分類器分別采用NC和SNN。通過表4給出的對比實驗結(jié)果可以看出，在輸入整幅圖像時，由于圖像中尚存相干斑等噪聲，影響了識別精度。在對圖像進(jìn)行分割后，采用純凈的目標(biāo)單獨(dú)作為識別器輸入，分類性能明顯提高。繼而引入陰影信息按本文所述的多層編碼器進(jìn)行編碼，并利用聯(lián)合特征進(jìn)行識別，結(jié)果表明提取特征具有一定的魯棒性。最后比較了協(xié)同神經(jīng)網(wǎng)絡(luò)的識別結(jié)果，由于引入了更多的訓(xùn)練樣本信息，進(jìn)一步提升了識別精度。

從表4所示的識別結(jié)果可以看出，KLDA與KPCA的識別率相差不大。在大樣本集情況下基于最大異類距離的算法具有較好的效果，但當(dāng)樣本集不匹配時性能下降很快。由于基于最大異類距離算法僅考慮不同類間訓(xùn)練樣本，對同類樣本未考慮，在訓(xùn)練樣本數(shù)較多情況下，可以實現(xiàn)正確分類，但當(dāng)樣本數(shù)減少時，對于待測樣本找不到其鄰近的同類樣本匹配。所以在樣本數(shù)較小時出現(xiàn)誤判。同時由于本文算法同時考慮了同類樣本及異類樣本，識別性能在樣本數(shù)下降時仍保持很高的識別率。

表5給出了淺層結(jié)構(gòu)分類模型的識別結(jié)果。由于本文利用多層自動編碼器獲取目標(biāo)及陰影的聯(lián)合特征，而同類型的淺層算法或不提取特征，或直接“鏈接”特征并在此基礎(chǔ)上采用其他分類模型進(jìn)行分類。難以提取魯棒的特征表示。結(jié)果驗證了本文算法的有效性。

5 結(jié)論

本文探討了結(jié)合SAR圖像及陰影信息特征提取的算法性能。采用多層自動編碼器對聯(lián)合特征進(jìn)行提取，并引入邊際Fisher準(zhǔn)則及多種正則化手段對網(wǎng)絡(luò)權(quán)值進(jìn)行修正，利用兩種分類模型對MSTAR數(shù)據(jù)進(jìn)行分類。結(jié)果驗證了本文算法在識別性能上具有一定的優(yōu)越性。同時本文算法優(yōu)勢源于非監(jiān)督的預(yù)訓(xùn)練過程，并適用于半監(jiān)督學(xué)習(xí)應(yīng)用場合。更大規(guī)模的數(shù)據(jù)集獲取更好的性能。本文仿真實驗采用標(biāo)準(zhǔn)的公開數(shù)據(jù)庫進(jìn)行，如何合理增加數(shù)據(jù)集規(guī)模，縮小仿真數(shù)據(jù)與真實數(shù)據(jù)的差異是進(jìn)一步深入研究的問題。

[1] 尹奎英, 金林, 李成, 等. 融合目標(biāo)輪廓和陰影輪廓的SAR圖像目標(biāo)識別[J]. 空軍工程大學(xué)學(xué)報(自然科學(xué)版), 2011, 12(1): 24-28.

Yin Kui-ying, Jin Lin, Li Cheng,.. An SAR ATR based on fusion of target contour and shadow contour[J].(), 2011, 12(1): 24-28.

[2] Yang Lujing, Hao Wei, and Wang Deshi. SAR image recognition based on multi-aspect of shadow information[J].&, 2009, 26(4): 320-326.

[3] Scott Papson and Ram M Narayanan. Classification via the shadow region in SAR imagery[J]., 2012, 48(2): 969-979.

[4] Cui Jingjing, Jon Gudnason, and Mike Brookes. Radar shadow and superresolution features for automatic recognition of MSTAR targets[C]. IEEE International Radar Conference, Arlington, VA, USA, 2005: 534-539.

[5] Jakulin A. Machine Learning Based on Attribute Inter- actions[D]. [Ph.D. dissertation], The University of Jubljana, 2005.

[6] Jiquan Ngiam, Aditya Khosla, Mingyu Kim,.. Multimodal deep learning[C]. Proceedings of the 29th International Conference on Machine Learning (ICML), University of Edinburgh, Scotland, 2012: 1-9.

[7] HintonGE and SalakhutdinovRR. Reducing the dimensionality of data with neural networks[J]., 2006, 313(5786): 504-507.

[8] Hinton G E, Osindero S, and Teh Y W. A fast learning algorithm for deep belief nets[J]., 2006, 18(7): 1527-1554.

[9] 孫志軍, 薛磊, 許陽明, 等. 深度學(xué)習(xí)研究綜述[J]. 計算機(jī)應(yīng)用研究, 2012, 29(8): 2806-2810.

Sun Zhi-jun, Xue Lei, Xu Yang-ming,.. Overview of deep learning[J]., 2012, 29(8): 2806-2810.

[10] VincentP,Larochelle H, Lajoie I,.. Stacked denoising autoencoders: learning useful representations in a deep network with a local denoising criterion[J]., 2010, 11(2010): 3371-3408.

[11] HintonG E. UTML-TR 2010-003 Apractical guide to trainingrestricted boltzmann machines[R]. University of Toronto: Toronto, HintonG E, August 2010.

[12] Honglak Lee, Chaitanya Ekanadham, and Andrew Y Ng. Sparse deep belief net model for visual area V2[J]., 2008: 873-880.

[13] YanS C, Xu D, Zhang B Y,.. Graph embedding and extensions: a general framework fordimensionality reduction[J]., 2007, 29(1): 40-51.

[14] 緱水平, 焦李成, 田小林. 基于免疫克隆聚類協(xié)同神經(jīng)網(wǎng)絡(luò)的圖像識別[J]. 電子與信息學(xué)報, 2008, 30(2): 263-266.

Gou Shui-ping, Jiao Li-cheng, and Tian Xiao-lin. Image recognition using synergetic neural networks based on immune clonal clustering[J].&, 2008, 30(2): 263-266.

[15] 韓萍, 吳仁彪, 王兆華, 等. 基于KPCA 準(zhǔn)則的SAR 目標(biāo)特征提取與識別[J]. 電子與信息學(xué)報, 2003, 25(10): 1297-1301.

Han Ping, Wu Ren-biao, Wang Zhao-hua,.. SAR Automatic target recognition based on KPCA criterion[J].&, 2003, 25(10): 1297-1301.

[16] 王兵, 黃鈺林, 楊建宇, 等. 基于最大異類距離特征提取的SAR目標(biāo)識別方法[J]. 中國科學(xué)技術(shù)科學(xué), 2011, 41(10): 1388-1392.

Wang Bing, Hang Yu-lin, Yang Jian-yu,.. A feature extraction method for SAR automatic target recognition based on maximum interclass distance[J]., 2011, 41(10): 1388-1392.

[17] Zhao Q and Principe J C. Support vector machines for SAR automatic target recognition[J]., 2001, 37(2): 643-654.

[18] Kottke D P, Fiore P D, Brown K L,.. Design for HMM based SAR ATR[C]. Proceedings of SPIE, Orlando, FL, 1998, 3370: 541-551. DOI: 10.1117/12.321857.

Shared Representation of SAR Target and Shadow Based on Multilayer Auto-encoder

Sun Zhi-junXue LeiXu Yang-mingSun Zhi-yong

(Electronic Engineering Institute, Hefei 230037, China)(Anhui Province Key Laboratory of Electronic Restriction, Hefei 230037, China)

Automatic Target Recognition (ATR) of Synthetic Aperture Radar (SAR) images is investigated. A SAR feature extraction algorithm based on a multilayer auto-encoder is proposed. The method makes use of a probabilistic neural network and Restricted Boltzmann Machine (RBM) modeling probability distribution of the environment. Through the formation of a more expressive multilayer neural network, the deep learning model learns the shared representation of the target and its shadow outline reflecting the target shape characteristics. Targets are classified automatically through two recognition models. The experiment results based on the MSTAR verify the effectiveness of the proposed algorithm.

SAR; Feature extraction; Multilayer auto-encoder; Shadow

TN957

A

2095-283X(2013)02-0195-08

10.3724/SP.J.1300.2013.20085

孫志軍(1985-)，男，吉林磐石；電子工程學(xué)院通信與信息系統(tǒng)專業(yè)博士生，研究方向為模式識別與圖像處理。

薛 磊(1963-)，男，安徽霍邱；電子工程學(xué)院教授，博士生導(dǎo)師，研究方向為通信系統(tǒng)與通信信號處理。

許陽明(1964-)，男，安徽舒城；電子工程學(xué)院副教授，研究方向為通信信號處理與信息融合等。

孫志勇(1974-)，男，湖北黃岡；博士生，電子工程學(xué)院講師，研究方向為雷達(dá)信號處理。

2012-11-20收到，2013-03-04改回；2013-03-11網(wǎng)絡(luò)優(yōu)先出版

國家部委基金資助課題

孫志軍 robotman@126.com