徐 豐王海鵬 金亞秋

(復(fù)旦大學(xué)電磁波信息科學(xué)教育部重點實驗室 上海 200433)

深度學(xué)習(xí)在SAR目標(biāo)識別與地物分類中的應(yīng)用

徐 豐*王海鵬 金亞秋

(復(fù)旦大學(xué)電磁波信息科學(xué)教育部重點實驗室 上海 200433)

深度卷積網(wǎng)絡(luò)等深度學(xué)習(xí)算法變革了計算機(jī)視覺領(lǐng)域，在多種應(yīng)用上的效果都超過了以往傳統(tǒng)圖像處理算法。該文簡要回顧了將深度學(xué)習(xí)應(yīng)用在SAR圖像目標(biāo)識別與地物分類中的工作。利用深度卷積網(wǎng)絡(luò)從SAR圖像中自動學(xué)習(xí)多層的特征表征，再利用學(xué)習(xí)到的特征進(jìn)行目標(biāo)檢測與目標(biāo)分類。將深度卷積網(wǎng)絡(luò)應(yīng)用于SAR目標(biāo)分類數(shù)據(jù)集MSTAR上，10類目標(biāo)平均分類精度達(dá)到了99%。針對帶相位的極化SAR圖像，該文提出了復(fù)數(shù)深度卷積網(wǎng)絡(luò)，將該算法應(yīng)用于全極化SAR圖像地物分類，F(xiàn)levoland 15類地物平均分類精度達(dá)到了95%。

合成孔徑雷達(dá)；深度學(xué)習(xí)；自動目標(biāo)識別；地物分類

1 引言

合成孔徑雷達(dá)(Synthetic Aperture Radar,SAR)能夠全天時、全天候、高分辨率成像，因此適用于目標(biāo)的偵察、監(jiān)視和識別，同時也已經(jīng)被廣泛應(yīng)用于地球科學(xué)、氣候變化研究、環(huán)境和地球系統(tǒng)監(jiān)測、海洋資源利用、行星探測、戰(zhàn)場感知偵察等領(lǐng)域，具有很高的民用價值和軍用價值[1–3]。由于其微波波段成像和相位相干處理的特性，SAR圖像與光學(xué)圖像表現(xiàn)不同，難以直觀解讀。事實上，SAR圖像包含了豐富的目標(biāo)信息，例如幾何形狀、材質(zhì)、結(jié)構(gòu)等。SAR圖像解譯和信息獲取是在軌雷達(dá)衛(wèi)星實現(xiàn)成功應(yīng)用的最后決定性的一步。

遙感大數(shù)據(jù)時代下的SAR圖像解譯是一個極大的科學(xué)應(yīng)用挑戰(zhàn)。大數(shù)據(jù)時代的智能方法如計算機(jī)視覺技術(shù)目前已經(jīng)取得巨大成功，然而這些先進(jìn)算法是針對光學(xué)圖像開發(fā)的，并不能直接應(yīng)用到SAR圖像上。我們認(rèn)為SAR圖像解譯和信息獲取，必須基于對基本的電磁(Electro Magnetic,EM)散射機(jī)制的理解。因此SAR智能信息獲取的發(fā)展必須同時在數(shù)學(xué)層面結(jié)合智能信息處理方法、在物理層面結(jié)合電磁散射理論。

目前我們迫切需要發(fā)展先進(jìn)的SAR智能信息獲取方法。每天都有海量的數(shù)據(jù)從太空返回而等待處理，需要強(qiáng)大的解譯和信息獲取方法。各種先進(jìn)SAR技術(shù)的快速出現(xiàn)，使得SAR數(shù)據(jù)朝著更高分辨率、更高維度、更多成像模式的方向發(fā)展。高分辨率-多維度-多模式(HR-MD-MM)SAR數(shù)據(jù)的出現(xiàn)，使得基于2維框架結(jié)構(gòu)的解譯系統(tǒng)面臨巨大挑戰(zhàn)。

近年來，深度學(xué)習(xí)在模式識別的各個領(lǐng)域取得了較好的結(jié)果，比如，圖像分類，目標(biāo)檢測，自然語言處理。常用的深度學(xué)習(xí)算法包括深度信念網(wǎng)絡(luò)(Deep Belief Network,DBN)，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)等等。其中，CNN是在計算機(jī)視覺領(lǐng)域中最常采用的算法。傳統(tǒng)的圖像分類問題分為特征提取與特征分類兩個階段，其中特征提取是依據(jù)統(tǒng)計或者物理特性進(jìn)行手動設(shè)計的算法。但是，這種模式現(xiàn)在完全被自動學(xué)習(xí)數(shù)據(jù)分層特征的CNN取代[4,5]。CNN在圖像分類領(lǐng)域已經(jīng)取得了一系列突破。在2012年ImageNet大規(guī)模視覺挑戰(zhàn)賽(Imagenet Large Scale Visual Recognition Challenge,ILSVRC)，Krizhevsky等人[4]采用深度卷積網(wǎng)絡(luò)取得了15.3%的錯誤率，遠(yuǎn)遠(yuǎn)超過以往最好的水平。在2014年，Szegedy等人[6]提出了一個包含22層的GoogleNet，將前5項錯誤率降至6.67%。在2015年，He等人[5]提出152層的殘差網(wǎng)絡(luò)(Residual Network,ResNet)并取得了3.57%的整體錯誤率。2016年，中國公安三所團(tuán)隊在ILSVRC中取得第1名成績，錯誤率已降至3%以下[7]。

相對于計算機(jī)視覺，SAR圖像解譯有著相同的目的——從圖像中提取有用信息，但所處理的SAR圖像與可見光圖像有顯著區(qū)別，主要體現(xiàn)在波段、成像原理、投影方向、視角等方面詳見表1。因此在借鑒計算機(jī)視覺領(lǐng)域的新方法解決SAR圖像解譯的問題時，需要充分考慮和利用這些差異性。

表1 SAR圖像解譯與計算機(jī)視覺的差異Tab. 1 Comparison of SAR imagery interpretation and computer vision

針對當(dāng)前對于深度神經(jīng)網(wǎng)絡(luò)的巨大興趣，本文首先闡述了作者對于深度神經(jīng)網(wǎng)絡(luò)理論巨大成功背后主要原理的理解，然后歸納了作者將該理論應(yīng)用于SAR圖像解譯方面的幾項工作，包括SAR圖像目標(biāo)識別與極化SAR地物分類的應(yīng)用。第2節(jié)介紹了CNN基本算法以及復(fù)數(shù)域推廣后的CV-CNN；第3節(jié)介紹CNN在目標(biāo)識別中的應(yīng)用；第4節(jié)介紹CVCNN在極化SAR地物分類中的應(yīng)用。

2 深度卷積神經(jīng)網(wǎng)絡(luò)及其復(fù)數(shù)域的推廣

2.1 深度卷積網(wǎng)絡(luò)

深度卷積網(wǎng)絡(luò)(Convolutional Neural Network,CNN)是一種特殊結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)，其前幾層由卷積層(Convolution layer)與池化層(Pooling layer)交替構(gòu)成，后面若干層是全連接層。其工作原理是由卷積層學(xué)習(xí)不同的特征，由池化層將空域形狀匯聚到高維特征空間，多層交替的卷積+池化可以學(xué)出層次化的特征表征。最后的全連接層的作用則是在高維特征空間學(xué)習(xí)一個分類器。

如圖1所示，CNN中卷積層和池化層的所有節(jié)點都排列成一系列2維數(shù)組，叫做“特征圖”(Feature map)。在卷積層中，每個隱層節(jié)點的輸入僅包含前一層中1個局部鄰域內(nèi)的節(jié)點。前一層處于局部鄰域內(nèi)的節(jié)點乘以1個權(quán)值矩陣，再通過1個非線性激活函數(shù)“正則化線性單元”ReLU[8]，運(yùn)算結(jié)果作為卷積層的節(jié)點輸出值。每個隱層節(jié)點都可以被看作是一個特征檢測器，因為當(dāng)其輸入中出現(xiàn)它所代表的某種特征時，該節(jié)點便有一個較大的響應(yīng)值。同一個特征圖上的全部節(jié)點被限制為共享相同的連接權(quán)值，所以每個特征圖在圖像的不同位置檢測同一種特征。由于局部連接和權(quán)值共享，CNN中需要從數(shù)據(jù)中學(xué)習(xí)的獨立參數(shù)的個數(shù)大為減少。在接下來的池化層中，每一個池化層特征圖對應(yīng)于1個卷積層特征圖。池化層的每個節(jié)點以前面卷積層中1個局部鄰域內(nèi)的節(jié)點為輸入，然后進(jìn)行下采樣。通常的方法是只保留1個局部鄰域內(nèi)所有節(jié)點的最大值，而忽略其余的節(jié)點值。1個深度卷積網(wǎng)絡(luò)包含許多對卷積層與池化層的組合。當(dāng)處理多元分類問題時，softmax非線性函數(shù)通常應(yīng)用于最后的輸出層節(jié)點。

CNN在業(yè)界所取得的巨大成功得益于：(a)算法的改進(jìn)；(b)海量數(shù)據(jù)的獲得；(c)圖形處理單元(GPU)等高性能計算資源的普及，而其中算法的改進(jìn)是深度神經(jīng)網(wǎng)絡(luò)出現(xiàn)飛躍式發(fā)展的關(guān)鍵因素。對比80年代的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，我們認(rèn)為深度神經(jīng)網(wǎng)絡(luò)特別是CNN在算法上的重要改進(jìn)可以歸納為以下幾點：

(1) 改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)層與層之間采用全連接形式，即前一層的每個神經(jīng)元都與后一層的所有神經(jīng)元相連，CNN則采用了改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)，采用卷積形式前后相連，且添加了池化操作進(jìn)行降維。其中卷積形式的連接充分借鑒了視覺神經(jīng)信號處理的特點，即平移不變性。而多層卷積+池化的結(jié)構(gòu)則借鑒了視覺神經(jīng)信號處理的另一個重要特點，即多層次特征可組合性(見圖2)。這一獨特的網(wǎng)絡(luò)結(jié)構(gòu)可以有效地從海量數(shù)據(jù)中學(xué)到層次化組合的特征，對視覺信息進(jìn)行高效地表征。從這一點我們得到的啟發(fā)是：應(yīng)有效利用先驗知識來降低網(wǎng)絡(luò)自由度。

(2) 改進(jìn)的激活函數(shù)

在80年代即有人嘗試加深網(wǎng)絡(luò)深度，但深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是一大難題。當(dāng)代深度神經(jīng)網(wǎng)絡(luò)的另一個重要改進(jìn)就是采用ReLU激活函數(shù)。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)時后向傳播誤差信息，其梯度隨著網(wǎng)絡(luò)深度的增加很容易出現(xiàn)不穩(wěn)定的現(xiàn)象，特別是傳統(tǒng)非線性激活函數(shù)如sigmoid或tanh函數(shù)，其梯度在原點呈現(xiàn)一個尖峰，在離開原點不遠(yuǎn)處立即飽和。多層網(wǎng)絡(luò)回傳時梯度被累乘，導(dǎo)致多個sigmoid/tanh函數(shù)的梯度累乘后在原點處爆炸、在離開原點處消失。如此非常不穩(wěn)定的梯度將使得梯度下降的學(xué)習(xí)方法失效，從而限制了神經(jīng)網(wǎng)絡(luò)的層數(shù)增加，因此也大大限制了神經(jīng)網(wǎng)絡(luò)的表征能力。如圖3所示，改進(jìn)的激活函數(shù)ReLU的梯度在右側(cè)恒等于1，其梯度在累乘后保持穩(wěn)定，這是深度網(wǎng)絡(luò)能夠快速學(xué)習(xí)的重要原因。

ReLU在x正半軸為線性，而負(fù)半軸則相當(dāng)于關(guān)閉神經(jīng)元。這一看似簡單的非線性對于神經(jīng)網(wǎng)絡(luò)表達(dá)能力的擴(kuò)展至關(guān)重要。多層線性感知機(jī)(Multi Layer Perceptron,MLP)的一個重要缺陷就是無法解決異或(XOR)分類問題，即通過無限多神經(jīng)元的線性組合均無法實現(xiàn)圖4左側(cè)的兩類樣本的分類，而如圖4右側(cè)所示，通過兩個ReLU神經(jīng)元的組合即可輕易解決這一問題。由此可見ReLU中所呈現(xiàn)的非線性是必要的。

(3) 改進(jìn)的目標(biāo)函數(shù)

對于分類應(yīng)用，還采用了改進(jìn)的目標(biāo)函數(shù)，即首先在輸出層采用Softmax結(jié)構(gòu)，使得最終輸出為歸一化的概率。其次通過輸出概率與標(biāo)簽概率的交叉熵作為目標(biāo)函數(shù)進(jìn)行學(xué)習(xí)。Softmax采用了指數(shù)函數(shù)，與交叉熵結(jié)合，最終目標(biāo)函數(shù)對于輸出層神經(jīng)元參數(shù)的梯度變?yōu)榫€性函數(shù)，有效避免了梯度回傳時的非線性失真。如式(1)所示，Oi為輸出層的第i個神經(jīng)元的輸出信號，pi為Softmax歸一化的概率輸出，L為交叉熵目標(biāo)函數(shù)，y為標(biāo)簽指定的正確類別的下標(biāo)，δ為Dirac函數(shù)。

2.2 復(fù)數(shù)深度卷積網(wǎng)絡(luò)

根據(jù)我們的經(jīng)驗，一般的CNN即可直接應(yīng)用于SAR幅度圖像，僅需對SAR幅度圖像做簡單的預(yù)處理，如轉(zhuǎn)換為dB尺度，并進(jìn)行歸一化等。后文中第1個例子處理的單通道幅值SAR圖像即采用一般的實數(shù)域CNN。但對于多通道相干的SAR圖像，如極化SAR或干涉SAR，其通道間相干相位差帶有重要信息。因此針對帶相位信息的SAR圖像我們將CNN推廣到了復(fù)數(shù)域，稱為復(fù)數(shù)卷積網(wǎng)絡(luò)(Complex-Valued-CNN,CV-CNN)[10]。為了區(qū)分，實數(shù)神經(jīng)網(wǎng)絡(luò)可稱為Real-Valued CNN (RVCNN)。特別是如極化SAR和干涉SAR，均包含了不同通道之間的相位差，該相位信息不再是完全隨機(jī)的，往往隱含了散射地物的表1位置、形狀、散射機(jī)制的信息，這些信息對地物分類和識別至關(guān)重要。

值得說明的是傳統(tǒng)的淺層復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)包括淺層復(fù)數(shù)卷積網(wǎng)絡(luò)也曾被應(yīng)用于極化SAR圖像處理[11]，但之前的研究采用的是傳統(tǒng)的僅包含1個隱層的網(wǎng)絡(luò)，而正如上一節(jié)所說深度神經(jīng)網(wǎng)絡(luò)的巨大成功在于它特有的幾個變革性的特性，因此我們提出的CV-CNN是將最新的深度神經(jīng)網(wǎng)絡(luò)及其關(guān)鍵的幾個特征均推廣到復(fù)數(shù)域的情況。

CV-CNN不僅將復(fù)數(shù)數(shù)據(jù)作為輸入，同時對各層傳遞了相位信息，也即每一層的神經(jīng)元信息和權(quán)重均由復(fù)數(shù)表示，這意味著所有的神經(jīng)元操作以及學(xué)習(xí)算法都需要推廣至復(fù)數(shù)域。

如圖5所示，CV-CNN卷積層將輸入數(shù)據(jù)與可學(xué)習(xí)的濾波器進(jìn)行卷積，輸入輸出均可為2維矩陣。卷積結(jié)果經(jīng)過非線性激勵函數(shù)生成特征圖。非線性激勵函數(shù)常用的有sigmoid,ReLU[8]等。卷積層的下一層通常為池化層，用于下采樣特征圖，從而減少網(wǎng)絡(luò)參數(shù)。卷積神經(jīng)網(wǎng)絡(luò)的特性包括局部連接、權(quán)值共享、池化以及串聯(lián)多層[12]。對于CV-CNN，網(wǎng)絡(luò)的所有參數(shù)包括卷積層、池化層特征圖以及濾波器均為復(fù)數(shù)。關(guān)于CV-CNN的詳細(xì)推導(dǎo)參見文獻(xiàn)[10]。

3 深度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于目標(biāo)識別

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

針對SAR圖像數(shù)據(jù)比較少、對觀測條件敏感等特點，直接用SAR數(shù)據(jù)來訓(xùn)練CNN很容易出現(xiàn)過擬合(Overfitting)的問題。因為CNN自由參數(shù)太多，但訓(xùn)練樣本不充足，這就導(dǎo)致了嚴(yán)重的過擬合。值得注意的是，CNN中絕大部分的可訓(xùn)練參數(shù)都包含在全連接層。一些實驗結(jié)果表明，網(wǎng)絡(luò)的層數(shù)對于CNN的性能具有最重要的影響[13]。因此，我們通過用卷積層取代全連接層，而不是大量地減少網(wǎng)絡(luò)的層數(shù)，來減少需要訓(xùn)練的參數(shù)。盡管這種改變降低了網(wǎng)絡(luò)的表示能力，但是也大大減小了過擬合。

我們提出的CNN包含5個可訓(xùn)練層[9]，如圖6所示，總共包含5個卷積層和3個池化層。前3個卷積層的后面接有池化層，采用max pooling形式，下采樣窗口的大小(Pooling size)取2×2，滑動步長(stride)取2。ReLU非線性激活函數(shù)作用于前4個卷積層。Softmax非線性函數(shù)作用于第5個卷積層的輸出節(jié)點。卷積層中卷積核的滑動步長(stride)全部取2，輸入特征圖的周圍沒有補(bǔ)零。輸入圖像的大小為88×88，第1個卷積層選取了16個大小為5×5的卷積核，輸出為16個大小為84×84的特征圖。經(jīng)過第1個池化層后特征圖的大小變?yōu)?2×42。第1個池化層的輸出送入第2個卷積層，它包含32個大小為5×5的卷積核，生成32個大小為38×38的特征圖。經(jīng)過第2個下采樣層，特征圖的大小變成19×19。第3個卷積層包含64個大小為6×6的卷積核，生成64個大小為14×14的特征圖。經(jīng)過第3個池化層后，特征圖的大小變成7×7。第4個卷積層包含128個大小為5×5的卷積核，生成128個大小為3×3的特征圖。Dropout[14]正則化方法也應(yīng)用于第4個卷積層。第5個卷積層包含10個大小為3×3的卷積核，以保證有10個大小為1×1的輸出節(jié)點，每個節(jié)點的輸出值經(jīng)過Softmax歸一后對應(yīng)于一個類別的概率。

3.2 MSTAR數(shù)據(jù)

本文采用的實驗數(shù)據(jù)是由Sandia國家實驗室(SNL)的SAR傳感器采集的。數(shù)據(jù)的采集是由美國國防部先進(jìn)研究項目局(Defense Advanced Research Projects Agency,DARPA)和空軍研究實驗室(Air Force Research Laboratory,AFRL)共同資助的，作為運(yùn)動和靜止目標(biāo)獲取與識別(Moving and Stationary Target Acquisition and Recognition,MSTAR)項目的一部分[15]。該項目采集了幾十萬張包含地面軍事目標(biāo)的SAR圖像，其中包括不同的目標(biāo)類型、方位角、俯仰角、炮筒轉(zhuǎn)向、外型配置變化和型號變種的目標(biāo)SAR圖像。公開的SAR數(shù)據(jù)集中包含10類不同的地面軍事車輛(裝甲車：BMP-2,BRDM-2,BTR-60,BTR-70；坦克：T-62,T-72；火箭發(fā)射車：2S1；防空單元：ZSU-234；軍用卡車：ZIL-131；推土機(jī)：D7)，由X波段SAR傳感器采集，采用聚束式成像模式，方位向和距離向分辨率都是0.3 m，全方位角覆蓋0°～360°。MSTAR基準(zhǔn)數(shù)據(jù)集廣泛運(yùn)用于SARATR算法的測試與比較。圖7展示了10類目標(biāo)的光學(xué)圖像和同一方位角下的SAR圖像。為了完整地衡量算法的性能，該算法同時在標(biāo)準(zhǔn)操作條件(Standard Operating Conditions,SOC)和擴(kuò)展操作條件(Extended Operating Conditions,EOC)下進(jìn)行測試。標(biāo)準(zhǔn)操作條件指的是測試SAR圖像與訓(xùn)練SAR圖像中目標(biāo)的外形配置與型號相同，僅成像的俯仰角和方位角不同。擴(kuò)展操作條件指的是測試SAR圖像中的目標(biāo)與訓(xùn)練SAR圖像有很大的不同，主要是成像角度有很大的改變、外形配置的變化、訓(xùn)練集與測試集中同一類目標(biāo)的型號不同。

3.3 識別結(jié)果

在標(biāo)準(zhǔn)操作條件下，我們測試算法對于10類目標(biāo)分類的結(jié)果。訓(xùn)練集和測試集中的同一類目標(biāo)(Targetclass)具有相同的型號(Serialnumber)，但是成像俯仰角與方位角不同。參照現(xiàn)有關(guān)于MSTAR目標(biāo)識別的文獻(xiàn)[9]中的普遍做法，訓(xùn)練SAR圖像是17°俯仰角下采集的，而測試SAR圖像是15°俯仰角下采集的，俯仰角相差2°被認(rèn)為差異可以忽略。原始數(shù)據(jù)集中每一類目標(biāo)的樣本數(shù)不相等。人工提高訓(xùn)練樣本數(shù)量(Data augmentation)是提高機(jī)器學(xué)習(xí)算法性能的一種常用技巧。我們在原始128×128大小的SAR圖像切片中隨機(jī)采樣許多88×88大小的切片，因為在原始的SAR圖像中，目標(biāo)正好位于圖像切片的中心，如圖7所示，所以這就保證了每一張隨機(jī)采樣的圖像切片都能夠完整地包含目標(biāo)區(qū)域。經(jīng)過這種隨機(jī)采樣，每一類目標(biāo)的訓(xùn)練樣本數(shù)量最大提高(128–88+1)×(128–88+1)=1681倍。比如BMP-2裝甲車，原來有233張訓(xùn)練樣本，經(jīng)過隨機(jī)采樣最大有233×1681張不同的樣本。在本文中，每一類目標(biāo)我們最終選擇2700張訓(xùn)練樣本。我們在人工擴(kuò)展的數(shù)據(jù)集上訓(xùn)練模型。對于SAR圖像我們沒有做任何預(yù)處理。在標(biāo)準(zhǔn)操作條件(SOC)下的混淆矩陣如表2所示，混淆矩陣的每一行代表實際的目標(biāo)類型，每一列代表模型預(yù)測的類型。

此外，我們還利用擴(kuò)展操作條件(EOC)的兩組數(shù)據(jù)集對所設(shè)計的CNN的泛化能力進(jìn)行了測試，即測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)有不同特性，比如觀測條件不同或目標(biāo)配置有細(xì)微變化，結(jié)果表明該網(wǎng)絡(luò)結(jié)構(gòu)具有一定的泛化能力，詳見文獻(xiàn)[9]。該模型的參數(shù)配置和訓(xùn)練好的模型數(shù)據(jù)在作者主頁上可公開獲得。

4 深度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于極化SAR地物分類

地物分類是極化SAR應(yīng)用的一個重要領(lǐng)域。傳統(tǒng)的POLSAR圖像分類的算法通?？煞譃?類：其一基于散射矩陣的統(tǒng)計特性[16,17]，另外一種方法是基于內(nèi)在的極化散射機(jī)制特性[18,19]，第3種方法結(jié)合了極化散射特性以及統(tǒng)計特性[20,21]。我們將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于極化SAR數(shù)據(jù)分類[22]，并用實測數(shù)據(jù)進(jìn)行驗證，實驗結(jié)果取得了較高的分類正確率。

4.1 實數(shù)網(wǎng)絡(luò)模型

根據(jù)互易原理，單站全極化SAR數(shù)據(jù)可以用3×3相干矩陣T表示，這里除對角線元素外，其它元素均為復(fù)數(shù)。但深度卷積網(wǎng)絡(luò)的輸入都為實數(shù)，在考慮相干矩陣各元素的基礎(chǔ)上，我們將復(fù)數(shù)T矩陣轉(zhuǎn)化為1個6維的實向量。

這里，A為總功率取dB，其中SPAN=T11+T22+T33;B和C分別為歸一化的T22和T33;D,E,F分別為相對相關(guān)系數(shù)。除A之外，其它5個參數(shù)取值范圍都是在[0,1]。

網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示，其中h,w,c分別表示輸入層圖像的行數(shù)、列數(shù)與通道數(shù)。通過補(bǔ)零操作，輸入層大小變?yōu)?h+4)×(w+4)×c，這里h,w,c分別為8,8,6。

實驗數(shù)據(jù)采用AirSAR全極化L波段舊金山地區(qū)數(shù)據(jù)，如圖9(a)所示。其中方框代表訓(xùn)練數(shù)據(jù)，圓圈代表測試數(shù)據(jù)。將地物分為5類，粉色代表高密度城區(qū)，綠色代表低密度城區(qū)，紅色代表建筑物排列有一定角度區(qū)域，棕色為植被區(qū)，灰色為海洋。分類結(jié)果如圖9(b)所示，將上述網(wǎng)絡(luò)進(jìn)行10000次循環(huán)，訓(xùn)練和測試的準(zhǔn)確率分別達(dá)到99.43%和90.23%。

表2 SOC實驗條件下的混淆矩陣Tab. 2 Confusion matrix under SOC setting

4.2 復(fù)數(shù)網(wǎng)絡(luò)模型

極化SAR多通道數(shù)據(jù)中，不同通道之間的相位差攜帶了重要信息。因此我們將測試推廣到復(fù)數(shù)域的CV-CNN對于極化SAR地表分類的性能。在相同的網(wǎng)絡(luò)結(jié)構(gòu)以及參數(shù)設(shè)置條件下，用同樣的數(shù)據(jù)測試CV-CNN的性能并與傳統(tǒng)的實數(shù)神經(jīng)網(wǎng)絡(luò)進(jìn)行比較，結(jié)果顯示復(fù)數(shù)網(wǎng)絡(luò)取得了較高的分類正確率。

圖10展示了CV-CNN的網(wǎng)絡(luò)結(jié)構(gòu)。除了輸入層與輸出層，還包括2層卷積層，1層池化層以及1層全連接層。輸入層的大小為12×12×6，表明采樣窗口為12×12，通道數(shù)為6。因為卷積以及池化操作的降維作用，特征圖的大小會隨著層數(shù)的增加而減小。當(dāng)輸入數(shù)據(jù)尺寸小于12×12時，為了保證網(wǎng)絡(luò)的特定深度，需要在輸入數(shù)據(jù)的每一條邊界進(jìn)行補(bǔ)零操作。輸入層與6個大小為3×3×6步長為1的卷積核進(jìn)行卷積，與非線性激勵后得到第1層卷積層，生成6個大小為10×10的特征圖。接著是平均值池化，池化矩陣大小為2×2，步長為1。池化后特征圖數(shù)量不變，大小變?yōu)?×5。第2層卷積的卷積核大小為3×3×6×12，生成12個大小為3×3的特征圖。接著一層是包含108個神經(jīng)元的全連接層，最后一層是包含c個神經(jīng)元的輸出層，輸出數(shù)據(jù)也是復(fù)數(shù)，其中c為分類的類別數(shù)量。

實驗采用Flevoland地區(qū)全極化L波段的數(shù)據(jù)，是荷蘭的一塊農(nóng)業(yè)區(qū)域。數(shù)據(jù)來源于美國NASA/JPL實驗室發(fā)射的AIRSAR平臺[23]，是被廣泛使用的用于POLSAR圖像分類的一組數(shù)據(jù)。圖11(a)是Pauli分解圖，數(shù)據(jù)的大小為1024×750。圖11(c)為Ground truth[24]?？偣灿?5種類別，包括多種農(nóng)作物、不同地表和建筑物等。圖11(d)是Ground truth對應(yīng)的圖例。根據(jù)Ground truth，采用大小為8×8的滑動窗口進(jìn)行采樣。補(bǔ)零之后，輸入數(shù)據(jù)的大小由8×8變成12×12。將隨機(jī)采樣的80%樣本作為訓(xùn)練樣本，剩下的作為測試樣本。圖11(b)是采樣結(jié)果圖，表3給出了訓(xùn)練樣本以及測試樣本的數(shù)量。

表3 Flevoland數(shù)據(jù)分類結(jié)果Tab. 3 Flevoland result

超參數(shù)設(shè)置為η=0.5，迭代次數(shù)為8500次。最終的訓(xùn)練與測試誤差為2.39%與4.03%。圖12(a)為整幅圖的分類結(jié)果，圖12(b)為Ground truth所包含部分的分類結(jié)果。圖12(c)與圖12(d)為 RV-CNN的分類結(jié)果。RV-CNN的訓(xùn)練與測試錯誤率為9.55%與10.51%?？梢园l(fā)現(xiàn)CV-CNN比RVCNN分類效果要好。

如圖12(b)所示，分類結(jié)果與Ground truth相對一致，與圖11(c)比較可以得到更直觀的結(jié)果。大部分的像素分類正確，尤其是Forest,Lucerne and Barley。表3給出了實數(shù)網(wǎng)絡(luò)與復(fù)數(shù)網(wǎng)絡(luò)每一類的準(zhǔn)確率?？梢钥闯?，大部分的類別分類正確率高于95%。除了Bare soil，所有的類別均高于90%。從原始的POLSAR圖像可以看出，Bare soil與Water十分相似，誤分的可能性較大。盡管第15類Building只有24個樣本，分類正確率仍很理想。與RV-CNN相比，CV-CNN整體上的正確率更高，復(fù)數(shù)卷積網(wǎng)絡(luò)對POLSAR分類是有效的。

值得注意的是，如果將復(fù)數(shù)數(shù)據(jù)直接拆分為實部/虛部(或幅度/相位)然后作為獨立的實數(shù)通道輸入到9通道RV-CNN中進(jìn)行分類，該方法并不等同于CV-CNN，因為兩個實數(shù)各自進(jìn)行運(yùn)算不等同于復(fù)數(shù)運(yùn)算。我們的經(jīng)驗告訴我們9通道RV-CNN并不能提高分類性能。

4.3 地表分類網(wǎng)絡(luò)的普適性

為了進(jìn)一步說明基于深度神經(jīng)網(wǎng)絡(luò)的極化SAR地表分類方法的實用性，我們進(jìn)一步驗證了利用已組數(shù)據(jù)訓(xùn)練的分類器對于其他類似數(shù)據(jù)的普適性。訓(xùn)練數(shù)據(jù)和測試區(qū)域來自不同時間不同區(qū)域獲得的極化SAR圖像，通過將預(yù)訓(xùn)練好的網(wǎng)絡(luò)用于不同圖像的分類，觀察分類結(jié)果，以此評價學(xué)習(xí)方法的泛化能力。

訓(xùn)練數(shù)據(jù)來自南京地區(qū)的ALOS2極化SAR，獲取時間為2016年4月14日，入射角為30.9°。圖13為南京地區(qū)ALOS2圖像，圖中框出區(qū)域為用于訓(xùn)練的4類地物：建筑、植被、海洋和裸地。訓(xùn)練好分類器后對南京地區(qū)另外一區(qū)域和上海地區(qū)的ALOS2圖像進(jìn)行分類。

圖14顯示的是南京另一區(qū)域的ALOS2極化SAR偽彩色圖像、分類結(jié)果圖和光學(xué)影像。對比光學(xué)影像，建筑、植被與水域等在兩地分類都基本正確。由于測試區(qū)域裸露地表類別不是很明顯，所以分類結(jié)果中黃色類別分布較分散零星。

圖15顯示的是上海某區(qū)域的ALOS2極化SAR偽彩色圖像、分類結(jié)果和光學(xué)影像。獲取時間為2015年 3月9日，入射角為25.4°。雖然來自同一傳感器，但其獲取時間、地點、入射角均有很大差異，但從分類結(jié)果上看對于各種地物分類效果理想，說明極化SAR地表分類器對于同一衛(wèi)星雷達(dá)的數(shù)據(jù)具有普適性。

5 結(jié)論

本文介紹了將計算機(jī)視覺領(lǐng)域變革性新技術(shù)CNN應(yīng)用于SAR圖像解譯的幾個例子。文章嘗試了深度卷積神經(jīng)網(wǎng)絡(luò)在SAR圖像目標(biāo)識別與全極化SAR地物分類中的應(yīng)用。將CNN應(yīng)用MSTAR數(shù)據(jù)，對于10類模板取得了平均99%的識別準(zhǔn)確率。在地物分類中，分別考慮了實數(shù)和復(fù)數(shù)CNN網(wǎng)絡(luò)。將實數(shù)網(wǎng)絡(luò)應(yīng)用于AirSAR舊金山區(qū)域數(shù)據(jù)，獲得了90%以上的測試準(zhǔn)確率。此外，為了利用SAR數(shù)據(jù)的相位信息，將實數(shù)CNN延伸至復(fù)數(shù)域CVCNN。將CV-CNN在Flevoland數(shù)據(jù)集上進(jìn)行分類實驗，結(jié)果表明，在同等條件下CV-CNN相比RVCNN有更高的分類正確率。

從本文的初步結(jié)果可見，利用深度學(xué)習(xí)技術(shù)可以在標(biāo)準(zhǔn)數(shù)據(jù)集上得到較理想的性能，但同時我們也認(rèn)識到本文的例子所適用的范圍有限，真正將深度學(xué)習(xí)技術(shù)應(yīng)用到實際業(yè)務(wù)中還需要進(jìn)行更深入更廣泛的研究。如何利用深度學(xué)習(xí)技術(shù)進(jìn)一步發(fā)展SAR圖像智能解譯是亟需研究的課題。圖16給出一種數(shù)據(jù)驅(qū)動和模型約束下的SAR智能解譯框架，深度學(xué)習(xí)技術(shù)本身必須由海量數(shù)據(jù)來驅(qū)動，但是往往人們忽視了模型的作用，也就是將先驗知識融合到智能算法中。事實上，從深度卷積網(wǎng)絡(luò)的巨大成功可以看出，其核心創(chuàng)新“多層卷積網(wǎng)絡(luò)”結(jié)構(gòu)即來源于對于視覺神經(jīng)信號處理的理解。特別是針對SAR圖像這樣的電磁波散射物理過程的產(chǎn)物，我們需要融合電磁散射理論和機(jī)器學(xué)習(xí)理論，將物理規(guī)律等先驗知識體現(xiàn)在智能解譯算法中，這一目的可由模型與數(shù)據(jù)和算法三者協(xié)作達(dá)成：模型可以產(chǎn)生模擬數(shù)據(jù)，實測數(shù)據(jù)可以同化模型中，同時模型可以直接對機(jī)器學(xué)習(xí)算法進(jìn)行正則化約束。

[1]張紅,王超,張波,等. 高分辨率SAR圖像目標(biāo)識別[M]. 北京:科學(xué)出版社,2009: 4–7. Zhang Hong,Wang Chao,Zhang Bo,et al.. High-Resolution SAR Image Target Recognition[M]. Beijing: Science Press,2009: 4–7.

[2]Moreira A,Prats-Iraola P,Younis M,et al.. A tutorial on synthetic aperture radar[J].IEEE GeoscienceandRemoteSensing Magazine,2013,1(1): 6–43.

[3]程肖. 基于散射中心模型的SAR圖像自動目標(biāo)識別[D]. [碩士論文],國防科學(xué)技術(shù)大學(xué),2009. Cheng Xiao. SAR ATR algorithm based on the scattering center model[D]. [Master dissertation],National University of Defense Technology,2009.

[4]Krizhevsky A,Sutskever I,and Hinton G E. ImageNet classification with deep convolutional neural networks[J].Advances in Neural Information Processing Systems,2012,25(2): 1097–1105.

[5]He K,Zhang X,Ren S,et al.. Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification[C]. IEEE International Conference on Computer Vision,Santiago,Chile,2015: 1026–1034.

[6]Szegedy C,Liu W,Jia Y,et al.. Going deeper with convolutions[C]. IEEE Conference on Computer Vision and Pattern Recognition,Boston,M. A.,USA,2015: 1–9.

[7]Large Scale Visual Recognition Challenge 2016 (ILSVRC2016). http://image-net.org/challenges/ LSVRC/ 2016/results.

[8]Glorot X,Bordes A,and Bengio Y. Deep sparse rectifier networks[C]. International Conference on Artificial Intelligence and Statistics,Fort Lauderdale,United States,2011: 315–323.

[9]Chen S,Wang H,Xu F,et al.. Target classification using the deep convolutional networks for SAR images[J].IEEE Transactions on GeoscienceandRemote Sensing,2016,54(8): 4806–4817.

[10]Zhang Z,Wang H,Xu F,et al.. Complex-valued convolutional neural network and its application in polarimetric SAR image classification[J].IEEE Transactions on Geoscience&Remote Sensing,in press.

[11]H?nsch R and Hellwich O. Complex-valued convolutional neural networks for object detection in PolSAR data[C]. European Conference on Synthetic Aperture Radar,Aachen,Germany,2010: 1–4.

[12]Lecun Y,Bengio Y,and Hinton G. Deep learning[J].Nature,2015,521(7553): 436–444.

[13]Zeiler M D and Fergus R. Visualization and understanding convolutional networks[C]. European Conference on Computer Vision,Zurich,Switzerland,2014: 818–833.

[14]Srivastava N,Hinton G,Krizhevsky A,et al.. Dropout: A simple way to prevent neural networks from overfitting[J].Journal of Machine Learning Research,2014,15(1): 1929–1958.

[15]Keydel E R. MSTAR extended operating conditions: A tutorial[C]. Algorithms for Synthetic Aperture Radar Imagery Ⅲ,Orlando,F. L.,USA,1996: 228–242.

[16]Kong J A,Swartz A A,Yueh H A,et al.. Identification of terrain cover using the optimumterrain classifier[J].Journal of Electromagnetic Waves&Applications,2012,2(2): 171–194.

[17]Lee J S and Grunes M R. Classification of multi-look polarimetric SAR data based on the complex Wishart distribution[J].International Journal of Remote Sensing,1994,15(11): 2299–2311.

[18]Freeman A,Villasenor J,Klein J D,et al.. On the use of multi-frequency and polarimetric radar backscatter features for classification of agricultural crops[J].International Journal of Remote Sensing,1994,15(9): 1799–1812.

[19]Kouskoulas Y,Ulaby F T,and Pierce L E. The Bayesian Hierarchical Classifier (BHC) and its application to short vegetation using multi-frequency polarimetric SAR[J].IEEE Transactions on GeoscienceandRemote Sensing,2004,42(2): 469–477.

[20]Lee J S,Grunes M R,Ainsworth T L,et al.. Unsupervised classification using polarimetric decomposition and the complex Wishart classifier[J].IEEE Transactions on GeoscienceandRemote Sensing,1999,37(5): 2249–2258.

[21]Cloude S R and Pottier E. An entropy based classification scheme for land applications of polarimetric SAR[J].IEEE Transactions on GeoscienceandRemote Sensing,1997,35(1): 68–78.

[22]Zhou Y,Wang H,Xu F,et al.. Polarimetric SAR image classification using deep convolutional neural networks[J].IEEE Geoscience and Remote Sensing Letters,2016,13(12): 1935–1939.

[23]Spaceborne and Airborne POLSAR Images[OL]. Available: http://envisat.esa.int/POLSARpro/datasets.html29.

[24]Yu P,Qin A K,and Clausi D A. Unsupervised polarimetric SAR image segmentation using region growing with edge penalty[J].IEEE Transactions on GeoscienceandRemote Sensing,2012,50(4): 1302–1317.

徐 豐(1982–)，男，浙江東陽人，復(fù)旦大學(xué)博士學(xué)位，教授，復(fù)旦大學(xué)電磁波信息科學(xué)教育部重點實驗室副主任，研究方向為SAR圖像解譯、電磁散射建模、人工智能，兼職：IEEE地球科學(xué)與遙感快報副主編、IEEE地球科學(xué)與遙感學(xué)會上海分會主席。

E-mail: fengxu@fudan.edu.cn

王海鵬(1979–)，男，河南遂平人，復(fù)旦大學(xué)電磁波信息科學(xué)教育部重點實驗室副教授，研究方向為雷達(dá)系統(tǒng)設(shè)計與算法開發(fā)、遙感圖像處理與信息獲取、機(jī)器學(xué)習(xí)與目標(biāo)識別、智能圖像處理等。

E-mail: hpwang@fudan.edu.cn

金亞秋(1946–)，男，上海人，美國麻省理工學(xué)院博士學(xué)位，教授，復(fù)旦大學(xué)電磁波信息科學(xué)教育部重點實驗室主任，中國科學(xué)院院士，研究方向為復(fù)雜自然介質(zhì)的電磁輻射、散射與傳輸。

E-mail: yqjin@fudan.edu.cn

Deep Learning as Applied in SAR Target Recognition and Terrain Classification

Xu Feng Wang Haipeng Jin Yaqiu
(Key Laboratory for Information Science of Electromagnetic Waves,Fudan University,Shanghai200433,China)

Deep learning such as deep neural networks has revolutionized the computer vision area. Deep learning-based algorithms have surpassed conventional algorithms in terms of performance by a significant margin. This paper reviews our works in the application of deep convolutional neural networks to target recognition and terrain classification using the SAR image. A convolutional neural network is employed to automatically extract a hierarchic feature representation from the data,based on which the target recognition and terrain classification can be conducted. Experimental results on the MSTAR benchmark dataset reveal that deep convolutional network could achieve a state-of-the-art classification accuracy of 99% for the 10-class task. For a polarimetric SAR image classification,we propose complex-valued convolutional neural networks for complex SAR images. This algorithm achieved a state-of-the-art accuracy of 95% for the 15-class task on the Flevoland benchmark dataset.

Synthetic Aperture Radar (SAR); Deep learning; Automatic Target Recognition (ATR); Terrain classification

TN959

A

2095-283X(2017)02-0136-13

10.12000/JR16130

徐豐,王海鵬,金亞秋. 深度學(xué)習(xí)在SAR目標(biāo)識別與地物分類中的應(yīng)用[J]. 雷達(dá)學(xué)報,2017,6(2): 136–148.

10.12000/JR16130.

Reference format:Xu Feng,Wang Haipeng,and Jin Yaqiu. Deep learning as applied in SAR target recognition and terrain classification[J].Journal of Radars,2017,6(2): 136–148. DOI: 10.12000/JR16130.

2016-11-29；改回日期：2017-03-14；

2017-04-24

*通信作者： 徐豐 fengxu@fudan.edu.cn

國家自然科學(xué)基金(61571132,61571134,61331020)，上海航天科技創(chuàng)新基金

Foundation Items: The National Natural Science Foundation of China (61571132,61571134,61331020),The Foundation of Shanghai Aerospace Science and Technology