晁安娜，劉 坤

(上海海事大學(xué) 信息工程學(xué)院，上海 201306)

基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像飛機(jī)目標(biāo)識(shí)別*

晁安娜，劉 坤

(上海海事大學(xué) 信息工程學(xué)院，上海201306)

遙感圖像的識(shí)別技術(shù)一直被廣泛運(yùn)用于民用和軍事領(lǐng)域。針對(duì)采集到的遙感飛機(jī)圖像存在大量干擾，如遮擋、噪聲、視角變化等因素，提出一種改進(jìn)的基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像目標(biāo)識(shí)別算法。在復(fù)雜環(huán)境下，運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)對(duì)飛機(jī)目標(biāo)進(jìn)行識(shí)別，避免了在特征提取過程中信息的丟失，提高了識(shí)別率。實(shí)驗(yàn)結(jié)果證明了該算法在遙感圖像飛機(jī)目標(biāo)識(shí)別中的可行性，能克服尺度變化及目標(biāo)姿態(tài)變化等因素的影響。同時(shí)提出的算法較傳統(tǒng)CNN、BP神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)(SVM)方法具有更好的識(shí)別效果，魯棒性更強(qiáng)。

卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；遙感圖像；飛機(jī)識(shí)別

0 引言

遙感圖像飛機(jī)識(shí)別在民用和軍事領(lǐng)域都具有重大意義。目前對(duì)飛機(jī)目標(biāo)識(shí)別的方法有很多種，例如特征點(diǎn)和不變矩、模板匹配、特征融合等。傳統(tǒng)的飛機(jī)目標(biāo)識(shí)別算法通常采用模板匹配[1]，它具有算法簡(jiǎn)單、計(jì)算量小的特點(diǎn)，但過程簡(jiǎn)單，提取圖像中飛機(jī)的完整形狀在現(xiàn)實(shí)環(huán)境中非常困難，且不能適用于飛機(jī)目標(biāo)的尺度變換。目前飛機(jī)目標(biāo)識(shí)別領(lǐng)域應(yīng)用最廣泛的方法是利用不變矩，具有代表性的不變量特征提取方法有Hu矩[2]、Zernike距[3]、小波距[4]等?，F(xiàn)主要采用優(yōu)化組合矩[5]對(duì)飛機(jī)目標(biāo)進(jìn)行識(shí)別，將提取的多維不變矩作為識(shí)別特征，再使用支持向量機(jī)(SVM)來識(shí)別飛機(jī)目標(biāo)，可以克服單一特征描述信息能力不強(qiáng)的特點(diǎn)，但多特征融合困難，抗噪性較差。BP神經(jīng)網(wǎng)絡(luò)[6]具有良好的學(xué)習(xí)能力和泛化能力，但由于學(xué)習(xí)速率固定，學(xué)習(xí)步長(zhǎng)及動(dòng)量因子難以確定，使得網(wǎng)絡(luò)收斂速度慢，糾錯(cuò)能力有限，甚至導(dǎo)致算法收斂于局部極小值。

由于實(shí)際采集到的遙感飛機(jī)圖像較復(fù)雜，視角變化、噪聲、云層遮擋等干擾因素會(huì)導(dǎo)致較高的誤識(shí)率。本文提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像飛機(jī)識(shí)別算法，在傳統(tǒng)CNN結(jié)構(gòu)上加以改進(jìn)，通過海地機(jī)場(chǎng)6類遙感飛機(jī)圖像進(jìn)行多組實(shí)驗(yàn)，仿真結(jié)果證明將卷積神經(jīng)網(wǎng)絡(luò)運(yùn)用在飛機(jī)識(shí)別上不僅克服了遮擋、光照和視點(diǎn)變化等因素，提高了抗噪性，而且魯棒性和識(shí)別精度都得到了提升。

1 卷積神經(jīng)網(wǎng)絡(luò)

1.1卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)[7]是人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的結(jié)合。傳統(tǒng)意義上的多層神經(jīng)網(wǎng)絡(luò)只有輸入層、隱藏層、輸出層，且隱藏層較難確定。而卷積神經(jīng)網(wǎng)絡(luò)在原來多層神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，加入部分連接的卷積層與池化層，來模仿人腦對(duì)信號(hào)處理上的分級(jí)。

卷積神經(jīng)網(wǎng)絡(luò)通過局部感受野和權(quán)值共享減少訓(xùn)練參數(shù)和計(jì)算的復(fù)雜度，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)旋轉(zhuǎn)、尺度縮放或者其他形變具有穩(wěn)定性，成為人臉檢測(cè)與文字識(shí)別等領(lǐng)域的研究熱點(diǎn)。CNN采用一種改進(jìn)的基于梯度的反向傳播算法，在減少權(quán)值數(shù)量的同時(shí)降低了網(wǎng)絡(luò)結(jié)構(gòu)的計(jì)算復(fù)雜度。該網(wǎng)絡(luò)結(jié)構(gòu)無需傳統(tǒng)識(shí)別方法中繁雜的特征提取與重建，避免數(shù)據(jù)的丟失，圖像可以直接輸入網(wǎng)絡(luò)。

1.2卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

傳統(tǒng)CNN模型LeNet為5層[8]，本文采用的卷積神經(jīng)網(wǎng)絡(luò)較傳統(tǒng)CNN在結(jié)構(gòu)上的改進(jìn)如下：為了避免初始參數(shù)飽和，緩解梯度消失，在每層卷積層和全連接層都采用修正線性單元(Rectified Linear Unit，ReLU)替代原來的Sigmoid函數(shù)；基于遙感飛機(jī)圖像的特點(diǎn)，要更多地保留紋理信息而忽略背景信息，在池化層采用最大二均值池化替代均值池化和最大池化；為了增強(qiáng)泛化能力，提高網(wǎng)絡(luò)的稀疏性和隨機(jī)性，防止過擬合，在全連接層加入DropConnect[9]，設(shè)置概率為0.6。

本文所采用的卷積神經(jīng)網(wǎng)絡(luò)共11層，包括5個(gè)卷積層、3個(gè)池化層、2個(gè)全連接層和1個(gè)Softmax層。卷積核大小分別為11, 5, 3, 3, 3；特征圖個(gè)數(shù)分別為20, 40, 60, 80, 80；池化窗口為2×2。在全連接層加入概率為0.6的DropConnect，Softmax輸出層包含224個(gè)節(jié)點(diǎn)。針對(duì)6類飛機(jī)的分類結(jié)果，設(shè)置輸出神經(jīng)元個(gè)數(shù)為6。本文所采用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 本文卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積過程：將一個(gè)可訓(xùn)練濾波器kj與一個(gè)輸入圖像(開始是輸入圖像，隨后是卷積特征圖)進(jìn)行卷積，之后加上偏置bj，獲得卷積層Cj。通常，卷積層的形式如下所示：

(1)

其中：j表示第j張?zhí)卣鲌D；l表示層數(shù)；k表示卷積核；f表示激勵(lì)函數(shù)ReLU，f(x)=max(0,x)；Mj表示輸入特征圖的一個(gè)選擇；b表示偏置。

池化過程：選取池化域內(nèi)中值依次最大的兩個(gè)元素求和，池化的特征值為和的平均數(shù)。最大二均值池化的一般形式為：

(2)

2 卷積神經(jīng)網(wǎng)絡(luò)中遙感飛機(jī)圖像訓(xùn)練及識(shí)別過程

在卷積神經(jīng)網(wǎng)絡(luò)的遙感飛機(jī)識(shí)別算法實(shí)現(xiàn)中，以其訓(xùn)練過程最為重要。網(wǎng)絡(luò)的訓(xùn)練過程主要分為前向傳播和后向傳播兩個(gè)階段[10]。該網(wǎng)絡(luò)的算法流程圖如圖2所示。

圖2 卷積神經(jīng)網(wǎng)絡(luò)遙感飛機(jī)目標(biāo)識(shí)別算法流程圖

卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行遙感飛機(jī)目標(biāo)識(shí)別的訓(xùn)練過程如下：

(1)建立一個(gè)飛機(jī)圖像庫(kù)(包括訓(xùn)練圖像和測(cè)試圖像)，并對(duì)各類飛機(jī)圖像進(jìn)行預(yù)處理，如尺度縮放、旋轉(zhuǎn)、仿射變換、加噪、運(yùn)動(dòng)模糊和遮擋等。

(2)初始化CNN網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)設(shè)置，設(shè)置訓(xùn)練集中各個(gè)模式下輸出單元i到隱藏單元j的權(quán)值Vij，隱藏單元i到輸出單元j的權(quán)值Wjk，輸出單元閾值θk，隱藏單元閾值φj置成接近于0的隨機(jī)值，精度控制參數(shù)ε和學(xué)習(xí)率α初始化為0.01α。

(3)定義層之間的相關(guān)矩陣，讀取訓(xùn)練數(shù)據(jù)，即從樣本集中選取樣本(X，Xk)，將X數(shù)據(jù)讀取到網(wǎng)絡(luò)中。

(4)訓(xùn)練網(wǎng)絡(luò)，即計(jì)算輸入點(diǎn)乘每層對(duì)應(yīng)的權(quán)值矩陣，得出實(shí)際輸出Yk：

Yk=Fn(…(F2(F1(xkW(1))W(2))…)W(n))

(3)

通過比較網(wǎng)絡(luò)訓(xùn)練后的實(shí)際輸出Yk與目標(biāo)輸出Ok的差值，計(jì)算第k個(gè)樣本的輸出誤差值Ek，即：

(4)

(5)根據(jù)誤差值，按極小化誤差的方法反饋網(wǎng)絡(luò)，依次計(jì)算各權(quán)值和閾值的調(diào)整量：

權(quán)值的調(diào)整量：

(5)

(6)

其中：L表示中間層的單元數(shù)；N表示輸入層單元數(shù)；δk表示輸出誤差項(xiàng)，δk=(ok-yk)yk(1-yk)。

閾值的調(diào)整量：

(7)

(8)

(6)根據(jù)計(jì)算得到的調(diào)整量，依次調(diào)整權(quán)值和調(diào)整閾值：

調(diào)整權(quán)值：

Wjk(n+1)=Wjk(n)+ΔWjk(n)

(9)

Vij(n+1)=Vij(n)+ΔVij(n)

(10)

調(diào)整閾值：

θk(n+1)=θk(n)+Δθk(n)

(11)

φj(n+1)=φj(n)+Δφj(n)

(12)

(7)重復(fù)以上步驟，直至誤差指標(biāo)滿足精度要求：E≤ε，其中E是總輸出誤差，定義為：

E=∑EK

(13)

(8)訓(xùn)練結(jié)束，保存達(dá)到精度要求的相關(guān)權(quán)值和閾值。

(9)讀取處理過的測(cè)試圖像，測(cè)試網(wǎng)絡(luò)，輸出各遙感飛機(jī)識(shí)別結(jié)果，并評(píng)定網(wǎng)絡(luò)精度及穩(wěn)定性。

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)以MATLAB仿真實(shí)現(xiàn)，本文所采用的飛機(jī)遙感圖像來自于某些海地機(jī)場(chǎng)的IKONOS衛(wèi)星圖像。為了驗(yàn)證該算法的可行性和有效性，從中選取了海地機(jī)場(chǎng)的6類飛機(jī)目標(biāo)各個(gè)角度的灰度圖像進(jìn)行實(shí)驗(yàn)，包括A-10攻擊機(jī)、B-2轟炸機(jī)、B-52轟炸機(jī)、E-A預(yù)警機(jī)、F-15戰(zhàn)斗機(jī)和F-16戰(zhàn)斗機(jī)。樣本圖像中每種機(jī)型各角度圖片有1 000幅，測(cè)試圖像中每種機(jī)型各視角圖片有100幅，每幅圖像大小為256×256，圖像像素值明顯大于Mnist庫(kù)(手寫數(shù)據(jù)庫(kù))[11]。為了得到更好的識(shí)別結(jié)果，圖像均經(jīng)過二值化處理。圖3為這6種類型的二值圖像。

圖3 海地機(jī)場(chǎng)6類飛機(jī)目標(biāo)的二值圖像

為了驗(yàn)證該算法的可行性，將每種飛機(jī)類型輸入網(wǎng)絡(luò)，迭代次數(shù)設(shè)置為20，將20次的平均誤差作為測(cè)試結(jié)果。實(shí)驗(yàn)結(jié)果如表1所示。

表1 各類飛機(jī)目標(biāo)的識(shí)別結(jié)果

由以上結(jié)果可知，將CNN運(yùn)用在遙感飛機(jī)目標(biāo)識(shí)別鄰域具有較高的識(shí)別率，并且對(duì)于各種類型的飛機(jī)目標(biāo)，識(shí)別結(jié)果較為穩(wěn)定，證明了本文算法的可行性。

為了驗(yàn)證該算法的抗噪性，考慮到遙感飛機(jī)目標(biāo)識(shí)別的實(shí)際應(yīng)用環(huán)境。實(shí)際圖像易受到視角變化、噪聲干擾、云層遮擋等影響，故對(duì)圖像進(jìn)行了尺度縮放、旋轉(zhuǎn)、仿射變換，還加入了不同等級(jí)的高斯白噪聲、運(yùn)動(dòng)模糊和不同位置的遮擋。下面列出6組飛機(jī)圖像經(jīng)過一系列變換的仿真圖(以A-10攻擊機(jī)為例)，如圖4～圖9所示，重復(fù)上述實(shí)驗(yàn)方法，得到實(shí)驗(yàn)結(jié)果如表2所示。

圖4 尺度縮放0.5

圖5 旋轉(zhuǎn)30°

圖6 仿射變換0.15

圖7 加噪聲 0.02

圖8 運(yùn)動(dòng)模糊

圖9 任意位置遮擋

飛機(jī)類型訓(xùn)練樣本數(shù)測(cè)試樣本數(shù)識(shí)別率/%A?10攻擊機(jī)700070093．31B?2轟炸機(jī)700070097．58B?52轟炸機(jī)700070091．78E?A預(yù)警機(jī)700070096．54F?15戰(zhàn)斗機(jī)700070095．98F?16戰(zhàn)斗機(jī)700070092．53平均識(shí)別率/%94．62

從以上識(shí)別結(jié)果可以看出，在圖像加入各種類型的變換及干擾后，識(shí)別率稍有下降。對(duì)于B-52轟炸機(jī)來說，其外形結(jié)構(gòu)易受到環(huán)境的影響，故識(shí)別結(jié)果下降較大；而對(duì)于B-2轟炸機(jī)，其穩(wěn)定的三角形狀使得識(shí)別結(jié)果較為穩(wěn)定?？偟膩碚f，整體的識(shí)別率還是維持在較高的水平上，可見該算法能克服視角變化、噪聲干擾、云層遮擋等影響，抗噪性強(qiáng)。

為了驗(yàn)證算法的魯棒性，在測(cè)試圖像中加入非該類型飛機(jī)及其他類似圖像作為干擾項(xiàng)，每種類型各增加300幅干擾圖片。繼續(xù)重復(fù)上述實(shí)驗(yàn)方法，得到實(shí)驗(yàn)結(jié)果如表3所示。

表3 干擾因素下各類飛機(jī)目標(biāo)的識(shí)別結(jié)果

從表3可以看出，在測(cè)試圖像中加入了干擾項(xiàng)后，各種遙感飛機(jī)類型的識(shí)別結(jié)果雖有所波動(dòng)，但對(duì)識(shí)別率的影響很小，識(shí)別精度較穩(wěn)定，魯棒性強(qiáng)。

為了驗(yàn)證算法的識(shí)別效率及精度，在加入復(fù)雜環(huán)境及干擾因素的情況下，將該算法與傳統(tǒng)CNN算法、BP結(jié)合D-S證據(jù)理論算法[12]及支持向量機(jī)(SVM)[13]的分類方法進(jìn)行比較。其中BP結(jié)合D-S證據(jù)理論的多特征融合算法是基于Hu矩、仿射不變量等特征；采用SVM分類方法進(jìn)行分類時(shí)，分別提取飛機(jī)目標(biāo)的骨架約束的角點(diǎn)、幾何矩不變量等特征，并加權(quán)融合所有特征。實(shí)驗(yàn)對(duì)比結(jié)果如表4 所示。

表4 其他算法與本文CNN算法的復(fù)雜度對(duì)比

為了簡(jiǎn)化描述并更直觀地顯示對(duì)比結(jié)果，用A、B、C、D、E、F分別代表A-10攻擊機(jī)、B-2轟炸機(jī)、B-52轟炸機(jī)、E-A預(yù)警機(jī)、F-15戰(zhàn)斗機(jī)和F-16戰(zhàn)斗機(jī)，對(duì)比圖如圖10所示。

圖10 本文算法與其他識(shí)別算法中每類飛機(jī)的正確識(shí)別率對(duì)比

從上述表1～表4及圖10能夠明顯看出，本文算法較傳統(tǒng)CNN在識(shí)別精度上有了較大的提高；同時(shí)較SVM方法避免了復(fù)雜的特征提取及信息的缺失；相對(duì)于傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)，不僅減少了權(quán)值的數(shù)量，降低了網(wǎng)絡(luò)模型的復(fù)雜度，而且大大減少了識(shí)別時(shí)間，提高了識(shí)別精度。

4 結(jié)論

本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像飛機(jī)目標(biāo)識(shí)別算法，對(duì)激勵(lì)函數(shù)、池化模型和正則化模型進(jìn)行了改進(jìn)，提高了網(wǎng)絡(luò)的稀疏性和隨機(jī)性。該算法對(duì)遙感圖像中飛機(jī)目標(biāo)存在的尺度縮放、傾斜、仿射變化等其他形式的變形和噪聲干擾、云層遮擋等復(fù)雜背景環(huán)境具有較高的抗噪性、魯棒性及識(shí)別精度。

本文所提出的遙感圖像識(shí)別算法具有良好的容錯(cuò)性、并行處理能力以及自學(xué)習(xí)能力，這些優(yōu)勢(shì)使其適用于復(fù)雜的飛機(jī)遙感圖像的處理，在實(shí)際應(yīng)用中有較大的研究?jī)r(jià)值。在后續(xù)研究實(shí)驗(yàn)中，會(huì)根據(jù)實(shí)際應(yīng)用情況，增加識(shí)別的飛機(jī)目標(biāo)類型數(shù)，拓寬在不同背景環(huán)境下的應(yīng)用，同時(shí)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)及算法進(jìn)行進(jìn)一步的改進(jìn)，以提高算法的識(shí)別率和魯棒性。

[1] AZZOUZ E E, NANDI A K. Automatic identification of digital modulation types[J]. Signal Processing, 1995, 47(1):55-69.

[2] HU M K. Visual pattern recognition by moment invariants[J]. IRE Transactions on Information Theory, 1962, 2(8):179-187.

[3] TEAGUE M R. Image analysis via the generaltheory of moments[J]. Journal of the Optical Society of America, 1980,70(8):920-930.

[4] Shen Dinggang, IP H H S. Discriminative wavelet shape descriptors for recognition of 2-D patterns[J]. Pattern Recognition, 1998, 32(2):151-165.

[5] Zhu Xuefeng, Ma Caiwen. The study of combined invariants optimization method on aircraft recognition[C]. 2011 Symposium on Photonics and Optoelectronics (SOPO),IEEE,2011:1-4.

[6] Fang Zixuan, Yao Guoqing, Zhang Yanan. Target recognition of aircraft based on moment invariants and BP neural network[C]. World Automation Congress, 2012:1-5.

[7] LAWRENCE S, GILES C L,TSOI A C, et al. Face recognition: a convolutional neural-network approach[J]. IEEE Transactions on Neural Networks, 1997, 8(1):98-113.

[8] 徐鵬，薄華．基于卷積神經(jīng)網(wǎng)絡(luò)的人臉表情識(shí)別[J]．微型機(jī)與應(yīng)用，2015，34(12):45-47．

[9] Wan Li, ZEILER M, Zhang Sixin, et al. Regularization of neural networks using dropconnect[C]. International Conference on Machine Learning, 2013,28(3): 1058-1066.

[10] 龔丁禧，曹長(zhǎng)榮.基于卷積神經(jīng)網(wǎng)絡(luò)的植物葉片分類[J]．計(jì)算機(jī)與現(xiàn)代化，2014 (4): 12-15．

[11] 許可．卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別上的應(yīng)用研究[D].杭州：浙江大學(xué)，2012．

[12] 楊福平，白振興．BP神經(jīng)網(wǎng)絡(luò)和D-S證據(jù)理論的目標(biāo)識(shí)別[J].火力與指揮控制，2006，31(10):88-90．

[13] 李平，魏仲慧，何昕，等．采用多形狀特征融合的多視點(diǎn)目標(biāo)識(shí)別[J]．光學(xué)精密儀器，2014，22 (12):3368-3376.

2017-03-31)

晁安娜(1992-)，女，碩士研究生，主要研究方向：智能信息處理與模式識(shí)別。

劉坤(1982-)，女，博士，副教授，主要研究方向：多尺度集合分析理論、稀疏表示以及壓縮感知等圖像處理技術(shù)。

Aircraft target recognition in remote sensing image based on CNN

Chao Anna, Liu Kun

(College of Information and Engineering, Shanghai Maritime University, Shanghai 201306, China)

Remote sensing image recognition has been widely used in civil and military fields. In view of plenty of interference factors in remote-sensing aircraft, such as shade, noise, the changing of perspective, etc, an improved target recognition algorithm in remote sensing image based on convolution neural network is proposed. Convolution neural network is adopted to recognize aircraft target in complex environment to avoid information loss in the process of feature extraction, which improves recognition rate. Simulation results show that the feasibility of aircraft target recognition algorithm in remoting sensing image and the scale and posture changes of target can be overcome. Meanwhile, the proposed algorithm has higher recognition effect and stronger robustness than traditional CNN and BP neural network and support vector machine (SVM) methods.

convolution neural network; deep learning; remote sensing image; aircraft recognition

TP391.9

A

10.19358/j.issn.1674- 7720.2017.22.018

晁安娜，劉坤.基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像飛機(jī)目標(biāo)識(shí)別J.微型機(jī)與應(yīng)用，2017,36(22)：66-69，73.

航空科學(xué)基金(2013ZC15005)