王鑫 李可 徐明君 寧晨

摘 要：針對傳統(tǒng)的基于深度學(xué)習(xí)的遙感圖像分類算法未能有效融合多種深度學(xué)習(xí)特征，且分類器性能欠佳的問題，提出一種改進(jìn)的基于深度學(xué)習(xí)的高分辨率遙感圖像分類算法。首先，設(shè)計(jì)并搭建一個(gè)七層卷積神經(jīng)網(wǎng)絡(luò);其次，將高分辨率遙感圖像樣本輸入到該網(wǎng)絡(luò)中進(jìn)行網(wǎng)絡(luò)訓(xùn)練，得到最后兩個(gè)全連接層輸出作為遙感圖像兩種不同的高層特征;再次，針對該網(wǎng)絡(luò)第五層池化層輸出，采用主成分分析（PCA）進(jìn)行降維，作為遙感圖像的第三種高層特征;然后，將上述三種高層特征通過串聯(lián)的形式進(jìn)行融合，得到一種有效的基于深度學(xué)習(xí)的遙感圖像特征;最后，設(shè)計(jì)了一種基于邏輯回歸的遙感圖像分類器，可以對遙感圖像進(jìn)行有效分類。與傳統(tǒng)基于深度學(xué)習(xí)的遙感圖像分類算法相比，所提算法分類準(zhǔn)確率有較高提升。實(shí)驗(yàn)結(jié)果表明，該算法在分類準(zhǔn)確率、誤分類率和Kappa系數(shù)上表現(xiàn)優(yōu)異，能實(shí)現(xiàn)良好的分類效果。

關(guān)鍵詞：高分辨率遙感圖像;圖像分類;深度學(xué)習(xí);主成分分析;邏輯回歸

中圖分類號： TP391.41

文獻(xiàn)標(biāo)志碼：A

Abstract： In order to solve the problem that the traditional deep learning based remote sensing image classification algorithms cannot effectively fuse multiple deep learning features and their classifiers have poor performance， an improved high-resolution remote sensing image classification algorithm based on deep learning was proposed. Firstly， a seven-layer convolutional neural network was designed and constructed. Secondly， the high-resolution remote sensing images were input into the network to train it， and the last two fully connected layer outputs were taken as two different high-level features for the remote sensing images. Thirdly， Principal Component Analysis （PCA） was applied to the output of the fifth pooling layer in the network， and the obtained dimensionality reduction result was taken as the third high-level features for the remote sensing images. Fourthly， the above three kinds of features were concatenated to get an effective deep learning based remote sensing image feature. Finally， a logical regression based classifier was designed for remote sensing image classification. Compared with the traditional deep learning algorithms， the accuracy of the proposed algorithm was increased. The experimental results show that the proposed algorithm performs excellent in terms of classification accuracy， misclassification rate and Kappa coefficient， and achieves good classification results.

Key words： high resolution remote sensing image; image classification; deep learning; Principal Component Analysis （PCA）; logistic regression

0 引言

遙感圖像分類是遙感領(lǐng)域的一個(gè)重要研究方向，被廣泛應(yīng)用于精確制導(dǎo)、海情監(jiān)控和交通監(jiān)管等多個(gè)軍事和民用領(lǐng)域，因此，對其深入研究具有重要的理論意義和應(yīng)用價(jià)值。近年來，隨著遙感技術(shù)的不斷發(fā)展，遙感圖像空間分辨率不斷提高，遙感圖像所包含的地物目標(biāo)的細(xì)節(jié)更加明顯、地物的光譜特征更加復(fù)雜，這使得早期的遙感圖像分類算法分類性能較差[1-3]。

在高分辨率遙感圖像分類問題中，提取特征的有效性決定了分類結(jié)果的精度。傳統(tǒng)的遙感圖像分類算法需要借助不同的特征提取算法來提取遙感圖像各種類型的特征，如尺度不變特征變換（Scale-Invariant Feature Transform， SIFT）[4]、方向梯度直方圖（Histogram of Oriented Gradients， HOG）[5]、局部二值模式 （Local Binary Pattern， LBP）[6]等。這些特征提取的過程較為復(fù)雜，且提取的特征可能存在信息涵蓋不全面或存在冗余等現(xiàn)象，從而導(dǎo)致遙感圖像分類性能不高。2012年，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）在ImageNet數(shù)據(jù)集上取得了良好的圖像分類效果[7]，從而向全世界學(xué)者展現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征學(xué)習(xí)能力。與其他特征提取算法相比，深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)可以自動(dòng)提取圖像的各種類型特征，并且提取到的特征更有代表性和鑒別性，從而有效保證了圖像分類性能。

深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)實(shí)際是一種深層次非線性的結(jié)構(gòu)，它能實(shí)現(xiàn)針對復(fù)雜分類問題建模的功能。由于神經(jīng)網(wǎng)絡(luò)的層數(shù)直接決定了其刻畫數(shù)據(jù)的能力，因此深度學(xué)習(xí)模型具有很強(qiáng)的特征表達(dá)能力[8]。而深度學(xué)習(xí)之所以采用層次網(wǎng)絡(luò)結(jié)構(gòu)，是受到視覺系統(tǒng)信息處理機(jī)制的啟發(fā)。Deng等[7]指出，1981年諾貝爾醫(yī)學(xué)獎(jiǎng)獲得者發(fā)現(xiàn)了人的視覺系統(tǒng)信息處理是分級處理：從視網(wǎng)膜出發(fā)，首先經(jīng)過低級V1區(qū)提取目標(biāo)邊緣特征，再經(jīng)V2區(qū)提取形狀等局部特征，接著到V4區(qū)得到整個(gè)目標(biāo)，最后經(jīng)更高層前額葉皮層進(jìn)行分類識別。由此可見，高層特征是低層特征的組合，從低層到高層的特征表達(dá)越來越抽象化和概念化。近年來，研究學(xué)者開始利用深度學(xué)習(xí)的優(yōu)勢將其應(yīng)用于圖像分類。例如，劉大偉等[9]提出了一種基于深度學(xué)習(xí)的遙感圖像分類算法，該算法首先通過非采樣Contourlet變換計(jì)算圖像的紋理特征，然后利用深度學(xué)習(xí)深層信念網(wǎng)絡(luò)（Deep Belief Network， DBN）對基于光譜和紋理特征的高空間分辨率遙感圖像進(jìn)行分類。曲景影等[10]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像分類算法，該算法在傳統(tǒng)的LeNET-5網(wǎng)絡(luò)的基礎(chǔ)上利用ReLU激活函數(shù)代替Sigmoid和Tanh激活函數(shù)，對光學(xué)遙感圖像進(jìn)行識別時(shí)，取得了一定的效果。周敏等[11]提出了一種將卷積神經(jīng)網(wǎng)絡(luò)用于遙感圖像飛機(jī)目標(biāo)分類問題的算法，該算法設(shè)計(jì)了一個(gè)五層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類。黃潔等[12]提出了一種將深度學(xué)習(xí)網(wǎng)絡(luò)應(yīng)用于遙感圖像船艦?zāi)繕?biāo)檢測的算法，該算法將卷積神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)分類器相結(jié)合實(shí)現(xiàn)遙感圖像分類。 雖然現(xiàn)有基于深度學(xué)習(xí)的遙感圖像分類算法能有效提升分類性能，但是仍存在未能有效融合多種深度特征、分類器性能欠佳的問題。

針對上述問題，本文在傳統(tǒng)基于深度學(xué)習(xí)的遙感圖像分類算法的基礎(chǔ)上，提出了一種改進(jìn)的基于深度學(xué)習(xí)的高分辨率遙感圖像分類算法。一方面，針對傳統(tǒng)基于深度學(xué)習(xí)的遙感圖像分類算法未能有效融合多種深度特征的問題，本文提出算法通過利用卷積神經(jīng)網(wǎng)絡(luò)提取遙感圖像三種高層特征，并采用串聯(lián)的形式實(shí)現(xiàn)三種高層特征的融合，融合得到的特征涵蓋信息更完整且鑒別性更強(qiáng);另一方面，針對傳統(tǒng)深度學(xué)習(xí)算法中分類器性能欠佳的問題，設(shè)計(jì)了基于邏輯回歸的遙感圖像分類器，將深度學(xué)習(xí)特征與淺層分類器相結(jié)合，能進(jìn)一步提升分類性能。

與傳統(tǒng)遙感圖像分類算法相比，本文提出算法具有如下特性：1）該算法可直接將原始遙感圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)中，自動(dòng)學(xué)習(xí)圖像特征，無需進(jìn)行圖像預(yù)處理，避免了外部因素的干擾;2）該算法利用卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取遙感圖像中具有較大差異的特征來表征圖像，可避免復(fù)雜的特征提取過程，減少了人為干預(yù);3）該算法針對卷積神經(jīng)網(wǎng)絡(luò)提取到的第五層池化層特征和兩個(gè)全連接層特征，用串聯(lián)的方式實(shí)現(xiàn)特征融合，最終融合的特征具有一定的平移不變性和旋轉(zhuǎn)不變性，且涵蓋信息豐富。實(shí)驗(yàn)結(jié)果表明，本文提出的算法相比傳統(tǒng)基于深度學(xué)習(xí)的遙感圖像分類算法準(zhǔn)確率有較大提升，優(yōu)化了分類效果。

1 相關(guān)工作

卷積神經(jīng)網(wǎng)絡(luò)是由LeCun等[13]提出的一種經(jīng)典的深度學(xué)習(xí)模型，大量的實(shí)驗(yàn)表明該模型在圖像分類方面具有顯著的優(yōu)勢，它可以模擬生物視覺認(rèn)知機(jī)制，通過學(xué)習(xí)直接從輸入圖像中得到原始圖像的良好表達(dá)，從而識別出圖像中符合視覺規(guī)律的特征。

一個(gè)CNN模型的基本組成部分包括：輸入層、卷積層、池化層、全連接層及輸出層。其中：輸入層輸入待處理圖像。卷積層包含多個(gè)卷積核（Convolution Kernel），用來計(jì)算該層輸出的特征圖（Feature Map）。每個(gè)特征圖由多個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元的輸入通過卷積核與上一層特征圖的局部感受野相連接。卷積核是一個(gè)權(quán)值矩陣[14]，卷積層的作用是自動(dòng)學(xué)習(xí)輸入圖像的特性表征。 池化（Pooling）層中池化的本質(zhì)是采樣，池化層可以選擇某種方式對卷積層學(xué)習(xí)得到的特征圖進(jìn)行壓縮。池化的意義一方面在于減少網(wǎng)絡(luò)參數(shù)，減少計(jì)算量;另一方面在于使訓(xùn)練出的特征具有旋轉(zhuǎn)不變性，增強(qiáng)網(wǎng)絡(luò)魯棒性和抗干擾能力。典型的池化方式包括平均池化、最大化池化和隨機(jī)池化[15]等。輸入圖像經(jīng)卷積層和池化層后會(huì)輸出多組特征圖，全連接層將多組特征圖依次組合為一組特征圖，并將卷積層和池化層學(xué)到的“分布式特征”映射到樣本標(biāo)記空間。最后，輸出層輸出圖像分類結(jié)果。

訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，實(shí)際意義上是在訓(xùn)練該網(wǎng)絡(luò)每一個(gè)卷積層的卷積核，使這些卷積核能檢測到圖像中的特定特征，從而達(dá)到訓(xùn)練整個(gè)卷積神經(jīng)網(wǎng)絡(luò)的目的[16-19]。在開始訓(xùn)練之前，隨機(jī)初始化卷積核，例如將一幅圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)中，隨機(jī)初始化的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果表明這張圖像有8%的可能性屬于A類，但實(shí)際上卷積神經(jīng)網(wǎng)絡(luò)已知這張圖像屬于B類，那么卷積神經(jīng)網(wǎng)絡(luò)會(huì)借助一個(gè)反向傳播的處理過程，修正卷積核，以便下一次碰到相似圖像時(shí)會(huì)更可能地將其預(yù)測為B類。對訓(xùn)練數(shù)據(jù)重復(fù)這一過程，卷積核就會(huì)逐漸調(diào)整到能夠提取圖像中益于分類的重要特征。

2 本文算法

為了克服傳統(tǒng)的高分辨率遙感圖像分類算法的缺陷，本文提出了一種改進(jìn)的基于深度學(xué)習(xí)的遙感圖像分類算法，該算法的整體框架如圖1所示。

2.1 基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

本文算法的第一步是設(shè)計(jì)和搭建一個(gè)七層卷積神經(jīng)網(wǎng)絡(luò)，然后將高分辨率遙感圖像樣本輸入到該網(wǎng)絡(luò)中進(jìn)行網(wǎng)絡(luò)的訓(xùn)練。具體步驟如下：

4 結(jié)語

針對傳統(tǒng)基于深度學(xué)習(xí)的遙感圖像分類算法未能有效融合多種深度學(xué)習(xí)特征、且分類器性能欠佳的缺陷，本文提出了一種改進(jìn)的基于深度學(xué)習(xí)的高分辨率遙感圖像分類算法，通過在UCMerced_LandUse公共數(shù)據(jù)集上進(jìn)行評測，與現(xiàn)有基于深度學(xué)習(xí)的遙感圖像分類算法相比，結(jié)果表明，本文提出的算法能夠有效進(jìn)行分類，并在混淆矩陣、準(zhǔn)確率、誤分類率和Kappa系數(shù)等指標(biāo)上明顯優(yōu)于對比算法。由于本文算法基于深度學(xué)習(xí)理論，算法效率有待提高，這也是未來進(jìn)一步要改進(jìn)和研究的方向。

參考文獻(xiàn)：

[1] WANG X， SHEN S， NING C， et al. Multi-class remote sensing objects recognition based on discriminative sparse representation [J]. Applied Optics， 2016， 55（6）： 1381-1394.

[2] WANG X， XIONG X， NING C， et al. Integration of heterogeneous features for remote sensing scene classification [J]. Journal of Applied Remote Sensing， 2018， 12（1）： 015023.

[3] NING C， LIU W， ZHANG G， et al. Enhanced synthetic aperture radar automatic target recognition method based on novel features [J]. Applied Optics， 2016， 55（31）： 8893-8904.

[4] SIRMACEK B， UNSALAN C. Urban-area and building detection using SIFT keypoints and graph theory [J]. IEEE Transactions on Geoscience and Remote Sensing， 2009， 47（4）： 1156-1167.

[5] TUERMER S， KURZ F， REINARTZ P， et al. Airborne vehicle detection in dense urban areas using HoG features and disparity maps [J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing， 2013， 6（6）： 2327-2337.

[6] CHEN C， ZHANG B， SU H， et al. Land-use scene classification using multi-scale completed local binary patterns [J]. Signal， Image & Video Processing， 2016， 10（4）： 745-752.

[7] DENG J， DONG W， SOCHER R， et al. ImageNet： a large-scale hierarchical image database [C]// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2009： 248-255.

[8] HINTON G E， OSINDERO S， TEH Y-W. A fast learning algorithm for deep belief nets [J]. Neural Computation， 2006， 18（7）： 1527-1554.http：//dx.doi.org/10.1162/neco.2006.18.7.1527

[9] 劉大偉，韓玲，韓曉勇.基于深度學(xué)習(xí)的高分辨率遙感影像分類研究[J].光學(xué)學(xué)報(bào)， 2016， 36（4）： 0428001. （LIU D W， HAN L， HAN X Y. High spatial resolution remote sensing image classification based on deep learning[J]. Acta Optica Sinica， 2016， 36（4）： 0428001.）

[10] 曲景影，孫顯，高鑫.基于CNN模型的高分辨率遙感圖像目標(biāo)識別[J].國外電子測量技術(shù)，2016，35（8）：45-50. （QU J Y， SUN X， GAO X. Remote sensing image target recognition based on CNN[J]. Foreign Electronic Measurement Technology， 2016， 35（8）： 45-50.）

[11] 周敏，史振威，丁火平.遙感圖像飛機(jī)目標(biāo)分類的卷積神經(jīng)網(wǎng)絡(luò)方法[J].中國圖象圖形學(xué)報(bào)，2017，22（5）：702-708. （ZHOU M， SHI Z W， DING H P. Aircraft classification in remote-sensing images using convolutional neural networks [J]. Journal of Image and Graphics， 2017， 22（5）： 702-708.）

[12] 黃潔，姜志國，張浩鵬，等.基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像艦船目標(biāo)檢測[J].北京航空航天大學(xué)學(xué)報(bào)，2017，43（09）：1841-1848. （HUANG J， JIANG Z G， ZHANG H P，et al. Ship object detection in remote sensing images using convolutional neural networks[J]. Journal of Beijing University of Aeronautics and Astronsutics， 2017， 43（9）： 1841-1848.）

[13] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition [J]. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

[14] GAO L， CHEN P-Y， YU S. Demonstration of convolution kernel operation on resistive cross-point array [J]. IEEE Electron Device Letters， 2016， 37（7）： 870-873.

[15] GIRSHICK R， IANDOLAA F， DARRELL T， et al. Deformable part models are convolutional neural networks [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2015： 437-446.

[16] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks [C]// NIPS12Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe， NV： Curran Associates Inc.， 2012： 1097-1105.

[17] HINTON G E. How neural networks learn from experience [J]. Scientific American， 1992， 267（3）：145-151.

[18] BOUVRIE J. Notes on convolutional neural networks [EB/OL]. [2018-04-18]. http：//cogprints.org/5869/.

[R]. Massachusetts： Center for Biological and Computational Learning， 2006： 38-44.

[19] RUMELHART D E， HINTON G E， WILLAMS R J. Learning representations by back-propagating errors [J]. Nature， 1986， 323（6088）： 533-536.ACM的另一信息 [M]// Neurocomputing： Foundations of Research. Cambridge， MA： MIT Press， 1988： 696-699.

[20] HOTELLING H. Analysis of a complex of statistical variables into principal components [J]. Journal of Educational Psychology， 1933， 24（6）： 417-520.