郭正山 馮放

摘要：目前，高分辨率數(shù)據(jù)已成為重要的信息存儲手段之一，其分類問題也成為了熱點。在分類過程中經(jīng)歷了最初的極大似然法、K-均值聚類法、機(jī)器學(xué)習(xí)和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)等幾十年的探索和研究，最近才發(fā)現(xiàn)深度學(xué)習(xí)技術(shù)可以更好的應(yīng)用。本文給出了深度學(xué)習(xí)的常用模型深度信念網(wǎng)絡(luò)（DBN）、支持向量機(jī)（SVM）和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)（NN）的三種分類方法，并結(jié)合其它相關(guān)文獻(xiàn)進(jìn)行了對比分析，得出DBN模型在分類效果上更好。最后，展望了深度學(xué)習(xí)的理論和應(yīng)用在遙感影像領(lǐng)域中的發(fā)展趨勢。

關(guān)鍵詞：遙感影像；深度學(xué)習(xí)；深度信念網(wǎng)絡(luò)；支持向量機(jī)；神經(jīng)網(wǎng)絡(luò)；地物分類

中圖分類號：P237 文獻(xiàn)標(biāo)識碼：A 文章編號：1672-9129（2018）07-0028-02

Abstract： At present， high-resolution data has become one of the important information storage methods. Its classification has also become a hot topic. During the classification process， it has experienced decades of exploration and research such as the initial maximum likelihood method， K-means clustering， machine learning， and traditional neural networks. It has only recently been discovered that deep learning technology can be applied better. This paper presents three classification methods of deep learning common models： deep belief network （DBN）， support vector machine （SVM） and traditional neural network （NN）， and compares them with other related literatures. The classification is better. Finally， the development trend of theories and applications of deep learning in the field of remote sensing images is forecasted.

Keywords： remote sensing imagery； deep learning； deep belief network； support vector machine； neural network； feature classification

引言

顧名思義，遙感影像是一種反映地面物體電磁輻射信息的圖像，通過強(qiáng)弱程度來進(jìn)行存儲和表達(dá)[1]。遙感影像分類總體是指把影像中每個像元劃分到類別的過程，是遙感領(lǐng)域中最常遇到的問題。

在高分辨率數(shù)據(jù)分類的初期，引用最多的是基于光譜統(tǒng)計特征進(jìn)行分類的傳統(tǒng)方法，但隨著影像中大量細(xì)節(jié)的出現(xiàn)和地物光譜特征的復(fù)雜化導(dǎo)致這些分類方法準(zhǔn)確度降低。于是引入了機(jī)器學(xué)習(xí)算法，雖然在分類結(jié)果上有著更好結(jié)果，但是有一些局限：有限的計算單元、很難表達(dá)復(fù)雜函數(shù)、淺層的學(xué)習(xí)算法等[2]。

直到2006年深度學(xué)習(xí)算法的提出，緩解了機(jī)器學(xué)習(xí)算法的局部優(yōu)化和過擬合問題，同時包含更多的層次，能夠很好的處理和發(fā)掘復(fù)雜無規(guī)律的數(shù)據(jù)，掀起了遙感影像分類問題上的深度學(xué)習(xí)算法的研究。

1 遙感影像分類方法簡介

1.1支持向量機(jī)

支持向量機(jī) （Support Vector Machines， SVM ）是一種在統(tǒng)計學(xué)習(xí)理論上進(jìn)行改進(jìn)和升級的淺層學(xué)習(xí)的人工神經(jīng)網(wǎng)絡(luò)算法，其數(shù)學(xué)模型簡單，理論基礎(chǔ)牢固，采用結(jié)構(gòu)風(fēng)險最小化準(zhǔn)則。

SVM的目的在于找到一個最優(yōu)分類超平面，適合于一組線性可分?jǐn)?shù)據(jù)的分類問題，是一個二元分類器。給定一組已經(jīng)被標(biāo)記好的訓(xùn)練實體，用空間中的點表示，于是得到準(zhǔn)確實體的分布模型，就可以根據(jù)新的實體在該空間所落的地方來預(yù)測所屬類別[3]。

SVM的簡單實用發(fā)揮了很大的作用，并與多門學(xué)科融合發(fā)展，應(yīng)用于許多領(lǐng)域。同時由于簡單，需要較強(qiáng)的計算速度和存儲容量等問題，需要進(jìn)一步發(fā)展和進(jìn)化。

1.4神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)是從我們?nèi)四X結(jié)構(gòu)得到啟發(fā)設(shè)計出來的數(shù)學(xué)模型，基本組成單元是單個神經(jīng)元[5]。神經(jīng)元的堆疊有非常復(fù)雜的結(jié)構(gòu)，能夠處理許多很智能的問題，結(jié)構(gòu)如圖所示：

1.4.1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種包括輸入、輸出和隱層的前饋神經(jīng)網(wǎng)絡(luò)，與SVM相比能處理更多的分類問題，包括兩個過程：信號前向傳播和誤差反向調(diào)整。

前向傳播指的就是根據(jù)這四個等式從輸入層到隱層，從隱層到輸出層的參數(shù)計算和傳播。前向傳播使該模型初見成型，但是它還比較粗糙，需要下面的反向傳播來進(jìn)行改進(jìn)。

反向傳播是根據(jù)誤差梯度下降算法修改模型中的參數(shù)，誤差反向調(diào)整是BP網(wǎng)絡(luò)的特色所在，通過人為的調(diào)整參數(shù)與修改模型來定型，這就是BP神經(jīng)網(wǎng)絡(luò)。

1.4.2 RBF神經(jīng)網(wǎng)絡(luò)

RBF是另一類常用神經(jīng)網(wǎng)絡(luò)，由兩階段組成：用無監(jiān)督學(xué)習(xí)求解隱層基函數(shù)的方法與中心；用監(jiān)督式學(xué)習(xí)求解隱含層到輸出層的權(quán)值。

首先要我們隨機(jī)選 個樣本點作為聚類中心 ，然后剩余的樣本分配到與之最近的聚類集合中，接著計算聚類集合的均值，把計算得到的均值作為新的聚類中心ci。這時會出現(xiàn)兩種狀況，若聚類中心沒有發(fā)生變化，則其就是RBF神經(jīng)網(wǎng)絡(luò)最終的基函數(shù)中心，否則需要再進(jìn)行樣本分類和之后的處理。沒有問題的話就求解方差，最后用最小二乘法計算隱含層和輸出層之間的權(quán)值。

這里，我們的兩種神經(jīng)網(wǎng)絡(luò)已介紹完了，但是由于層次較淺，不能再適合于獨立處理當(dāng)今復(fù)雜問題。伴隨著計算機(jī)具有了很強(qiáng)的數(shù)據(jù)處理能力，引發(fā)了人們對具有更深層次神經(jīng)網(wǎng)絡(luò)的研究，DBN就是其中的代表。

1.5深度信念網(wǎng)絡(luò)（DBN）模型

深度信念網(wǎng)絡(luò)是由G.E.Hinton等在2006年提出，由若干個受限玻爾茲曼機(jī)模型疊加而成的有著層次較多的神經(jīng)網(wǎng)絡(luò)，于是我們從受限玻爾茲曼機(jī)講起。

1.5.1 受限玻爾茲曼機(jī)（RBM）

受限玻爾茲曼機(jī)是由玻爾茲曼機(jī)（Boltzmann machine，BM）進(jìn)行一些約束得到的。BM通過學(xué)習(xí)數(shù)據(jù)中的固有屬性，有很強(qiáng)的無監(jiān)督學(xué)習(xí)能力與非常完美的理論基礎(chǔ)，但是需要很長的訓(xùn)練時間并無法得到數(shù)據(jù)的準(zhǔn)確分布。

這時受限玻茲曼機(jī)（RBM）的提出彌補(bǔ)了一些缺點，它規(guī)定層內(nèi)節(jié)點獨立，層間節(jié)點相互連接，是有2層結(jié)構(gòu)的馬爾可夫隨機(jī)場的特殊情況。這樣模型就得以簡化，能很容易地求得概率分布函數(shù)，也大大提高了學(xué)習(xí)效率[6]。

1.5.2 深度信念網(wǎng)絡(luò)

深度信念網(wǎng)絡(luò)（deep belief network，DBN）是由RBM堆疊而成的深層神經(jīng)網(wǎng)絡(luò)模型，通過預(yù)訓(xùn)練和反向微調(diào)來完成。預(yù)訓(xùn)練采用分層訓(xùn)練方法對無標(biāo)簽的樣本來自我學(xué)習(xí)再用BP算法對其中的參數(shù)微調(diào)。它具有訓(xùn)練速度快，特征提取更明顯的優(yōu)勢，低層學(xué)習(xí)到的是表面特征，而頂層學(xué)習(xí)能夠得到細(xì)致的數(shù)據(jù)內(nèi)部的一些特征[7]。

這時很有必要提另一種很典型的深度結(jié)構(gòu)：深度玻爾茲曼機(jī)（deep Boltzmann machine，DBM），它與DBN在結(jié)構(gòu)上非常相似。DBM是由單層RBM增加隱層數(shù)得到的，而DBN是在靠近可視層的部分使用有向圖模型，在輸出層處使用RBM。同時它們也很類似，都是具有自下而上的深層結(jié)構(gòu)，在一些問題上能取得相同的結(jié)構(gòu)。

2 深度學(xué)習(xí)的提出及應(yīng)用

2.1 淺層方法的局限性

淺層學(xué)習(xí)方法是指具有隱層較少的網(wǎng)絡(luò)結(jié)構(gòu)，上文所示的支持向量機(jī)、兩種常用神經(jīng)網(wǎng)絡(luò)就屬于典型的淺層學(xué)習(xí)方法，接下來針對這兩種方法來展開論述。

支持向量機(jī)有著很好的理論基礎(chǔ)，但缺點也很嚴(yán)重：輸入數(shù)據(jù)必須是完全標(biāo)記的、成員概率沒有進(jìn)行校準(zhǔn)和驗證和只能直接進(jìn)行二值分類[8]。因此必須將初始問題刻板轉(zhuǎn)變?yōu)閹讉€二元問題。BP神經(jīng)網(wǎng)絡(luò)具有簡單性、易行性、并行性；RBF神經(jīng)網(wǎng)絡(luò)具有唯一逼近特性、沒有局部極小問題等優(yōu)點。但兩類方法優(yōu)點凸顯的同時，缺點也很嚴(yán)重：特征表達(dá)能力不足、特征維數(shù)過多、計算復(fù)雜等，往往在實際問題中缺點要遠(yuǎn)遠(yuǎn)大于其優(yōu)點，所以不能很好的適應(yīng)當(dāng)前的需求。

總體來說，淺層結(jié)構(gòu)需要借助人的經(jīng)驗抽取適當(dāng)?shù)臉颖咎卣?，同時學(xué)習(xí)獲得的特征僅僅是單層。雖然在處理簡單數(shù)據(jù)時有明顯的速度優(yōu)勢，但是對于復(fù)雜數(shù)據(jù)就凸顯出表征能力不足的問題，不再適用于高分辨率遙感影像的分類問題上。

2.2 深度學(xué)習(xí)算法的提出

深度學(xué)習(xí)是從樣本數(shù)據(jù)通過一定的算法得到有多個隱層的深度神經(jīng)網(wǎng)絡(luò)的過程[9]。是一種從海量數(shù)據(jù)中不斷習(xí)得經(jīng)驗的深層學(xué)習(xí)模型，它能發(fā)現(xiàn)更有力的人們看不出內(nèi)部特征，最終提高分類的準(zhǔn)確性，成功應(yīng)用于處理具有高維稀疏特征的復(fù)雜的真實世界中的問題的數(shù)據(jù)。因此本文提出將深度學(xué)習(xí)的常用模型—深度信念網(wǎng)絡(luò)（DBN）應(yīng)用于遙感影像的分類問題上，可以直接從中提取數(shù)據(jù)所包含的特征而不受具體模型的約束，從而有較高的泛化能力。

2.3 深度學(xué)習(xí)在遙感影像的應(yīng)用案例

Krizhevsky等在2012年通過訓(xùn)練一個深度神經(jīng)網(wǎng)絡(luò)來對 ImageNet LSVRC2010中包含著1000個不同類別的1.2百萬個高分辨率圖像進(jìn)行分類。在測試數(shù)據(jù)中，在第一和第五上的錯誤率分別為37.5% 和17.0%，刷新了這個數(shù)據(jù)集的記錄。

文獻(xiàn)[10]將深度網(wǎng)絡(luò)算法與可學(xué)習(xí)感受野相結(jié)合，學(xué)習(xí)用于池化的感受野和分類器，最終在Oxford flowers測試庫的圖像中進(jìn)行了測試，并獲得良好的分類效果。

文獻(xiàn)[11]提出了一種基于DBN的譜域-空域分類方法，在高光譜數(shù)據(jù)條件下對DBN分類器進(jìn)行實驗。在兩個高光譜數(shù)據(jù)集上進(jìn)行了測試，證明了該方法比SVM方法具有更好的分類性能。

3 深度學(xué)習(xí)在遙感影像領(lǐng)域的理論和應(yīng)用展望

目前，深度學(xué)習(xí)橫跨數(shù)學(xué)、計算機(jī)、工程技術(shù)等多個學(xué)科并應(yīng)用于我們社會生活的各個領(lǐng)域[12]，但是將其應(yīng)用于遙感影像解釋的研究工作相對較少。由于深度學(xué)習(xí)具有處理高稀疏數(shù)據(jù)的優(yōu)良特性，所以未來它是遙感影像分類領(lǐng)域的技術(shù)前沿，有著很好的發(fā)展前景。

由于是新興技術(shù)，沒有完善的理論依據(jù)，大部分時候都是通過經(jīng)驗或?qū)嶒瀬砣∽约赫J(rèn)為的最優(yōu)參數(shù)，由此影響了分類效率。所以下一步將以如何更加快速準(zhǔn)確確定深度學(xué)習(xí)的網(wǎng)絡(luò)參數(shù)作為研究的方向。

參考文獻(xiàn)：

[1]王一達(dá)，沈熙玲，謝炯. 遙感圖像分類方法綜述[J].2006（5）： 67-71.

[2]劉大偉， 韓玲， 韓曉勇. 基于深度學(xué)習(xí)的高分辨率遙感影像分類研究[J]. 光學(xué)學(xué)報， 2016（4）：298-306.

[3]Lothar Hermes， Dieter Frieau， Jan Puzicha， et al. Support Vector Machines for Land U sage Classification in Landsat TM Imagery[J ]. In： Proc. IGARSS99， 1： 348—350.

[4]Huang C， Davis L S. Townshend J R G. An assessment of support vector machines for land cover classification [J]. International Journal of Remote Sensing，. 2002， 23： 725-749.

[5]張日升， 張燕琴. 基于深度學(xué)習(xí)的高分辨率遙感圖像識別與分類研究[J]. 信息通信， 2017（1）：110-111.

[6]李俊峰， 汪月樂， 胡升，等. 基于DBN，SVM和BP神經(jīng)網(wǎng)絡(luò)的光譜分類比較[J]. 光譜學(xué)與光譜分析， 2016， 36（10）：3261-3264.

[7]尹寶才， 王文通， 王立春. 深度學(xué)習(xí)研究綜述[J]. 北京工業(yè)大學(xué)學(xué)報， 2015（1）：48-59.

[8]Hsu CW， L in C J. A comparison of methods for multi-class support vector machines [J]. IEEE Transactions on Neural Networks， 2002， 13 （2）： 415—425， 2002.

[9]劉建偉， 劉媛， 羅雄麟. 深度學(xué)習(xí)研究進(jìn)展[J]. 計算機(jī)應(yīng)用研究， 2014， 31（7）：1921-1930.

[10]王博，郭繼昌，張艷.基于深度網(wǎng)絡(luò)的可學(xué)習(xí)感受野算法在圖像分類中的應(yīng)用[J].控制理論與應(yīng)用，2015，32（8）：1114-1119.

[11]李鐵， 孫勁光， 張新君，等. 高光譜遙感圖像空譜聯(lián)合分類方法研究[J]. 儀器儀表學(xué)報， 2016， 37（6）：1379-1389.

[12]HARRINGTON P.Machine learning in action[ M ]. Shelter Island，N. Y.：Manning Publications Co， 2012.