張德園,常云翔,張利國,石祥濱
1(沈陽航空航天大學 計算機學院,沈陽 110136) 2(遼寧省通用航空研究院 人因工程研究室,沈陽 110136) E-mail :dyzhang@sau.edu.cn
遙感圖像分類是根據(jù)衛(wèi)星等遙感設備拍攝到的圖像來識別地面目標,常用于監(jiān)測地球的地表狀況.遙感圖像受到傳感器類型、波長、拍攝區(qū)域等因素的影響,使得采集到的圖像空間分辨率較低、圖像細節(jié)較模糊,因此遙感圖像分類問題具有很大的挑戰(zhàn)性[1].鑒于遙感圖像標注樣本數(shù)量較少,傳統(tǒng)的遙感圖像分類方法主要研究適合遙感圖像的特征提取算法[2-4],以及小樣本分類算法[5].為了適應不同應用的特征普適性,人們提出了一些方法來獲取更加靈活和泛化能力更強的特征,比如:稀疏編碼[6]、fisher特征[7]等.
近年來深度神經(jīng)網(wǎng)絡由于其優(yōu)異的性能在計算機視覺的各個領域得到廣泛的研究[8,9].其主要的成功在于能夠通過端到端的方式從大量標注的訓練數(shù)據(jù)中學習到具有極強表達能力和泛化能力的特征.深度神經(jīng)網(wǎng)絡在遙感圖像領域的應用正在引起研究者們的關注[10].
然而在遙感圖像分類任務上,采用遙感圖像數(shù)據(jù)集訓練端到端神經(jīng)網(wǎng)絡尚未得到深入的研究.主要原因在于深度神經(jīng)網(wǎng)絡需要大量的訓練數(shù)據(jù),而遙感圖像數(shù)據(jù)集中數(shù)據(jù)量較少,無法滿足這種龐大的數(shù)據(jù)量需求[11].大規(guī)模的高分辨率遙感圖像數(shù)據(jù)集直到2015年才出現(xiàn),Basu[12]通過對圖像提取150種不同類型的特征,采用DeepSAT深度神經(jīng)網(wǎng)絡框架分類取得了較優(yōu)的性能,然而采用端到端的神經(jīng)網(wǎng)絡訓練模型是否適合遙感圖像分類仍然未得到深入的研究.
本文提出了SAT-CNN,一個用于遙感圖像分類任務的端到端的深度神經(jīng)網(wǎng)絡框架.該框架有四個構件塊構成,其中兩個構件塊用于提取遙感圖像局部區(qū)域的底層特征,其他兩個構件塊用于提取遙感圖像局部區(qū)域的空間位置關系.采用三種不同網(wǎng)絡配置進行訓練,實驗結果表明SAT-CNN能夠提取適合遙感圖像分類的圖像特征.對SAT-CNN的特征遷移性以及受圖像通道的影響進行了詳細的分析,驗證了SAT-CNN框架得到特征的泛化性和魯棒性.
遙感圖像分類任務過去的工作主要集中于設計復合濾波器,研究提取具有良好表達能力的特征來描述圖像.Camps-Valls等人[13]通過對同一區(qū)域的光譜和空間特征進行加權求和,設計了一個復合的濾波器.文獻[14]中提出一種基于使用貝葉斯架構(bayes framework)的目標檢測方法并使用Latent Dirichlet Allocation對目標進行后續(xù)的聚類.這種方法對檢測高度抽象的目標群體(比如,停車場)有較好的效果.
過去幾年,計算機視覺領域發(fā)生巨大變革并推進到采取一種快速的、可擴展的、端到端的學習架構:卷積神經(jīng)網(wǎng)絡(convolutional neural network,CNN).基于深度卷積神經(jīng)網(wǎng)絡的方法在分類、定位、語義分割和動作識別等任務上比其他方法得到遠超出傳統(tǒng)方法的精度.在大規(guī)模識別任務中學習到的卷積神經(jīng)網(wǎng)絡特征已經(jīng)成功遷移到了不同的視覺任務上,比如目標檢測、語義分割和動作檢測.雖然深度學習在計算機視覺應領域的所有方法中精度最高,但在遙感圖像1分類任務上研究起步較晚,尚未得到充分的研究.文獻[14]中介紹了一種深度學習算法,結合空間和光譜信息對高分辨率圖像(VHR)進行有監(jiān)督分類.Minh[15]等人研究了深度網(wǎng)絡對航拍圖像分類中類別標簽噪聲的魯棒性.近幾年,Romero[16]提出了一種深度卷積分層的架構,在AVIRS Indiana′s Indian數(shù)據(jù)集上實驗和測試分類的精度.Tokarczyk[17]中改進了特征提取技術和分類器提出了一種改進的多特征學習策略.由于訓練數(shù)據(jù)受到明顯的限制,他們的方法相比于隨機森林沒有過多的提升.文獻[12]中提出了一種基于深度網(wǎng)絡的遙感圖像的分類架構DeepSat,并構建了大規(guī)模高分辨率的遙感圖像數(shù)據(jù)集SAT-4和SAT-6.DeepSat方法從圖像中提取特征、進行歸一化,然后采用深度置信網(wǎng)絡對這些歸一化后的特征進行分類.當有足夠多的訓練數(shù)據(jù)時,DeepSat能夠得到一個很高的分類精度.在大量標注訓練樣本的情況下,采用端到端的神經(jīng)網(wǎng)絡是否能夠進行遙感圖像特征提取是一個尚未充分研究的問題.本文我們采用端到端的方式直接使用深度卷積神經(jīng)網(wǎng)絡在未經(jīng)預處理的遙感圖像數(shù)據(jù)上學習和分類,分析深度學習在遙感圖像分類任務上的性能.
近年來卷積神經(jīng)網(wǎng)絡在圖像分類任務上大幅提升傳統(tǒng)方法的性能.卷積神經(jīng)網(wǎng)絡的發(fā)展主要得益于海量數(shù)據(jù)以及多種隱藏層神經(jīng)元的提出,主要的隱藏層神經(jīng)元操作描述如下:
1)卷積操作conv(convolutional):卷積操作使用滑動窗口分割原始圖像,在每個滑窗內(nèi)使用 相同的參數(shù)進行線性計算得到輸出圖像.在一張圖像上使用一個卷積核(kernel)的進行卷積運算的計算如公式(1)所示:
(1)
2)批規(guī)范化操作bnorm(batch normalization)[18]:批規(guī)范化操作通過對神經(jīng)網(wǎng)絡隱藏層的輸出進行歸一化處理防止反向傳播過程中的梯度彌散,加速神經(jīng)網(wǎng)絡在訓練時的收斂速度.其計算如公式(2)所示:
(2)
3)修正線性操作ReLU(rectified linear unit):修正線性操作是網(wǎng)絡中使用到的激活函數(shù),其計算如公式(3)所示:
yh,w,c=max{0,xh,w,c}
(3)
其中,x∈RH×W×C為輸入圖像;y∈RH×W×C為輸出圖像.
4)最大池化mp(maxpooling):最大池化操作采用滑動窗口分割圖像,在每個滑窗內(nèi)取最大值作為輸出,其計算如公式(4)所示:
(4)
其中,x∈RH×W×C為輸入圖像;y∈RH″×W″×C為輸出圖像;f∈RH′×W′×C為滑窗大小,窗口每次滑動一個窗口大小的步長.
5)全連接操作fc(fully connected):全連接操作對輸入圖像的所有數(shù)據(jù)進行加權求和的線性運算,可以通過卷積操作的方式來實現(xiàn).公式(1)中窗口大小f∈RW′×H′×C修改為f∈RW×H×C即可將卷積操作變?yōu)槿B接操作.
本文針對遙感圖像數(shù)據(jù)集的特點提出了用于遙感圖像分類的SAT-CNN卷積神經(jīng)網(wǎng)絡框架,主要考慮了兩方面因素:第一,遙感圖像空間分辨率較低導致圖像的細節(jié)較為模糊,識別遙感圖像主要依賴于遙感圖像局部區(qū)域間的整體關系,不需要過多考慮遙感圖像局部區(qū)域內(nèi)存在復雜的空間位置關系;第二,遙感圖像數(shù)據(jù)集中訓練數(shù)據(jù)量相對較少,采用更大、更深的網(wǎng)絡結構將導致SAT-CNN中有更多的參數(shù)需要訓練,需要更大的訓練數(shù)據(jù)量.為了便于實現(xiàn)和分析,我們依據(jù)模塊化的思想提出了具有不同功能的構件塊用來描述SAT-CNN的網(wǎng)絡結構.SAT-CNN由四個構件塊(block)通過線性堆疊的方式組成,每個構件塊實現(xiàn)一個基本的功能:局部特征提取、全局特征提取和標簽預測.如圖1所示,構件塊1和構件塊2用于從遙感圖像的局部區(qū)域內(nèi)提取底層特征;構件塊3用于整合不同底層特征間的非線性空間位置關系得到整張圖像的全局特征;構件塊4根據(jù)整張圖像的特征對圖像在每種類別上的可能性做出預測,得出預測標簽.
圖1 SAT-CNN網(wǎng)絡結構圖Fig.1 SAT-CNN network structure
SAT-CNN中根據(jù)LeNet、AlexNet和VggNet三種經(jīng)典的卷積神經(jīng)網(wǎng)絡的結構共性,設計了四種不同類型的構件塊,分別命名為:CM、CCM、FC和Pre.其中,CM和CCM類型構建塊用于提取局部特征,F(xiàn)C類型構建塊用于提取全局特征,Pre類型構建塊用于預測類別標簽.每個構件塊由線性變換(conv)、批規(guī)范化(bnorm)、非線性變換(ReLU或pooling)等基本操作組成.四種不同類型構建塊的內(nèi)部結構如下:
1)CM:該構件塊由一組卷積(conv)-批規(guī)范化(bnorm)-最大池化(mp)的三層結構構成.該構件塊能夠提取較簡單的區(qū)域內(nèi)像素關系.
2)CCM:該構建塊由一組卷積(conv)-批規(guī)范化(bnorm)-激活函數(shù)(ReLU)-卷積(conv)-批規(guī)范化(bnorm)-最大池化(mp)組成的六層結構.其中兩個卷積操作使用相同大小、相同個數(shù)的卷積操作.與CMBLOCK相比,該構件塊提取較復雜的區(qū)域內(nèi)像素關系.
3)FC:網(wǎng)絡中使用到的一種全連接構件,由一組全連接(fc)-批規(guī)范化(bnorm)-激活函數(shù)(ReLU)組成的三層結構.該構件塊能夠提取不同區(qū)域特征之間的非線性空間關系.常用于將網(wǎng)絡中所有的局部特征組合得到表示整張圖像的高層特征.
4)Pre:網(wǎng)絡中使用到的另一種全連接構件塊,僅由一個全連接(fc)操作組成.與FCBLOCK不同,該構件塊能夠提取不同區(qū)域特征之間的線性空間關系.常用于將網(wǎng)絡中提取到的特征輸出成對每個類別標簽的預測值.
SAT-CNN網(wǎng)絡由以上四種類型的構件塊線性堆疊組成,并分別借鑒圖像分類中常用的LeNet、AlexNet和VggNet網(wǎng)絡結構,設置了三種不同參數(shù)的網(wǎng)絡結構,分別命名為SAT-LeNet、SAT-AlexNet和SAT-VggNet.三種不同網(wǎng)絡結構的具體配置如表1所示.
表1中采用構件塊的方式描述網(wǎng)絡結構,其中K為構件塊中卷積操作使用的卷積核大小,D為使用的卷積核個數(shù),P為填充像素數(shù)量,S為每次滑動的步長.
SAT-LeNet和SAT-AlexNet的網(wǎng)絡由兩個CM類型的構建塊、一個FC類型的構件塊和一個Pre類型的構件塊組成.SAT-LeNet的前兩個構件塊用5×5的卷積核“感知”圖像上的局部信息.SAT-AlexNet中采用了比SAT-LeNet更大的卷積核來提取更大區(qū)域的淺層局部特征、增加網(wǎng)絡中的參數(shù)數(shù)量,分別使用了11×11和7×7的卷積核.SAT-VggNet中使用到的卷積構件塊為CCM類型的構建塊,能夠在圖像的局部區(qū)域提取更復雜的特征、增加網(wǎng)絡的深度.網(wǎng)絡的前兩個構件塊中采用3×3的卷積核.三種網(wǎng)絡結構的后兩個構件塊中
表1 SAT-CNN網(wǎng)絡配置Table 1 SAT-CNN network configuration
的線性操作為全連接操作,使用與前一層輸出大小相同的卷積核來“感知”整張圖像的信息.第一個全連接層輸出的128維向量為神經(jīng)網(wǎng)絡從圖像上學習到用來表示整張圖像的全局特征;最后一個全連接層為預測構建塊,輸出4或6維的向量,對應于我們使用的數(shù)據(jù)集中的標簽數(shù)量.輸出的標簽預測向量通過softmax層的計算得到一個可以用來表示圖像在每個類別可能性的后驗概率.
采用計算預測值與實際標簽之間的對數(shù)損失(softmax log-loss)交叉熵作為優(yōu)化目標函數(shù),使用基于動量的隨機梯度下降的方法進行優(yōu)化.將訓練數(shù)據(jù)集中的數(shù)據(jù)每500個樣本劃分成一個數(shù)據(jù)塊(mini batch),在全部數(shù)據(jù)塊上調(diào)整參數(shù)為一輪迭代,設置迭代200輪尋找最優(yōu)的網(wǎng)絡參數(shù).網(wǎng)絡權重采用正態(tài)分布的隨機采樣來初始化,偏置系數(shù)初始化為0,學習率設置為0.001,動量值設置為0.9.在訓練時,輸入SAT數(shù)據(jù)集中28×28大小的四通道圖像,輸出為圖像在每個類別上的線性預測值,根據(jù)預測值的大小判斷網(wǎng)絡對圖像預測的類別.我們采用原始的圖像作為輸入數(shù)據(jù),沒有做任何的數(shù)據(jù)增強和圖像預處理.文中使用到的三種網(wǎng)絡都是在SAT數(shù)據(jù)集上重新訓練得到的.
實驗在SAT-4和SAT-6數(shù)據(jù)集的訓練集上訓練本文提出的三種不同結構的卷積神經(jīng)網(wǎng)絡模型,為每種類型的模型確定最優(yōu)的參數(shù)并在測試集上測試分類精度.我們的實驗結果將與SAT-4和SAT-6數(shù)據(jù)集上其他方法的結果進行比較.
SAT-4和SAT-6是一組公開的高分辨率遙感圖像數(shù)據(jù)集.這兩個數(shù)據(jù)集中的圖像從National Agriculture Imagery Program (NAIP)截取得到.該圖像的地面空間分辨率為1米.圖像包含4個通道,紅(R)、綠、(G)、藍(B)以及近紅外(NIR)通道.SAT-4包含共50萬張圖片,分為貧瘠土地(barren)、樹木(trees)、草地(grass)以及除了以上三種類別的其他類別(none)共4個類別.SAT-6包含6個土地覆蓋類別:貧瘠的土地(barren),樹木(trees),草地(grass),道路(road),建筑物(building)和水體(water).SAT數(shù)據(jù)集中每個圖像大小均為28×28像素,訓練和測試數(shù)據(jù)集使用偽隨機數(shù)生成器隨機化.
實驗中使用SAT-4和SAT-6數(shù)據(jù)集中的80%數(shù)據(jù)作為訓練數(shù)據(jù)來訓練網(wǎng)絡模型,20%作為測試數(shù)據(jù)用來測試模型的性能.SAT-4和SAT-6數(shù)據(jù)集的具體配置如表2所示.
表2 SAT數(shù)據(jù)集實驗配置Table 2 SAT dataset configuration
實驗使用MatConvNet19構建文中提出的三種不同類型的卷積神經(jīng)網(wǎng)絡模型.在一塊帶有6GB顯存的Nvidia GeForce GTx980Ti顯卡上使用Nvidia提供的CuDNN加速網(wǎng)絡的訓練過程.訓練過程周期性地在訓練集合的子集上評估交叉熵目標函數(shù),調(diào)整網(wǎng)絡參數(shù),直到訓練交叉熵穩(wěn)定為止.對于該部分算法,我們沒有在驗證集合上觀察到過擬合.
對于文中提出的三種模型,我們分別在SAT-4和SAT-6的訓練集上訓練卷積神經(jīng)網(wǎng)絡.選擇每種模型在驗證集上性能最優(yōu)的模型測試分類精度.SAT-CNN與DeepSat[12]方法和DBN方法的分類精度如表3所示.
表3 SAT-CNN在SAT-4與SAT-6上的分類精度Table 3 Accuracy of SAT-CNN on SAT-4 and SAT-6
本文提出的SAT-CNN獲得的精度均達到了98%以上,比DeepSat方法有更優(yōu)秀的表現(xiàn).三種不同類型的卷積神經(jīng)網(wǎng)絡在SAT-4和SAT-6數(shù)據(jù)集上都達到很高的分類精度,其中性能最佳的SAT-VggNet網(wǎng)絡在SAT-4和SAT-6數(shù)據(jù)集上的分類精度分別為99.98%和99.97%.可以看出,卷積神經(jīng)網(wǎng)絡可以在不對數(shù)據(jù)進行任何預處理的情況下從原始圖像數(shù)據(jù)中進行學習.相較于傳統(tǒng)的提取特征-選擇分類器的遙感圖像分類方法,SAT-CNN在圖像分類精度上有極大的提升.
從表3的實驗結果中可以看出,SAT-6數(shù)據(jù)集上各種網(wǎng)絡結構的分類精度與SAT-4數(shù)據(jù)集上的相比差距不大,甚至高于SAT-4數(shù)據(jù)集上各種網(wǎng)絡結構的分類精度.SAT-6數(shù)據(jù)集比SAT-4數(shù)據(jù)集中有更多更復雜的類別需要區(qū)分,從直覺上來說其類精度應低于SAT-4數(shù)據(jù)集上的分類精度.我們對SAT-VggNet在兩個數(shù)據(jù)集上的分類結果進行分析,其迷惑矩陣分別如表4和表5所示.表中第一列為樣本的真實標簽,第一行為樣本的預測標簽,每行的數(shù)值表示各個類別的樣本經(jīng)過VggNet預測后分類到的各個類別的樣本數(shù)量.
表4中,SAT-4數(shù)據(jù)集中共分錯20個樣本,barren誤分為grass的有11個;表5中,SAT-6數(shù)據(jù)集中共分錯27個樣本,barren誤分為grass的有24個.由迷惑矩陣可以看出,在SAT-4和SAT-6數(shù)據(jù)集上最容易混淆的兩類均為barren和grass.
表4 SAT-VggNet在SAT-4數(shù)據(jù)集上的迷惑矩陣Table 4 Confusiong matrix of SAT-VggNet on SAT-4
表5 SAT-VggNet在SAT-6數(shù)據(jù)集上的迷惑矩陣Table 5 Confusion matrix of SAT-VggNet on SAT-6
由于SAT-6數(shù)據(jù)集中包含的barren和grass兩個類別的樣本比例相對于SAT-4數(shù)據(jù)集包含的樣本比例要更少,所以SAT-6比SAT-4數(shù)據(jù)集要更加容易區(qū)分.圖2為數(shù)據(jù)集中標簽為barren被分類成grass的圖像.
圖2 SAT-4數(shù)據(jù)集中barren被誤分類為grass的圖像樣例Fig.2 Barren images misclassified as grass in SAT-4
可以看出,SAT數(shù)據(jù)集中存在部分標簽為barren實際更接近grass的圖像.主要原因在于SAT數(shù)據(jù)集在構建時采用一張完整的大的遙感圖像進行分割標注,有些小區(qū)域中可能包含兩種或多種地面目標,所以數(shù)據(jù)集中可能存在部分類別之間有交叉的樣本圖像.
神經(jīng)網(wǎng)絡遷移是用訓練后的神經(jīng)網(wǎng)絡模型在新數(shù)據(jù)集上提取特征進行分類.實驗中,使用SAT-4數(shù)據(jù)集上訓練得到的三種網(wǎng)絡模型和SAT-6上訓練得到的網(wǎng)絡模型分別遷移到SAT-6和SAT-4數(shù)據(jù)集上.將遷移網(wǎng)絡的最后一個預測構建塊移除,余下的部分作為特征提取器在遷移數(shù)據(jù)集上提取特征.然后,使用遷移數(shù)據(jù)集上網(wǎng)絡結構中最后一個預測構件塊作為線性分類器對特征進行分類.簡而言之就是將遷移網(wǎng)絡最后一層的預測構件塊替換為遷移數(shù)據(jù)集上相應的預測構件塊.重新調(diào)整預測構件塊的參數(shù)至最優(yōu),并在測試集上測試分類精度.實驗結果如表6所示.
三種SAT-CNN網(wǎng)絡結構均有良好的遷移性能.SAT-4網(wǎng)絡模型向SAT-6數(shù)據(jù)集遷移的結果中,最高的分類精度為96.31%;SAT-6網(wǎng)絡向SAT-4數(shù)據(jù)集遷移的結果中為92.70%.雖然遷移后的方法性能有所下降,但相對于傳統(tǒng)的方法這種遷移的結果仍有較好的精度.說明了卷積神經(jīng)網(wǎng)絡能夠從大量的數(shù)據(jù)中通過端到端的結構學習到辨別性很強的高層抽象特征.這種特征能夠采用線性的方式劃分來對圖像分類,并且能夠很好地用來提升傳統(tǒng)分類器的性能.
表6 采用SAT-CNN的特征遷移的分類精度表Table 6 Accuracy of SAT-CNN′s feature transfer
普通的圖像分類任務中使用到的圖像為可見光圖像,即RGB三通道圖像.遙感圖像數(shù)據(jù)集SAT-4和SAT-6中的圖像與RGB圖像相比增加了一個近紅外光線拍攝到的圖像.為了研究遙感圖像中圖像通道對SAT-CNN的影響,我們分別使用SAT數(shù)據(jù)集中四通道圖像的可見光(RGB)和近紅外(nir)通道的數(shù)據(jù)進行分類.提取SAT-4和SAT-6數(shù)據(jù)集四通道圖像中的前三個通道生成可見光圖像,構建新的SAT可見光數(shù)據(jù)集SAT-4-rgb和SAT-6-rgb.使用SAT-4和SAT-6數(shù)據(jù)集中圖像的第四個通道生成近紅外圖像,構建SAT近紅外數(shù)據(jù)集SAT-4-nir和SAT-6-nir.
根據(jù)5.2節(jié)的實驗結果,采用SAT-VggNet網(wǎng)絡結構分別在SAT-4-rgb、SAT-6-rgb、SAT-4-nir和SAT-6-nir四個新生成的數(shù)據(jù)集上進行實驗.修改SAT-VggNet網(wǎng)絡中的輸入層,使卷積核的維度與新構建的四個數(shù)據(jù)集中的數(shù)據(jù)的維度相同,保持其他網(wǎng)絡配置不變.
重新在四個數(shù)據(jù)集上采用與4.2節(jié)實驗中相同的配置訓練網(wǎng)絡.從200輪迭代中選取在驗證集上誤差最小的網(wǎng)絡作為測試用網(wǎng)絡模型.分別使用在SAT-4-rgb、SAT-6-rgb、SAT-4-nir和SAT-6-nir數(shù)據(jù)集上得到的網(wǎng)絡模型在相應的測試數(shù)據(jù)集上進行分類測試.表7為使用SAT-VggNet在四種數(shù)據(jù)集上的測試精度.
表7 SAT-VggNet采用不同通道數(shù)據(jù)的分類精度Table 7 Accuracy of SAT-VggNet classify on different channels
在使用了可見光部分SAT-4-rgb和SAT-6-rgb進行的分類實驗中,分類精度均達到了99.97%.與原始的四通道數(shù)據(jù)集上的測試精度相比,僅丟失了0.01%~0.02%的分類精度.使用了近紅外部分的數(shù)據(jù)集SAT-4-nir和SAT-6-nir進行的實驗中,分類精度分別為97.71%和98.88%.與原始數(shù)據(jù)集相比,分別丟失了2.28%和1.1%的分類精度.在SAT數(shù)據(jù)集中,地面目標的類別較少且各類目標間差異較為顯著,便于分類.同時,由于各個類別圖像的顏色和紋理等可見光部分的特性較明顯,采用可見光部分進行圖像分類能夠達到較高的分類精度.此外,不同的地面目標反射的近紅外光線不同,近紅外圖像能夠在一定程度上表現(xiàn)不同目標間的差異從而用來進行目標分類.卷積神經(jīng)網(wǎng)絡能夠從不同的數(shù)據(jù)通道中學習到體現(xiàn)目標在該光譜下得特性,提取易于分辨的特征,得到較好的分類結果.
本文采用模塊化的思想構建了面向遙感圖像分類的SAT-CNN卷積神經(jīng)網(wǎng)絡框架,并設計了四種不同類型的構件塊對網(wǎng)絡結構進行描述和實現(xiàn).根據(jù)遙感圖像特點,SAT-CNN堆疊兩個卷積功能的構件塊和兩個全連接功能的構件塊,分別用于建模圖像局部區(qū)域內(nèi)的像素關系以及區(qū)域間的像素關系,并給出三種不同的網(wǎng)絡參數(shù)設置.實驗分析說明了卷積神經(jīng)網(wǎng)絡可以通過端到端的方式從圖像中學習到顯著性較強的特征,在SAT數(shù)據(jù)集上訓練得到的SAT-CNN達到了較高的分類精度.針對SAT-CNN是否能夠作為遙感圖像的特征提取模塊,對遷移性的分析表明SAT-CNN作為特征提取模塊的可行性.此外,本文分析了SAT-CNN在不同圖像通道上的性能.實驗結果表明,使用可見光部分通道時性能幾乎沒有下降;在近紅外通道仍然保持較高的分類精度,說明了SAT數(shù)據(jù)集中的可見光部分中包含了大部分與目標相關的特性.
[1] Panchal S,Thakker R.Implementation and comparative quantitative assessment of different multispectral image pansharpening approches[J].Journal of Virology,2015,73(6):4622-4630.
[2] Xie Yong-hua,Yang Jing-yu.Aproach to remote-sensing image detection based on multi-direction two-scale wavelet transform[J].Mini-Micro Systems,2005,26(6):1054-1056.
[3] Qiu Jian-bin,Li Shi-jin,Zhu Yue-long,et al.Fast hyperspectral image band selection method based on curve shape feature[J].Journal of Chinese Computer Systems,2014,35(8):1906-1910.
[4] Mojaradi B,Abrishami-Moghaddam H,Zoej M J V,et al.Dimensionality reduction of hyperspectral data via spectral feature extraction[J].IEEE Transactions on Geoscience & Remote Sensing,2008,12(4):579-585.
[5] Liu Meng-meng,Liu Ya-lan,Sun Guo-qing,et al.SVM land cover classification based on spectral and textural features using stratified samples[J].Remote Sensing Technology and Application,2014,29(2):315-323.
[6] Sun Xiao-xia,Qu Qing,Nasrabadi N M,et al.Structured priors for sparse-representation-based hyperspectral image classification[J].IEEE Geoscience & Remote Sensing Letters,2014,11(7):1235-1239.
[7] Yang Guo-peng,Yu Xu-chu,Chen Wei,et al.Hyperspectral remote sensing image classification based on kernel fisher discriminant analysis[J].Journal of Remote Sensing,2008,12(4):579-585.
[8] Alex Krizhevsky,IIya Sutskever,Geoffrey E Hinton.Imagenet classification with deep convolutional neural networks[J].In Advances in Neural Information Processing Systems,2012:1097-105.
[9] Karen Simonyan and Andrew Zisserman.Very deep convolutional networks for large-scale image recognition[C].International Conference on Learning Representations,2015:1-14.
[10] Zhang Liang-pei,Shen Huan-feng.Progress and future of remote sensing data fusion[J].Journal of Remote Sensing,2016,20(5):1050-1061.
[11] Zhang Liang-pei,Li Jia-yi.Development and prospect of sparse representation-based hyperspectral image processing and analysis[J].Journal of Remote Sensing,2016,20(5):1091-1101.
[12] Basu S,Ganguly S,Mukhopadhyay S,et al.Deepsat: a learning framework for satellite imagery[C].Proceedings of the 23rd SIGSPATIAL International Conference on Advances in Geographic Information Systems,ACM,2015,37.
[13] Camps-Valls G,Gomez-Chova L,Munoz-Mari J,et al.Composite kernels for hyperspectral image classification[J].Geoscience & Remote Sensing Letters IEEE,2006,3(1):93-97.
[14] Vaduva C,Gavat I,Datcu M.Deep learning in very high resolution remote sensing image information mining communication concept[C].Signal Processing Conference,2012:2506-2510.
[15] Mnih V,Hinton G.Learning to label aerial images from noisy data[C].International Conference on Machine Learning,2012.
[16] Romero A,Gatta C,Camps-Valls G.Unsupervised deep feature extraction of hyperspectral images[C].IEEE Workshop on Hyperspectral Image and Signal Processing,Whispers.IEEE,2014.
[17] Tokarczyk P,Montoya J,Schindler K.An evaluation of feature learning methods for high resolution image classification[J].ISPRS Annals of Photogrammetry,Remote Sensing and Spatial Information Sciences,2012,I-3:389-394.
[18] Ioffe S,Szegedy C.Batch normalization:accelerating deep network training by reducing internal covariate shift[C].Proceedings of the 32nd International Conference on Machine Learning (ICML-15),2015:448-456.
附中文參考文獻:
[2] 謝永華,楊靜宇.基于多方向二進小波變換的遙感圖像特征提取方法[J].小型微型計算機系統(tǒng),2005,26(6):1054-1056.
[3] 仇建斌,李士進,朱躍龍,等.基于曲線形狀特征的快速高光譜圖像波段選擇[J].小型微型計算機系統(tǒng),2014,35(8):1906-1910.
[5] 劉萌萌,劉亞嵐,孫國慶,等.結合紋理特征的SVM樣本分層土地覆蓋分類[J].遙感技術與應用,2014,29(2):315-323.
[7] 楊國鵬,余旭初,陳 偉,等.基于核Fisher判別分析的高光譜遙感影像分類[J].遙感學報,2008,12(4):579-585.
[10] 張良培,沈煥鋒.遙感數(shù)據(jù)融合的進展與前瞻[J].遙感學報,2016,20(5):1050-1061.
[11] 張良培,李家藝.高光譜圖像稀疏信息處理綜述與展望[J].遙感學報,2016,20(5):1091-1101.