王昱淞，潘軍，蔣立軍，王鵬舉，孫士超，曹乾，崔名赫， 宋玉蓮

1.吉林大學 地球探測科學與技術(shù)學院，長春 130026；2. 95806部隊，北京 100071；3. 93116部隊，沈陽 110141；4. 31693部隊，哈爾濱 150036

0 引言

高光譜遙感影像是對地觀測系統(tǒng)的重要數(shù)據(jù)源之一，能夠同時提供近似連續(xù)的地物光譜信息和相應的空間信息。利用高光譜影像提供的光譜和空間信息對地物進行分類能夠為高光譜影像的進一步應用提供基礎，也是高光譜遙感中的關(guān)鍵技術(shù)和研究熱點之一[1]。

傳統(tǒng)的高光譜影像分類方法主要集中于利用特征提取和半監(jiān)督學習方法克服缺少標記的訓練樣本問題[2]。深度學習無需人工設計特征提取規(guī)則，能夠自動從數(shù)據(jù)中學習提取適合分類任務的抽象特征，顯著地提高了圖像和語音的分類識別精度。近年來深度學習在高光譜影像分類領域受到了廣泛的關(guān)注，Chen et al.[3]最早將堆棧式自編碼器應用于高光譜影像分類。隨后，深度置信網(wǎng)絡[4]、循環(huán)神經(jīng)網(wǎng)絡[5--6]和一維卷積神經(jīng)網(wǎng)絡[7]也被設計用于高光譜影像分類。為了進一步引入空間信息提高分類精度，Yue et al.[8]提出利用二維卷積神經(jīng)網(wǎng)絡從降維后的高光譜影像中提取空間信息，然后結(jié)合光譜特征輸入到邏輯回歸分類器中，在較少的樣本條件下取得了優(yōu)于支持向量機的分類結(jié)果。Zhao et al.[9]利用多尺度卷積神經(jīng)網(wǎng)絡對高光譜影像進行分類，進一步改善了分類效果。Chen et al.[10]在分析了一維和二維卷積神經(jīng)網(wǎng)絡基礎上提出利用三維卷積神經(jīng)網(wǎng)絡模型對高光譜影像進行分類，該方法無需降維預處理，在保證分類精度的前提下簡化了分類過程。Li et al.[11]提出一種基于組合樣本的高光譜影像深度學習分類方法，通過組合樣本特征能夠極大地增加帶標記訓練樣本的數(shù)量，從而緩解深層網(wǎng)絡的訓練壓力。雖然近年來深度學習在高光譜影像分類任務上取得了顯著進步，但人工標記高光譜影像仍然費時費力，而深度學習方法通常依賴大量人工標記樣本，當僅有少量標記樣本時深度學習模型難以訓練。因此利用深度學習方法對高光譜影像分類仍面臨著缺乏標記訓練樣本和深度神經(jīng)網(wǎng)絡難以訓練的難題[12--13]。

大量的研究和實踐表明空--譜特征和深度模型提取的特征有助于提高高光譜影像的分類精度。為此，針對深度學習在僅有少量標記樣本時網(wǎng)絡難以訓練和精度不高的問題，筆者設計了聯(lián)合空--譜信息的高光譜影像深度森林分類方法。所設計的方法首先提取空--譜特征來改善高光譜影像的分類精度，然后為了進一步提高分類精度，同時避免深度學習模型在標記樣本數(shù)量較少時難以訓練的問題，將空--譜特征輸入到深度森林模型中進行分類。深度森林模型能夠自動地提取深層特征，同時具有參數(shù)少、易于訓練的優(yōu)點。這樣既有效地利用了深層特征，又避免了深度學習模型難以訓練的問題。

1 方法原理

聯(lián)合空--譜信息的深度森林分類方法共包含空間特征提取、多粒度掃描和深度森林分類3個部分。首先進行空間特征提取，即對高光譜影像的形態(tài)學屬性剖面特征進行提取，將空間特征與原始光譜特征進行拼接形成融合后的空--譜特征；然后利用多粒度掃描進一步增強空--譜特征；最后將多粒度掃描后得到的特征向量輸入到深度森林分類器中進行分類，以利用深層信息來進一步提高分類精度。

1.1 形態(tài)學屬性剖面特征提取

形態(tài)學屬性剖面[14](morphological attribute profiles，MAP)的基本思想是采用一系列不同屬性的形態(tài)學濾波器對圖像進行空間濾波來提取遙感影像的空間結(jié)構(gòu)信息，然后堆疊不同屬性濾波結(jié)果形成最后用于分類的特征。MAP首先使用主成分分析對高光譜影像進行降維，提取前3個主成分波段作為原始特征；然后對每個主成分波段分別應用開運算和閉運算濾波器來提取空間特征，這里每一個開運算和閉運算濾波器都輸出一個剖面，開運算和閉運算結(jié)構(gòu)元素大小分別為3、5、7、9，加上原始特征共形成27個剖面，也就是說提取得到的空間特征維度為27，MAP方法實現(xiàn)原理如圖1所示。進一步將空間特征和光譜特征連接形成空--譜特征用于后續(xù)分類。

圖1 空--譜特征提取示意圖Fig.1 Illustration of spatial-spectral feature extraction

1.2 多粒度掃描

卷積神經(jīng)網(wǎng)絡非常適合處理圖像中的空間關(guān)系，近期大量的研究表明圖像中的空間關(guān)系有助于提高分類識別精度[15]。為此，使用如圖2所示的多粒度掃描來處理特征中的空間關(guān)系，以進一步增強空--譜特征。具體以Pavia大學數(shù)據(jù)集為例，其提取得到的空--譜特征維度為130維，本文使用大小為50的滑動窗口對空--譜特征進行掃描，可以得到81(130-50+1)個50維的子特征向量，將這些子特征向量分別輸入到兩個隨機森林中，則每個隨機森林可以根據(jù)每一個子特征向量輸出一個9維的向量(Pavia大學數(shù)據(jù)中共標記了9類地物)，將這些向量拼接可以獲得一個1 458(2×9×81)維的特征向量。進一步將原始的空--譜特征向量與多粒度掃描層獲得的特征向量進行拼接輸入到后續(xù)的深度森林分類器中。

圖2 多粒度掃描示意圖Fig.2 Illustration of multi-grained scanning

1.3 深度森林分類

類似于深度學習結(jié)構(gòu)，深度森林[15]由多層網(wǎng)絡結(jié)構(gòu)構(gòu)成，以充分利用深層特征來提高分類識別精度。不同的是深度學習模型每層網(wǎng)絡由神經(jīng)元組成，而深度森林中的每一層基本組成單元是由決策樹構(gòu)成的隨機森林。如圖3所示，多粒度掃描層增強的空--譜特征輸入到深度森林中的第一層，其中每一個隨機森林輸出一個9維的類別向量，這些類別向量與輸入特征進行拼接再輸入到下一層中，這樣便能夠使深度森林利用多層的網(wǎng)絡結(jié)構(gòu)來提取抽象的特征。需要注意的是為了保證每一層集學習的效果，深度森林每層中需要使用不同的隨機森林，文獻[15]每層采用2個完全隨機森林和2個隨機森林。隨機森林是以決策樹為基礎。對于分類問題，決策樹是在特征空間中不斷劃分子空間，并且給每個子空間打上類別標簽。給定一個測試樣本，每棵決策樹會根據(jù)樣本所在的子空間中訓練樣本的類別占比生成一個類別的概率分布，然后對隨機森林內(nèi)所有決策樹的各類比例取平均，輸出整個森林對各類的比例。筆者所采用的完全隨機森林和隨機森林主要的區(qū)別在于候選特征空間不同，完全隨機森林是在完整的特征空間中隨機選取特征來分裂，而普通隨機森林是在一個隨機特征子空間內(nèi)通過Gini系數(shù)來選取分裂節(jié)點。

圖3 深度隨機森林示意圖Fig.3 Illustration of deep random forest

為了防止過擬合問題，每一層中隨機森林輸出的每個類別向量通過K折交叉驗證生成。具體在訓練過程中，在每一層隨機森林訓練結(jié)束后做一個性能測試，然后再繼續(xù)生成下一層，當擴展一個新的層后，整個級聯(lián)隨機森林的性能將在驗證集上進行測試，如果分類精度相比于未擴展之前沒有顯著提高，訓練過程將終止。例如設置深度森林分類器最大層數(shù)為100，第n層分類器的精度為Acc(n)，當|Acc(n+1)-Acc(n)|

2 試驗結(jié)果與分析

2.1 試驗數(shù)據(jù)

為了驗證所提出算法的有效性，分別采用Pavia大學和Salinas兩組機載高光譜數(shù)據(jù)集進行分類試驗。Pavia大學數(shù)據(jù)由ROSIS傳感器獲得，該數(shù)據(jù)覆蓋區(qū)域為意大利南部城區(qū)，主要包含柏油路面、草地、砂礫屋頂建筑、樹木、金屬板、裸土、瀝青屋頂、磚砌路面和陰影9種地物，影像大小為像素，空間分辨率為1.3 m，光譜范圍為430～860 nm，共有103個可用于分類的波段。為了便于對比不同分類算法的性能，Pavia大學數(shù)據(jù)對這9類地物進行了標注，共有42 776個標記樣本(表1)。

表1 Pavia大學數(shù)據(jù)集樣本信息

Salinas數(shù)據(jù)集由AVIRIS傳感器獲得，該數(shù)據(jù)覆蓋區(qū)域為加州薩利納斯山谷地區(qū)，該區(qū)域主要地物為植被，影像大小為像素，空間分辨率為3.7 m，光譜覆蓋范圍為400～2 500 nm，有204個有效波段可用于分類。為了便于對比不同分類算法的性能，Salinas大學數(shù)據(jù)共標注了16類地物，共有54 129個標記樣本(表2)。

表2 Salinas 數(shù)據(jù)集樣本信息

在高光譜影像分類文獻中，大多數(shù)方法從標準數(shù)據(jù)集中隨機選取200個標記樣本作為訓練樣本，剩余樣本作為測試樣本。為了便于和其他分類算法對比分類性能，訓練樣本的選取與文獻[11]、文獻[16]和文獻[17]保持一致，即每類地物隨機選取200個訓練樣本，剩余標記樣本用作測試樣本來驗證高光譜影像的分類性能，其中標記樣本是指帶有標記(類別)信息的高光譜樣本，訓練樣本用于訓練分類器，測試樣本用于定量評價分類器性能。

2.2 分類算法參數(shù)設置與分析

所設計方法涉及到的參數(shù)有每個隨機森林中決策樹的數(shù)量、K折交叉驗證、最大層數(shù)和終止訓練條件。其中Pavia大學和Salinas兩組數(shù)據(jù)上隨機森林中決策樹的數(shù)量與分類精度的實驗結(jié)果表明當決策樹數(shù)量設置較少時會降低分類精度，而當決策樹數(shù)量設置的足夠大時，其對分類精度影響較小。為了保證分類精度，本文設置每一個隨機森林中包含1 000顆決策樹。此外，采取5折交叉驗證，最大層數(shù)設置100，終止訓練條件為擴展某一層后分類性能沒有顯著增加的情況或達到最大層數(shù)訓練終止(圖4)。

圖4 每層的隨機森林不同的決策樹數(shù)量對應的總體分類精度Fig.4 Overall classification accuracy of different decision trees for each layer of random forest

2.3 試驗結(jié)果對比與分析

為了驗證所設計方法的有效性，與現(xiàn)有分類方法的分類精度進行對比分析。對比方法具體包括：基于光譜特征的支持向量機(Spec+SVM)、基于光譜和MAP特征的SVM(MAP+SVM)、一維卷積神經(jīng)網(wǎng)絡[7](1D-CNN)、循環(huán)神經(jīng)網(wǎng)絡[5](RNN)、殘差三維卷積網(wǎng)絡[16](Res-3D-CNN)、CNN-PPF[11]和生成式對抗網(wǎng)絡[17](GAN)進行比較。同時為了說明引入空間特征有助于提高分類精度，對比了基于光譜特征的深度森林分類(Spec+DF)和基于空--譜特征的深度森林分類(MAP+DF)。對比算法選取的訓練樣本和測試樣本與本文方法的訓練樣本和測試樣本均相同。其中SVM采用高斯核函數(shù)、核函數(shù)參數(shù)和懲罰系數(shù)通過5折交叉驗證確定，其他對比算法參數(shù)設置均參考原始文獻進行設置。

為了定量比較不同分類算法的性能，表3和表4給出了不同分類算法在Pavia大學和Salinas高光譜影像上的分類精度。由試驗結(jié)果可知，僅利用光譜特征的深度森林分類器(Spec+DF)的分類精度優(yōu)于Spec+SVM、1D-CNN、RNN分類器，這證明了深度森林分類器的有效性。采用空--譜特征的MAP+SVM、Res-3D-CNN、CNN-PPF、MAP+DF的分類精度明顯高于僅采用光譜特征的Spec+SVM、1D-CNN、RNN，說明引入空間信息有助于提高分類精度。需要說明的是GAN是一種利用光譜特征的半監(jiān)督方法，而本文所設計的方法MAP+DF取得了最高的分類精度，這說明本文方法可以明顯改善高光譜影像分類效果。

表3 不同算法在Pavia大學數(shù)據(jù)集的分類精度

表4 不同算法在Salinas數(shù)據(jù)集的分類精度

圖5和圖6給出了不同分類算法在Pavia大學和Salinas高光譜數(shù)據(jù)上獲得的分類結(jié)果圖，其中黑色區(qū)域為背景區(qū)域，其他不同的顏色分別代表不同的地物。由圖5可知，1D--CNN、RNN、Res--3D--CNN、GAN等對比方法中的結(jié)果在紅色矩形框內(nèi)的分類噪聲明顯多于提出算法，且所提出算法具有更好的視覺效果。

(a)假彩色圖像；(b)標準地物分布；(c)Spec+SVM；(d)MAP+SVM；(e)1D-CNN；(f)RNN；(g)Res-3D-CNN；(h)CNN-PPF；(i)GAN；(j)Spec+DF；(k)MAP+DF.圖5 不同算法在Pavia大學數(shù)據(jù)集上的分類結(jié)果圖Fig.5 Classification results of different algorithms on Pavia University data set

(a)假彩色圖像；(b)標準地物分布；(c)Spec+SVM；(d)MAP+SVM；(e)1D-CNN；(f)RNN；(g)Res-3D-CNN；(h)CNN-PPF；(i)GAN；(j)Spec+DF；(k)MAP+DF.圖6 不同算法在Salinas數(shù)據(jù)集上的分類結(jié)果圖Fig.6 Classification results of different algorithms on Salinas data set

由圖6結(jié)果可知，Salinas數(shù)據(jù)中紅色矩形框內(nèi)的兩類地物分類噪聲較為明顯，說明這兩類地物不易區(qū)分，而所提出方法能夠更好地區(qū)分這兩類地物。雖然所提出方法也有誤分的情況，但其整體視覺效果優(yōu)于其他對比方法，這同樣說明了所提出方法的有效性。

為了分析提出方法對于訓練樣本數(shù)量的適用性，進一步減少訓練樣本數(shù)量，分別隨機選取20、50、100、150，兩組高光譜數(shù)據(jù)的總體分類精度如圖7所示。為了便于觀察，圖7中同時給出了對應的Spec+SVM方法的分類結(jié)果，從圖中可以發(fā)現(xiàn)兩種方法的分類精度都隨著訓練樣本數(shù)量的減少而降低，但本文設計的方法始終能夠獲得更高的分類精度，這說明了本文設計的方法對于訓練樣本數(shù)量有較好的適應性。

a.Pavia大學；b.Salinas.圖7 兩組高光譜數(shù)據(jù)分類結(jié)果Fig.7 Classification results of two hyperspectral data set

3 結(jié)論

(1)針對訓練樣本數(shù)量較少時高光譜影像分類精度不高的問題，設計了聯(lián)合空--譜信息的深度森林分類方法。所設計的方法能夠利用深層網(wǎng)絡(深度森林)結(jié)構(gòu)和空--譜信息來提高分類精度，同時參數(shù)設置較為容易，且能夠自動調(diào)整深度森林的層數(shù)，因此避免了深度學習模型訓練調(diào)參困難的問題。

(2)利用Pavia大學高光譜數(shù)據(jù)和Salinas高光譜數(shù)據(jù)進行分類試驗，試驗結(jié)果表明所設計的方法能夠顯著地提高高光譜影像的分類精度，且分類圖具有更好的視覺效果。