王 琰，劉麗芹，沈霞宏，侯 俊，張 寧，史振威

(1. 上海航天電子技術研究所，上海 201109； 2. 北京航空航天大學 宇航學院，北京 100191)

0 引言

隨著成像技術的發(fā)展，機載或星載傳感器可以獲得越來越高的光譜分辨率，高光譜數(shù)據(jù)以三維形式存儲，具有光譜響應范圍廣、波段寬度窄、圖譜合一等特點。高光譜分類的內涵是對每個像素所代表的地物類別進行區(qū)分，近年來，我國已成功發(fā)射多顆高光譜分辨率的遙感衛(wèi)星，高光譜圖像的分類已經(jīng)在環(huán)境監(jiān)測、精確農(nóng)業(yè)、智慧城市和信息國防方面得到廣泛的應用。尤其是高分五號衛(wèi)星于2018年5月9日發(fā)射成功，更是對提高我國高光譜遙感數(shù)據(jù)自給率，推動高光譜遙感數(shù)據(jù)應用有重要作用。

很多基于傳統(tǒng)機器學習的算法被應用于高光譜分類，例如支持向量機(support vector machine, SVM)[1]、線性鄰域傳播(linear neighborhood propagation, LNP)[2]、隨機森林(random forest)[3]、極限學習機(extreme learning machine, ELM)[4]和基于稀疏表達的分類(sparse representation-based classifier, SRC)[5]方法，另外還有局部二值模式(local binary pattern, LBP)[6-7]特征提取、Gabor濾波[8]和滾動引導濾波(hierarchical guidance filtering, HGF)[9]等空間域方法。近年來，深度學習方法在高光譜分類領域得到了廣泛應用，最早應用于高光譜分類的深度學習方法是2014年CHEN提出的棧式自動編碼器(stacked auto-encoders, SAE)[10]，之后卷積神經(jīng)網(wǎng)絡(convolutional neural network, CNN)[11-12]被廣泛地用于高光譜分類問題。隨著各種深度神經(jīng)網(wǎng)絡的提出，學者們逐漸將它們應用到高光譜分類中，例如CHEN[13]應用深度置信網(wǎng)絡(deep belief network, DBN)實現(xiàn)高光譜分類，LI[14]提出了應用深度森林(deep forest)解決高光譜分類問題，ZHONG[15]應用殘差網(wǎng)絡(deep residual networks, DRN)來解決高光譜圖像的分類，MOU)[16]和ZHU[17]分別提出循環(huán)神經(jīng)網(wǎng)絡(recurrent neural network, RNN和生成對抗網(wǎng)絡(generative adversarial networks, GAN)用于高光譜分類問題。

以上提出的深度學習方法，其應用于高光譜分類的本質都是人為地對每個需要分類的像素點構建一組數(shù)據(jù)作為特征輸入，其實際上還是應用深度網(wǎng)絡對淺層特征提取深層表達的過程，因此本文選用像素級分割網(wǎng)絡——全卷積網(wǎng)絡(fully conventional networks, FCN)[18]直接對構造的三通道圖像提取空間特征，再將其與光譜特征結合進行分類。

由于人工標注高光譜樣本的成本高，標注困難，造成已知標簽的高光譜像素數(shù)目是有限的，因此，如何用較少量的樣本得到較高的分類精度成為一項亟待解決的問題。主動學習可以充分挖掘數(shù)據(jù)之間的關系，尋找最具代表性的樣本用作訓練。因此，近年來也有一系列主動學習算法被應用于高光譜分類[19-20]，這些方法取得了一定的效果，但也存在一定的只針對特定問題特定算法的局限性。本文提出一種新的主動學習方法選擇訓練樣本，適應高光譜分類任務，充分保證樣本的代表性，使應用一定數(shù)目的樣本可以獲得更高的分類正確率。

綜上所述，本文提出了一種基于空譜融合特征主動學習的高光譜圖像分類算法，通過構造三通道圖像，利用全卷積網(wǎng)絡提取空間特征，將其與光譜特征相結合，利用主動學習的算法選擇訓練樣本，送入分類器進行訓練，并得到分類結果。將高光譜圖像構造成更適用于自然圖像上訓練好的模型的三通道圖像，可以更加充分地挖掘高光譜圖像中的光譜信息和空間鄰域信息，使特征具備更好的表達能力。通過引入主動學習算法，可以選取更有用的訓練樣本送入分類器訓練，從而達到在少量樣本下更好的分類效果。算法流程如圖1所示。

1 三通道圖像構建與空間特征提取

由于高光譜數(shù)據(jù)量有限，不能用于對全卷積網(wǎng)絡的訓練，所以我們采用在自然圖像上訓練好的模型對高光譜圖像提取空間特征。

由于自然圖像為RGB三波段圖像，因此需要從高光譜數(shù)據(jù)中提取對應的三波段圖像，常用的將高光譜圖像構造成三波段圖像的方式通常是采用主成分分析(principal component analysis, PCA)方法，但考慮到已有模型是基于RGB三個波段的自然圖像訓練而成，因此其對于RGB對應波段的圖像顏色和邊緣更敏感，因此需要構造更接近于自然圖像的RGB波段圖像。

圖1 高光譜圖像分類算法流程圖Fig.1 Flow chart of the hyperspectral image classification method

本文提出了一種虛擬RGB圖像構建方法，主要是利用高光譜傳感器每個波段的波長信息，尋找對應于RGB三個波段波長的高光譜波段，然后再將它們合成構成一個虛擬的RGB圖像。以ROSIS(reflective optics system imaging spectrometer)成像傳感器為例，其對應紅光波長的波段有39～66共28個波段，對應綠光波段為13～29共17個高光譜波段，藍光波段對應2～4共3個波段，將這些波段以類似高斯分布的方式合成。以紅光波段為例，將高斯分布的均值定為

標準差σ根據(jù)3σ原則確定，即大部分合理波段都在3σ范圍內，所以3σ=μ-39=13.5,σ=4.5。三波段圖像每個波段的值為對應高光譜波段的值和它對應的高斯權重加權得到。

圖2為Pavia University數(shù)據(jù)集上的結果，其中圖2(a)為合成后的虛擬RGB圖，圖2(b)、圖2(c)、圖2(d)分別為合成后3個波段的灰度圖。

圖2 合成三波段圖像Fig.2 Composed three-bands image

將提取到的三波段圖像送入自然圖像上訓練好的FCN模型，提取其在Softmax之前的特征層，由于自然圖像共20類物體，所以特征圖共有21層(20類和背景層)。在Pavia University數(shù)據(jù)集上提取到的特征如圖3所示。

圖3 空間特征圖Fig.3 Spatial characteristic diagram

2 空譜特征融合

參考JIAO等[21]的做法，將每個像素點的空間和光譜特征進行融合，構成空譜融合特征。假設Xspe為光譜特征，由原始光譜PCA取前s1維主成分得到，Xspa為深層空間特征，其維度為s2，所以可知

Xspe∈Rs1×n,Xspa∈Rs2×n

(1)

式中：n為要融合的像素點數(shù)目。首先對Xspe、Xspa進行如下操作

(2)

Xf=[f(Xspe);f(Xspa)]

(3)

此處，將原始光譜降維至15維，即s1=15，空間特征維度取所有21層，即s2=21。至此，得到空譜融合特征。

3 SVM分類器主動學習

將得到的空譜融合特征送入分類器即可對每個像素所屬的地物類別進行區(qū)分，由于樣本數(shù)目限制，此處應用主動學習選擇訓練樣本并與支持向量機(SVM)[22]相結合用于對空譜聯(lián)合特征進行學習[23-24]，實現(xiàn)像素分類。

支持向量機是一種經(jīng)典的二分類分類器，在將其用于多分類時通常有以下兩種做法：一對多(one-versus-rest, OVR) SVMs，即依次將某個類別的樣本單獨化為一類，其他類別化為另一類，假設共有K類，則會產(chǎn)生K個分類器，對一未知樣本分類時，將其送入這K個分類器，選擇其中分為某類的概率值最大的那一類作為最終決策；一對一(one-versus-one, OVO) SVMs，在任意兩類樣本之間均設計分類器，若有K類，則會產(chǎn)生K(K-1)/2個分類器，將未知樣本送入左右分類器，并對分成各類的次數(shù)進行統(tǒng)計，選擇次數(shù)最多的那一類作為最終決策。

本文基于一對一分類設計主動學習策略，假設有K類數(shù)據(jù)，最初選擇一部分進行標注，記為DL，其余未標注部分記為DU。每次選擇加入訓練集的樣本數(shù)目記為na。用DL訓練K(K-1)/2個一對一分類器，對于DU中每個樣本，將其送入所有分類器中，獲得投票數(shù)最多的兩個類ω1、ω2，將針對ω1、ω2的分類器的預測值f作為該樣本所含信息量的評價指標，該數(shù)絕對值越小，證明分類器在決策時把握越小，該樣本所含信息將會越多，所以取|f|最小的na個樣本進行標注后加入DL，并將其從DU中刪除?？芍貜蛶状尾僮?，得到選定的訓練集DS。SVM分類器主動學習算法流程為：

輸入：數(shù)據(jù)類別數(shù)K；標注數(shù)據(jù)DL；未標注數(shù)據(jù)DU；每次加入樣本數(shù)na。

1) 用DL訓練K(K-1)/2個一對一分類器；

2) 將DU中每個樣本送入K(K-1)/2個分類器，對每個類別進行投票，得到投票數(shù)最多的兩個類別ω1、ω2；

3) 找出ω1、ω2之間的分類器，將分類器預測值f作為判定該樣本是否加入訓練集的依據(jù)；

4) 找到|f|最小的na個樣本進行標注后加入DL，并將其從DU中刪除；

5) 循環(huán)幾次，得最終訓練集DS和測試集DU。

輸出：最終訓練集DS和測試集DU。

4 實驗結果及分析

4.1 實驗數(shù)據(jù)集

Pavia University數(shù)據(jù)集，是由反射光學系統(tǒng)成像光譜儀(reflective optics system imaging spectrometer,ROSIS-3)在意大利帕維亞城拍攝制作，如圖4所示。該傳感器共有115個光譜通道，覆蓋的波段范圍為0.43～0.86 μm，去除噪聲和水吸收波段后，Pavia University有103個高光譜波段，空間維度為610×340，空間分辨率為1.3 m，共包含42 776個標注的樣本，其中包括草地、樹木、瀝青等共9類地物，其假彩色圖和分類真值圖分別如圖4(a)、圖4(b)所示，每類樣本數(shù)目詳見表1。

4.2 實驗結果對比

本部分主要驗證ALbS2F的效果，將其與隨機選取樣本進行比較，這里隨機選取采用兩種方式，一種是每類數(shù)目與主動學習相同，另一種是按照總數(shù)目相近原則平均或等比例分配給各類別。兩種隨機方法分別被定義為隨機方法A、B。

圖4 Pavia University數(shù)據(jù)集Fig.4 Pavia University data

圖5(a)、圖5(b)、圖5(c)為Pavia University數(shù)據(jù)集上ALbS2F、A、B三種方法分別選取的樣本位置圖，其中彩色代表選取的訓練樣本，白色代表測試樣本，黑色代表未被考慮的背景，由于選取樣本數(shù)較少，所以彩色的點不太容易被找到。圖5(d)、圖5(e)、圖5(f)展示了3種方法的分類效果，圖5(g)為分類真值圖?？梢钥吹綉弥鲃訉W習后，

表1 Pavia University數(shù)據(jù)集地物分布

圖5(d)中分類效果幾乎接近真值圖。表2詳細展示了3種方法的每類分類正確率情況，加粗的表示最優(yōu)的結果，可以看出，主動學習的應用，可使樣本數(shù)相同或相近的情況下總正確率提高4%左右，效果提升明顯。

為驗證本文提出的虛擬RGB圖像構建方式的有效性，針對PCA取前三維主成分和虛擬RGB圖像進行了比較。首先，在運行時間方面，由于只是更改了系統(tǒng)的輸入而對其他操作無變化，所以兩種方法的耗時是相同的，主要比較其分類性能。在保證兩種方法選用的訓練樣本完全相同的前提下，表3為分類正確率的比較。

圖5 Pavia University 數(shù)據(jù)集分類結果Fig.5 Pavia University classification results

類別號ALbS2F隨機法A隨機法B樣本數(shù)訓練測試正確率訓練測試正確率訓練測試正確率1866 5451.000866 5450.958496 5820.95429018 5591.0009018 5590.9844918 6000.92534320 560.999432 0560.957492 0500.9794603 0040.9916030040.9704930150.9985121 3330.999121 3330.995491 2960.9996434 9861.000434 9860.879494 9800.9667211 3090.9952113090.8594912810.9998673 6150.993673 6150.940493 6330.9649189290.982189290.906498980.961總正確率OA0.998總正確率OA0.956總正確率OA0.951平均正確率AA0.995平均正確率AA0.939平均正確率AA0.972Kappa系數(shù)κ0.997Kappa系數(shù)κ0.942Kappa系數(shù)κ0.936

表3 兩種三通道圖像構造方式正確率

兩種方法中，性能較優(yōu)越的數(shù)據(jù)被加粗標出，可以看出Virtual RGB方法相對于PCA方法有較明顯的優(yōu)勢，可以使分類總正確率提高0.4%左右，效果如圖6所示，其中圖6(a)為PCA構造法的分類效果圖，圖 6(b)為Virtual RGB方法的分類效果，圖 6(c)為標注的真值圖，即GroundTruth?？梢钥闯?，圖 6(a)圖中有很多細微的錯分現(xiàn)象在圖6(b)中得到了改善。

圖6 兩種三通道圖像構建方式分類效果Fig.6 Comparison between two three-channel images

5 結束語

本文通過提出一種基于全卷積空間特征和光譜特征融合，基于主動學習方式選擇訓練樣本的高光譜圖像分類算法，實現(xiàn)了在一定數(shù)量樣本的情況下較高的分類精度，并提出了一種新的RGB圖像構造方式。實驗表明：該方式相比于主成分分析等方法更加適合用于自然圖像上訓練好的網(wǎng)絡來提取空間特征。