王云艷，羅冷坤，周志剛

1.湖北工業(yè)大學(xué) 電氣與電子工程學(xué)院，武漢430068

2.太陽(yáng)能高效利用及儲(chǔ)能運(yùn)行控制湖北省重點(diǎn)實(shí)驗(yàn)室，武漢430068

1 引言

多光譜遙感地物圖像處理作為遙感領(lǐng)域的重要研究?jī)?nèi)容之一，它不僅包含地物的光譜信息，同時(shí)容納了地物的空間幾何分布信息，對(duì)多光譜遙感地物圖像的準(zhǔn)確分類(lèi)已廣泛運(yùn)用于農(nóng)業(yè)[1]、天文[2]、環(huán)境科學(xué)[3]等重要領(lǐng)域。但進(jìn)行地物精細(xì)分類(lèi)時(shí)存在波段較多、數(shù)據(jù)量較大、波段間相關(guān)性較強(qiáng)、Hughes現(xiàn)象、維數(shù)災(zāi)難、特征空間中數(shù)據(jù)非線性分布等系列問(wèn)題，為了避免此類(lèi)現(xiàn)象的發(fā)生，常對(duì)原始高維數(shù)據(jù)降維或者篩選出更具有判別依據(jù)的中層特征空間來(lái)分類(lèi)。閻繼寧等人[4]提出考慮波譜矢量方向利用光譜角匹配技術(shù)（Spectral Angle Mapper，SAM）提取出有效的分類(lèi)特征后結(jié)合SVM 來(lái)提高分類(lèi)精確度；王明偉等人[5]結(jié)合最大似然（ML）算法來(lái)獲取中層特征向量；商宏濤等人[6]考慮利用編碼的方式來(lái)得到更加有利于分類(lèi)的特征空間，提出一種基于堆疊稀疏自動(dòng)編碼器（SSAE）和支持向量機(jī)分類(lèi)器入圖像特征分類(lèi)算法。雖然眾多的學(xué)者利用特征編碼方式來(lái)獲取更有利的中層特征信息實(shí)現(xiàn)分類(lèi)效果的提高，但是遙感地物分類(lèi)過(guò)程效果依然難以滿足檢測(cè)需求。

隨著卷積神經(jīng)網(wǎng)絡(luò)（CNN）被大量引入遙感圖像處理領(lǐng)域，深度學(xué)習(xí)能在圖像分類(lèi)中表現(xiàn)出更好的魯棒性和優(yōu)越性。羅建華等人[7]提出了結(jié)合光譜信息和空間信息的深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）模型，提取出具有高度不變性的有效底層特征；Zhang W等人[8]利用反卷積網(wǎng)絡(luò)結(jié)合R-CNN 模型實(shí)現(xiàn)小目標(biāo)的遙感圖像分類(lèi)；Zeiler 等人[9]發(fā)現(xiàn)一種自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)來(lái)獲取中層信息和高層信息特征分類(lèi)；Oquab 等人[10]受此啟發(fā)利用反卷積神經(jīng)網(wǎng)絡(luò)獲取中層特征后與遷移學(xué)習(xí)能一定程度上提高圖像分類(lèi)精度；呂恩輝等人[11]對(duì)反卷積層設(shè)立整體目標(biāo)函數(shù)修改為有監(jiān)督狀態(tài)，找出最適合后端卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的高層特征映射矩陣。通過(guò)傳統(tǒng)機(jī)器學(xué)習(xí)算法獲取或者深度學(xué)習(xí)算法獲取的單一特征與分類(lèi)器集合能一定程度上提高精度，但也有可能造成特征信息的缺失，李暢等人[12]提出對(duì)樣本的獨(dú)立分量、紋理、各項(xiàng)指數(shù)等多特征結(jié)合多分類(lèi)器來(lái)實(shí)現(xiàn)更為有效的分類(lèi)算法。

傳統(tǒng)機(jī)器學(xué)習(xí)算法在特征提取和特征選擇上已經(jīng)足夠完善，但是篩選的過(guò)程一方面避免了特征的冗余和降低特征復(fù)雜度，另一方面也造成了部分有效分類(lèi)特征的丟失；深度學(xué)習(xí)算法通過(guò)監(jiān)督學(xué)習(xí)底層信息空間，利用反向訓(xùn)練權(quán)值來(lái)得到最優(yōu)分類(lèi)模型，雖然最大程度上保留了特征的完備性，但是對(duì)計(jì)算機(jī)硬件要求和訓(xùn)練時(shí)間要求極大。針對(duì)上述問(wèn)題，本文提出了一種結(jié)合高層特征空間[13]和遷移學(xué)習(xí)網(wǎng)絡(luò)的遙感地物圖像分類(lèi)算法，首先利用兩層堆疊的反卷積網(wǎng)絡(luò)來(lái)提取目標(biāo)數(shù)據(jù)集的高層特征，然后利用VGG16 模型的卷積層權(quán)重來(lái)構(gòu)建遷移網(wǎng)絡(luò)模型，最后將高層特征導(dǎo)入遷移網(wǎng)絡(luò)[14]中加強(qiáng)訓(xùn)練得到更加優(yōu)越的訓(xùn)練模型，利用訓(xùn)練模型可對(duì)高光譜遙感[15]數(shù)據(jù)集更加準(zhǔn)確分類(lèi)。

2 相關(guān)工作

2.1 圖像特征工程

遙感圖像特征工程作為圖像分類(lèi)的重要環(huán)節(jié)主要包括特征提取、特征篩選、特征降維等過(guò)程，通過(guò)對(duì)原始數(shù)據(jù)特征重新排布獲取更為有利分類(lèi)的空間序列。如圖1所示，通過(guò)一系列深度卷積池化層能獲取底層細(xì)粒特征，利用梯度下降法獲取最利于特征分類(lèi)的權(quán)值；融合傳統(tǒng)機(jī)器學(xué)習(xí)HOG 特征、SIFT 特征、LBP 特征等，然后利用PCA、流行學(xué)習(xí)算法等降維組成中層特征；本文算法提出一種類(lèi)別分塊明顯的高層特征，通過(guò)在卷積層、池化層后加入反卷積操作來(lái)將塊細(xì)粒特征重新組合為分類(lèi)明顯的塊。

2.2 反卷積

深度反卷積[16-18]特征提取過(guò)程由許多卷積、池化、反卷積、激活等單元構(gòu)成。首先介紹輸入為3×3的圖片經(jīng)過(guò)3×3的卷積核進(jìn)行步長(zhǎng)為3的反卷積的過(guò)程，開(kāi)始對(duì)輸入圖片每個(gè)像素進(jìn)行一次填充，根據(jù)填充步長(zhǎng)m 大小計(jì)算可以知道每個(gè)像素的卷積后大小為3+(3+1)×m=7，即7×7大小的特征圖，由于輸入有4個(gè)像素，所以4個(gè)7×7的特征圖。如圖2反卷積過(guò)程中，然后將4個(gè)特征圖進(jìn)行卷積核為3×3的反卷積，然后將反卷積結(jié)果像素進(jìn)行疊加，重疊部分進(jìn)行相加，即輸出的第1 行第4列是由第一層特陣圖的第一行第四列與第二層特征圖的第一行第一列相加得到，其他如此類(lèi)推，如公式（1），可以看出反卷積的大小是由卷積核大小與填充步長(zhǎng)m決定。

其中，In 是輸入大小，k 是卷積核大小，m 是填充步長(zhǎng)，Out 是輸出大小。

圖1 圖像特征工程

圖2 反卷積過(guò)程

2.3 遷移學(xué)習(xí)

利用深度學(xué)習(xí)網(wǎng)絡(luò)中Alexnet和Vggnet來(lái)作為圖像分類(lèi)已成為一種圖像流行的處理工具。如圖3 所示，Alexnet 網(wǎng)絡(luò)輸入數(shù)據(jù)集類(lèi)型為227×227×3 的RGB 圖像，通過(guò)卷積層、池化層、激活層、Dropout 層、全連接層等大數(shù)據(jù)計(jì)算后成為1 000 維待分類(lèi)向量，最后利用softmax分類(lèi)器來(lái)實(shí)現(xiàn)分類(lèi)效果。Vggnet修改池化層大小和卷積層個(gè)數(shù)來(lái)延伸網(wǎng)絡(luò)的深度，進(jìn)一步提取更加細(xì)致的圖像特征，如圖4和圖5網(wǎng)絡(luò)結(jié)構(gòu)所示，Vggnet網(wǎng)絡(luò)輸入數(shù)據(jù)類(lèi)型為224×224×3 的尺寸，將每個(gè)卷積、池化層細(xì)化為A～E 過(guò)程，全連接層和softmax 分類(lèi)過(guò)程直接沿用Alexnet網(wǎng)絡(luò)最后幾層結(jié)構(gòu)。但是上面這種算法都是基于大數(shù)據(jù)計(jì)算下訓(xùn)練得到訓(xùn)練模型后進(jìn)行模型測(cè)試，極大地消耗分類(lèi)時(shí)間。遷移學(xué)習(xí)的目的是轉(zhuǎn)移相關(guān)源域和目標(biāo)域之間的信息，當(dāng)深度學(xué)習(xí)已被廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)中，引用大量訓(xùn)練數(shù)據(jù)所得到的訓(xùn)練模型的參數(shù)來(lái)對(duì)少量訓(xùn)練數(shù)據(jù)作分類(lèi)并得到理想的分類(lèi)精度則成為新的熱點(diǎn)。原本的CNN網(wǎng)絡(luò)結(jié)構(gòu)通過(guò)一系列卷積池化過(guò)程得到理想權(quán)值，其中卷積池化公式如式（2）～（4）所描述。

圖3 Alexnet網(wǎng)絡(luò)結(jié)構(gòu)

圖4 Vggnet基本單元結(jié)構(gòu)

圖5 Vggnet網(wǎng)絡(luò)結(jié)構(gòu)

卷積過(guò)程如式（2）所示：

式中，K(m,n)為卷積核，A 為原始數(shù)據(jù)。池化過(guò)程如式（3）、（4）所示：

式中，D 為池化核，a 為卷積后feature圖像。利用理想權(quán)值來(lái)進(jìn)行特征降維，最后利用分類(lèi)器來(lái)對(duì)特征分類(lèi)，遷移學(xué)習(xí)直接引用最后的理想?yún)?shù)，利用原始的大數(shù)據(jù)來(lái)訓(xùn)練理想?yún)?shù)，將得到的參數(shù)直接應(yīng)用到遷移網(wǎng)絡(luò)中對(duì)少量的訓(xùn)練集進(jìn)行再訓(xùn)練得到遷移模型。

3 反卷積高層特征分類(lèi)算法

為了兼顧遙感數(shù)據(jù)分類(lèi)時(shí)間和效果，本文算法利用堆疊卷積、池化、反卷積等構(gòu)成高層特征提取過(guò)程，然后遷移Vgg16 官方模型的卷積層、池化層、激活層的權(quán)重W1～W5，最后結(jié)合支持向量機(jī)分類(lèi)器來(lái)構(gòu)建訓(xùn)練模型，如圖6。利用梯度下降法來(lái)修正訓(xùn)練過(guò)程中權(quán)值得到最優(yōu)訓(xùn)練模型。具體步驟如下：

步驟1 將冰川、巖石、城市、水域、農(nóng)田、森林等數(shù)據(jù)分別放入高層特征提取網(wǎng)絡(luò)，經(jīng)過(guò)反卷積層后恢復(fù)為3通道偽彩色圖，并將數(shù)據(jù)按照類(lèi)別保存在相應(yīng)標(biāo)簽文件夾下。

步驟2 構(gòu)建遷移學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)，首先創(chuàng)建Vgg網(wǎng)絡(luò)連接SVM 分類(lèi)器，將Vgg16 官方模型的卷積層、池化層、激活層的權(quán)重W1～W5 作為訓(xùn)練網(wǎng)絡(luò)的初始權(quán)值，全連接初始層隨機(jī)取值。

步驟3 將偽RGB圖和單通道標(biāo)簽圖像路徑制作相應(yīng)路徑標(biāo)簽。

步驟4 將數(shù)據(jù)集、標(biāo)簽和Vgg16官方模型導(dǎo)入遷移網(wǎng)絡(luò)中訓(xùn)練，保存權(quán)重模型和訓(xùn)練損失。

步驟5 利用保存的模型對(duì)測(cè)試數(shù)據(jù)進(jìn)行預(yù)測(cè)，并且計(jì)算誤差矩陣、漏分誤差、多分誤差和Kappa。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 實(shí)驗(yàn)數(shù)據(jù)及環(huán)境

本文實(shí)驗(yàn)分別對(duì)Satellite、NWPU-FACC45 和UC Merced Land Use Dataset 三組數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，三組數(shù)據(jù)集分別利用無(wú)人機(jī)搭載多光譜成像儀獲取，驗(yàn)證數(shù)據(jù)類(lèi)型為多光譜600×600 像素三通道圖像數(shù)據(jù)。從Satellite數(shù)據(jù)集中選取冰川、巖石、城市、水域、農(nóng)田和森林6類(lèi)樣本，每類(lèi)訓(xùn)練集800張，測(cè)試集200張。NWPUFACC45 數(shù)據(jù)集是西北工業(yè)大學(xué)創(chuàng)建的遙感圖像場(chǎng)景分類(lèi)的一個(gè)公開(kāi)的基準(zhǔn)。該數(shù)據(jù)集包含31 500 個(gè)圖像，覆蓋45個(gè)場(chǎng)景類(lèi)，每個(gè)類(lèi)中有700個(gè)圖像；本實(shí)驗(yàn)選取海灘、建筑群、沙漠、森林、湖泊和山區(qū)6類(lèi)樣本，每類(lèi)訓(xùn)練集500 張，測(cè)試集200 張。UC Merced Land Use Dataset 是一個(gè)土地利用圖像數(shù)據(jù)集，每類(lèi)有100 幅圖像，這些圖像是從美國(guó)地質(zhì)勘探局國(guó)家地圖城市地區(qū)的大型圖像中手工提取出來(lái)的；本實(shí)驗(yàn)選取海灘、建筑群、沙漠、森林、湖泊和山區(qū)6 類(lèi)樣本，每類(lèi)訓(xùn)練集80 張，測(cè)試集20 張。實(shí)驗(yàn)環(huán)境在WIN10 系統(tǒng)下，為了快速搭建訓(xùn)練網(wǎng)絡(luò)，采用目前較為流行的深度學(xué)習(xí)框架Tensorflow，在實(shí)驗(yàn)中，為了提高實(shí)驗(yàn)網(wǎng)絡(luò)的訓(xùn)練速度，采用單個(gè)8 GB容量GPU的計(jì)算模式，硬件上采用NVIDIA1080卡，利用GUP加速模式運(yùn)行。

4.2 實(shí)驗(yàn)參數(shù)設(shè)置

為了更好地評(píng)估算法的有效性，本實(shí)驗(yàn)用Kappa系數(shù)（Kappa）、總體精度（PA）和漏分誤差的精度（OE）對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了評(píng)估。 Pab表示預(yù)測(cè)類(lèi)別a 被分類(lèi)到類(lèi)別b 的像素點(diǎn)數(shù)，表示屬于a 類(lèi)別的像素點(diǎn)總數(shù)，評(píng)級(jí)指標(biāo)定義如下所示：

Kappa系數(shù)：Kappa是一個(gè)統(tǒng)計(jì)量，用來(lái)衡量預(yù)測(cè)和地面真相之間的一致性。

圖6 整體算法流程

其中k ∈[1,K]，K 是類(lèi)別數(shù)

總體精度：PA 是指在整個(gè)圖像中正確分類(lèi)圖像和所有圖像的百分比。

漏分誤差的精度（OE）是指目標(biāo)類(lèi)別有多少被錯(cuò)誤分到了其他類(lèi)別的百分比。

Kappa、PA和OE值在0～1 之間，Kappa、OA的數(shù)值越大，分類(lèi)性能越好。

4.3 實(shí)驗(yàn)結(jié)果

分別采用LBP 編碼底層特征提取算法、改進(jìn)型SLBP編碼底層特征提取算法、流行學(xué)習(xí)LE降維算法結(jié)合SVM、CRF 和KNN 分類(lèi)器作對(duì)比實(shí)驗(yàn)，充分說(shuō)明高層特征提取算法的有效性。從表1的Satellite數(shù)據(jù)集實(shí)驗(yàn)結(jié)果可以看出，本文提出的DF_Vgg16 算法，對(duì)于每類(lèi)的樣本測(cè)試集的分類(lèi)精度相對(duì)于其他幾種方法大部分都有提高，對(duì)比LBP+SVM、SLBP+SVM、SIFT結(jié)合流行學(xué)習(xí)這些傳統(tǒng)的算法提高了10%之多，相比底層特征和中層特征分類(lèi)算法也有一定提高。表2和表3分別為NWPU 數(shù)據(jù)集和UC Merced 數(shù)據(jù)集的分類(lèi)精度結(jié)果，引入多個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)使結(jié)果更有說(shuō)服力，對(duì)于森林這種紋理特征豐富的樣本，其他方法也可達(dá)到較好的分類(lèi)效果，但是對(duì)于海灘、沙漠這種特征較少的樣本，另外4組方法的精度就比較低了，而使用本文的分類(lèi)算法可以有效地提高分類(lèi)精度。如圖7所示，加入遷移學(xué)習(xí)后的訓(xùn)練網(wǎng)絡(luò)能實(shí)現(xiàn)loss函數(shù)的快速收斂，同時(shí)校驗(yàn)數(shù)據(jù)的準(zhǔn)確率能適應(yīng)目標(biāo)模型要求。對(duì)三組數(shù)據(jù)計(jì)算用Kappa 系數(shù)（Kappa）、總體精度（PA）和漏分誤差的精度（OE）后取平均值，DF_Vgg16算法Kappa值能達(dá)到0.89，誤差精度OE 降到7.5%，總體精度（PA）達(dá)到92.06%，如表4。雖然本文算法測(cè)試時(shí)間相對(duì)來(lái)說(shuō)較長(zhǎng)，主要原因是深度學(xué)習(xí)過(guò)程訓(xùn)練模型權(quán)重還原過(guò)程比較耗時(shí)，但是算法的精度上更為可觀。

表1 Satellite數(shù)據(jù)集分類(lèi)精度 %

表2 NWPU數(shù)據(jù)集分類(lèi)精度 %

表3 UC Merced數(shù)據(jù)集分類(lèi)精度%

圖7 損失函數(shù)

表4 評(píng)價(jià)參數(shù)

4.4 實(shí)驗(yàn)分析

遙感數(shù)據(jù)集的底層LBP特征集合SVM算法對(duì)6類(lèi)數(shù)據(jù)集能實(shí)現(xiàn)一定程度的分類(lèi)，SLBP 編碼利用一種新的特征編碼方式來(lái)提高了整體分類(lèi)精度和Kappa值，但是對(duì)于水域、農(nóng)田、建筑群等特征不夠顯著導(dǎo)致分類(lèi)精度只有70%左右，流行學(xué)習(xí)LE算法針對(duì)SIFT特征在降低數(shù)據(jù)維度的同時(shí)盡可能地減少圖像信息的丟失，拉普拉斯特征映射從局部的角度處理數(shù)據(jù)，通過(guò)構(gòu)建相似關(guān)系圖來(lái)重構(gòu)數(shù)據(jù)流形的局部結(jié)構(gòu)特征，將相似度較高的兩個(gè)樣本點(diǎn)在降維后的空間中距離較近，對(duì)于此類(lèi)特殊遙感數(shù)據(jù)分類(lèi)有更高效的分類(lèi)結(jié)果。本文DF_Vgg16算法引入反卷積提取高層特征和遷移學(xué)習(xí)算法，極大地提高訓(xùn)練時(shí)間，同時(shí)減小了誤分類(lèi)精度。

5 結(jié)語(yǔ)

本文提出了一種結(jié)合高層特征空間和遷移學(xué)習(xí)網(wǎng)絡(luò)的遙感地物圖像分類(lèi)算法[19]，首先利用兩層堆疊的反卷積網(wǎng)絡(luò)來(lái)提取目標(biāo)數(shù)據(jù)集的高層特征，然后利用VGG16 模型的卷積層權(quán)重來(lái)構(gòu)建遷移網(wǎng)絡(luò)模型，最后將高層特征導(dǎo)入遷移網(wǎng)絡(luò)中加強(qiáng)訓(xùn)練得到更加優(yōu)越的訓(xùn)練模型。算法針對(duì)多光譜遙感數(shù)據(jù)集中部分?jǐn)?shù)據(jù)底層特征和中層特征相似性過(guò)高問(wèn)題，利用反卷積保留圖像的分塊信息，然后利用遷移網(wǎng)絡(luò)來(lái)提高訓(xùn)練速率，最后利用SVM分類(lèi)器來(lái)作分類(lèi)處理。本文算法有望用于多波段醫(yī)學(xué)圖像處理、極化遙感數(shù)據(jù)集[20-22]，反卷積層后期可設(shè)置可適應(yīng)函數(shù)來(lái)修正反卷積的權(quán)重找到最適合分類(lèi)的高層特征空間。