鄭姍姍,劉 文,單 銳,趙靜一,江國乾,張 智

(1.燕山大學 a.理學院; b.機械工程學院; c.電氣工程學院,河北 秦皇島 066004; 2.北京航天研究所,北京 100094)

0 概述

成像光譜儀在進行特征成像時,以數(shù)十至數(shù)百個連續(xù)細分的波段對目標區(qū)域成像得到以像素為單位的高光譜圖像[1],其中三維(Three-Dimensional,3D)數(shù)據(jù)塊包含大量空間與光譜信息,能有效反映成像目標情況。然而高光譜圖像標記訓練樣本數(shù)量有限,且存在光譜維度高、信息冗余等問題,因此,高光譜圖像分類問題亟待進一步研究。

在對高光譜圖像分類研究早期,研究人員提出多種特征提取方法[2-3]和判別學習方法[4],但是這些方法僅利用光譜信息,并未深入研究圖像數(shù)據(jù)的內在空間結構信息。針對該問題,研究人員將空間信息引入高光譜圖像分類方法[5-6]。文獻[7]提出基于獨立空譜殘差融合的聯(lián)合稀疏表示高光譜分類方法,對空間特征進行有效提取,并提高圖像分類精度。

近年來,包括卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,CNN)和堆疊自動編碼器(Stacked Auto-Encoder,SAE)[8-9]在內的深度學習網(wǎng)絡模型被應用于高光譜圖像分類領域。文獻[10]考慮上下文深度CNN,利用相鄰單個像素向量的局部空間與光譜關系聯(lián)合優(yōu)化圖像的空間和光譜信息。由于基于CNN的方法可能無法從高光譜圖像(Hyperspectral Image,HSI)的復雜場景中有效提取并辨別特征,因此文獻[11]提出基于雙路徑網(wǎng)絡(Dual Path Networks,DPN)的HSI分類方法并得到良好的分類結果。文獻[12]提出基于圖像分割方法DeepLab的深度學習框架,通過獲取多個尺寸特征有效避免空間分辨率降低,然而其中基于2D-CNN的方法不能充分利用聯(lián)合空間和光譜信息,導致部分信息丟失。文獻[13]提出殘差網(wǎng)絡SSRN,使用連續(xù)空間和光譜殘差模塊分別提取空間和光譜信息,但單獨設計特征提取模塊造成網(wǎng)絡設計冗余。文獻[14]為減少訓練時間并提高準確性,提出用于HSI分類的端到端快速密集光譜空間卷積(Fast Dense Spectral-Spatial Convolution,FDSSC)框架,使用不同卷積核分別提取空間和光譜特征,利用有效卷積方法降維并得到較好的分類結果。文獻[15]基于最大化高光譜影像空間和譜間信息利用率的思想,提出一種改進的三維卷積神經(jīng)網(wǎng)絡分類框架,可很好地適應高光譜遙感影像三維結構。

考慮到高光譜圖像樣本數(shù)量有限以及光譜維度高對分類精度的影響,本文提出一種深度三維卷積神經(jīng)網(wǎng)絡(M3RCNN)分類方法。使用串聯(lián)的三維卷積濾波器塊代替原始濾波器,先后在空間區(qū)域和光譜維度上采樣減少參數(shù)量,同時利用批量歸一化(Batch Normalization,BN)層和隨機失活層(Dropout)防止過度擬合,解決學習過程中的退化和梯度彌散問題,并對M3RCNN首層卷積步長和相鄰像素塊尺寸的選取進行對比分析。

1 M3RCNN框架

1.1 三維卷積濾波器塊

在HSI分類中,對輸入數(shù)據(jù)執(zhí)行三維卷積操作可同時提取高光譜數(shù)據(jù)的空間和光譜信息。M3RCNN采用三維卷積濾波器,不需對原始高光譜數(shù)據(jù)進行降維等預處理,可避免丟失光譜信息。三維卷積計算公式如下:

(1)

由于線性整流(ReLU)函數(shù)可有效加速隨機梯度下降收斂,因此選擇ReLU函數(shù)作為激活函數(shù),其表達式為:

f(x)=max(0,x)

(2)

開發(fā)深度三維CNN所需計算成本和存儲需求較高,因此,M3RCNN采用特殊的三維卷積濾波器塊,其結構如圖1所示。該網(wǎng)絡使用v1×v2×1和1×1×v3卷積濾波器串聯(lián)替換v1×v2×v3濾波器,在一定程度上減少模型參數(shù)量與訓練時間,此外,這兩個濾波器可在同一個路徑中相互影響,光譜濾波器連接到下一級輸出。

圖1 三維卷積濾波器塊結構Fig.1 3D convolutional filter block structure

1.2 多尺度三維濾波器組

多尺度三維濾波器組[16]與Inception模塊類似,利用輸入圖像局部稀疏結構從不同尺度中提取抽象特征,其結構如圖2所示,虛線部分為三維卷積濾波器塊結構。由于最大池化層在不增加網(wǎng)絡計算量的同時,可減少網(wǎng)絡訓練參數(shù)量并促進模型收斂,因此為避免造成空間尺寸不相等的問題,M3RCNN添加最大池化層將空間尺寸調整為相同大小,并將多尺度濾波器組與三維卷積濾波器塊結合。在多尺度三維濾波器組中,1×1×1、3×3×1、5×5×1這3種尺度的濾波器主要利用輸入圖像的局部空間相關性,1×1×3、1×1×5這2種尺度的濾波器用于解決光譜相關性,且3×3×1與1×1×3、5×5×1與1×1×5尺度的濾波器在同一路徑下相互影響,將光譜維度拼接后得到豐富的多尺度空間和光譜信息。

圖2 多尺度三維濾波器組結構Fig.2 Multi-scale 3D filter bank structure

1.3 三維殘差單元

本文受ResNet[17]成功應用于圖像識別任務的啟發(fā),考慮到M3RCNN模型深度可能導致梯度彌散,因此,使用三維殘差加深網(wǎng)絡以避免弱信號丟失并提高效率,從而在不引入額外參數(shù)的情況下提取更佳的深層抽象特征。一般地,殘差單元表示為:

xt+1=h(xt)+F(xt)

(3)

其中,xt和xt+1分別為第(t+1)殘差單元的輸入與輸出,h(xt)=xt為恒等映射,F為非線性殘差函數(shù)。

M3RCNN用三維殘差單元取代ResNet的殘差單元,可增加殘差結構多樣性并提高訓練效率,其結構如圖3所示,虛線部分為三維卷積濾波器塊結構。為使殘差單元不受濾波器數(shù)量的限制,在最下方加入1×1×1卷積層,以調整濾波器數(shù)量并減小特征圖尺寸。

圖3 三維殘差單元結構Fig.3 3D residual unit structure

1.4 M3RCNN結構

M3RCNN主要由濾波器組、三維殘差單元和若干卷積層構成,其結構如圖4所示。由于高光譜圖像光譜維度較高,存在信息冗余問題,因此模型首層使用步長卷積降維。多尺度三維濾波器組使用16通道,因為在光譜維度進行拼接,所以增加卷積層(Conv)進行步長降維,濾波器尺寸為3×3×3,卷積步長為1×1×3,通道數(shù)量為32,采用三維殘差單元,通道數(shù)量為64,卷積層和全連接層的濾波器數(shù)量為128。上述模塊均經(jīng)過BN層,并在全連接層(Dense)層后加入Dropout層以防止發(fā)生過擬合,Dropout率設置為0.5。

圖4 M3RCNN結構Fig.4 M3RCNN structure

M3RCNN采用反向傳播算法進行訓練,選取Softmax函數(shù)作為訓練分類器損失函數(shù)完成高光譜圖像的多種地物分類任務,表達式為:

(4)

其中,xi表示在Softmax層中輸入樣本的第i類別,f(xi)表示樣本預測為第i類別的概率。

2 實驗數(shù)據(jù)集

本文選擇美國印第安納松樹林(Indian Pines)數(shù)據(jù)集和意大利帕維亞大學(Pavia University)數(shù)據(jù)集兩個較流行的高光譜數(shù)據(jù)集進行M3RCNN性能評估,以總體分類精度(OA)、平均分類精度(AA)和Kappa系數(shù)作為分類指標。

Indian Pines數(shù)據(jù)集由機載可視紅外成像光譜儀對美國印第安納州的印度松樹進行成像得到,空間尺寸為145像素×145像素,光譜覆蓋范圍為400 nm～2 500 nm,空間分辨率為20 m,除去被吸水效應破壞的20個光譜波段,采用剩余200個波段進行分類。該數(shù)據(jù)集共有10 249個標記像素,由16個類別的地表物組成,主要為農(nóng)作物、植物等自然景觀。

Pavia University數(shù)據(jù)集來自德國機載反射光學光譜成像儀對意大利帕維亞城進行成像所得的部分高光譜數(shù)據(jù),光譜覆蓋范圍為430 nm～860 nm,空間分辨率為1.3 m,除去受噪聲影響的光譜波段,采用剩余103個光譜波段進行分類。Pavia University數(shù)據(jù)集中數(shù)據(jù)尺寸為610×340×103,含有42 776個標記像素,由9類地物組成,包括礫石、金屬板等城市景觀。

在Indian Pines數(shù)據(jù)集中,隨機選擇每個類別數(shù)量的20%作為訓練樣本。在Pavia University數(shù)據(jù)集中,訓練集和測試集的樣本數(shù)量比例為1∶9。

3 實驗結果與分析

3.1 網(wǎng)絡參數(shù)

本文選擇分類交叉熵函數(shù)作為損失函數(shù),采用隨機梯度下降法SGD作為優(yōu)化器,通過網(wǎng)格搜索與交叉驗證分別得到學習率、衰減值、動量的最優(yōu)值分別為0.04、0.000 5和0.8。由于訓練樣本較少,因此批尺寸設置為16。實驗硬件平臺采用i5-7500 CPU和GTX960 GPU。

3.1.1 三維卷積濾波器塊有效性

三維CNN通常使用v1×v2×v3濾波器同時在空間和光譜上采樣。M3RCNN采用三維卷積濾波器塊先后在空間和光譜上采樣,大幅降低參數(shù)量和訓練時間,且v1×v2×1和1×1×v3在同一路徑相互影響,有利于網(wǎng)絡模型收斂。

表1和表2分別為在Indian Pines和Pavia University數(shù)據(jù)集上未使用與使用三維卷積塊時模型參數(shù)量、訓練時間及總體分類精度情況?？梢钥闯?在Indian Pines數(shù)據(jù)集上使用三維卷積塊后,參數(shù)量下降約7 100 000個,訓練時間和測試時間分別減少445.30 s和1.33 s,OA值提高0.25個百分點。在Pavia University數(shù)據(jù)集上使用三維卷積濾波器塊后,參數(shù)量、訓練時間及測試時間均有所下降,且OA值無明顯提高,這是因為Pavia University數(shù)據(jù)集比Indian Pines數(shù)據(jù)集更大,特征提取更充分。

表1 Indian Pines數(shù)據(jù)集上未使用與使用三維卷積塊所得實驗結果Table 1 Experimental results without and with3D convolution blocks on Indian Pines dataset

表2 Pavia University數(shù)據(jù)集上未使用與使用三維卷積塊所得實驗結果Table 2 Experimental results without and with3D convolution blocks on Pavia University dataset

3.1.2 多尺度濾波器組有效性

為驗證共同利用空間和光譜信息的多尺度濾波器組有效性,將含有多尺度濾波器組的M3RCNN方法與不含多尺度濾波器組的3RCNN方法在Indian Pines數(shù)據(jù)集和Pavia University數(shù)據(jù)集上的OA值進行對比,結果如表3所示?？梢钥闯?在兩個數(shù)據(jù)集上M3RCNN的OA值均高于3RCNN,這是因為3RCNN未進行多尺度拼接,無法實現(xiàn)局部區(qū)域數(shù)據(jù)增強。

表3 2種方法在2個數(shù)據(jù)集上的OA值Table 3 OA value of two methods on two databases %

3.1.3 殘差單元有效性

為驗證殘差單元的有效性,將含有殘差單元的M3RCNN方法與不含殘差單元的M3CNN方法在Indian Pines數(shù)據(jù)集和Pavia University數(shù)據(jù)集上的OA值進行對比,結果如表4所示?？梢钥闯?在兩個數(shù)據(jù)集上M3RCNN的OA值較M3CNN分別提高1.21和0.36個百分點。

表4 2種方法在2個數(shù)據(jù)集上的OA值Table 4 OA value of two methods ontwo databases %

3.1.4 首層卷積光譜采樣步長對網(wǎng)絡模型的影響

由于高光譜圖像光譜維度高,存在信息冗余,直接對輸入圖像進行卷積處理計算量較大,因此需對數(shù)據(jù)進行降維。在M3RCNN結構中,通常使用卷積步長進行降維。首層卷積核尺寸為1×1×11,空間步長卷積為1,確保對每個像素點都進行卷積操作。

表5和表6分別為在Indian Pines數(shù)據(jù)集和Pavia University數(shù)據(jù)集上由不同光譜采樣步長所得模型參數(shù)量、訓練時間、測試時間及總體分類精度情況?？梢钥闯?當步長從1增加到7時,兩個數(shù)據(jù)集上的參數(shù)量、訓練時間、測試時間均逐漸下降,且降幅逐漸減小。在Indian Pines數(shù)據(jù)集上,當步長為3或5時,與步長為1相比,總體分類精度雖然有一定的損失,但是參數(shù)量、訓練時間與測試時間降幅較大,可降低對計算機硬件與內存的要求,而當步長為7時,OA值又有所上升。在Pavia University數(shù)據(jù)集上,當步長為1時,總體分類精度最低,這可能是因為參數(shù)量過大導致過擬合概率增加。綜上考慮,由于光譜采樣步長為7時M3RCNN的參數(shù)量、訓練時間、測試時間均最低且OA值較高,因此在兩個數(shù)據(jù)集上M3RCNN模型首層光譜卷積步長選擇7。

表5 Indian Pines數(shù)據(jù)集上不同光譜采樣步長所得實驗結果Table 5 Experimental results of different spectralsampling steps on Indian Pines database

表6 Pavia University數(shù)據(jù)集上不同光譜采樣步長所得實驗結果Table 6 Experimental results of different spectralsampling steps on Pavia University database

3.1.5 相鄰像素塊尺寸對網(wǎng)絡模型的影響

在數(shù)據(jù)處理階段,由于原始圖像尺寸較大,直接進行數(shù)據(jù)處理對硬件和內存要求很高,因此對H×W×B圖像進行邊緣填充,得到(H+s-1)×(W+s-1)×B圖像,再從中選取s×s×B相鄰像素塊,從而得到邊緣特征。其中,s為像素塊空間尺寸,H、W分別為原始高光譜圖像的兩個空間維度,B為光譜維度。但是像素塊尺寸不能過小,否則會導致感受野較小,不能充分提取圖像特征。

表7和表8分別為在Indian Pines數(shù)據(jù)集和Pavia University數(shù)據(jù)集上由不同的相鄰像素塊尺寸所得模型參數(shù)量、訓練時間及總體分類精度情況?？梢钥闯?在兩個數(shù)據(jù)集上,隨著相鄰像素塊尺寸的增加,OA值均明顯提升,但訓練時間和測試時間也相應延長。

表7 Indian Pines數(shù)據(jù)集上不同的相鄰像素塊尺寸所得實驗結果Table 7 Experimental results of different adjacentpixel block sizes on Indian Pines database

表8 Pavia University數(shù)據(jù)集上不同的相鄰像素塊尺寸所得實驗結果Table 8 Experimental results of different adjacentpixel block sizes on Pavia University database

3.2 對比實驗分析

以下將本文M3RCNN方法分別與SVM[18]、SAE[19]、CNN[20]和3DCNN[21]方法在不同數(shù)據(jù)集上的分類效果進行對比實驗分析。

3.2.1 Indian Pines數(shù)據(jù)集實驗

在Indian Pines數(shù)據(jù)集上,輸入圖像尺寸為9×9×200。上述5種方法在Indian Pines數(shù)據(jù)集上對地表實物的分類效果如圖5所示?？梢钥闯?SVM、SAE受噪聲影響較大,分類效果較差;CNN、3DCNN在Indian Pines數(shù)據(jù)集每個類別中由于訓練樣本有限,因此分類效果不理想;M3RCNN受噪聲影響較小,與其他方法相比具有更好的分類性能,且分類效果穩(wěn)定。

圖5 Indian Pines數(shù)據(jù)集上不同方法所得分類效果圖 Fig.5 Classification effect images obtained by differentmethods on Indian Pines dataset

表9和表10分別為上述5種方法在Indian Pines數(shù)據(jù)集上對不同類別的分類精度及分類指標結果。

表9 Indian Pines數(shù)據(jù)集上5種方法對不同類別的分類精度Table 9 Classification accuracy of five methods onIndian Pines dataset for different categories %

表10 Indian Pines數(shù)據(jù)集上5種方法的分類指標結果Table 10 Classification indexes results of five methodson Indian Pines dataset %

可以看出,與SVM相比,CNN由于可以主動學習深層次特征,因此其OA值和AA值更高。對于無監(jiān)督的SAE方法,由于其可利用標簽信息取得判別性分類特征,因此M3RCNN的OA值和AA值比SAE更高。CNN采取原始堆疊卷積,參數(shù)量多且訓練時間長,M3RCNN相較CNN使用三維卷積塊參數(shù)量更少且訓練時間更短,同時OA值更高。與使用雙卷積池化結構3DCNN相比,使用改進多尺度濾波器的M3RCNN可提取更深層次的多尺度空間和光譜特征,并使用殘差單元改善網(wǎng)絡深層對分類精度造成的影響,其OA值和AA值更高。對單個類別分類精度而言,M3RCNN對15個類別的分類精度都高于其他方法,其中在Stone-steel-towers和Oats上分類精度均達到100%。

3.2.2 Pavia University數(shù)據(jù)集實驗

在Pavia University數(shù)據(jù)集上,輸入圖像尺寸為9×9×103。上述5種方法在Pavia University數(shù)據(jù)集上對地表實物的分類效果如圖6所示?？梢钥闯?SVM、SAE方法受噪聲影響分類效果不理想,雖然CNN、3DCNN方法的分類精度較高,但M3RCNN的分類效果圖更接近真實地物。

圖6 Pavia University數(shù)據(jù)集上不同方法所得分類效果圖 Fig.6 Classification effect images obtained by differentmethods on Pavia University dataset

表11和表12分別為上述5種方法在Pavia University數(shù)據(jù)集上對不同類別的分類精度及分類指標結果?？梢钥闯?M3RCNN的OA值達到99.83%,比其他5種方法分別提高9.04、5.16、1.26和0.57個百分點,其AA值達到99.76%,具有更好的分類性能。

表11 Pavia University數(shù)據(jù)集上5種方法對不同類別的分類精度Table 11 Classification accuracy of five methods onPavia University dataset for different categories %

表12 Pavia University數(shù)據(jù)集上5種方法的分類指標結果Table 12 Classification indexes results of five methodson Pavia University dataset %

4 結束語

本文結合三維卷積、多尺度濾波器與殘差結構,提出一種用于高光譜圖像分類的端到端M3RCNN方法。采用三維卷積塊改進多尺度三維濾波器和殘差單元,以降低參數(shù)量與加速模型收斂,并選出M3RCNN首層卷積步長和相鄰像素塊尺寸的最優(yōu)值。實驗結果表明,該方法可有效學習分類判別特征,較SVM、SAE等方法分類精度更高。后續(xù)將在無監(jiān)督環(huán)境中使用生成式對抗網(wǎng)絡以進一步提升高光譜圖像分類精度。